Técnicas de Eficiencia Paramétrica (PEFT) para Modelos de Lenguaje Grande (LLM)

Prerequisites:

• Comprensión de los fundamentos del aprendizaje automático
• Experiencia trabajando con modelos de lenguaje grandes (LLMs)
• Familiaridad con Python y PyTorch

Publido objetivo

• Científicos de datos
• Ingenieros de IA

Overview:

Parameter-Efficient Fine-Tuning (PEFT) es una colección de técnicas que permiten la adaptación eficiente de modelos de lenguaje grandes (LLMs) modificando solo un pequeño subconjunto de parámetros.

Esta formación en vivo dirigida por instructores (en línea o presencial) está destinada a científicos de datos y ingenieros de IA de nivel intermedio que desean afinar modelos de lenguaje grandes de manera más económica y eficiente utilizando métodos como LoRA, Adapter Tuning y Prefix Tuning.

Al finalizar esta formación, los participantes podrán:

• Comprender la teoría detrás de las aproximaciones de afinado con parámetros eficientes.
• Implementar LoRA, Adapter Tuning y Prefix Tuning utilizando Hugging Face PEFT.
• Comparar el rendimiento y los compromisos de costos de los métodos PEFT frente al afinado completo.
• Deploy and scale fine-tuned LLMs with reduced compute and storage requirements.

Formato del Curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de Personalización del Curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para coordinar.

Course Outline:

Introducción a la Afinación Eficiente de Parámetros (PEFT)

• Motivación y limitaciones de la afinación completa
• Visión general de PEFT: objetivos y beneficios
• Aplicaciones y casos de uso en la industria

LoRA (Adaptación de Rango Bajo)

• Concepto e intuición detrás de LoRA
• Implementación de LoRA usando Hugging Face y PyTorch
• Práctica: Afinamiento de un modelo con LoRA

Afinado con Adaptadores

• Cómo funcionan los módulos adaptador
• Integración con modelos basados en transformadores
• Práctica: Aplicando Afinado con Adaptadores a un modelo de transformador

Afinado con Prefijos

• Uso de prompts suaves para el afinamiento
• Ventajas y limitaciones en comparación con LoRA y adaptadores
• Práctica: Afinado con Prefijos en una tarea de LLM

Evaluación y Comparación de Métodos PEFT

• Métricas para evaluar el rendimiento y la eficiencia
• Compromisos en velocidad de entrenamiento, uso de memoria y precisión
• Experimentos de benchmarking e interpretación de resultados

Implementación de Modelos Afinados

• Guardado y carga de modelos afinados
• Consideraciones de implementación para modelos basados en PEFT
• Integración en aplicaciones y pipelines

Prácticas Recomendadas y Extensiones

• Combinación de PEFT con cuantización y distilación
• Uso en entornos de recursos limitados y multilingües
• Direcciones futuras y áreas de investigación activa

Resumen y Próximos Pasos

Overview in Category:

Esta formación en vivo dirigida por un instructor en <loc> (en línea o presencial) está destinada a científicos de datos y ingenieros de IA de nivel intermedio que desean afinar modelos de lenguaje grandes de manera más económica y eficiente utilizando métodos como LoRA, Adapter Tuning y Prefix Tuning.

Al finalizar esta formación, los participantes podrán:

• Comprender la teoría detrás de los enfoques de afinado con parámetros eficientes.
• Implementar LoRA, Adapter Tuning y Prefix Tuning utilizando Hugging Face PEFT.
• Comparar el rendimiento y las compensaciones de costos de los métodos PEFT frente al afinado completo.
• Deploy and scale fine-tuned LLMs with reduced compute and storage requirements.