Large Language Models (LLMs) and Reinforcement Learning (RL)

• Conocimientos básicos de Machine Learning

Audiencia

• Científicos de datos
• Ingenieros de software

Large Language Models (LLMs) son tipos avanzados de redes neuronales diseñadas para comprender y generar texto similar al humano en función de la información que reciben. Reinforcement Learning (RL) es un tipo de aprendizaje automático en el que un agente aprende a tomar decisiones realizando acciones en un entorno para maximizar las recompensas acumuladas.

Esta capacitación en vivo dirigida por un instructor (en línea o en el sitio) está dirigida a científicos de datos de nivel intermedio que deseen obtener una comprensión integral y habilidades prácticas tanto en Large Language Models (LLMs) como en Reinforcement Learning (RL).

Al final de esta capacitación, los participantes serán capaces de:

• Comprender los componentes y la funcionalidad de los modelos de transformadores.
• Optimice y ajuste los LLM para tareas y aplicaciones específicas.
• Comprender los principios básicos y las metodologías del aprendizaje por refuerzo.
• Aprenda cómo las técnicas de aprendizaje por refuerzo pueden mejorar el rendimiento de los LLM.

Formato del curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para concertar una cita.

Introducción a Large Language Models (LLMs)

• Descripción general de los LLM
• Definición y significado
• Aplicaciones de la IA en la actualidad

Arquitectura de transformadores

• ¿Qué es un transformador y cómo funciona?
• Componentes y características principales
• Incrustación y codificación posicional
• Atención multicabezal
• Red neuronal feed-forward
• Normalización y conexiones residuales

Modelos de transformadores

• Mecanismo de autoatención
• Arquitectura de codificador-decodificador
• Incrustaciones posicionales
• BERT (Representaciones de codificador bidireccional de transformadores)
• GPT (Transformador Preentrenado Generativo)

Optimización del rendimiento y dificultades

• Longitud del contexto
• Mamba y modelos de espacio de estados
• Atención rápida
• Transformadores dispersos
• Transformadores de visión
• Importancia de la cuantificación

Mejora de los transformadores

• Generación de texto aumentada de recuperación
• Mezcla de modelos
• Árbol de los pensamientos

Ajuste fino

• Teoría de la adaptación de bajo rango
• Ajuste fino con QLora

Leyes de escalado y optimización en LLM

• Importancia de las leyes de escalamiento para los LLM
• Escalado de tamaño de datos y modelos
• Escalado computacional
• Escalado de eficiencia de parámetros

Optimización

• Relación entre el tamaño del modelo, el tamaño de los datos, el presupuesto de proceso y los requisitos de inferencia
• Optimización del rendimiento y la eficiencia de los LLM
• Mejores prácticas y herramientas para la formación y el ajuste de los LLM

Formación y puesta a punto de los LLM

• Pasos y retos de la formación de LLMs desde cero
• Adquisición y mantenimiento de datos
• Requisitos de datos, CPU y memoria a gran escala
• Desafíos de optimización
• Panorama de los LLM de código abierto

Fundamentos de Reinforcement Learning (RL)

• Introducción a Reinforcement Learning
• Aprendizaje a través del refuerzo positivo
• Definición y conceptos básicos
• Proceso de decisión de Markov (MDP)
• Programación dinámica
• Métodos de Monte Carlo
• Aprendizaje de la diferencia temporal

Profundo Reinforcement Learning

• Redes Q profundas (DQN)
• Optimización de políticas proximales (PPO)
• Elements de Reinforcement Learning

Integración de LLMs y Reinforcement Learning

• Combinación de LLM con Reinforcement Learning
• Cómo se utiliza RL en los LLM
• Reinforcement Learning con retroalimentación humana (RLHF)
• Alternativas a RLHF

Casos de estudio y aplicaciones

• Aplicaciones en el mundo real
• Casos de éxito y retos

Temas Avanzados

• Técnicas avanzadas
• Métodos avanzados de optimización
• Investigación y desarrollos de vanguardia

Resumen y próximos pasos