Introduction to Large Language Models (LLMs) ( llm | 14 hours )

• Verständnis von natürlicher Sprachverarbeitung und Deep Learning
• Erfahrung mit Python und PyTorch oder TensorFlow
• Grundlegende Programmiererfahrung

Zielgruppe

• Entwickler
• NLP-Enthusiasten
• Datenwissenschaftler

Large Language Models (LLMs) sind Modelle für tiefe neuronale Netze, die Texte in natürlicher Sprache auf der Grundlage eines gegebenen Inputs oder Kontexts generieren können. Sie werden auf großen Mengen von Textdaten aus verschiedenen Bereichen und Quellen trainiert und können die syntaktischen und semantischen Muster der natürlichen Sprache erfassen. LLMs haben beeindruckende Ergebnisse bei verschiedenen natürlichsprachlichen Aufgaben wie Textzusammenfassung, Beantwortung von Fragen, Texterstellung und mehr erzielt.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Anfänger und fortgeschrittene Entwickler, die Large Language Models für verschiedene natürlichsprachliche Aufgaben einsetzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Eine Entwicklungsumgebung einzurichten, die ein gängiges LLM enthält.
• Ein grundlegendes LLM zu erstellen und es auf einem benutzerdefinierten Datensatz zu verfeinern.
• LLMs für verschiedene natürlichsprachliche Aufgaben wie Textzusammenfassung, Beantwortung von Fragen, Textgenerierung und mehr zu verwenden.
• LLMs mit Hilfe von Tools wie TensorBoard, PyTorch Lightning und Hugging Face Datasets debuggen und evaluieren.

Format des Kurses

• Interaktive Vorlesung und Diskussion.
• Viele Übungen und Praxis.
• Praktische Umsetzung in einer Live-Laborumgebung.

Optionen zur Kursanpassung

• Wenn Sie eine maßgeschneiderte Schulung für diesen Kurs wünschen, nehmen Sie bitte Kontakt mit uns auf, um dies zu vereinbaren.

Einführung

• Was sind Large Language Models (LLMs)?
• LLMs im Vergleich zu traditionellen NLP-Modellen
• Überblick über die Merkmale und Architektur von LLMs
• Herausforderungen und Grenzen von LLMs

Verstehen von LLMs

• Der Lebenszyklus eines LLMs
• Wie LLMs funktionieren
• Die Hauptkomponenten eines LLMs: Kodierer, Dekodierer, Aufmerksamkeit, Einbettungen, etc.

Erste Schritte

• Einrichten der Entwicklungsumgebung
• Installieren eines LLMs als Entwicklungswerkzeug, z.B. Google Colab, Hugging Face

Arbeiten mit LLMs

• Erkundung der verfügbaren LLM-Optionen
• Erstellen und Verwenden eines LLMs
• Feinabstimmung eines LLM auf einen benutzerdefinierten Datensatz

Text-Zusammenfassung

• Verstehen der Aufgabe der Textzusammenfassung und ihrer Anwendungen
• Verwendung eines LLMs für extraktive und abstrakte Textzusammenfassungen
• Evaluierung der Qualität der generierten Zusammenfassungen mit Hilfe von Metriken wie ROUGE, BLEU, etc.

Beantwortung von Fragen

• Verstehen der Aufgabe der Fragebeantwortung und ihrer Anwendungen
• Verwendung eines LLM für die Beantwortung von Fragen in offenen und geschlossenen Domänen
• Bewertung der Genauigkeit der generierten Antworten mit Hilfe von Metriken wie F1, EM, etc.

Textgenerierung

• Verstehen der Aufgabe der Texterzeugung und ihrer Anwendungen
• Verwendung eines LLM für bedingte und unbedingte Texterstellung
• Kontrolle des Stils, des Tons und des Inhalts der generierten Texte unter Verwendung von Parametern wie Temperatur, top-k, top-p, etc.

Integration von LLMs mit anderen Frameworks und Plattformen

• Verwendung von LLMs mit PyTorch oder TensorFlow
• Verwendung von LLMs mit Flask oder Streamlit
• Verwendung von LLMs mit Google Cloud oder AWS

Fehlersuche

• Verstehen der häufigen Fehler und Bugs in LLMs
• Verwendung von TensorBoard zur Überwachung und Visualisierung des Trainingsprozesses
• PyTorch Lightning verwenden, um den Trainingscode zu vereinfachen und die Leistung zu verbessern
• Verwendung von Hugging Face Datasets zum Laden und Vorverarbeiten der Daten

Zusammenfassung und nächste Schritte