- Zrozumienie podstaw uczenia maszynowego
- Doświadczenie w pracy z dużymi modelami językowymi (LLMs)
- Znałość Python i PyTorch
Grupa docelowa
- Naukowcy danych
- Inżynierowie AI
Parameter-Efficient Fine-Tuning (PEFT) to zbiór technik, które umożliwiają efektywne dostosowywanie dużych modeli językowych (LLMs) przez modyfikację tylko niewielkiego podzbioru parametrów.
To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do data scientistów i inżynierów AI na poziomie średnim, którzy chcą dostosowywać duże modele językowe bardziej ekonomicznie i efektywnie za pomocą metod takich jak LoRA, Adapter Tuning oraz Prefix Tuning.
Na zakończenie tego szkolenia uczestnicy będą w stanie:
- Zrozumieć teorię stojącą za podejściami do efektywnego dostosowywania parametrów.
- Wdrożyć LoRA, Adapter Tuning oraz Prefix Tuning przy użyciu Hugging Face PEFT.
- Porównać osiągi i kompromisy kosztowe metod PEFT w porównaniu do pełnego dostosowywania.
- Wdrożyć i skalować dostosowane LLM z obniżonymi wymaganiami obliczeniowymi i przechowywania.
Format kursu
- Interaktywne wykłady i dyskusje.
- Wiele ćwiczeń i praktyki.
- Ręczne wdrożenie w środowisku live-lab.
Opcje dostosowania kursu
- Aby zapytać o dostosowane szkolenie dla tego kursu, skontaktuj się z nami, aby ułożyć.
Wprowadzenie do Efektywnego Parametryzacji Fine-Tuning (PEFT)
- Motywacja i ograniczenia pełnego dopasowania
- Przegląd PEFT: cele i korzyści
- Zastosowania i przypadki użycia w przemyśle
LoRA (Niskorządowa Adaptacja)
- Pojęcie i intuicja stojąca za LoRA
- Wdrożenie LoRA przy użyciu Hugging Face i PyTorch
- Praktyczne: Dopasowanie modelu z użyciem LoRA
Dopasowanie adapterów
- Jak działają moduły adapterów
- Integracja z modelami opartymi na transformatorach
- Praktyczne: Zastosowanie dopasowania adapterów do modelu transformatora
Dopasowanie przedrostków
- Używanie miękkich promieni do dopasowania
- Silne i słabe strony w porównaniu z LoRA i adapterami
- Praktyczne: Dopasowanie przedrostków do zadania LLM
Ocena i Porównywanie Metod PEFT
- Metryki do oceny wydajności i efektywności
- Kompromisy między szybkością trenowania, zużyciem pamięci i dokładnością
- Eksperymenty benchmarkowe i interpretacja wyników
Wdrażanie Dopasowanych Modeli
- Zapisywanie i ładowanie dopasowanych modeli
- Rozważania związane z wdrażaniem modeli opartych na PEFT
- Integracja z aplikacjami i wierszami polecenia
Najlepsze praktyki i rozszerzenia
- Połączenie PEFT z kwantyzacją i destylacją
- Użycie w warunkach o niskich zasobach i wielojęzycznych
- Przyszłe kierunki i aktywne obszary badań
Podsumowanie i Kolejne kroki
United Arab Emirates - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Qatar - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Egypt - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Saudi Arabia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
South Africa - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Brasil - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Canada - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
中国 - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
香港 - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
澳門 - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
台灣 - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
USA - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Österreich - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Schweiz - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Deutschland - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Czech Republic - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Denmark - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Estonia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Finland - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Greece - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Magyarország - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Ireland - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Luxembourg - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Latvia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
España - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Italia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Lithuania - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Nederland - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Norway - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Portugal - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
România - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Sverige - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Türkiye - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Malta - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Belgique - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
France - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
日本 - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Australia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Malaysia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
New Zealand - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Philippines - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Singapore - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Thailand - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Vietnam - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
India - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Argentina - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Chile - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Costa Rica - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Ecuador - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Guatemala - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Colombia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
México - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Panama - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Peru - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Uruguay - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Venezuela - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Polska - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
United Kingdom - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
South Korea - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Pakistan - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Sri Lanka - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Bulgaria - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Bolivia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Indonesia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Kazakhstan - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Moldova - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Morocco - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Tunisia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Kuwait - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Oman - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Slovakia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Kenya - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Nigeria - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Botswana - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Slovenia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Croatia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Serbia - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Bhutan - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Nepal - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Uzbekistan - Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs