Course Code: ftosllms
Duration: 14 hours
Prerequisites:
  • Zrozumienie duzych modeli jezykowych (LLMs) i ich architektury
  • Doswiadczenie z Python i PyTorch
  • Podstawowa znajomość ekosystemu Hugging Face

Widownia

  • Praktycy ML
  • Developeri AI
Overview:
Dostosowanie otwartych modeli językowych jest nową najlepszą praktyką dla organizacji, które chcą dostosować możliwości sztucznej inteligencji w bezpiecznych, ekonomicznych i prywatnych środowiskach.To prowadzone przez instruktora szkolenie online lub stacjonarne (na miejscu) jest skierowane do praktyków ML na poziomie średnim i deweloperów AI, którzy chcą dostosować i wdrażać modele o otwartych wagach, takie jak LLaMA, Mistral oraz Qwen do konkretnych zastosowań biznesowych lub wewnętrznych.Na zakończenie tego szkolenia uczestnicy będą w stanie:* Zrozumieć ekosystem oraz różnice między otwartymi modelami językowymi.* Przygotować zbiory danych oraz konfiguracje dostosowywania dla modeli takich jak LLaMA, Mistral oraz Qwen.* Wykonować procesy dostosowywania z użyciem Hugging Face Transformers i PEFT.* Oceniać, zapisywać i wdrażać dostosowane modele w bezpiecznych środowiskach.**Format kursu*** Interaktywna wykład i dyskusja.* Wiele ćwiczeń i praktyki.* Ręczne wdrażanie w żywym środowisku laboratoryjnym.**Opcje dostosowywania kursu*** Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu uzgodnienia.
Course Outline:
Wprowadzenie do Open-Source LLMs
  • Co to są modele z otwartymi wagami i dlaczego są ważne
  • Przegląd modeli LLaMA, Mistral, Qwen i innych modeli społecznościowych
  • Przypadki użycia dla prywatnych, lokalnych lub bezpiecznych wdrożeń
Konfiguracja Środowiska i Narzędzi
  • Instalowanie i konfigurowanie bibliotek Transformers, Datasets i PEFT
  • Wybieranie odpowiedniego sprzętu do dostrajania
  • Ładowanie wstępnie przeszkolonych modeli z Hugging Face lub innych repozytoriów
Przygotowanie i Przetwarzanie Danych
  • Formaty zbiorów danych (dostrajanie instrukcji, dane czatu, tylko tekst)
  • Tokenizacja i zarządzanie sekwencjami
  • Tworzenie niestandardowych zbiorów danych i ładowaczy danych
Fine-Tuning Techniki
  • Standardowe pełne dostrajanie vs. parametrycznie efektywne metody
  • Zastosowanie LoRA i QLoRA dla efektywnego dostrajania
  • Używanie API Trainer do szybkich eksperymentów
Ocena i Optymalizacja Modelu
  • Ocena dostrojonych modeli za pomocą metryk generacji i dokładności
  • Zarządzanie przeciążaniem, uogólnieniem i zbiorami walidacyjnymi
  • Wskazówki dotyczące optymalizacji wydajności i rejestrowania
Wdrożenie i Prywatne Użycie
  • Zapisywanie i ładowanie modeli do wnioskowania
  • Wdrażanie dostrojonych modeli w bezpiecznych środowiskach korporacyjnych
  • Strategie wdrażania lokalnego vs. w chmurze
Przykłady i Use Case
  • Przykłady korzystania z modeli LLaMA, Mistral i Qwen w przedsiębiorstwach
  • Obsługa wielojęzycznego i specyficznego dla dziedziny dostrajania
  • Dyskusja: Kompromisy między modelami otwartymi i zamkniętymi
Podsumowanie i Kolejne Kroki
Sites Published:

United Arab Emirates - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Qatar - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Egypt - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Saudi Arabia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

South Africa - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Brasil - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Canada - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

中国 - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

香港 - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

澳門 - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

台灣 - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

USA - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Österreich - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Schweiz - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Deutschland - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Czech Republic - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Denmark - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Estonia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Finland - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Greece - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Magyarország - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Ireland - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Luxembourg - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Latvia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

España - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Italia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Lithuania - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Nederland - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Norway - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Portugal - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

România - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Sverige - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Türkiye - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Malta - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Belgique - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

France - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

日本 - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Australia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Malaysia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

New Zealand - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Philippines - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Singapore - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Thailand - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Vietnam - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

India - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Argentina - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Chile - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Costa Rica - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Ecuador - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Guatemala - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Colombia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

México - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Panama - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Peru - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Uruguay - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Venezuela - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Polska - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

United Kingdom - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

South Korea - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Pakistan - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Sri Lanka - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Bulgaria - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Bolivia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Indonesia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Kazakhstan - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Moldova - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Morocco - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Tunisia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Kuwait - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Oman - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Slovakia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Kenya - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Nigeria - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Botswana - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Slovenia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Croatia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Serbia - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Bhutan - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Nepal - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)

Uzbekistan - Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)