DeepSpeed for Deep Learning ( deepspeed | 21 hours )

• Pośrednia znajomość zasad głębokiego uczenia się
• Doświadczenie z PyTorch lub podobnymi frameworkami głębokiego uczenia się
• Znajomość programowania Python

Odbiorcy

• Naukowcy zajmujący się danymi
• Inżynierowie uczenia maszynowego
• Programiści

DeepSpeed to biblioteka do optymalizacji głębokiego uczenia, która ułatwia skalowanie modeli głębokiego uczenia na rozproszonym sprzęcie. Opracowany przez Microsoft, DeepSpeed integruje się z Py Torch, aby zapewnić lepsze skalowanie, szybsze szkolenie i lepsze wykorzystanie zasobów.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla początkujących i średnio zaawansowanych naukowców zajmujących się danymi i inżynierów uczenia maszynowego, którzy chcą poprawić wydajność swoich modeli głębokiego uczenia się.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zrozumieć zasady rozproszonego głębokiego uczenia się.
• Zainstalować i skonfigurować DeepSpeed.
• Skalować modele głębokiego uczenia na rozproszonym sprzęcie za pomocą DeepSpeed.
• Wdrażać i eksperymentować z funkcjami DeepSpeed w celu optymalizacji i wydajności pamięci.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

Wprowadzenie

• Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
• Przegląd DeepSpeed i jego funkcji
• DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego

Pierwsze kroki

• Konfiguracja środowiska programistycznego
• Instalowanie PyTorch i DeepSpeed
• Konfigurowanie DeepSpeed do rozproszonego uczenia

Funkcje optymalizacji DeepSpeed

• Potok szkoleniowy DeepSpeed
• ZeRO (optymalizacja pamięci)
• Punkt kontrolny aktywacji
• Punkt kontrolny gradientu
• Równoległość potoku

Skalowanie modeli za pomocą DeepSpeed

• Podstawowe skalowanie przy użyciu DeepSpeed
• Zaawansowane techniki skalowania
• Rozważania dotyczące wydajności i najlepsze praktyki
• Techniki debugowania i rozwiązywania problemów

Zaawansowane tematy DeepSpeed

• Zaawansowane techniki optymalizacji
• Używanie DeepSpeed z treningiem o mieszanej precyzji
• DeepSpeed na różnym sprzęcie (np. GPUs, TPU)
• DeepSpeed z wieloma węzłami szkoleniowymi

Integracja DeepSpeed z PyTorch

• Integracja DeepSpeed z przepływami pracy PyTorch
• Używanie DeepSpeed z PyTorch Lightning

Rozwiązywanie problemów

• Debugowanie typowych problemów DeepSpeed
• Monitorowanie i rejestrowanie

Podsumowanie i kolejne kroki

• Podsumowanie kluczowych pojęć i funkcji
• Najlepsze praktyki dotyczące korzystania z DeepSpeed w środowisku produkcyjnym
• Dalsze zasoby, aby dowiedzieć się więcej o DeepSpeed