Performance Optimization on Ascend, Biren, and Cambricon

• Doświadczenie w pracy z pipeline'ami trenowania lub wdrażania modeli AI
• Zrozumienie zasad obliczeń i optymalizacji modeli GPU/MLU
• Podstawowa znajomość narzędzi i wskaźników profilowania wydajności

Grupa docelowa

• Inżynierowie wydajności
• Zespoły infrastruktury uczenia maszynowego
• Architekci systemów AI

Ascend, Biren i Cambricon są wiodącymi platformami sprzętowymi AI w Chinach, każda z nich oferuje unikalne narzędzia do przyspieszenia i profilowania dla zadań AI na skalę produkcyjną.

Ten szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do zaawansowanych inżynierów infrastruktury AI i wydajności, którzy chcą optymalizować przepływy wnioskowania modeli i uczenia się w różnych chińskich platformach układów scalonych AI.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Benchmarkować modele na platformach Ascend, Biren i Cambricon.
• Wykrywać wąskie gardła systemowe i niedoskonałości w pamięci/obliczeniach.
• Zastosować optymalizacje na poziomie grafu, jądra i operacji.
• Dostosować kanały wdrażania w celu poprawy przepływu i opóźnienia.

Format Kursu

• Interaktywne wykłady i dyskusje.
• Praktyczne używanie narzędzi profilowania i optymalizacji na każdej platformie.
• Wskazówki dotyczące ćwiczeń skupionych na praktycznych scenariuszach dostosowywania.

Opcje dostosowania kursu

• Aby zapytać o dostosowane szkolenie dla tego kursu na podstawie Twojego środowiska wydajności lub typu modelu, skontaktuj się z nami, aby to załatwić.

Pojęcia i metryki wydajności

• Opóźnienie, przepustowość, zużycie energii, wykorzystanie zasobów
• Uwężenia poziomu systemu vs modelu
• Profilowanie dla inferencji vs treningu

Profilowanie na Huawei Ascend

• Używanie CANN Profiler i MindInsight
• Diagnoza jąder i operatorów
• Wzorce rozładowywania i mapowania pamięci

Profilowanie na Biren GPU

• Funkcje monitorowania wydajności Biren SDK
• Fuzja jąder, wyrównanie pamięci i kolejki wykonania
• Profilowanie z uwzględnieniem mocy i temperatury

Profilowanie na Cambricon MLU

• Narzędzia wydajnościowe BANGPy i Neuware
• Widoczność poziomu jąder i interpretacja logów
• Integracja MLU profiler z ramami wdrażania

Optymalizacja na poziomie grafu i modelu

• Strategie obcinania grafu i kwantyzacji
• Fuzja operatorów i restrukturyzacja grafu obliczeniowego
• Standaryzacja rozmiaru wejścia i dostosowanie partii

Optymalizacja pamięci i jąder

• Optymalizacja układu pamięci i jej ponownego użycia
• Efektywne zarządzanie buforami w różnych zestawach chipów
• Techniki dostrajania poziomu jąder dla poszczególnych platform

Najlepsze praktyki w zakresie wieloplatformowości

• Portowalność wydajności: strategie abstrakcji
• Budowanie wspólnych kanałów dostrajania dla środowisk wielochipowych
• Przykład: dostrajanie modelu wykrywania obiektów na platformach Ascend, Biren i MLU

Podsumowanie i następne kroki