Cambricon MLU Development with BANGPy and Neuware

Prerequisites:

• Zrozumienie struktur modeli uczenia maszynowego
• Doświadczenie z Python i/lub C++
• Znałość z koncepcjami wdrażania i przyspieszenia modeli

Grupa docelowa

• Deweloperzy AI wbudowanej
• Inżynierzy ML wdrażający na krawędzi lub w centrum danych
• Deweloperzy pracujący z chińską infrastrukturą AI

Overview:

Cambricon MLUs (Machine Learning jednostki) to specjalizowane układy AI optymalizowane do wnioskowania i szkolenia w scenariuszach na krawędzi i w centrach danych.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest przeznaczone dla developerów na poziomie średnim, którzy chcą budować i wdrażać modele AI za pomocą frameworka BANGPy i SDK Neuware na sprzęcie Cambricon MLU.

Po zakończeniu tego szkolenia uczestnicy będą mogli:

• Konfigurować i ustawiać środowiska rozwojowe BANGPy i Neuware.
• Rozwijać i optymalizować modele oparte na Python i C++ dla Cambricon MLU.
• Wdrażać modele na urządzeniach na krawędzi i w centrum danych z uruchomionym środowiskiem wykonawczym Neuware.
• Integrować przepływy pracy ML z funkcjami przyspieszenia specyficznymi dla MLU.

Format kursu

• Interaktywna wykład i dyskusja.
• Praktyczne używanie BANGPy i Neuware do rozwoju i wdrażania.
• Zawarte ćwiczenia skupione na optymalizacji, integracji i testowaniu.

Opcje dostosowywania kursu

• Aby zlecić dostosowane szkolenie dla tego kursu na podstawie modelu urządzenia Cambricon lub przypadku użycia, prosimy o kontakt z nami w celu ustalenia.

Course Outline:

Wprowadzenie do Cambricon i architektury MLU

• Przegląd portfela układów AI Cambricon
• Architektura MLU i pipeline instrukcji
• Obsługiwane typy modeli i przypadki użycia

Instalowanie narzędzi rozwojowych

• Instalowanie BANGPy i SDK Neuware
• Konfiguracja środowiska dla Python i C++
• Kompatybilność modeli i przetwarzanie przedinstancjonowania

Rozwijanie modeli z użyciem BANGPy

• Struktura i zarządzanie kształtem tensorów
• Budowa grafu obliczeń
• Wsparcie dla niestandardowych operacji w BANGPy

Wdrażanie z użyciem środowiska uruchomieniowego Neuware

• Konwersja i ładowanie modeli
• Sterowanie wykonywaniem i wnioskowaniem
• Przypadek wdrażania na obrzeżach i w centrum danych

Optymalizacja wydajności

• Mapowanie pamięci i dostrajanie warstw
• Śledzenie wykonywania i profilowanie
• Pospolite wąskie gardła i naprawy

Integracja MLU z aplikacjami

• Używanie API Neuware do integracji z aplikacjami
• Wsparcie dla strumieniowego przetwarzania i wielu modeli
• Scenariusze wnioskowania hybrydowego CPU-MLU

Projekt od początku do końca i Use Case

• Laboratorium: Wdrażanie modelu wizji lub NLP
• Wnioskowanie na obrzeżach z integracją BANGPy
• Testowanie dokładności i przepływu

Podsumowanie i następne kroki