Bezpieczne i przenośne wnioskowanie AI z Dockerem: od lokalnego do chmury

Prerequisites:

• Zrozumienie podstawowych pojęć dotyczących uczenia maszynowego
• Doświadczenie w programowaniu w Pythonie lub rozwoju backendowym
• Znajomość podstawowych pojęć dotyczących kontenerów

Grupa docelowa

• Programiści
• Inżynierowie backendowi
• Zespoły wdrażające usługi AI

Overview:

Docker to platforma konteneryzacyjna używana do tworzenia przenośnych, izolowanych i bezpiecznych środowisk wdrażania dla usług wnioskowania AI.

To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do profesjonalistów technicznych na poziomie początkującym i średniozaawansowanym, którzy chcą budować bezpieczne, przenośne mikrousługi wnioskowania AI, które mogą być konsekwentnie wdrażane na lokalnych maszynach, serwerach lub wirtualnych maszynach w chmurze.

Pod koniec warsztatów uczestnicy będą mogli:

• Budować lekkie kontenery wnioskowania do wdrożeń lokalnych i w chmurze.
• Zabezpieczać skonteneryzowane usługi AI przy użyciu najlepszych praktyk.
• Implementować przenośne przepływy pracy mikrousług dla spójnych środowisk.
• Wdrażać punkty końcowe wnioskowania AI w różnych infrastrukturach.

Format kursu

• Wykłady połączone z praktycznymi demonstracjami.
• Ćwiczenia praktyczne wzmacniające techniki wdrażania i bezpieczeństwa.
• Praktyka w laboratorium na żywo w celu budowania i uruchamiania przenośnych usług wnioskowania.

Opcje dostosowania kursu

• Aby dostosować to szkolenie do Twojej infrastruktury lub stosu narzędziowego AI, skontaktuj się z nami w celu uzgodnienia.

Course Outline:

Wprowadzenie do wnioskowania AI z Dockerem

• Zrozumienie obciążeń związanych z wnioskowaniem AI
• Korzyści płynące z konteneryzowanego wnioskowania
• Scenariusze wdrażania i ograniczenia

Budowanie kontenerów wnioskowania AI

• Wybór obrazów bazowych i frameworków
• Pakowanie wstępnie wytrenowanych modeli
• Strukturyzowanie kodu wnioskowania pod kątem wykonania w kontenerze

Zabezpieczanie skonteneryzowanych usług AI

• Minimalizowanie powierzchni ataku kontenera
• Zarządzanie sekretami i wrażliwymi plikami
• Bezpieczne strategie udostępniania sieci i API

Techniki przenośnego wdrażania

• Optymalizowanie obrazów pod kątem przenośności
• Zapewnianie przewidywalnych środowisk uruchomieniowych
• Zarządzanie zależnościami między platformami

Lokalne wdrażanie i testowanie

• Uruchamianie usług lokalnie z Dockerem
• Debugowanie kontenerów wnioskowania
• Testowanie wydajności i niezawodności

Wdrażanie na serwerach i wirtualnych maszynach w chmurze

• Dostosowywanie kontenerów do środowisk zdalnych
• Konfigurowanie bezpiecznego dostępu do serwera
• Wdrażanie interfejsów API wnioskowania na wirtualnych maszynach w chmurze

Używanie Docker Compose do wielousługowych systemów AI

• Orchestracja wnioskowania z komponentami wspierającymi
• Zarządzanie zmiennymi środowiskowymi i konfiguracjami
• Skalowanie mikrousług za pomocą Compose

Monitorowanie i utrzymanie usług wnioskowania AI

• Podejścia do logowania i obserwowalności
• Wykrywanie awarii w potokach wnioskowania
• Aktualizowanie i wersjonowanie modeli w produkcji

Podsumowanie i kolejne kroki