Veilige en draagbare AI-inferentie met Docker: van lokaal naar cloud

Prerequisites:

• Een begrip van basisconcepten uit machine learning
• Ervaring met Python of backend-ontwikkeling
• Vertrouwdheid met basiscontainerconcepts

Doelgroep

• Ontwikkelaars
• Backend-ingenieurs
• Teams die AI-services implementeren

Overview:

Docker is een containerisatieplatform dat wordt gebruikt om draagbare, geïsoleerde en veilige implementatieomgevingen voor AI-inferentieservices te bouwen.

Deze instructiegerichte, live-training (online of ter plekke) is gericht op technisch specialisten met een beginners- tot middelvarende niveau die veilige, draagbare AI-inferentiemicroservices willen bouwen die consistent kunnen worden geïmplementeerd op lokale machines, servers of cloud-VM's.

Aan het einde van deze workshop zullen de deelnemers in staat zijn:

• Lichtgewicht inferentiecontainers voor lokale en cloudimplementatie te bouwen.
• Containergebaseerde AI-services veilig te maken met behulp van best-practice technieken.
• Draagbare microservice-workflows voor consistente omgevingen te implementeren.
• AI-inferentie-eindpunten over diverse infrastructuurplatforms te implementeren.

Format van het cursus

• Geleide lessen in combinatie met praktische demonstraties.
• Handson oefeningen om implementatie- en veiligheidstechnieken te versterken.
• Live-lab-praktijk voor het bouwen en uitvoeren van draagbare inferentieservices.

Aanpassingsmogelijkheden voor de cursus

• Om deze training aan uw infrastructuur of AI-hulpmiddelenstack aan te passen, neem dan contact met ons op om dit te regelen.

Course Outline:

Inleiding tot AI-inferentie met Docker

• Begrip van AI-inferentietaakverdeling
• Voordelen van containerisatie voor inferentie
• Implementatiescenario's en beperkingen

AI-inferentiecontainers bouwen

• Basisafbeeldingen en frameworks selecteren
• Voorafgetrainde modellen inpakken
• Inferencecode structureren voor containeruitvoering

Containergebaseerde AI-services beveiligen

• Het aanvalsoverzicht van containers minimaliseren
• Geheimen en gevoelige bestanden beheren
• Veilige netwerk- en API-expositiesstrategieën

Technieken voor draagbare implementatie

• Afbeeldingen optimaliseren voor draagbaarheid
• Voorspelbare runtime-omgevingen waarborgen
• Dependencies beheren over platforms

Lokale implementatie en testen

• Services lokaal uitvoeren met Docker
• Inferencecontainers debuggen
• Prestatie en betrouwbaarheid testen

Implementeren op servers en cloud-VM's

• Containers aanpassen voor externe omgevingen
• Veilige server-toegang configureren
• Inference-API's implementeren op cloud-VM's

Docker Compose gebruiken voor multiservice AI-systemen

• Inferentie orkestreren met ondersteunende componenten
• Omgevingsvariabelen en configuraties beheren
• Microservices schalen met Compose

Monitoring en onderhoud van AI-inferentieservices

• Aanpakken voor logging en observabiliteit
• Mislukkingen in inferentiepijplijnen detecteren
• Modellen in productie bijwerken en versieën

Samenvatting en volgende stappen