Course Code: finetuningmm
Duration: 28 hours
Prerequisites:
  • Biegłość w programowaniu Python
  • Zrozumienie koncepcji głębokiego uczenia
  • Doświadczenie w dostrajaniu wstępnie wytrenowanych modeli

Publiczność

  • Badacze sztucznej inteligencji
  • Naukowcy zajmujący się danymi
  • Praktycy uczenia maszynowego
Overview:

Fine-Tuning Multimodal Models koncentruje się na zaawansowanych technikach dostosowywania modeli przetwarzających wiele typów danych, takich jak tekst, obrazy i filmy. Uczestnicy uzyskają wgląd w obsługę złożonych zestawów danych, optymalizację wydajności modelu i wdrażanie tych modeli do rzeczywistych zastosowań, takich jak wizualne odpowiadanie na pytania i generowanie treści.

To prowadzone przez instruktora szkolenie na żywo (na miejscu lub zdalnie) jest przeznaczone dla zaawansowanych profesjonalistów, którzy chcą opanować multimodalne dostrajanie modeli dla innowacyjnych rozwiązań AI.

Pod koniec tego szkolenia uczestnicy będą mogli

  • Zrozumieć architekturę modeli multimodalnych, takich jak CLIP i Flamingo.
  • Skutecznie przygotowywać i wstępnie przetwarzać multimodalne zestawy danych.
  • Dostroić modele multimodalne do konkretnych zadań.
  • Optymalizować modele pod kątem rzeczywistych zastosowań i wydajności.

Format kursu

  • Interaktywny wykład i dyskusja.
  • Wiele ćwiczeń i praktyki.
  • Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowania kursu

  • Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.
Course Outline:

Wprowadzenie do modeli multimodalnych

  • Przegląd multimodalnego uczenia maszynowego
  • Zastosowania modeli multimodalnych
  • Wyzwania związane z obsługą wielu typów danych

Architektury dla modeli multimodalnych

  • Badanie modeli takich jak CLIP, Flamingo i BLIP
  • Zrozumienie intermodalnych mechanizmów uwagi
  • Rozważania architektoniczne dotyczące skalowalności i wydajności

Przygotowanie multimodalnych zestawów danych

  • Gromadzenie danych i techniki adnotacji
  • Wstępne przetwarzanie tekstu, obrazów i materiałów wideo
  • Równoważenie zestawów danych dla zadań multimodalnych

Techniki dostrajania dla modeli multimodalnych

  • Konfigurowanie potoków szkoleniowych dla modeli multimodalnych
  • Zarządzanie pamięcią i ograniczeniami obliczeniowymi
  • Obsługa wyrównania między modalnościami

Zastosowania dostrojonych modeli multimodalnych

  • Odpowiadanie na pytania wizualne
  • Napisy do obrazów i filmów
  • Generowanie treści przy użyciu multimodalnych danych wejściowych

Optymalizacja i ocena wydajności

  • Metryki oceny dla zadań multimodalnych
  • Optymalizacja opóźnień i przepustowości na potrzeby produkcji
  • Zapewnienie solidności i spójności różnych modalności

Wdrażanie modeli multimodalnych

  • Pakowanie modeli do wdrożenia
  • Wnioskowanie Scalable na platformach chmurowych
  • Aplikacje i integracje w czasie rzeczywistym

Studia przypadków i praktyczne laboratoria

  • Dostrajanie CLIP do wyszukiwania obrazów na podstawie treści
  • Szkolenie multimodalnego chatbota z wykorzystaniem tekstu i wideo
  • Wdrażanie intermodalnych systemów wyszukiwania

Podsumowanie i kolejne kroki

Sites Published:

United Arab Emirates - Fine-Tuning Multimodal Models

Qatar - Fine-Tuning Multimodal Models

Egypt - Fine-Tuning Multimodal Models

Saudi Arabia - Fine-Tuning Multimodal Models

South Africa - Fine-Tuning Multimodal Models

Brasil - Fine-Tuning Multimodal Models

Canada - Fine-Tuning Multimodal Models

中国 - Fine-Tuning Multimodal Models

香港 - Fine-Tuning Multimodal Models

澳門 - Fine-Tuning Multimodal Models

台灣 - Fine-Tuning Multimodal Models

USA - Fine-Tuning Multimodal Models

Österreich - Fine-Tuning Multimodal Models

Schweiz - Fine-Tuning Multimodal Models

Deutschland - Fine-Tuning Multimodal Models

Czech Republic - Fine-Tuning Multimodal Models

Denmark - Fine-Tuning Multimodal Models

Estonia - Fine-Tuning Multimodal Models

Finland - Fine-Tuning Multimodal Models

Greece - Fine-Tuning Multimodal Models

Magyarország - Fine-Tuning Multimodal Models

Ireland - Fine-Tuning Multimodal Models

Luxembourg - Fine-Tuning Multimodal Models

Latvia - Fine-Tuning Multimodal Models

España - Fine-Tuning Multimodal Models

Italia - Fine-Tuning Multimodal Models

Lithuania - Fine-Tuning Multimodal Models

Nederland - Fine-Tuning Multimodal Models

Norway - Fine-Tuning Multimodal Models

Portugal - Fine-Tuning Multimodal Models

România - Fine-Tuning Multimodal Models

Sverige - Fine-Tuning Multimodal Models

Türkiye - Fine-Tuning Multimodal Models

Malta - Fine-Tuning Multimodal Models

Belgique - Fine-Tuning Multimodal Models

France - Fine-Tuning Multimodal Models

日本 - Fine-Tuning Multimodal Models

Australia - Fine-Tuning Multimodal Models

Malaysia - Fine-Tuning Multimodal Models

New Zealand - Fine-Tuning Multimodal Models

Philippines - Fine-Tuning Multimodal Models

Singapore - Fine-Tuning Multimodal Models

Thailand - Fine-Tuning Multimodal Models

Vietnam - Fine-Tuning Multimodal Models

India - Fine-Tuning Multimodal Models

Argentina - Fine-Tuning Multimodal Models

Chile - Fine-Tuning Multimodal Models

Costa Rica - Fine-Tuning Multimodal Models

Ecuador - Fine-Tuning Multimodal Models

Guatemala - Fine-Tuning Multimodal Models

Colombia - Fine-Tuning Multimodal Models

México - Fine-Tuning Multimodal Models

Panama - Fine-Tuning Multimodal Models

Peru - Fine-Tuning Multimodal Models

Uruguay - Fine-Tuning Multimodal Models

Venezuela - Fine-Tuning Multimodal Models

Polska - Fine-Tuning Multimodal Models

United Kingdom - Fine-Tuning Multimodal Models

South Korea - Fine-Tuning Multimodal Models

Pakistan - Fine-Tuning Multimodal Models

Sri Lanka - Fine-Tuning Multimodal Models

Bulgaria - Fine-Tuning Multimodal Models

Bolivia - Fine-Tuning Multimodal Models

Indonesia - Fine-Tuning Multimodal Models

Kazakhstan - Fine-Tuning Multimodal Models

Moldova - Fine-Tuning Multimodal Models

Morocco - Fine-Tuning Multimodal Models

Tunisia - Fine-Tuning Multimodal Models

Kuwait - Fine-Tuning Multimodal Models

Oman - Fine-Tuning Multimodal Models

Slovakia - Fine-Tuning Multimodal Models

Kenya - Fine-Tuning Multimodal Models

Nigeria - Fine-Tuning Multimodal Models

Botswana - Fine-Tuning Multimodal Models

Slovenia - Fine-Tuning Multimodal Models

Croatia - Fine-Tuning Multimodal Models

Serbia - Fine-Tuning Multimodal Models

Bhutan - Fine-Tuning Multimodal Models

Nepal - Fine-Tuning Multimodal Models

Uzbekistan - Fine-Tuning Multimodal Models