LLMs in Multimodal Applications

• 了解機器學習和神經網路
• 具有 Python 程式設計經驗
• 熟悉各種數據類型（文字、圖像、音訊）的數據預處理

觀眾

• 數據科學家
• 機器學習工程師
• 軟體開發人員
• 專注於人工智慧和自然語言處理的研究人員

文本、圖像和音訊等不同類型數據的集成代表了 LLM 應用程式的最前沿，可實現更全面和上下文感知的 AI 系統。

這種由講師指導的現場培訓（在線或現場）面向希望將 Large Language Models (LLMs) 應用於高級 AI 應用程式的多模態數據的中級數據科學家、機器學習工程師和軟體開發人員。

在培訓結束時，參與者將能夠：

• 瞭解使用LLM進行多模態學習的原理。
• 實現 LLM 以處理和分析文字、圖像和音訊數據。
• 開發利用多模態數據集成優勢的應用程式。
• 評估多模式 LLM 系統的性能。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 如需申請本課程的定製培訓，請聯繫我們進行安排。

多模態學習導論

• 多模態 AI 概述
• 多模態數據處理的挑戰
• 多模態 LLM 的好處

瞭解大型語言模型

• 最先進的 LLM 架構
• 使用多模態數據訓練 LLM
• 案例研究：成功的多模態 LLM 應用

處理多模態數據

• 文本、圖像和音訊的數據預處理技術
• 特徵提取和表示學習
• 在 LLM 中整合多模態數據

開發多模態 LLM 應用程式

• 設計用於多模態交互的用戶介面
• 虛擬助手和聊天機器人中的 LLM
• 使用 LLM 建立身臨其境的體驗

評估和優化多式聯運系統

• 多模態 LLM 的性能指標
• 優化策略，提高準確性和效率
• 解決多式聯運系統中的偏見和公平性

動手實驗室：構建多模態 LLM 專案

• 設置多模態數據集
• 為特定用例實施多模態 LLM
• 測試和完善系統

摘要和後續步驟