Introduction to Large Language Models (LLMs)

• 瞭解自然語言處理和深度學習
• 使用 Python 和 PyTorch 或 TensorFlow 的經驗
• 基本程式設計經驗

觀眾

• 開發人員
• NLP愛好者
• 數據科學家

Large Language Models (LLMs) 是深度神經網路模型，可以根據給定的輸入或上下文生成自然語言文本。它們使用來自各種域和來源的大量文本數據進行訓練，並且可以捕獲自然語言的句法和語義模式。LLM 在各種自然語言任務上取得了令人印象深刻的成果，例如文本摘要、問答、文本生成等。

此講師指導的現場培訓（在線或現場）面向希望使用大型語言模型完成各種自然語言任務的初級到中級開發人員。

在本次培訓結束時，參與者將能夠：

• 設置包含常用 LLM 的開發環境。
• 創建基本 LLM 並在自訂數據集上對其進行微調。
• 將 LLM 用於不同的自然語言任務，例如文本摘要、問答、文字生成等。
• 使用 TensorBoard、PyTorch Lightning 和 Hugging Face Datasets 等工具調試和評估 LLM。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在即時實驗室環境中動手實施。

課程自定義選項

• 要申請本課程的定製培訓，請聯繫我們進行安排。

介紹

• 什麼是 Large Language Models (LLMs)？
• LLM 與傳統 NLP 模型
• LLM 功能和架構概述
• LLM 的挑戰和局限性

瞭解 LLM

• LLM的生命週期
• LLM 的工作原理
• LLM 的主要元件：編碼器、解碼器、注意力、嵌入等。

開始

• 設置開發環境
• 將 LLM 安裝為開發工具，例如 Google Colab， Hugging Face

使用 LLM

• 探索可用的 LLM 選項
• 創建和使用 LLM
• 在自訂數據集上微調 LLM

文本摘要

• 瞭解文本摘要的任務及其應用
• 使用 LLM 進行抽取式和抽象式文本摘要
• 使用 ROUGE、BLEU 等指標評估生成的摘要的品質。

問答

• 瞭解問答的任務及其應用
• 使用 LLM 進行開放域和封閉域問答
• 使用 F1、EM 等指標評估生成答案的準確性。

文本生成

• 瞭解文本生成的任務及其應用
• 使用 LLM 產生條件和無條件文本
• 使用 temperature、top-k、top-p 等參數控制生成文本的樣式、語氣和內容。

將 LLM 與其他框架和平臺整合

• 將 LLM 與 PyTorch 或 TensorFlow 一起使用
• 將 LLM 與 Flask 或 Streamlit 一起使用
• 將 LLM 與 Google Cloud 或 AWS 結合使用

故障排除

• 瞭解 LLM 中的常見錯誤和錯誤
• 使用 TensorBoard 監控和可視化訓練過程
• 使用 PyTorch Lightning 簡化訓練代碼並提高性能
• 使用 Hugging Face 數據集載入和預處理數據

總結和後續步驟