Introduction to Large Language Models (LLMs) ( llm | 14 hours )

• 了解自然语言处理和深度学习
• 使用 Python 和 PyTorch 或 TensorFlow 的经验
• 基本程式设计经验

观众

• 开发人员
• NLP爱好者
• 数据科学家

Large Language Models (LLMs) 是深度神经网路模型，可以根据给定的输入或上下文生成自然语言文本。它们使用来自各种域和来源的大量文本数据进行训练，并且可以捕获自然语言的句法和语义模式。LLM 在各种自然语言任务上取得了令人印象深刻的成果，例如文本摘要、问答、文本生成等。

此讲师指导的现场培训（在线或现场）面向希望使用大型语言模型完成各种自然语言任务的初级到中级开发人员。

在本次培训结束时，参与者将能够：

• 设置包含常用 LLM 的开发环境。
• 创建基本 LLM 并在自订数据集上对其进行微调。
• 将 LLM 用于不同的自然语言任务，例如文本摘要、问答、文字生成等。
• 使用 TensorBoard、PyTorch Lightning 和 Hugging Face Datasets 等工具调试和评估 LLM。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在即时实验室环境中动手实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们进行安排。

介绍

• 什么是 Large Language Models (LLMs)？
• LLM 与传统 NLP 模型
• LLM 功能和架构概述
• LLM 的挑战和局限性

了解 LLM

• LLM的生命周期
• LLM 的工作原理
• LLM 的主要元件：编码器、解码器、注意力、嵌入等。

开始

• 设置开发环境
• 将 LLM 安装为开发工具，例如 Google Colab， Hugging Face

使用 LLM

• 探索可用的 LLM 选项
• 创建和使用 LLM
• 在自订数据集上微调 LLM

文本摘要

• 了解文本摘要的任务及其应用
• 使用 LLM 进行抽取式和抽象式文本摘要
• 使用 ROUGE、BLEU 等指标评估生成的摘要的品质。

问答

• 了解问答的任务及其应用
• 使用 LLM 进行开放域和封闭域问答
• 使用 F1、EM 等指标评估生成答案的准确性。

文本生成

• 了解文本生成的任务及其应用
• 使用 LLM 产生条件和无条件文本
• 使用 temperature、top-k、top-p 等参数控制生成文本的样式、语气和内容。

将 LLM 与其他框架和平台整合

• 将 LLM 与 PyTorch 或 TensorFlow 一起使用
• 将 LLM 与 Flask 或 Streamlit 一起使用
• 将 LLM 与 Google Cloud 或 AWS 结合使用

故障排除

• 了解 LLM 中的常见错误和错误
• 使用 TensorBoard 监控和可视化训练过程
• 使用 PyTorch Lightning 简化训练代码并提高性能
• 使用 Hugging Face 数据集载入和预处理数据

总结和后续步骤