Deploying and Optimizing LLMs with Ollama

• 具备机器学习和人工智慧模型的基本经验
• 熟悉命令列介面和脚本编写
• 了解部署环境（本地、边缘、云端）

目标受众

• 最佳化本地和云端人工智慧部署的AI工程师
• 部署和微调大型语言模型（LLM）的机器学习从业者
• DevOps 管理人工智慧模型整合的专业人员

Ollama 提供了一种高效的方式，可在本地或生产环境中部署和运行大型语言模型（LLMs），并提供对性能、成本和安全的控制。

这是一个由讲师指导的实时培训（线上或现场），适合希望使用 Ollama 来部署、优化和整合 LLMs 的中级专业人士。

在培训结束时，参与者将能够：

• 使用 Ollama 设置和部署 LLMs。
• 优化 AI 模型的性能和效率。
• 利用 GPU 加速来提升推理速度。
• 将 Ollama 整合到工作流程和应用程式中。
• 监控和维护 AI 模型的长期性能。

课程形式

• 互动式讲座与讨论。
• 大量练习与实作。
• 在实时实验室环境中进行动手实作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

Ollama 大型语言模型部署入门

• Ollama 功能概述
• 本地 AI 模型部署的优势
• 与云端 AI 托管解决方案的比较

部署环境设置

• 安装 Ollama 及所需依赖项
• 配置硬体与 GPU 加速
• Docker 化 Ollama 以实现可扩展部署

使用 Ollama 部署大型语言模型

• 载入与管理 AI 模型
• 部署 Llama 3、DeepSeek、Mistral 及其他模型
• 创建 API 与端点以存取 AI 模型

优化大型语言模型性能

• 微调模型以提高效率
• 降低延迟并改善回应时间
• 管理记忆体与资源分配

将 Ollama 整合至 AI 工作流程

• 将 Ollama 连接至应用程式与服务
• 自动化 AI 驱动的流程
• 在边缘运算环境中使用 Ollama

监控与维护

• 追踪性能并除错问题
• 更新与管理 AI 模型
• 确保 AI 部署的安全性与合规性

扩展 AI 模型部署

• 处理高工作负载的最佳实践
• 为企业用例扩展 Ollama
• 本地 AI 模型部署的未来发展

总结与下一步