Stratio: 使用PySpark的Rocket与Intelligence模块

Prerequisites:

• 具备Python编程经验
• 理解数据分析或大数据处理概念
• 具备Apache Spark和分布式计算的基础知识

目标受众

• 在Stratio平台上工作的数据工程师
• 使用Rocket和Intelligence模块的分析师或开发人员
• 在Stratio中转向PySpark工作流程的技术团队

Overview:

Stratio是一个以数据为中心的平台，集成了大数据、人工智能和治理功能，提供一体化解决方案。其Rocket和Intelligence模块支持在企业环境中快速进行数据探索、转换和高级分析。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们有效使用Stratio中的Rocket和Intelligence模块与PySpark，重点涵盖循环结构、用户自定义函数和高级数据逻辑。

培训结束后，参与者将能够：

• 在Stratio平台中导航并使用Rocket和Intelligence模块。
• 在数据摄取、转换和分析中应用PySpark。
• 使用循环和条件逻辑控制数据工作流和特征工程任务。
• 创建并管理用户自定义函数（UDFs），以在PySpark中实现可重用的数据操作。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

Course Outline:

Stratio平台简介

• Stratio架构与核心模块概述
• Rocket和Intelligence在数据生命周期中的作用
• 登录并导航Stratio用户界面

使用Rocket模块

• 数据摄取与管道创建
• 连接数据源并配置转换
• 在Rocket中使用PySpark进行预处理任务

Stratio用户的PySpark基础

• PySpark数据结构与操作
• 循环结构：for、while、if/else的使用
• 使用def编写自定义函数并应用

高级使用Rocket与PySpark

• 流式摄取与转换
• 在批处理和实时场景中使用循环与函数
• PySpark管道中的性能最佳实践

探索Intelligence模块

• 数据建模与分析功能概述
• 特征选择、转换与探索
• PySpark在自定义分析与洞察中的作用

构建高级分析工作流

• 在Intelligence中创建用户自定义函数（UDFs）
• 应用条件与循环实现数据逻辑
• 用例：分段、聚合与预测

部署与协作

• 保存、导出与重用工作流
• 在Stratio中与其他团队成员协作
• 审查输出并与下游工具集成

总结与后续步骤