Python, Spark, and Hadoop for Big Data

• 具有 Spark 和 Hadoop 的经验
• Python 编程经验

观众

• 数据科学家
• 开发 人员

Python 是一种可扩展、灵活且广泛使用的编程语言，用于数据科学和机器学习。Spark 是一个用于查询、分析和转换大数据的数据处理引擎，而 Hadoop 是一个用于大规模数据存储和处理的软件库框架。

这种以讲师为主导的现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在现场实验室环境中实际实施。

课程定制选项

• 如需申请此课程的定制培训，请联系我们进行安排。

介绍

• Spark 和 Hadoop 功能和体系结构概述
• 了解大数据
• Python 编程基础

开始

• 设置 Python、Spark 和 Hadoop
• 了解 Python 中的数据结构
• 了解 PySpark API
• 了解 HDFS 和 MapReduce

将 Spark 和 Hadoop 与 Python 集成

• 在 Python 中实现 Spark RDD
• 使用MapReduce处理数据
• 在HDFS中创建分布式数据集

Machine Learning 使用 Spark MLlib

处理 Big Data 和 Spark Streaming

使用推荐系统

使用 Kafka、Sqoop、Kafka 和 Flume

使用 Spark 和 Hadoop 的 Apache Mahout

故障 排除

摘要和后续步骤