Python, Spark, and Hadoop for Big Data

• 具有 Spark 和 Hadoop 的經驗
• Python 程式設計經驗

觀眾

• 數據科學家
• 開發人員

Python 是一種可擴展、靈活且廣泛使用的程式設計語言，用於數據科學和機器學習。Spark 是一個用於查詢、分析和轉換大數據的數據處理引擎，而 Hadoop 是一個用於大規模數據存儲和處理的軟體庫框架。

這種以講師為主導的現場培訓（現場或遠端）針對希望使用和集成Spark，Hadoop和Python以處理，分析和轉換大型複雜數據集的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 瞭解 Spark 和 Hadoop 的功能、核心元件和架構。
• 瞭解如何集成 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 構建類似於 Netflix、YouTube、Amazon、Spotify 和 Google 的協作過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中實際實施。

課程定製選項

• 如需申請此課程的定製培訓，請聯繫我們進行安排。

介紹

• Spark 和 Hadoop 功能和體系結構概述
• 了解大數據
• Python 程式設計基礎

開始

• 設置 Python、Spark 和 Hadoop
• 瞭解 Python 中的數據結構
• 瞭解 PySpark API
• 瞭解 HDFS 和 MapReduce

將 Spark 和 Hadoop 與 Python 集成

• 在 Python 中實現Spark RDD
• 使用MapReduce處理數據
• 在HDFS中創建分散式數據集

Machine Learning 使用 Spark MLlib

處理 Big Data 和 Spark Streaming

使用推薦系統

使用 Kafka、Sqoop、Kafka 和 Flume

使用 Spark 和 Hadoop 的 Apache Mahout

故障排除

摘要和後續步驟