Apache Spark MLlib

瞭解以下其中一項知識：

• 爪哇島
• Scala
• 蟒
• 火花R。

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

spark.mllib：數據類型、演算法和實用程式

• 數據類型
• 基本統計數據
  • 匯總統計數據
  • 相關性
  • 分層抽樣
  • 假設檢驗
  • 流顯著性檢驗
  • 隨機數據生成
• 分類和回歸
  • 線性模型（SVM、邏輯回歸、線性回歸）
  • 樸素貝葉斯
  • 決策樹
  • 樹的系綜（Random Forest 和 Gradient-Boosted Trees）
  • 等滲回歸
• 協同過濾
  • 交替最小二乘法 （ALS）
• 聚類
  • k 均值
  • 高斯混合物
  • 冪反覆運算集群 （PIC）
  • 潛在狄利克雷分配 （LDA）
  • 將 k 均值一分為二
  • 流式處理 K-Means
• 降維
  • 奇異值分解 （SVD）
  • 主成分分析 （PCA）
• 特徵提取和轉換
• 頻繁的模式挖掘
  • FP 增長
  • 關聯規則
  • 前綴跨度
• 評估指標
• PMML 模型導出
• 優化（開發者）
  • 隨機梯度下降
  • 記憶體受限 BFGS （L-BFGS）

spark.ml：ML 管道的高級 API

• 概述：估算器、轉換器和管道
• 提取、轉換和選擇特徵
• 分類和回歸
• 聚類
• 高級主題