Platform Engineering for Data-Intensive Applications

• 瞭解基本數據結構和演算法
• 具有 Java、Scala 或 Python 程式設計經驗
• 熟悉資料庫的基本概念和 SQL

觀眾

• 軟體開發人員
• 數據工程師
• 技術負責人

Platform Engineering 是將軟體開發、系統運營和架構相結合以創建大規模數據平台的學科。

這種以講師為主導的現場培訓（在線或遠端）面向希望為數據密集型應用程式構建和維護強大平臺的中級軟體開發人員和數據工程師。

在培訓結束時，參與者將能夠：

• 瞭解大數據平臺工程中的挑戰和解決方案。
• 設計和實施可擴展的數據處理管道。
• 有效利用 Hadoop 和Spark等大數據框架。
• 使用流數據開發即時分析解決方案。
• 使用 Apache Airflow 等工具編排複雜的數據工作流。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 如需申請本課程的定製培訓，請聯繫我們進行安排。

數據密集型的基礎 Platform Engineering

• 數據密集型應用程式簡介
• 大數據平臺工程的挑戰
• 數據處理體系結構概述

資料建模和 Management

• 可伸縮性數據建模原則
• 數據存儲選項和優化
• 在分散式環境中管理數據生命週期

Big Data 處理框架

• 大數據處理工具概述（Hadoop、Spark、Flink）
• 批處理與流處理
• 設置大數據處理管道

即時分析平臺

• 即時分析架構
• 流處理引擎（Kafka Streams，Apache Storm）
• 構建即時儀錶板和可視化效果

數據管道編排

• 使用 Apache Airflow 和其他方式進行工作流管理
• 自動化數據管道以提高效率
• 數據管道的監視和警報

平臺安全性與合規性

• 數據平臺的安全最佳實踐
• 確保數據隱私和法規遵從性
• 實施安全的數據訪問控制

性能調優和優化

• 優化數據輸送量和延遲的技術
• 數據密集型平臺的擴展策略
• 性能基準測試和監控

案例研究和最佳實踐

• 分析成功的數據平台實施
• 從行業領導者那裡吸取的經驗教訓
• 數據密集型平臺工程的新興趨勢

頂點專案

• 為數據密集型應用程式設計平台解決方案
• 實現數據處理管道的原型
• 評估平臺的性能和可擴充性

摘要和後續步驟