Hadoop and Spark for Administrators

• 系統管理經驗
• 具有 Linux 命令行的經驗
• 對大數據概念的理解

觀眾

• 系統管理員
• 資料庫管理員

Apache Hadoop 是一个流行的数据处理框架,用于在许多计算机上处理大数据集。

由教练领导,现场培训(在线或在线)旨在系统管理员谁想要学习如何在他们的组织内设置,部署和管理 Hadoop 集群。

在本研讨会结束后,参与者将能够:

• 安装和配置 Apache Hadoop.
• 了解生态系统的四个主要组成部分:HDFS、MapReduce、YARN和0 Common。
• 使用分布式文件系统(HDFS)将一个集群扩展到数百或数千个节点。
• 设置 HDFS 作为存储发动机在前置 Spark 部署。
• 设置 Spark 以获取替代存储解决方案,如 Amazon S3 和 NoSQL 数据库系统,如 Redis, Elasticsearch, Couchbase, Aerospike 等。
• 执行行政任务,如提供,管理,监测和保证一个 Apache Hadoop 集群。

课程格式

• 互动讲座和讨论。
• 很多练习和练习。
• 在现场实验室环境中进行手动实施。

课程定制选项

• 要申请此课程的定制培训,请联系我们安排。

介紹

• 雲計算和大數據解決方案簡介
• Apache 概述 Hadoop 特性和體系結構

設定Hadoop

• 規劃 Hadoop 集群（本地、雲等）
• 選擇操作系統和 Hadoop 發行版
• 預配資源（硬體、網路等）
• 下載和安裝軟體
• 調整群集大小以實現靈活性

使用 HDFS

• 瞭解 Hadoop 分散式文件系統 （HDFS）
• HDFS命令參考概述
• 訪問 HDFS
• 在HDFS上執行基本檔操作
• 使用 S3 作為 HDFS 的補充

MapReduce概述

• 瞭解MapReduce框架中的數據流
• 映射、隨機播放、排序和減少
• 演示：計算最高工資

使用 YARN

• 瞭解 Hadoop 中的資源管理
• 使用 ResourceManager、NodeManager、Application Master
• 在 YARN 下調度作業
• 為大量節點和集群進行調度
• 演示：作業調度

將 Hadoop 與 Spark 集成

• 為 Spark 設置存儲（HDFS、Amazon、S3、NoSQL 等）
• 瞭解彈性分散式資料集 （RDD）
• 創建 RDD
• 實現 RDD 轉換
• 演示：實現電影標題的文本搜索程式

管理 Hadoop 集群

• 監控 Hadoop
• 保護 Hadoop 集群
• 添加和刪除節點
• 運行性能基準
• 調整 Hadoop 群集以優化性能
• 備份、恢復和業務連續性規劃
• 確保高可用性 （HA）

升級和遷移 Hadoop 集群

• 評估工作負載要求
• 升級 Hadoop
• 從本地遷移到雲，反之亦然
• 從故障中恢復

故障排除

總結和結論