SMACK Stack for Data Science

• 了解数据处理系统

观众

• 数据科学家

SMACK 是数据平台软件的集合,即 Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, 和 Apache Kafka。 使用 SMACK 插槽,用户可以创建和规模数据处理平台。

这项由导师领导的直播培训(在线或在线)是针对数据科学家,他们希望使用SMACK stack来构建大数据解决方案的数据处理平台。

在本研讨会结束后,参与者将能够:

• 实施大数据处理的数据管道架构。
• 建立一个集群基础设施与(6)和(1)。
• 用 Spark 和 Scala 分析数据。
• 使用 Apache 管理未结构化数据(0)。

课程格式

• 互动讲座和讨论。
• 很多练习和练习。
• 在现场实验室环境中进行手动实施。

课程定制选项

• 要申请此课程的定制培训,请联系我们安排。

介绍

SMACK Stack 概述

• 什么是 Apache Spark？Apache Spark 功能
• 什么是 Apache Mesos？Apache Mesos 特性
• 什么是 Apache Akka？Apache Akka 功能
• 什么是 Apache Cassandra？Apache Cassandra 特性
• 什么是 Apache Kafka？Apache Kafka 特性

Scala 语言

• Scala 语法和结构
• Scala 控制流程

准备开发环境

• 安装和配置 SMACK 堆栈
• 安装和配置 Docker

阿帕奇 Akka

• 使用执行组件

阿帕奇 Cassandra

• 创建用于读取操作的数据库
• 使用备份和恢复

连接

• 创建流
• 构建 Akka 应用程序
• 使用 Cassandra 存储数据
• 查看连接器

Apache Kafka

• 使用集群
• 创建、发布和使用消息

Apache Mesos

• 分配资源
• 运行集群
• 使用 Apache Aurora 和 Docker
• 运行服务和作业
• 在 Mesos 上部署 Spark、Cassandra 和 Kafka

Apache Spark

• 管理数据流
• 使用 RDD 和数据帧
• 执行数据分析

故障 排除

• 处理服务故障和错误

总结和结论