Course Code: bigdata_
Duration: 35 hours
Prerequisites:
  • 对数学有大体的了解
  • 对编程有大体的了解
  • 对数据库有大体的了解
Overview:

参与者完成此次培训后，将会对大数据及其相关技术、方法、工具有一个实际和真实的理解。

参与者将有机会通过动手练习将这些知识付诸实践。小组互动和讲师反馈是课堂的重要组成部分。

本课程首先介绍大数据的基本概念，然后讲解用于执行数据分析的编程语言和方法，最后我们会讨论可启用大数据存储、分布式处理及可扩展性的工具和基础架构。

    受众
  • 开发人员/程序员
  • IT顾问
  • 课程形式:
  • 部分讲座、部分讨论、实操、偶尔测评进度
Course Outline:

数据分析和大数据简介

  • 大数据何以称为“大”？
    • 速度（Velocity）、体量（Volume）、种类（Variety）、准确度（Veracity）（VVVV）
  • 对传统数据处理的限制
  • 分布式处理
  • 统计分析
  • 机器学习分析的类型
  • 数据可视化

用于数据分析的语言

  • R语言
    • 为什么R用于数据分析？
    • 数据处理、计算、图形显示
  • Python
    • 为什么Python用于数据分析？
    • 操作、处理、清理、运算数据

数据分析的方法

  • 统计分析
    • 时间序列分析
    • 用相关和回归模型预测
    • 推论统计（估算）
    • 大数据集中的描述性统计（例如：计算平均数）
  • 机器学习
    • 监督与无监督学习
    • 分类和聚类
    • 估算具体方法的成本
    • 过滤
  • 自然语言处理
    • 处理文本
    • 理解文本的含义
    • 自动生成文本
    • 情感分析/主题分析
  • 计算机视觉
    • 获取、处理、分析、理解图像
    • 重建、解读、理解3D场景
    • 使用图像数据做出决定

大数据基础架构

  • 数据存储
    • 关系数据库（SQL）
      • MySQL
      • Postgres
      • Oracle
    • 非关系数据库（NoSQL）
      • Cassandra
      • MongoDB
      • Neo4js
    • 了解细微差别
      • 分层数据库
      • 面向对象的数据库
      • 面向文档的数据库
      • 面向图形的数据库
      • 其他
  • 分布式处理
    • Hadoop
      • HDFS作为分布式文件系统
      • MapReduce用于分布式处理
    • Spark
      • 用于大规模数据处理的一体化内存集群计算框架
      • 结构化数据流（structured streaming）
      • Spark SQL
      • 机器学习库：MLlib
      • 使用GraphX进行图形处理
  • 可扩展性
    • 公共云
      • AWS、Google、阿里云等
    • 私有云
      • OpenStack、Cloud Foundry等
    • 自动可扩展性
  • 针对问题选择正确的解决方案
  • 大数据的未来
  • 结束语
Sites Published:

United Arab Emirates - A Practical Introduction to Data Analysis and Big Data

Qatar - A Practical Introduction to Data Analysis and Big Data

Egypt - A Practical Introduction to Data Analysis and Big Data

Saudi Arabia - A Practical Introduction to Data Analysis and Big Data

South Africa - A Practical Introduction to Data Analysis and Big Data

Brasil - A Practical Introduction to Data Analysis and Big Data

Canada - A Practical Introduction to Data Analysis and Big Data

中国 - 数据分析和大数据的实用介绍

香港 - A Practical Introduction to Data Analysis and Big Data

澳門 - A Practical Introduction to Data Analysis and Big Data

台灣 - A Practical Introduction to Data Analysis and Big Data

USA - A Practical Introduction to Data Analysis and Big Data

Österreich - A Practical Introduction to Data Analysis and Big Data

Schweiz - A Practical Introduction to Data Analysis and Big Data

Deutschland - A Practical Introduction to Data Analysis and Big Data

Czech Republic - A Practical Introduction to Data Analysis and Big Data

Denmark - A Practical Introduction to Data Analysis and Big Data

Estonia - A Practical Introduction to Data Analysis and Big Data

Finland - A Practical Introduction to Data Analysis and Big Data

Greece - A Practical Introduction to Data Analysis and Big Data

Magyarország - A Practical Introduction to Data Analysis and Big Data

Ireland - A Practical Introduction to Data Analysis and Big Data

Luxembourg - A Practical Introduction to Data Analysis and Big Data

Latvia - A Practical Introduction to Data Analysis and Big Data

España - Una introducción práctica al análisis de datos y Big Data

Italia - A Practical Introduction to Data Analysis and Big Data

Lithuania - A Practical Introduction to Data Analysis and Big Data

Nederland - A Practical Introduction to Data Analysis and Big Data

Norway - A Practical Introduction to Data Analysis and Big Data

Portugal - A Practical Introduction to Data Analysis and Big Data

România - A Practical Introduction to Data Analysis and Big Data

Sverige - A Practical Introduction to Data Analysis and Big Data

Türkiye - A Practical Introduction to Data Analysis and Big Data

Malta - A Practical Introduction to Data Analysis and Big Data

Belgique - A Practical Introduction to Data Analysis and Big Data

France - A Practical Introduction to Data Analysis and Big Data

日本 - A Practical Introduction to Data Analysis and Big Data

Australia - A Practical Introduction to Data Analysis and Big Data

Malaysia - A Practical Introduction to Data Analysis and Big Data

New Zealand - A Practical Introduction to Data Analysis and Big Data

Philippines - A Practical Introduction to Data Analysis and Big Data

Singapore - A Practical Introduction to Data Analysis and Big Data

Thailand - A Practical Introduction to Data Analysis and Big Data

Vietnam - A Practical Introduction to Data Analysis and Big Data

India - A Practical Introduction to Data Analysis and Big Data

Argentina - Una introducción práctica al análisis de datos y Big Data

Chile - Una introducción práctica al análisis de datos y Big Data

Costa Rica - Una introducción práctica al análisis de datos y Big Data

Ecuador - Una introducción práctica al análisis de datos y Big Data

Guatemala - Una introducción práctica al análisis de datos y Big Data

Colombia - Una introducción práctica al análisis de datos y Big Data

México - Una introducción práctica al análisis de datos y Big Data

Panama - Una introducción práctica al análisis de datos y Big Data

Peru - Una introducción práctica al análisis de datos y Big Data

Uruguay - Una introducción práctica al análisis de datos y Big Data

Venezuela - Una introducción práctica al análisis de datos y Big Data

Polska - A Practical Introduction to Data Analysis and Big Data

United Kingdom - A Practical Introduction to Data Analysis and Big Data

South Korea - A Practical Introduction to Data Analysis and Big Data

Pakistan - A Practical Introduction to Data Analysis and Big Data

Sri Lanka - A Practical Introduction to Data Analysis and Big Data

Bulgaria - A Practical Introduction to Data Analysis and Big Data

Bolivia - Una introducción práctica al análisis de datos y Big Data

Indonesia - A Practical Introduction to Data Analysis and Big Data

Kazakhstan - A Practical Introduction to Data Analysis and Big Data

Moldova - A Practical Introduction to Data Analysis and Big Data

Morocco - A Practical Introduction to Data Analysis and Big Data

Tunisia - A Practical Introduction to Data Analysis and Big Data

Kuwait - A Practical Introduction to Data Analysis and Big Data

Oman - A Practical Introduction to Data Analysis and Big Data

Slovakia - A Practical Introduction to Data Analysis and Big Data

Kenya - A Practical Introduction to Data Analysis and Big Data

Nigeria - A Practical Introduction to Data Analysis and Big Data

Botswana - A Practical Introduction to Data Analysis and Big Data

Slovenia - A Practical Introduction to Data Analysis and Big Data

Croatia - A Practical Introduction to Data Analysis and Big Data

Serbia - A Practical Introduction to Data Analysis and Big Data

Bhutan - A Practical Introduction to Data Analysis and Big Data

Nepal - A Practical Introduction to Data Analysis and Big Data

Uzbekistan - A Practical Introduction to Data Analysis and Big Data