課程重點(diǎn)培養(yǎng)學(xué)員基于Hadoop架構(gòu)的大數(shù)據(jù)分析實(shí)操能力，從零開始學(xué)習(xí)Scala編程，掌握Spark，手把手帶練，3個(gè)月成為行業(yè)急需的大數(shù)據(jù)開發(fā)人才。講解案例包括但不限于金融大數(shù)據(jù)分析、氣象大數(shù)據(jù)分析、Web海量日志大數(shù)據(jù)分析、智慧高速大數(shù)據(jù)分析等。

　　第一章：大數(shù)據(jù)培訓(xùn)前沿應(yīng)用與Hadoop環(huán)境搭建

　　01、大數(shù)據(jù)行業(yè)前沿應(yīng)用與知識(shí)介紹；02、大數(shù)據(jù)分析師課程安排；03、Linux入門基礎(chǔ)；04、Hadoop入門介紹；

　　05、Hadoop單機(jī)環(huán)境搭建；06、Hadoop偽分布式集群搭建；07、Hadoop完全分布式集群搭建

　　第二章：Hadoop核心組建使用方法

　　01、分布式文件系統(tǒng)HDFS架構(gòu)原理及常用指令；02、HDFS編程入門；03、Hbase編程入門；04、分布式數(shù)據(jù)倉庫Hive架構(gòu)原理及HQL語法介紹；

　　05、分布式計(jì)算引擎MapReduce架構(gòu)原理及基本使用方法；06、資源調(diào)度器YARN基本原理；07、ETL工具Sqoop使用方法

　　第三章：分布式計(jì)算引擎Spark入門

　　01、Scala語法知識(shí)介紹 ；02、Spark架構(gòu)特點(diǎn)及基本原理；03、Spark入門及安裝部署方法；04、Spark Core介紹；

　　05、Spark SQL介紹與數(shù)據(jù)讀取、保存方法；06、Spark GraphX入門及基本使用方法 ；07、Spark GraphX圖計(jì)算算法案例。

　　第四章：Spark核心組件的使用方法

　　01、日志采集系統(tǒng)Flume和分布式消息隊(duì)列Kafka入門；02、流式計(jì)算框架Spark Streaming基本原理及使用方法；03、流式計(jì)算框架Structured Streaming基本原理及使用方法；

　　04、分布式算法庫Spark MlLib入門介紹；05、Spark ML與Spark MLLib；06、機(jī)器學(xué)習(xí)工作流。

　　第五章：Pyspark基礎(chǔ)知識(shí)

　　01、Spark數(shù)據(jù)結(jié)構(gòu)及編程語言接口；02、PySpark開發(fā)環(huán)境搭建；03、PySpark編程入門：Spark基本數(shù)據(jù)結(jié)構(gòu)；

　　04、PySpark編程入門：PySpark常用語句；05、Spark與分布式數(shù)據(jù)庫和分布式數(shù)據(jù)倉庫的集成方法；06、采用PySpark讀取分布式數(shù)據(jù)庫中數(shù)據(jù)；07、 PySpark數(shù)據(jù)清洗案例。

　　以上就是奇酷老師為大家分享的“商丘大數(shù)據(jù)分析培訓(xùn)”謝謝大家觀看，如果對(duì)大數(shù)據(jù)感興趣的話，想學(xué)大數(shù)據(jù)培訓(xùn)的，可以在線咨詢我們，我們將竭誠為你解答。