Hadoop數(shù)據(jù)分析與挖掘?qū)崙?zhàn) Spark實戰(zhàn)高端課程培訓方案

課程模塊

課程主題

主要內(nèi)容

案例和演示

模塊一

Hadoop組件詳解

1、Hadoop HDFS 基本結構

2、Hadoop HDFS 副本存放策略

3、Hadoop NameNode 詳解

4、HadoopSecondaryNameNode 詳解 

5、Hadoop DataNode 詳解

6、Hadoop JobTracker 詳解 

7、Hadoop TaskTracker 詳解

8、Yarn資源管理系統(tǒng)詳解

9、Resourcemanager詳解

10、NodeManager詳解

1、Hadoop Mapper類核心代碼

2、Hadoop Reduce類核心代碼

3、Hadoop 核心代碼

模塊二

數(shù)據(jù)分析的算法詳解

1、K-means算法詳解

2、線性回歸詳解

3、機器學習詳解

4、Canopy算法詳解

5、貝葉斯算法詳解

模塊三

Hive實戰(zhàn)(數(shù)據(jù)分析)

1、Hive

（1）Hive的負載均衡搭建 

（2）Hive的訪問方式 

（3）Hive的元數(shù)據(jù)存儲到Mysql 

（4）Hive的數(shù)據(jù)類型 

（5）Hive表的創(chuàng)建 

（6）Hive加載數(shù)據(jù) 

（7）Hive的CLI操作介紹 

2、hive數(shù)據(jù)定義 

（1）內(nèi)部表和外部表 

（2）表的分區(qū) 

（3）刪除表 

（4）修改表 

（5）查詢語句 

（6）where語句 

3、Hive高級查詢語句 

（1）group by操作 

（2）Join操作 

（3）Order by和Sort by 

（4）Union all 

（5）索引 

4、Hive的存儲類型和復合數(shù)據(jù)類型 

（1）TextFile 

（2）Sequence File 

（3）RCFile 

（4）Hive的自定輸入格式 

（5）Array 

（6）Map 

（7）Struct 

5、Hive的內(nèi)置函數(shù)和自定義UDF和UDAF實戰(zhàn) 

6、Hive的調(diào)優(yōu) 

（1）explain 

（2）隊列設置 

（3）Join優(yōu)化 

（4）本地模式和并行執(zhí)行 

（5）設置Mapper和Reducer的個數(shù) 

（6）JVM重用 

（7）索引 

（8）動態(tài)分區(qū)調(diào)整 

（9）推測執(zhí)行 

（10）Hive的debug調(diào)試 

7、hive的安全 

（1）Hive的hadoop安全的整合 

（2）使用Hive進行驗證 

（3）Hive的權限管理 

（4）分區(qū)級別的權限 

（5）自定授權 

8、Hive的案例實戰(zhàn) 

（1）nginx日志實戰(zhàn) 

（2）某公司的Hive項目 

1、nginx日志實戰(zhàn) 

2、某公司的Hive項目

模塊四

Mahout實戰(zhàn)(數(shù)據(jù)挖掘)

1、Mahout安裝測試
2、Mahout算法庫介紹
3、解析聚類算法
4、解析分類算法
6、協(xié)同過濾算法
7、聚類算法詳解
8、canopy算法
（1）mahout中canopy算法實現(xiàn)原理（2）mahout的canopy算法實戰(zhàn)
（3）Hadoop上面運行canopy算法
9、mean shift算法
（1）mean shift算法簡介
（2）mahout中mean shift算法實現(xiàn)原理
（3）mahout的mean shift算法實戰(zhàn)
（4）Hadoop上面運行mean shift算法
10、k-means算法
（1）k-means算法簡介
（2）mahout中k-means算法實現(xiàn)原理
（3）mahout的k-means算法案例實戰(zhàn)
（4）Hadoop上面運行k-means算法
11、分類算法
（1）貝葉斯算法簡介
（2）貝葉斯算法原理介紹
（3）貝葉斯算法在hadoop上面運行
(4)貝葉斯算法的案例實戰(zhàn)
12、Mahout推薦算法介紹
13、Taste的框架介紹
14、Mahout推薦器
（1）基于用戶的推薦器

（2）基于項目的推薦器
（3）Slope One 推薦策略
15、推薦系統(tǒng)實戰(zhàn)
（1）個性化推薦介紹
（2）推薦建模
（3）數(shù)據(jù)準備
（4）關聯(lián)分析
（5）代碼編寫

u 

模塊五

數(shù)據(jù)挖掘在電信的案例

1、基站數(shù)據(jù)分析

2、人流的動態(tài)分析

3、拉鏈算法的案例詳解

4、套餐的更改軌跡分析

5、客戶中心的數(shù)據(jù)情感分析和挖掘

6、用戶的通話記錄分析

7、套餐的營銷分析

8、分析流式的用戶和挖掘潛在的客戶

u 

模塊六

數(shù)據(jù)挖掘在銀行的案例

1、財務分析

2、客戶價值&風險定價

3、巴塞爾3 &信用風險

4、績效管理

5、客戶關系管理(CRM)

6、客戶訪問分析

7、流失路徑

8、購買路徑

9、欺詐路徑

10、多渠道營銷

11、欺詐

12、數(shù)據(jù)挖掘&原型設計

13、營銷歸因

14、投訴&銷售合規(guī)

15、情感分析

u

模 塊

培訓大綱

Spark

運行架構和解析

1、Spark的運行架構

2、基本術語

3、運行架構

4、Spark on Standalone運行過程

5、Spark on YARN 運行過程

6、Spark運行實例解析

7、Spark on Standalone實例解析

8、Spark on YARN實例解析

Spark

監(jiān)控和調(diào)優(yōu)

1、Spark的監(jiān)控

2、Spark調(diào)優(yōu)

     Spark

編程模型和解析

1、Spark的編程模型

2、Spark編程模型解析

3、RDD的特點、操作、依賴關系

4、Spark應用程序的配置

Spark

scala編程

1、Scala基本語法

2、Scala開發(fā)環(huán)境搭建

3、Scala開發(fā)Spark應用程序

Spark Streaming原理和實踐

1、Spark Streaming原理

2、Spark流式處理架構

3、DStream的特點

4、Dstream的操作和RDD的區(qū)別

5、Spark Streaming的優(yōu)化

6、Spark Streaming實例

7、文本實例

8、網(wǎng)絡數(shù)據(jù)處理

Spark SQL

原理和實踐

1、Spark SQL原理

2、Spark SQL的Catalyst優(yōu)化器

3、Spark SQL內(nèi)核

4、Spark SQL和Hive

5、Spark SQL的實例和編程

6、Spark SQL的實例操作demo

7、Spark SQL的編程

Spark

源碼研讀

1、Spark源碼研讀

2、Spark源碼下載和研讀環(huán)境搭建

3、Spark Core介紹

4、SparkContext

5、Executor

6、Deploy

7、RDD和Storage

8、Scheduler和Task

9、Spark Examples

Spark應用

案例實戰(zhàn)

1、基于spark日志分析

2、個性化推薦系統(tǒng)：帶你揭開其神秘面紗

3、在線投放引擎

4、揭開淘寶點擊推薦系統(tǒng)的神秘面紗

5、京東商城數(shù)據(jù)服務架構—實時計算平臺