所在位置:首頁 -- 技術培訓 -- 大數據培訓 -- Spark大數據處理與案例分析

SPARK大數據處理與案例分析


Spark模塊

課程主題

主要內容(內容可以根據學員的要求可以現場調整)

模塊一

Spark
生態介紹

¬ Mapreducestormspark模型的比較和使用場景介紹
¬ Spark產生背景
¬ Spark(內存計算框架)
¬ SparkSteaming(流式計算框架)
¬ Spark SQLad-hoc
¬ MllibMachineLearning
¬ GraphXbagel將被代)
¬ DlinkDB介紹
¬ SparkR介紹

 

模塊二

Spark
安裝部署

¬ Spark安裝簡介
¬ Spark的源碼編譯
¬ Spark Standalone安裝
¬ Spark應用程序部署工具spark-submit
¬ Spark的高可用性部署

 

模塊三

Spark
運行架構和解析

¬ Spark的運行架構
基本術語
運行架構
• Spark on Standalone運行過程
• Spark on YARN 運行過程
¬ Spark運行實例解析
• Spark on Standalone實例解析
• Spark on YARN實例解析

比較 StandaloneYARN模式下的優缺點

模塊四

Spark
scala編程

• Scala基本語法與高階語法

• Scala基本語法
• Scala開發環境搭建
• Scala開發Spark應用程序
使用java編程
使用scala編程
使用python編程

模塊五

Spark
編程模型和解析

¬ Spark的編程模型
• Spark編程模型解析
• RDD的特點、操作、依賴關系
• Spark應用程序的配置

Spark的架構

spark的容錯機制

數據的本地性

緩存策略介紹

寬依賴與窄依賴

 

模塊六

Spark 數據挖掘

¬ Mllib的介紹
¬ graphX核心原理
¬ table operatorgraph operator區別
¬ verticesedgestriplets介紹
¬ 構建一個graph
¬ SparkR原理
¬ SparkR實戰

 

模塊七

Spark Streaming原理和實踐

¬ Spark StreamingStrom的區別
¬ Kafka的部署
¬ KafkaSpark Streaming的整合
¬ Spark Streaming原理
• Spark流式處理架構
• DStream的特點
• Dstream的操作和RDD的區別

 帶狀態的transformation與無狀態transformation
• Spark Streaming的優化
¬ Spark Streaming實例

Streaming的容錯機制

streamingyarn模式下的注意事項

對于需結合第三方存儲機制的與流式處理方案
文本實例
網絡數據處理
• Kafka+Spark Streaming實現日志的實時分析案例

 

模塊八

Spark的優化

¬ 序列化優化——Kryo
¬ Spark參數優化實戰
¬ Spark 任務的均勻分布策略
¬ Partition key傾斜的解決方案
¬ Spark任務的監控
¬ GC的優化
¬ Spark Streaming吞吐量優化
¬ Spark RDD使用內存的優化策略
¬ Spark在使用中的感想分享

 

模塊九

Spark的數據源

¬ SparkHDFS的整合
¬ HDFS RDD原理和實現
¬ SparkHbase的整合
¬ SparkCassendera整合
¬ Hbase RDD的分區讀取
¬ Hbase RDD的原理和實現
¬ Spark parallelism RDD的工作機制

 

模塊十

Spark Streaming應用及案例分析

¬ Spark Streaming產生動機
¬  Spark Streaming程序設計
1)創建DStream
2)基于DStream進行流式處理
¬ Spark Streaming容錯與性能優化
1Spark Streaming容錯機制
2)如何對spark Streaming進行優化
¬  Spark Streaming案例分析
基于Spark Streaming的用戶標簽系統,內容包括項目背景,項目架構以及實施方法

 

模塊十一

典型項目
案例實戰

¬ 基于spark日志分析
¬ 個性化推薦系統:帶你揭開其神秘面紗
¬ 在線投放引擎
¬ 揭開淘寶點擊推薦系統的神秘面紗
¬ 淘寶數據服務架構實時計算平臺

 

 


中国比特币暴涨 广东快乐十跨度走势图 时时彩最聪明的玩法 四川快乐12今天推荐号 控极速时时计划 北京时时规律破解教程 2018年白姐正版资料图 时时万能缩水手机版 贵州快3计划 广东时时11选5结果走势图 香港开奖开码记录 重庆福利彩票开奖查询 云南时时几点开奖号码 黑龙江快乐十分号码分布图 河北十一员五开奖结果 内蒙古时时经典玩法 江西快三计划软件