煉數(shù)成金 Spark大數(shù)據(jù)分析平臺 8課
spark介紹：
2015年， Spark只用了一年多時間，已實(shí)現(xiàn)開源到火爆 ，亦逐漸顯露出與通用大數(shù)據(jù)平臺Hadoop的分庭抗?fàn)幹畡荨Ｔ谶@個大背景下，在大數(shù)據(jù)領(lǐng)域時代，誰將是獨(dú)領(lǐng)風(fēng)騷?Spark無疑是最大的競爭者，無論是 2015 Spark技術(shù)峰會 ，還是國內(nèi)的大數(shù)據(jù)大會，可以看到中國力量正在崛起，Spark最大的集群來自騰訊——8000個節(jié)點(diǎn)，單個Job最大分別是阿里巴巴和Databricks——1PB，震撼人心!同時，截止2015年6月，Spark的Contributor比2014年漲了3倍，達(dá)到730人;總代碼行數(shù)也比2014年漲了2倍多，達(dá)到40萬行，不但大量的互聯(lián)網(wǎng)企業(yè)已經(jīng)在使用或者正準(zhǔn)備使用Spark，而且大量的電信、金融、證券和傳統(tǒng)企業(yè)已經(jīng)開始引入了Spark。
授課對象：
有Java開發(fā)經(jīng)驗(yàn)或Scala開發(fā)經(jīng)驗(yàn)，最好了解Hadoop,Hive等使用經(jīng)驗(yàn)。課程對于Spark初學(xué)者，Spark開發(fā)人員及Spark運(yùn)維人員都具有比較大的學(xué)習(xí)價值。
收獲預(yù)期：
深入理解Spark的運(yùn)行原理
學(xué)會搭建Spark,hadoop集群環(huán)境
完全掌握Spark編程基礎(chǔ)，了解Spark運(yùn)維的基礎(chǔ)知識
完成大數(shù)據(jù)入門，可逐漸轉(zhuǎn)崗大數(shù)據(jù)相關(guān)職位。
Spark版本：Spark1.4
準(zhǔn)備環(huán)境：
CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive，建議三臺虛擬機(jī)。
然而作為一個高速發(fā)展中的開源項(xiàng)目，其部署過程中存在的門檻和挑戰(zhàn)亦不可謂不大,本課程將主要介紹Spark1.4.0，引領(lǐng)大家進(jìn)入大數(shù)據(jù)Spark入門。
課程目錄：
1、Spark生態(tài)和安裝部署
什么是Spark
Spark有什么
安裝部署
Spark安裝簡介
Spark的源碼編譯
Spark Standalone安裝
Spark Standalone HA安裝
Spark工具
Spark交互式工具spark-shell
Spark應(yīng)用程序部署工具spark-submit
2、Spark編程模型和解析
Spark的編程模型
RDD的特點(diǎn)、操作、依賴關(guān)系
緩存策略
廣播變量和累加器
Spark編程環(huán)境搭建
Spark編程實(shí)例
3、Spark運(yùn)行架構(gòu)和解析
Spark的運(yùn)行架構(gòu)
基本術(shù)語
運(yùn)行架構(gòu)(DAGScheduler、TaskSeduler、Task、容錯性、推測機(jī)制、數(shù)據(jù)本地性)
Spark on Standalone運(yùn)行過程
Spark on YARN 運(yùn)行過程
Spark實(shí)例演示
Spark on Standalone實(shí)例演示
Spark on YARN實(shí)例演示
4、不得不說的hive
hive的運(yùn)行架構(gòu)
hive的安裝
hive的實(shí)例演示
shark的簡介
5、SparkSQL原理和實(shí)踐
Spark的運(yùn)行架構(gòu)
Catalyst
sqlontext
hiveContext
ThriftServer和CLI
ThriftServer
CLI
SparkSQL的實(shí)例演示和編程
spark-shell實(shí)例演示
spark-sql實(shí)例演示
SparkSQL的編程
6、SparkStreaming原理和實(shí)踐
SparkStreaming原理
SparkStreaming的原理
SparkStreaming的運(yùn)行方式
DStream的特點(diǎn)和操作
SparkStreaming實(shí)例演示
網(wǎng)絡(luò)數(shù)據(jù)演示
文本實(shí)例演示
Window操作演示
7、MLlib入門
什么是機(jī)器學(xué)習(xí)
MLlib的架構(gòu)
Mllib實(shí)例演示
聚類算法演示
推薦系統(tǒng)演示
8、GraphX入門
圖論基礎(chǔ)
GraphX的架構(gòu)
GraphX實(shí)例演示
圖的基本操作
PageRank演示
