課程介紹《Spark 大數據平臺》        本課程內容全面涵蓋了Spark生態系統的概述及其編程模型，深入內核的研究，Spark on Yarn,Spark Streaming流式計算原理與實踐

Spark SQL,基于Spark的機器學習，圖計算，Techyon,Spark的多語言編程以及SparkR的原理和運行。面向研究Spark的學員，它是一門非常有學習指引意義的課程。

時間：共10周



——————-課程目錄——————-



第一周 Spark生態系統概述與編程模型    Spark生態系統概述

    回顧Hadoop MapReduce

    Spark運行模式

    RDD

    Spark運行時模型簡介

    緩存策略介紹

    transformation

    action

    lineage

    容錯處理

    寬依賴與窄依賴

    集群配置



第二周 深入Spark內核

    Spark術語解釋

    集群概覽

    核心組件

    數據本地性

    常用RDD

    任務調度

    DAGScheduler

    TaskScheduler

    Task細節

    廣播變量

    累加器

    性能調優



第三周 Spark on Yarn & Spark as a service

    Spark on Yarn原理

    Spark on Yarn實踐

    JobServer架構

    JobServer API介紹

    JobServer配置與部署



第四周 Spark Streaming原理與實踐

    DStream

    數據源

    無狀態transformation與有狀態transformation

    checkpoint

    容錯

    性能優化



第五周 Shark與Spark SQL

    Shark數據模型

    Shark數據類型

    Shark架構

    Shark部署

    緩存(分區)表

    SharkServer

    Shark與Spark結合

    Spark SQL架構

    Parquet支持

    DSL

    SQL on RDD

    Hive支持

    UDF

    JDBC Server



第六周 Machine Learning on Spark

    LinearRegression

    K-Means

    Collaborative Filtering



第七周 Spark多語言編程

    Python簡介

    PySpark API

    使用Python編寫Spark程序

    Spark with Java



第八周 圖計算GraphX

    現存的圖計算框架

    Table Operators

    Graph Operators

    GraphX設計



第九周 Tachyon原理與實踐

    Tachyon原理與架構

    Tachyon實踐



第十周 SparkR

    SparkR原理介紹

    安裝配置與運行