教程名稱：
xa0 xa0 xa0xa0大數據Spark實戰項目 大數據實戰之精準廣告推送實戰 完全實戰化學習大數據開發
課程內容：
xa0 xa0 互聯網的興起將傳統的廣告投放方式從線下轉為了線上模式，但傳統的廣告投放方式根本無法實現對廣告的跟蹤和效果的反饋，廣告主無從得知投入和產出的效果。互聯網廣告投放的核心就是要精準的廣告推送數據分析平臺。以此能利用大數據分析出用戶的數據特征。根據用戶的數據特征達到更加精準的廣告推送，比如，范冰冰喜歡敷面膜，那么大數據就會分析出其用戶需求特征，推給范冰冰的就更多的是面膜的廣告。而像Spark Transformations、Action、Broadcast、Spark Streaming、MLLib中技術點就是精準廣告推送的綜合案例實戰。這些就會讓你的擇業不再是云里霧里。
課程目錄：
1.大數據實戰之精準廣告推送實戰—廣告形式介紹
2.大數據實戰之精準廣告推送實戰—幾個思考
3.大數據實戰之精準廣告推送實戰—互聯網廣告概念及表現形式
4.大數據實戰之精準廣告推送實戰—廣告名詞概念
5.大數據實戰之精準廣告推送實戰—DSP原理
6.大數據實戰之精準廣告推送實戰—DSP流程
7.大數據實戰之精準廣告推送實戰—DMP項目背景
8.大數據實戰之精準廣告推送實戰—DMP數據處理技術架構
9.大數據實戰之精準廣告推送實戰—DMP業務流程
10.大數據實戰之精準廣告推送實戰—指標說明
11.大數據實戰之精準廣告推送實戰—日志字段屬性說明
12.大數據實戰之精準廣告推送實戰—項目Maven工程構建
13.大數據實戰之精準廣告推送實戰—將日志轉換成Parquet格式
14.大數據實戰之精準廣告推送實戰—Parquet文件分區操作
15.大數據實戰之精準廣告推送實戰—Spark SQL操作Parquet–地域數據量分布統計
16.大數據實戰之精準廣告推送實戰—Spark Core算子操作原始日志–地域數據量分布統計
大數據Spark實戰項目：
精準廣告推送系統
DMP平臺
廣告行業現狀
廣告行業現狀分析
傳統廣告和互聯網廣告投放優劣PK
廣告行業知識介紹
互聯網廣告的程序化采買概念
DSP業務需求詳解
SSP詳解
AD Exchange詳解
RTB實時競價詳解
DSP平臺詳解
DMP平臺詳解
項目背景
項目背景介紹
DMP平臺建設的必要性分析
項目業務流程梳理
DMP業務流程詳解
項目技術架構分析
DMP技術架構設計分析
日志采集
日志采集方案設計分析
日志格式
日志格式詳解
項目數據采集
Flume自定義插件詳解
Flume自定義插件開發流程詳解及實際場景應用；
source、channel、sink的使用詳解及實戰經驗；
Flume HDFS sink深入剖析及實戰經驗；
數據存儲目錄結構設計；
Flume組件使用詳解
Flume采集日志到HDFS
日志存儲目錄設計
數據存儲技術選型
parquet選型
Paruqet存儲原理詳解
Parquet優勢分析
Parquet存儲優點詳解
Parquet實戰
日志文件轉Parquet文件實戰
離線業務
日志數據量分布統計
Spark SQL實戰
廣告投放效果地域分析
Spark Transformations各算子在各業務模型中的實戰應用；
Spark Action的實戰應用最佳實踐經驗；
Spark SQL在項目數據分析業務場景中的各類復雜應用，如
如參與競價數、競價成功數、競價成功率、ECPC、ECPM等。
廣告投放效果渠道分析
廣告投放效果終端分析
廣告投放效果媒體分析
實時業務
廣告日志到Kafka
使用Spark Streaming結合Kafka對業務指標進行實時統計分析，并將計算的結果數據存儲到Redis中
Kafka分區調優應用；
Kafka整合Spark Streaming的數據可靠性優化實戰；
Kafka整合Spark Streaming的吞吐量協調優化實戰；
Spark Streaming在復雜業務模型下的邏輯開發實戰；
Spark Streaming線上環境各類復雜異常處理經驗；
Spark Streaming線上環境各類監控、JVM優化經驗
媒體數據實時分析
渠道數據實時分析
用戶畫像
標簽體系建設
定制一套標簽體系
用戶上下文標簽
使用Spark Transformations、Action、Broadcast及外部爬蟲抓到的網絡數據進行處理分析將數據標簽化
統一用戶識別
使用Spark GraphX算法，對數據進行分析處理，識別出同一用戶跨多個設備的問題
基于地理位置的廣告投放
使用GEOHASH算法結合HBASE解決用戶的地理位置識別問題
用戶數據標簽聚合
使用Spark Transformations、Action將上下文標簽數據和統一用戶數據進行合并
HBase存儲用戶標簽
將合并的用戶標簽數據存儲到Hbase中，并根據日志動態擴列
用戶標簽數據衰減
將Hbase中的標簽數據按照日期自動衰減，形成當天最新的標簽
數據可視化
使用Echarts、ELK將Hbase中的數據做可視化的web平臺；
Echarts實際應用實戰技能；
ELK實際應用實戰技能；
