技術簡介
1.傳統的廣告投放方式無法實現廣告跟蹤和效果評估，也給廣告主帶來了不必要的資金浪費；互聯網技術的興起，讓傳統的廣告的投放方式從線下搬到了線上，大數據技術興起，讓不原本無法實現的廣告跟蹤和效果評估變成了現實；
2.精準廣告推送數據分析平臺是目前互聯網廣告投放的核心；
3.精準廣告推送數據分析平臺旨在利用大數據技術分析用戶數據特征，根據用戶特征進行精心的廣告推送服務，如AnglelaBaby喜歡的口紅，那么就給她推送口紅的廣告；
4.精準廣告推送數據分析項目主要是Spark Transformations、Action、Broadcast、Spark Streaming、MLLib的技術點的綜合案例實戰，通過該項目實戰讓你的面試、就業不在是黃粱一夢。
課程大綱
項目
模塊
具體內容
涉及技術
大數據Spark實戰項目：
精準廣告推送系統
DMP平臺
廣告行業現狀
廣告行業現狀分析
傳統廣告和互聯網廣告投放優劣PK
廣告行業知識介紹
互聯網廣告的程序化采買概念
DSP業務需求詳解
SSP詳解
AD Exchange詳解
RTB實時競價詳解
DSP平臺詳解
DMP平臺詳解
項目背景
項目背景介紹
DMP平臺建設的必要性分析
項目業務流程梳理
DMP業務流程詳解
項目技術架構分析
DMP技術架構設計分析
日志采集
日志采集方案設計分析
日志格式
日志格式詳解
項目數據采集
Flume自定義插件詳解
Flume自定義插件開發流程詳解及實際場景應用；
source、channel、sink的使用詳解及實戰經驗；
Flume HDFS sink深入剖析及實戰經驗；
數據存儲目錄結構設計；
Flume組件使用詳解
Flume采集日志到HDFS
日志存儲目錄設計
數據存儲技術選型
parquet選型
Paruqet存儲原理詳解
Parquet優勢分析
Parquet存儲優點詳解
Parquet實戰
日志文件轉Parquet文件實戰
離線業務
日志數據量分布統計
Spark SQL實戰
廣告投放效果地域分析
Spark Transformations各算子在各業務模型中的實戰應用；
Spark Action的實戰應用最佳實踐經驗；
Spark SQL在項目數據分析業務場景中的各類復雜應用，如
如參與競價數、競價成功數、競價成功率、ECPC、ECPM等。
廣告投放效果渠道分析
廣告投放效果終端分析
廣告投放效果媒體分析
實時業務
廣告日志到Kafka
使用Spark Streaming結合Kafka對業務指標進行實時統計分析，并將計算的結果數據存儲到Redis中
Kafka分區調優應用；
Kafka整合Spark Streaming的數據可靠性優化實戰；
Kafka整合Spark Streaming的吞吐量協調優化實戰；
Spark Streaming在復雜業務模型下的邏輯開發實戰；
Spark Streaming線上環境各類復雜異常處理經驗；
Spark Streaming線上環境各類監控、JVM優化經驗
媒體數據實時分析
渠道數據實時分析
用戶畫像
標簽體系建設
定制一套標簽體系
用戶上下文標簽
使用Spark Transformations、Action、Broadcast及外部爬蟲抓到的網絡數據進行處理分析將數據標簽化
統一用戶識別
使用Spark GraphX算法，對數據進行分析處理，識別出同一用戶跨多個設備的問題
基于地理位置的廣告投放
使用GEOHASH算法結合HBASE解決用戶的地理位置識別問題
用戶數據標簽聚合
使用Spark Transformations、Action將上下文標簽數據和統一用戶數據進行合并
HBase存儲用戶標簽
將合并的用戶標簽數據存儲到Hbase中，并根據日志動態擴列
用戶標簽數據衰減
將Hbase中的標簽數據按照日期自動衰減，形成當天最新的標簽
數據可視化
ElasticSearch
使用Echarts、ELK將Hbase中的數據做可視化的web平臺；
Echarts實際應用實戰技能；
ELK實際應用實戰技能；
Echarts
標簽可視化平臺建設
===============課程目錄===============
1.大數據實戰之精準廣告推送實戰—廣告形式介紹.avi
2.大數據實戰之精準廣告推送實戰—幾個思考.avi
3.大數據實戰之精準廣告推送實戰—互聯網廣告概念及表現形式.avi
4.大數據實戰之精準廣告推送實戰—廣告名詞概念.avi
5.大數據實戰之精準廣告推送實戰—DSP原理.avi
6.大數據實戰之精準廣告推送實戰—DSP流程.avi
7.大數據實戰之精準廣告推送實戰—DMP項目背景.avi
8.大數據實戰之精準廣告推送實戰—DMP數據處理技術架構.avi
9.大數據實戰之精準廣告推送實戰—DMP業務流程.avi
10.大數據實戰之精準廣告推送實戰—指標說明.avi
11.大數據實戰之精準廣告推送實戰—日志字段屬性說明.avi
12.大數據實戰之精準廣告推送實戰—項目Maven工程構建.avi
13.大數據實戰之精準廣告推送實戰—將日志轉換成Parquet格式.avi
14.大數據實戰之精準廣告推送實戰—Parquet文件分區操作.avi
15.大數據實戰之精準廣告推送實戰—Spark SQL操作Parquet–地域數據量分布統計.avi
16.大數據實戰之精準廣告推送實戰—Spark Core算子操作原始日志–地域數據量分布統計.avi
分享：
