文章整理：加米谷大數(shù)據(jù)
近年來，隨著大數(shù)據(jù)與人工智能相關(guān)技術(shù)的迅速發(fā)展，新技術(shù)逐步在全社會各行各業(yè)得到應(yīng)用。銀行業(yè)作為一個高度信息化的行業(yè)，首當(dāng)其沖面臨著互聯(lián)網(wǎng)新技術(shù)應(yīng)用的挑戰(zhàn)。民生銀行在 2013 年開始布局分布式、大數(shù)據(jù)及人工智能技術(shù)等領(lǐng)域，在全行鳳凰計劃的牽頭下，逐步的將新技術(shù)與我行發(fā)展戰(zhàn)略業(yè)務(wù)實施策略進(jìn)行了深度融合，為金融科技銀行的發(fā)展奠定了扎實的基礎(chǔ)。
一、大數(shù)據(jù)簡介
大數(shù)據(jù)起源于互聯(lián)網(wǎng)，在 2003 年左右由 google 發(fā)布 GFS 和 MapReduce 論文為節(jié)點拉開了新技術(shù)應(yīng)用的序幕，介紹了一種利用普通 PC 服務(wù)器構(gòu)建大規(guī)模分布式系統(tǒng)，來解決海量數(shù)據(jù)的存儲和計算問題。在此論文基礎(chǔ)上發(fā)展出來的 Hadoop 開源體系逐步成為海量數(shù)據(jù)處理的一種通用技術(shù)框架。2008 年左右 Hadoop 技術(shù)被廣泛的使用在各個互聯(lián)網(wǎng)企業(yè)中，極大的推進(jìn) Hadoop 技術(shù)體系的成熟，隨著早期 Single Point of Failure 問題被解決，在 MAP-REDUCE 兩階段的計算模式上，誕生了更豐富的 Spark、Flink 等計算框架。2013 年左右批量數(shù)據(jù)的計算模式逐步成熟，在需求的推動下互聯(lián)網(wǎng)開始進(jìn)一步的攻堅實時數(shù)據(jù)計算領(lǐng)域。同年部分銀行開始嘗試引入 Hadoop 大數(shù)據(jù)技術(shù)。民生銀行作為銀行業(yè)第一批，在 2013 年從互聯(lián)網(wǎng)引入了大數(shù)據(jù)專業(yè)才人，啟動了 Hadoop 大數(shù)據(jù)體系化的建設(shè)。
新技術(shù)的應(yīng)用首要是解決問題，提高數(shù)據(jù)使用的效率，降低數(shù)據(jù)使用成本，最終推動業(yè)務(wù)數(shù)字化、智能化轉(zhuǎn)型。在大數(shù)據(jù)體系化規(guī)劃下，以服務(wù)用戶為目標(biāo)，以解決問題為抓手逐步推動大數(shù)據(jù)技術(shù)落地。民生銀行大數(shù)據(jù)整體規(guī)劃如下圖：
圖 1、大數(shù)據(jù)平臺體系規(guī)劃
在整個規(guī)劃的指導(dǎo)下，按照不同階段的主力需求，民生銀行大數(shù)據(jù)建設(shè)可以簡單分為三個階段：
第一個階段是面向客戶的在線存儲查詢階段：
銀行有很多面向客戶的數(shù)據(jù)，數(shù)據(jù)積累非常快也非常多，以流水?dāng)?shù)據(jù)為例，為了保證系統(tǒng)服務(wù)質(zhì)量，通常是縮短可查詢的周期，依托大數(shù)據(jù)的海量數(shù)據(jù)存儲能力，基于分布式體系構(gòu)建了歷史數(shù)據(jù)管理平臺來滿足業(yè)務(wù)場景中海量數(shù)據(jù)的存儲和查詢服務(wù)需求。
第二個階段是離線的批量數(shù)據(jù)計算及智能數(shù)據(jù)分析階段：
在 2015 年全面啟動鳳凰計劃建設(shè)后，各領(lǐng)域系統(tǒng)性的梳理了業(yè)務(wù)戰(zhàn)略和實施策略，配合鳳凰計劃中數(shù)字化戰(zhàn)略的落地，業(yè)務(wù)流程和模式中涌現(xiàn)出大量的批量數(shù)據(jù)加工計算和結(jié)果數(shù)據(jù)服務(wù)的應(yīng)用場景。在這個階段根據(jù)數(shù)據(jù)流轉(zhuǎn)周期和服務(wù)場景，結(jié)合整體的數(shù)據(jù)管控需求，建立了企業(yè)級數(shù)據(jù)開發(fā)模型，逐步推動和完善了全行統(tǒng)一的數(shù)據(jù)服務(wù)中臺，先后為數(shù)十個業(yè)務(wù)場景提供數(shù)據(jù)支持。同時隨著數(shù)據(jù)中臺的成熟，原始數(shù)據(jù)的積累，基于數(shù)據(jù)的機(jī)器學(xué)習(xí)人工智能分析等場景逐步涌現(xiàn)，為了降低新技術(shù)的使用門檻，快速迭代場景下的機(jī)器學(xué)習(xí)算法模型，在這個階段同步建設(shè)了可視化的機(jī)器學(xué)習(xí)平臺，對接數(shù)據(jù)中臺，為個性化推薦、風(fēng)險預(yù)警及運(yùn)營多個領(lǐng)域內(nèi)的細(xì)分場景提供服務(wù)能力輸出。
第三個階段是全面推動在線實時數(shù)據(jù)計算及分析階段：
隨著批量數(shù)據(jù)體系的成熟，業(yè)務(wù)場景對實時數(shù)據(jù)的需求迅速涌現(xiàn)，我行科技啟動了全面的實時數(shù)據(jù)體系建設(shè)，對實時風(fēng)控和實時事件驅(qū)動的營銷和運(yùn)營形成了全面的支撐。
通過三個階段，在支撐業(yè)務(wù)應(yīng)用場景發(fā)展的同時，目前平臺層面已初步完成如下幾大平臺建設(shè)：
- 數(shù)據(jù)采集分析平臺
- Hadoop 數(shù)據(jù)加工整合平臺
- 可視化機(jī)器學(xué)習(xí)平臺
- 實時推薦引擎
- 數(shù)據(jù)開放平臺
圖 2、大數(shù)據(jù)主要平臺視圖
在數(shù)據(jù)采集層通過行為數(shù)據(jù)平臺和外部數(shù)據(jù)平臺，豐富了整個數(shù)據(jù)體系。通過數(shù)據(jù)整合平臺（DC），打通以用戶為中心的全維度的數(shù)據(jù)視圖，為后續(xù)的機(jī)器學(xué)習(xí)和人工智能應(yīng)用提供了可行的數(shù)據(jù)基礎(chǔ)，通過可視化的機(jī)器學(xué)習(xí)平臺完成數(shù)據(jù)與算法的結(jié)合，由數(shù)據(jù)服務(wù)層統(tǒng)一管控輸出。
目前隨著大數(shù)據(jù)多個平臺的建設(shè)，為我行多個戰(zhàn)略級項目提供了全面的底層數(shù)據(jù)和模型能力輸出，包括支持了鳳凰計劃項目指南針預(yù)警項目、數(shù)據(jù)化平臺型授信決策變革項目、運(yùn)營風(fēng)險監(jiān)控體系項目、新一代零售信貸體系、村鎮(zhèn)銀行等多個項目的建設(shè)。
二、數(shù)據(jù)采集平臺
背景及目標(biāo)
銀行在過去的信息化建設(shè)中，更多的注重是交易數(shù)據(jù)的積累，對用戶的使用偏好、瀏覽點擊行為、停留時間等行為層面的數(shù)據(jù)較少涉及。隨著大數(shù)據(jù)的發(fā)展，通過對用戶數(shù)據(jù)的收集，整合，分析，挖掘，能夠很好的對用戶是誰，用戶從哪來，要到哪里去等問題進(jìn)行定義和解析。在交易數(shù)據(jù)的基礎(chǔ)上，對用戶行為數(shù)據(jù)和外部數(shù)據(jù)進(jìn)行補(bǔ)充建設(shè)，有了這些數(shù)據(jù)，首先可以在我行的 App、網(wǎng)站以及 ATM 等與用戶密切相關(guān)的場景里，提供更貼心，更優(yōu)質(zhì)的服務(wù)；其次對公司內(nèi)部各個金融業(yè)務(wù)產(chǎn)品用戶體驗優(yōu)化等方向上提供用戶數(shù)據(jù)反饋支撐。
行為數(shù)據(jù)采集及分析
圖 3、行為數(shù)據(jù)平臺
從行為數(shù)據(jù)的采集、數(shù)據(jù)分析整合及數(shù)據(jù)應(yīng)用三個方面統(tǒng)籌進(jìn)行規(guī)劃和設(shè)計，完成了行為數(shù)據(jù)平臺（GD）的建設(shè)。數(shù)據(jù)采集部分作為整個項目的數(shù)據(jù)來源層，完成對用戶產(chǎn)生的原始行為數(shù)據(jù)的收集和存儲。數(shù)據(jù)分析部分作為 GD 的中間層，對收集來的用戶行為數(shù)據(jù)進(jìn)行統(tǒng)計分析，大致可以得到三類數(shù)據(jù)，一類是反應(yīng)應(yīng)用整體運(yùn)營情況的指標(biāo)數(shù)據(jù)，第二類是反應(yīng)用戶行為軌跡、地理位置軌跡等的用戶生命周期數(shù)據(jù)，還有一類是標(biāo)識每一個微觀用戶的標(biāo)簽數(shù)據(jù)。數(shù)據(jù)應(yīng)用部分作為 GD 對外展示和服務(wù)層，一方面為實時推薦、精準(zhǔn)營銷等應(yīng)用提供數(shù)據(jù)支持，一方面通過后臺管理系統(tǒng)，供應(yīng)用運(yùn)營方進(jìn)行查看。
在數(shù)據(jù)采集層通過構(gòu)建采集客戶端 SDK，嵌入我行統(tǒng)一的移動開發(fā)框架 Firefly 以及前端開發(fā)框架 Apollo 中，結(jié)合無碼采集的技術(shù)能力運(yùn)用，使得我行所有基于同一框架開發(fā)的移動端 APP 和 Web 網(wǎng)站天然具備用戶行為數(shù)據(jù)采集和分析的能力。
行為數(shù)據(jù)平臺自 2015 年上線到現(xiàn)在為止，已經(jīng)接入了手機(jī)銀行、直銷銀行、樂收銀及客戶化運(yùn)營等民生銀行大部分 APP 應(yīng)用，對這些應(yīng)用中的用戶的行為數(shù)據(jù)進(jìn)行采集，2017 年又增加了對網(wǎng)頁端行為數(shù)據(jù)采集的功能。目前每天采集的數(shù)據(jù)超過千萬條，累積的行為數(shù)據(jù)已經(jīng)達(dá)到數(shù)十億條，通過大數(shù)據(jù)分析技術(shù)，對采集到的數(shù)據(jù)進(jìn)行了報表統(tǒng)計和分析，已得到五類的統(tǒng)計報表數(shù)據(jù)，包括應(yīng)用中用戶的新增數(shù)目、活躍數(shù)目、累計數(shù)目及用戶的設(shè)備分布、地域分布、操作系統(tǒng)、留存情況、用戶瀏覽時長統(tǒng)計、點擊事件統(tǒng)計及應(yīng)用的錯誤統(tǒng)計等，目前進(jìn)一步的在推動行為數(shù)據(jù)對營銷和風(fēng)控的實時數(shù)據(jù)補(bǔ)充。
外部數(shù)據(jù)采集及分析
圖 4、外部數(shù)據(jù)平臺
在啟動外部數(shù)據(jù)平臺建設(shè)之前，我行外部數(shù)據(jù)由各業(yè)務(wù)條線獨立規(guī)劃實施，各個技術(shù)團(tuán)隊建設(shè)了自己業(yè)務(wù)領(lǐng)域內(nèi)的外部數(shù)據(jù)鏈路及服務(wù)，形成了“煙囪”式的數(shù)據(jù)加工服務(wù)模式。隨著 Hadoop 大數(shù)據(jù)平臺的推進(jìn)，2016 年在統(tǒng)一外部數(shù)據(jù)管理及使用的思想下，啟動了外部數(shù)據(jù)平臺的建設(shè)，核心定位在于：負(fù)責(zé)所有外部數(shù)據(jù)的統(tǒng)一存儲、統(tǒng)一加工以及統(tǒng)一的查詢服務(wù)，要求支持海量的結(jié)構(gòu)化、非結(jié)構(gòu)化外部數(shù)據(jù)的引入分析能力。
外部數(shù)據(jù)平臺 OMDS 于 2016 年 9 月完成上線，目前已經(jīng)整合接入包括征信、工商、法院、公安、千里眼、百度、銀聯(lián)、世聯(lián)評估、行業(yè)分析、萬德財報等約二十種外部數(shù)據(jù)的統(tǒng)一管控和服務(wù)。
三、配置化的數(shù)據(jù)加工整合平臺
背景及目標(biāo)
Hadoop 數(shù)據(jù)整合平（DC）在行內(nèi)大數(shù)據(jù)體系中承擔(dān)著承上啟下的角色，匯集各渠道的數(shù)據(jù)到大數(shù)據(jù)平臺，經(jīng)過統(tǒng)一清洗、加工、治理，進(jìn)而向上游應(yīng)用提供服務(wù)，從后臺走到中臺，直接、快速地向應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)和大數(shù)據(jù)能力，發(fā)揮數(shù)據(jù)內(nèi)在的威力。數(shù)據(jù)的獲取并不是目的，如何利用大數(shù)據(jù)平臺技術(shù)，實現(xiàn)數(shù)據(jù)的管理和信息的加工提煉，并對上游系統(tǒng)提供各類數(shù)據(jù)支支持。針對這些問題和挑戰(zhàn)，DC 從數(shù)據(jù)和技術(shù)兩個方面著手對平臺進(jìn)行構(gòu)建。
數(shù)據(jù)層次
圖 5、DC 數(shù)據(jù)層次
為方便數(shù)據(jù)的管理、加工和使用，DC 將數(shù)據(jù)進(jìn)行了分層：近源層和共性加工層，其中近源層為來自于 MDS、OMDS、GD 和 EDW 的原始數(shù)據(jù)，包含行內(nèi)數(shù)據(jù)、外部數(shù)據(jù)、行為數(shù)據(jù)、分行數(shù)據(jù)和數(shù)倉數(shù)據(jù)。
近源層數(shù)據(jù)經(jīng)過關(guān)聯(lián)、匯總和分析之后，針對上游應(yīng)用的需求，進(jìn)行數(shù)據(jù)共性加工，包括流水加工、應(yīng)用統(tǒng)計、指標(biāo)加工、標(biāo)簽計算、風(fēng)險領(lǐng)域和運(yùn)營領(lǐng)域。
通過 OpenFile（批量文件服務(wù)）實現(xiàn)數(shù)據(jù)的訂閱管理，提供了近源層、共性加工層等數(shù)據(jù)的查看、訂閱功能。
技術(shù)架構(gòu)
基于上述數(shù)據(jù)架構(gòu)及應(yīng)用需求，DC 從數(shù)據(jù)處理、任務(wù)調(diào)度、數(shù)據(jù)管理和開發(fā)輔助四塊進(jìn)行平臺的建設(shè)，技術(shù)架構(gòu)如下圖：
圖 6、DC 技術(shù)架構(gòu)圖
1、 數(shù)據(jù)處理體系
數(shù)據(jù)的存儲、計算和分析為基于 Hadoop 生態(tài)體系，包括 Hadoop、Spark、Inceptor、HBase 等分布式計算及存儲框架，來完成數(shù)據(jù)的存儲、計算、分析整個生命周期。
數(shù)據(jù)處理自下到上包含數(shù)據(jù)獲取 RouterIn、數(shù)據(jù)清洗 (DataClean)、共性加工 (SparkSql/Inceptor Sql) 和批量數(shù)據(jù)訪問服務(wù) OpenFile。
通過 Router 實現(xiàn)不同數(shù)據(jù)平臺間的數(shù)據(jù)交互，屏蔽平臺間的差異，配置化開發(fā)，提升了開發(fā)效率，降低了人為失誤導(dǎo)致的問題，實現(xiàn)了數(shù)據(jù)的快速接入和分發(fā)。
基于 Inceptor 和 SparkSql 設(shè)計開發(fā)了數(shù)據(jù)共性加工模塊 DcCore 和 Dispose，實現(xiàn)了數(shù)據(jù)的快速加工，并支持模板式的配置開發(fā)，有效提升了共性加工的開發(fā)效率。
2、 任務(wù)調(diào)度體系
為實現(xiàn)調(diào)度批次輕量化，精細(xì)化數(shù)據(jù)依賴，避免批次等待，通過任務(wù)組織模塊化，來實現(xiàn)作業(yè)調(diào)度的導(dǎo)出與上線。
系統(tǒng)間的調(diào)度通過 CPS，實現(xiàn)批量作業(yè)執(zhí)行，系統(tǒng)內(nèi)部調(diào)度通過 moia 聯(lián)動，可支持更小粒度的作業(yè)調(diào)度，實現(xiàn)了作業(yè)調(diào)試的效率和靈活。
3、 開發(fā)輔助體系
開發(fā)人員需要對數(shù)據(jù)處理及任務(wù)調(diào)度單獨開發(fā)一系列的代碼和配置文件，人為操作不僅效率低，而且易出錯。通過輔助開發(fā)工具，可根據(jù)每個模塊的規(guī)范，自動生成代碼及配置文件，并提供可視化界面，提升開發(fā)效率，降低成本和風(fēng)險。
支持的功能分為自動化創(chuàng)建、自動化校驗、調(diào)度管理、模型管理和元數(shù)據(jù)管理。
4、 數(shù)據(jù)管理體系
數(shù)據(jù)管理體系建設(shè)目的是為了降低運(yùn)維成本，對源數(shù)據(jù)、加工數(shù)據(jù)、數(shù)據(jù)質(zhì)量、作業(yè)運(yùn)行進(jìn)行統(tǒng)計分析，分析結(jié)果通過 Web 頁面展示以方便對系統(tǒng)及數(shù)據(jù)的查看管理，并對于重要信息進(jìn)行監(jiān)控告警，其核心模塊包括信息采集模塊、數(shù)據(jù)質(zhì)量管理、系統(tǒng)運(yùn)行分析和監(jiān)控告警。
DC 的構(gòu)建在民生銀行中起到承上啟下的作用，匯集了各渠道的數(shù)據(jù)，經(jīng)過統(tǒng)一清洗、關(guān)聯(lián)整合，并對數(shù)據(jù)進(jìn)行深層的分析挖掘，進(jìn)而向上游應(yīng)用提供服務(wù)，從后臺走到中臺，直接、快速地向應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)和大數(shù)據(jù)能力，發(fā)揮數(shù)據(jù)內(nèi)在的威力。目前 DC 系統(tǒng)管理了近源數(shù)據(jù) 5000 余項、共性加工數(shù)據(jù) 800 余項，為包括風(fēng)險領(lǐng)域、運(yùn)營領(lǐng)域、移動互聯(lián)領(lǐng)域等 8 個領(lǐng)域，20 余個系統(tǒng)，50 余個場景提供數(shù)據(jù)或計算支持。
四、在線機(jī)器學(xué)習(xí)平臺
背景及目標(biāo)
目前的機(jī)器學(xué)習(xí)技術(shù)，尤其是智能算法，具有很高的技術(shù)門檻，需要頂級專業(yè)團(tuán)隊的持續(xù)投入，每個項目單獨去關(guān)注技術(shù)的變化并落地代價太高。模型研發(fā)實踐亟需一個統(tǒng)一的機(jī)器學(xué)習(xí)平臺，用以規(guī)范模型開發(fā)流程，封裝和簡化各類算法的使用，支持多種多樣的數(shù)據(jù)預(yù)加工，提供和管理模型預(yù)測服務(wù)。最終滿足數(shù)據(jù)分析師、業(yè)務(wù)專家、軟件開發(fā)等不同角色的不同層次的模型研發(fā)實踐訴求。
機(jī)器學(xué)習(xí)平臺建設(shè)旨在：
- 基于 Hadoop 技術(shù)棧的平臺型環(huán)境，提供業(yè)內(nèi)最新的模型算法；
- 基于 Hadoop 技術(shù)棧的分布式環(huán)境，支持超大規(guī)模的模型場景；
- 為一般模型研究人員提供便捷的基于算子和工作流的圖形環(huán)境；
- 為高階模型研究人員提供全面的基于編程的模型開發(fā)管理環(huán)境。
機(jī)器學(xué)習(xí)平臺要能夠適配各種已有的數(shù)據(jù)源，如傳統(tǒng)關(guān)系型數(shù)據(jù)庫，TeraData 數(shù)據(jù)倉庫等，提供數(shù)據(jù)的各種可視化探索及建模挖掘；并能對數(shù)據(jù)和模型基于角色進(jìn)行完善的權(quán)限管理；對于研究人員精心挑選調(diào)試而來的模型，平臺能夠?qū)⑵湟绘I部署為在線服務(wù)，將經(jīng)驗數(shù)據(jù)及時轉(zhuǎn)化為對未來的精準(zhǔn)預(yù)測能力。
圖 7、機(jī)器學(xué)習(xí)平臺功能架構(gòu)圖
建設(shè)現(xiàn)狀
項目一期中建設(shè)了機(jī)器學(xué)習(xí)平臺系統(tǒng)核心模塊，覆蓋了模型研發(fā)的主要流程，主要分為調(diào)研平臺和預(yù)估服務(wù)兩大子模塊。海量樣本學(xué)習(xí)、高維特征分析處理和自動特征組合能力是其最大亮點，示意圖如下：
圖 8、機(jī)器學(xué)習(xí)平臺系統(tǒng)基本示意圖
整個平臺主要通過網(wǎng)站交互式功能為用戶提供服務(wù)。模型生命周期內(nèi)的幾個大的階段都已經(jīng)封裝成算子的功能模塊，模型的研發(fā)過程就是在一塊“畫布”上，通過拖拽算子，串聯(lián)模型研發(fā)的各個階段，繪制創(chuàng)意藍(lán)圖。如下圖所示：
圖 9、拖拽算子進(jìn)行模型研發(fā)
對于訓(xùn)練好的模型，平臺支持一鍵發(fā)布為在線預(yù)測服務(wù)。從研發(fā)到服務(wù)，不再需要龐雜的代碼與流程。只要對學(xué)習(xí)模型有概念，對于領(lǐng)域問題有好的創(chuàng)意。就能在拖拽之間，點選之后獲得一個高性能的，高可用的預(yù)測服務(wù)。就能實現(xiàn)業(yè)務(wù)決策的更加精確化、智能化。
典型案例
平臺目前對接了以下幾方面的應(yīng)用：
運(yùn)營風(fēng)險監(jiān)控之可疑境外取現(xiàn)
運(yùn)營風(fēng)險監(jiān)控之可疑境外取現(xiàn)場景，通過機(jī)器學(xué)習(xí)方法分析已掌握的可疑取現(xiàn)行為特征，自動發(fā)現(xiàn)其中模式，從而更全面、更及時地發(fā)掘可疑取現(xiàn)賬號。經(jīng)過頭腦風(fēng)暴，我們抽取了銷卡 / 重開 / 換卡次數(shù)、開戶機(jī)構(gòu)、交易地域 / 時段 / 頻率 / 金額、資金流入流出渠道 / 時間差、客戶基本信息等特征，精確率從~65% 提升到了~90%，緩解了人工復(fù)核階段的開銷。
零售風(fēng)險申請反欺詐評分實驗
零售風(fēng)險管理之申請 / 反欺詐評分實驗探索 -- 結(jié)合信用風(fēng)險和反欺詐兩方面，建立統(tǒng)一的小微反欺詐評分模型。期望通過機(jī)器學(xué)習(xí)平臺系統(tǒng)的新機(jī)器學(xué)習(xí)算法和高維特征處理能力使我行小微申請反欺詐評分模型的效果有比較明顯的提升和優(yōu)化，提高對信用風(fēng)險和欺詐風(fēng)險的識別能力。通過對數(shù) TB 的征信、工商、設(shè)備和客戶基本信息加以聚合分析，抽取了近千個特征字段，特征自動組合階段又發(fā)現(xiàn)了數(shù)十個高效特征，再結(jié)合平臺內(nèi)置算法模型的 AUC 達(dá)到了 0.9，KS 值提升 20%。
五、智能化實時推薦引擎平臺
背景及目標(biāo)
實時推薦引擎是我行大數(shù)據(jù)體系中面向應(yīng)用場景建立的應(yīng)用層面的通用智能引擎，該引擎將大數(shù)據(jù)基礎(chǔ)平臺的多種底層數(shù)據(jù)產(chǎn)出系統(tǒng)，包括標(biāo)簽系統(tǒng)、機(jī)器學(xué)習(xí)平臺、大數(shù)據(jù)平臺及實時數(shù)據(jù)平臺，通過應(yīng)用場景鏈接起來，構(gòu)建了具備實時推薦能力的數(shù)據(jù)服務(wù)層。實時推薦引擎的核心是實時數(shù)據(jù)處理體系以及機(jī)器學(xué)習(xí)推薦模型。實時推薦引擎的建設(shè)，為精細(xì)化的客群經(jīng)營、個性化客戶服務(wù)提供了千人千面的支持，成為大數(shù)據(jù)能力落地、轉(zhuǎn)化為效益的重要環(huán)節(jié)。實時推薦建設(shè)的目標(biāo)包括：
- 構(gòu)建在線推薦系統(tǒng)，建設(shè)提供各場景的實時推薦服務(wù)的基礎(chǔ)能力；
- 打通用戶實時點擊行為鏈路，將實時數(shù)據(jù)結(jié)合到在線推薦服務(wù)中；
- 打通機(jī)器學(xué)習(xí)平臺模型推薦結(jié)果，將模型結(jié)果數(shù)據(jù)融合到在線推薦服務(wù)中；
- 抽象用戶、產(chǎn)品數(shù)據(jù)模式，建設(shè)推薦層面規(guī)則引擎，支持業(yè)務(wù)策略靈活配置，并支持融合在線實時行為推薦結(jié)果以及機(jī)器學(xué)習(xí)批量模型結(jié)果等數(shù)據(jù)。
系統(tǒng)架構(gòu)
從技術(shù)上實時推薦引擎分為數(shù)據(jù)加工體系和數(shù)據(jù)服務(wù)體系兩部分，通過 redis 層來將兩部分鏈接起來。
數(shù)據(jù)加工上涉及到后端多平臺上的數(shù)據(jù)加工，在通用類數(shù)據(jù)加工上，包括了通過數(shù)倉平臺建立的集市層數(shù)據(jù)加工以及 DC 平臺完成的行為和外部數(shù)據(jù)標(biāo)簽加工。這部分加工的數(shù)據(jù)作為客戶的屬性數(shù)據(jù)，灌入到 Redis 中供引擎層快速查詢和過濾使用。同樣在后端數(shù)據(jù)加工上，還涉及到算法層面的數(shù)據(jù)加工，通過機(jī)器學(xué)習(xí)平臺完成客戶購買預(yù)測，將基于批量持有信息的計算結(jié)果，通過 T-1 每日批量的模式推入 Reids 作為推薦結(jié)果集的數(shù)據(jù)來源之一。對于用戶實時點擊的數(shù)據(jù)，通過 GD 的行為數(shù)據(jù)采集，推送到實時數(shù)據(jù)處理平臺上，通過流式作業(yè)計算在線實時的相關(guān)性矩陣，將用戶的實時行為通過協(xié)同過濾算法體現(xiàn)到推薦結(jié)果中去。對于服務(wù)層，著重建設(shè)了核心的引擎（包括算法引擎和規(guī)則引擎），用戶訪問將觸發(fā)引擎訪問 Redis 對應(yīng)模塊的數(shù)據(jù)，通過業(yè)務(wù)策略以及在線的算法對各推薦結(jié)果備選集進(jìn)行篩選和排序，最終給出最適合的結(jié)果。
圖 10、實時推薦引擎
典型案例
手機(jī)銀行理財產(chǎn)品推薦
當(dāng)前手機(jī)銀行上推薦的理財是基于客戶資產(chǎn)、持倉以及在售理財產(chǎn)品信息，按照相應(yīng)推薦規(guī)則計算得到，使用的數(shù)據(jù)維度少，靈活性較差。因此為了進(jìn)一步為了提升客戶體驗，在手機(jī)銀行上實現(xiàn)個性化的理財推薦服務(wù)。
財富圈資訊推薦
以萬德的新聞資訊數(shù)據(jù)為基礎(chǔ)，依據(jù)客戶在我行的產(chǎn)品購買，交易行為以及上線之后的瀏覽行為等信息，推薦符合客戶投資、閱讀偏好的新聞資訊，并且在推薦過程中對新聞的價值作出簡要判斷，以對客戶形成簡要的投資支持。
六、數(shù)據(jù)開放平臺
背景及目標(biāo)
如何實現(xiàn)大數(shù)據(jù)價值轉(zhuǎn)化是其中非常重要的課題，從當(dāng)前數(shù)據(jù)應(yīng)用的趨勢來看，一是越來越看重數(shù)據(jù)的時效性，從數(shù)據(jù)分析到數(shù)據(jù)提供，都要求從離線走向在線；二是注重場景化，要求數(shù)據(jù)能夠靈活和快速地適配各類應(yīng)用場景。為適應(yīng)這樣的趨勢，大數(shù)據(jù)的服務(wù)層就必須設(shè)計相應(yīng)的機(jī)制。場景化數(shù)據(jù)開放平臺從大數(shù)據(jù)服務(wù)的頂層設(shè)計出發(fā)，為統(tǒng)一服務(wù)出口，增強(qiáng)數(shù)據(jù)輸出規(guī)范，對外使用上提供統(tǒng)一的 API 服務(wù)網(wǎng)關(guān)，提供服務(wù)流量的匯聚點，為數(shù)據(jù)服務(wù)模型服務(wù)的共享和迭代提供可能。
在數(shù)據(jù)開放平臺中，API 是數(shù)據(jù)基礎(chǔ)。在各類數(shù)據(jù)規(guī)范的指引下，對數(shù)據(jù)進(jìn)行分門別類，維度切分后，以在線 API 的方式提供包括數(shù)據(jù)接入、數(shù)據(jù)供給等各類服務(wù)，供各應(yīng)用場景實時、組合式調(diào)用。通過統(tǒng)一的開放網(wǎng)關(guān)實現(xiàn)服務(wù)接入、發(fā)布、鑒權(quán)、訪問、統(tǒng)計和監(jiān)控，實現(xiàn)數(shù)據(jù)安全與管控。
功能架構(gòu)
數(shù)據(jù)開放平臺整體上包含管理網(wǎng)站和網(wǎng)關(guān)系統(tǒng)兩部分。管理網(wǎng)站負(fù)責(zé) API 的接入、發(fā)布、維護(hù)、監(jiān)控，訪問統(tǒng)計數(shù)據(jù)的展示和 API 的訪問申請審批。網(wǎng)關(guān)系統(tǒng)是訪問 API 請求的統(tǒng)一出入口，負(fù)責(zé)請求的鑒權(quán)、訪問控制、流量控制、統(tǒng)計監(jiān)控等功能。
圖 11、功能架構(gòu)圖
技術(shù)架構(gòu)
管理網(wǎng)站將 API 數(shù)據(jù)、鑒權(quán)數(shù)據(jù)和訪問控制配置信息等持久化到 MySQL 數(shù)據(jù)庫，同時將這些數(shù)據(jù)和配置信息通過 Zookeeper 服務(wù)同步到網(wǎng)關(guān)系統(tǒng)。為了實現(xiàn)對請求的靈活管控，網(wǎng)關(guān)系統(tǒng)針對黑名單、身份驗證、權(quán)限校驗、流量控制等功能采用插件化開發(fā)，且每個插件均能動態(tài)開關(guān)。每個請求的處理日志信息通過異步方式發(fā)送到事件隊列，并由單獨的日志收集進(jìn)程進(jìn)行收集，大數(shù)據(jù)實時計算平臺對收集的日志進(jìn)行分析處理將訪問統(tǒng)計數(shù)據(jù)存儲到數(shù)據(jù)庫供用戶查看。
圖 12、技術(shù)架構(gòu)圖
建設(shè)現(xiàn)狀
數(shù)據(jù)開放平臺上的 API 服務(wù)分為客戶行為類、客戶資產(chǎn)類、行外數(shù)據(jù)類、基礎(chǔ)服務(wù)類等，其中基礎(chǔ)服務(wù)類中已經(jīng)接入了實時數(shù)據(jù)接收 API，該 API 用于接收各個系統(tǒng)實時數(shù)據(jù)供后續(xù)實時計算任務(wù)消費(fèi)。已經(jīng)開發(fā)完成客戶行為類 API 共 16 個、客戶資產(chǎn)類 API 共 6 個、行外數(shù)據(jù)類 API 共 13 個，OpenAPI 平臺屬于初步完成建設(shè)，后續(xù)會有更豐富的數(shù)據(jù)服務(wù) API 通過數(shù)據(jù)開放平臺對外服務(wù)。
總結(jié)
民生銀行大數(shù)據(jù)建設(shè)之路是一個配合業(yè)務(wù)場景需求反復(fù)迭代前進(jìn)的一個線路，發(fā)展到今天，從多個不同的平臺、模塊逐步的形成了幾大體系：數(shù)據(jù)采集體系、數(shù)據(jù)服務(wù)體系、批量數(shù)據(jù)分析體系、實時數(shù)據(jù)分析體系以及智能數(shù)據(jù)分析體系。對于數(shù)據(jù)服務(wù)體系，主體是整體規(guī)劃中提到的數(shù)據(jù)中臺演化而來，是數(shù)據(jù)業(yè)務(wù)化輸出的重要承載體。數(shù)據(jù)服務(wù)體系形成統(tǒng)一的數(shù)據(jù)服務(wù)目錄，由開放平臺層面的網(wǎng)關(guān)統(tǒng)一進(jìn)行把控，通過場景化數(shù)據(jù)服務(wù)中臺對數(shù)據(jù)和模型應(yīng)用進(jìn)行服務(wù)化，為對數(shù)字化、場景化的業(yè)務(wù)轉(zhuǎn)型提供了堅實的底層支撐能力。
