2021年12月7日，Gartner最新研究揭示，基礎(chǔ)設(shè)施和運營（I&O）領(lǐng)導(dǎo)人在未來12至18個月必須開始為六大趨勢做好準(zhǔn)備。其中，無論是準(zhǔn)時化基礎(chǔ)設(shè)施（Just-In-Time Infrastructure）、還是數(shù)據(jù)增生（Data Proliferation）、業(yè)務(wù)敏銳度（Business Acumen），都預(yù)示著企業(yè)需要擁有更具適應(yīng)性和彈性、更實時的數(shù)據(jù)管理基礎(chǔ)設(shè)施能力，從而支撐迅速作出更符合業(yè)務(wù)需求的決策和行動。
顯然，山東城商行聯(lián)盟已經(jīng)為該趨勢做好了充足準(zhǔn)備。
近日，山東城商行聯(lián)盟和DataPipeline數(shù)見科技共同宣布，山東城商行聯(lián)盟為59家銀行構(gòu)建的數(shù)據(jù)庫準(zhǔn)實時數(shù)據(jù)采集系統(tǒng)正式投入使用，該系統(tǒng)基于DataPipeline企業(yè)級實時數(shù)據(jù)平臺打造。該項目的實施對于推動城市商業(yè)銀行實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型、數(shù)據(jù)規(guī)范化和集約化管理、賦能企業(yè)經(jīng)營及增強(qiáng)其持久核心競爭力具有重要意義。
業(yè)務(wù)需求當(dāng)先，擁抱實時數(shù)據(jù)管理
山東省城市商業(yè)銀行合作聯(lián)盟有限公司經(jīng)原中國銀監(jiān)會批準(zhǔn)成立，是目前全國唯一持有金融牌照的中小銀行金融科技服務(wù)公司。公司為數(shù)十家成員行提供集核心業(yè)務(wù)系統(tǒng)、互聯(lián)網(wǎng)金融系統(tǒng)、外聯(lián)業(yè)務(wù)平臺、大數(shù)據(jù)服務(wù)及運營、風(fēng)控支持等全方位的信息科技解決方案以及培訓(xùn)、咨詢、合作創(chuàng)新等多元服務(wù)，引領(lǐng)成員行通過科技創(chuàng)新推動業(yè)務(wù)發(fā)展和轉(zhuǎn)型升級，是山東省大數(shù)據(jù)重點骨干企業(yè)。公司致力于打造賦能中小銀行、開放共享的金融科技生態(tài)平臺。
在云計算、大數(shù)據(jù)、人工智能快速發(fā)展背景下，金融行業(yè)適應(yīng)客戶需要的多樣化和個性化場景不斷涌現(xiàn)。經(jīng)過10多年的電子化發(fā)展、信息化建設(shè)，山東城商行聯(lián)盟積累了海量的數(shù)據(jù)，如何利用好這些數(shù)據(jù)成為了聯(lián)盟應(yīng)對新形勢挑戰(zhàn)、謀求轉(zhuǎn)型發(fā)展的重要課題。相對于大型商業(yè)銀行，降低運營成本、提升客戶體驗、提高營銷能力等轉(zhuǎn)型工作對于以山東城商行聯(lián)盟為代表的的城市商業(yè)銀行在科技創(chuàng)新發(fā)展上更為關(guān)鍵。
隨著數(shù)據(jù)應(yīng)用的深入，成員行業(yè)務(wù)部門不斷提出更復(fù)雜的實時數(shù)據(jù)加工需求，新需求的加工復(fù)雜度持續(xù)升高、使用場景持續(xù)擴(kuò)展、交付效率持續(xù)加快、運營質(zhì)量要求持續(xù)提升。為提升實時數(shù)據(jù)支撐能力，山東城商行聯(lián)盟開始啟動實時數(shù)據(jù)體系建設(shè)。該體系需要實現(xiàn)綜合業(yè)務(wù)系統(tǒng)CBUS、外聯(lián)業(yè)務(wù)處理平臺XBUS、ESB服務(wù)總線、電子銀行等系統(tǒng)的數(shù)據(jù)實時采集、同步、分發(fā)。如何打通Oracle、IBM DB2、MySQL、Kafka等多種數(shù)據(jù)管理技術(shù)，實現(xiàn)每日產(chǎn)生的數(shù)億條數(shù)據(jù)的整合，成為聯(lián)盟亟待解決的問題。
打造金融級平臺2.0，多場景落地
企業(yè)級數(shù)據(jù)庫準(zhǔn)實時數(shù)據(jù)采集系統(tǒng)架構(gòu)圖
山東城商行聯(lián)盟在過往服務(wù)成員行過程中，業(yè)務(wù)端在取數(shù)時，首先需要將各數(shù)據(jù)源通過CDC模式將數(shù)據(jù)實時同步至中間庫；其次，源端數(shù)據(jù)同步至中間庫后，通過CDC實時下發(fā)至各個下游用數(shù)方。在該過程中，由于上游發(fā)版頻繁，中間庫的數(shù)據(jù)結(jié)構(gòu)均需要相應(yīng)變動，數(shù)據(jù)同步過程中系統(tǒng)維護(hù)工作量較大地影響了數(shù)據(jù)應(yīng)用方的取數(shù)時效性。為了能夠更好地服務(wù)聯(lián)盟成員行，山東城商行聯(lián)盟需要重新構(gòu)建統(tǒng)一的數(shù)據(jù)庫準(zhǔn)實時數(shù)據(jù)采集系統(tǒng)，實現(xiàn)通過數(shù)據(jù)流平臺近實時地向各外圍系統(tǒng)供數(shù)的目的，進(jìn)而及時高效地支持成員行的運營、市場、銷售等實時業(yè)務(wù)需求。
山東城商行聯(lián)盟通過產(chǎn)品調(diào)研、可行性分析、POC驗證，選擇DataPipeline數(shù)見科技作為合作伙伴共同完成數(shù)據(jù)庫實時數(shù)據(jù)采集系統(tǒng)項目的實施。該方案三大核心能力與聯(lián)盟實時數(shù)據(jù)管理體系整體策略高度契合：
01 多元異構(gòu)
Oracle、IBM DB2、MySQL、Kafka等多種數(shù)據(jù)庫進(jìn)行近實時的數(shù)據(jù)采集功能，并對數(shù)據(jù)源建立高效的管理功能，實現(xiàn)對數(shù)據(jù)源、目的地的數(shù)據(jù)連接統(tǒng)一管理管理，通過界面進(jìn)行數(shù)據(jù)源與目的地注冊，刪除數(shù)據(jù)源，同時根據(jù)需求不斷迭代支持新的數(shù)據(jù)庫。
02實時同步
利用解析數(shù)據(jù)庫歸檔日志的方式，實現(xiàn)秒級的數(shù)據(jù)變更捕獲，將解析的變更記錄傳送到數(shù)據(jù)目的地中，包括日志中提取數(shù)據(jù)變更的增、刪、改等DML操作記錄，以及新增表、刪除表、添加字段、刪除字段等自動同步到目的地中。
03標(biāo)準(zhǔn)管理
統(tǒng)一的可視化管理頁面，提供平臺級別的數(shù)據(jù)管理功能，包括產(chǎn)品權(quán)限、數(shù)據(jù)時效管理和安全管控等方面功能，為數(shù)據(jù)工程師、運維人員提供直觀的數(shù)據(jù)任務(wù)地圖，隨時可以洞悉數(shù)據(jù)的最新動態(tài)，極大提升運維工作效率和效益。
面向未來，山東城商行聯(lián)盟將持續(xù)利用實時數(shù)據(jù)管理技術(shù)，為成員行客戶提供更多便捷、高效的金融服務(wù)，支撐智能化、定制化、更懂客戶的數(shù)字銀行服務(wù)。而DataPipeline也將加大對實時數(shù)據(jù)管理技術(shù)的投入力度，深化與金融業(yè)務(wù)的場景融合，助力金融行業(yè)的數(shù)字化變革升級。
