?轉(zhuǎn)載本文需注明出處：微信公眾號(hào)EAWorld，違者必究。
前言：
本文主要介紹數(shù)據(jù)交換過(guò)程中常用的數(shù)據(jù)交換方法和方式以及數(shù)據(jù)交換在新技術(shù)下所面對(duì)的“挑戰(zhàn)”，方便大家深入理解數(shù)據(jù)交換過(guò)程。普元實(shí)施數(shù)據(jù)交換項(xiàng)目已有多年成功經(jīng)驗(yàn)，本文也將分享大數(shù)據(jù)時(shí)代數(shù)據(jù)交換所遇到的問(wèn)題和應(yīng)對(duì)策略。
目錄：
1、為什么要進(jìn)行數(shù)據(jù)交換
2、數(shù)據(jù)交換存在的問(wèn)題
3、數(shù)據(jù)交換面臨的挑戰(zhàn)
4、數(shù)據(jù)交換破解“數(shù)據(jù)孤島”
5、總結(jié)
1.為什么要進(jìn)行數(shù)據(jù)交換
企業(yè)大量的IT投資建立了眾多的信息系統(tǒng)，但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會(huì)造成大量的冗余數(shù)據(jù)和業(yè)務(wù)人員的重復(fù)勞動(dòng)。企業(yè)急需通過(guò)建立底層數(shù)據(jù)集成平臺(tái)來(lái)聯(lián)系橫貫整個(gè)企業(yè)的異構(gòu)系統(tǒng)、應(yīng)用、數(shù)據(jù)源等，完成在企業(yè)內(nèi)部的ERP、CRM、SCM、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)，以及其它重要的內(nèi)部系統(tǒng)之間無(wú)縫的共享和交換數(shù)據(jù)。
數(shù)據(jù)是在流通、應(yīng)用中創(chuàng)造價(jià)值的，這就涉及“數(shù)據(jù)共享”和“數(shù)據(jù)交換”。在實(shí)施數(shù)據(jù)交換的過(guò)程中，不同的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬(wàn)別，有時(shí)甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問(wèn)題，嚴(yán)重阻礙了數(shù)據(jù)在各部門(mén)和各應(yīng)用系統(tǒng)中的流動(dòng)與共享。因此，對(duì)企業(yè)內(nèi)各系統(tǒng)異構(gòu)底層數(shù)據(jù)進(jìn)行有效的整合已成為增強(qiáng)企業(yè)商業(yè)競(jìng)爭(zhēng)力的必然選擇。
2.數(shù)據(jù)交換存在的問(wèn)題
企業(yè)對(duì)數(shù)據(jù)服務(wù)的需求日趨迫切，如何有效的管理數(shù)據(jù)、高效的提供數(shù)據(jù)服務(wù)是目前企業(yè)對(duì)所面臨的關(guān)鍵挑戰(zhàn)。目前集團(tuán)層面客戶(hù)信息分散，各子公司之間的客戶(hù)信息無(wú)共享。內(nèi)部系統(tǒng)獲取客戶(hù)數(shù)據(jù)來(lái)源系統(tǒng)分散，方式多樣難以管理，且獲取客戶(hù)數(shù)據(jù)時(shí)效性較低，供數(shù)標(biāo)準(zhǔn)不統(tǒng)一，缺乏統(tǒng)一的客戶(hù)數(shù)據(jù)服務(wù)平臺(tái)。
1. 數(shù)據(jù)平臺(tái)中數(shù)據(jù)內(nèi)容繁多，難以全面掌控。
通過(guò)多年的信息化建設(shè)和運(yùn)營(yíng)，企業(yè)已經(jīng)建立了完善的業(yè)務(wù)應(yīng)用系統(tǒng)，有效的支撐了核心業(yè)務(wù)的創(chuàng)新和發(fā)展，但隨著應(yīng)用系統(tǒng)的增多，數(shù)據(jù)量和數(shù)據(jù)應(yīng)用環(huán)境增大，在對(duì)這些數(shù)據(jù)進(jìn)行使用的過(guò)程中逐漸存在不合理、不統(tǒng)一的問(wèn)題。
2. 數(shù)據(jù)平臺(tái)中數(shù)據(jù)的流轉(zhuǎn)和邏輯過(guò)程復(fù)雜，難以追溯數(shù)據(jù)來(lái)源。
許多企業(yè)目前沒(méi)有統(tǒng)一的數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)，各業(yè)務(wù)系統(tǒng)中數(shù)據(jù)質(zhì)量參差不齊，存在信息孤島現(xiàn)象，不同部門(mén)同一名稱(chēng)數(shù)據(jù)可能有不同的含義，同一個(gè)數(shù)據(jù)可能又有不同的命名，數(shù)據(jù)有效交互和共享存在問(wèn)題。存在部分系統(tǒng)數(shù)據(jù)更新不及時(shí)的問(wèn)題，核心業(yè)務(wù)數(shù)據(jù)無(wú)法朔源，數(shù)據(jù)的準(zhǔn)確性和及時(shí)性較低，現(xiàn)有報(bào)表在建模時(shí)幾乎每個(gè)報(bào)表都要重復(fù)建模，人為參與工作過(guò)多且層次復(fù)雜，無(wú)法高效的對(duì)流程及指標(biāo)進(jìn)行精確監(jiān)控及分析，數(shù)據(jù)的利用效率和模型重復(fù)使用率較低。
3. 業(yè)務(wù)部門(mén)對(duì)數(shù)據(jù)結(jié)構(gòu)和質(zhì)量無(wú)法管控
目前數(shù)據(jù)管控的發(fā)展方向和需求是由業(yè)務(wù)部門(mén)提出，但業(yè)務(wù)人員對(duì)公司復(fù)雜的系統(tǒng)無(wú)法進(jìn)行全面深入掌握，特別是技術(shù)層面。為了使業(yè)務(wù)部門(mén)從數(shù)據(jù)結(jié)構(gòu)到數(shù)據(jù)質(zhì)量上更好的管控，梳理業(yè)務(wù)系統(tǒng)與數(shù)據(jù)庫(kù)結(jié)構(gòu)關(guān)系，成為目前急需解決的問(wèn)題之一。
3.數(shù)據(jù)交換面臨的挑戰(zhàn)
隨著互聯(lián)網(wǎng)以及大數(shù)據(jù)等諸多新技術(shù)的發(fā)展，傳統(tǒng)的數(shù)據(jù)交換面臨著許多挑戰(zhàn)。
1. 傳統(tǒng)方式一般是以單表數(shù)據(jù)交換作為單位進(jìn)行作業(yè)開(kāi)發(fā)，隨著企業(yè)中數(shù)據(jù)庫(kù)以及表的增多這種方式的開(kāi)發(fā)效率低下、容易出錯(cuò)。整庫(kù)數(shù)據(jù)交換時(shí)工作量巨大
2. 傳統(tǒng)方式下開(kāi)發(fā)交換模型只能手工一個(gè)一個(gè)進(jìn)行，任務(wù)多、易出錯(cuò)。需要一種能夠在同一種業(yè)務(wù)下批量進(jìn)行開(kāi)發(fā)的模式
3. 在進(jìn)行實(shí)時(shí)數(shù)據(jù)同步時(shí)需要許多額外的操作配合才能完成，過(guò)程復(fù)雜，對(duì)人員技術(shù)要求高，
4. 在進(jìn)行PB級(jí)數(shù)據(jù)交換時(shí)傳統(tǒng)交換方式效率較低，需要很長(zhǎng)時(shí)間才能完成。
5. 傳統(tǒng)的數(shù)據(jù)交換工具不具備業(yè)務(wù)化的開(kāi)發(fā)能力，遇到相同的數(shù)據(jù)交換需求需要重頭開(kāi)發(fā)。
6. 在安全保障上傳統(tǒng)的方式是手工編寫(xiě)加密、脫敏的腳本來(lái)實(shí)現(xiàn)
7. 進(jìn)行跨區(qū)域數(shù)據(jù)同步時(shí)需要多種技術(shù)配合，實(shí)現(xiàn)方案復(fù)雜。
4.數(shù)據(jù)交換破解“數(shù)據(jù)孤島”
4.1 數(shù)據(jù)標(biāo)準(zhǔn)
為保證各應(yīng)用系統(tǒng)中的代碼表對(duì)同一業(yè)務(wù)信息定義一致，確保數(shù)據(jù)消費(fèi)系統(tǒng)可以根據(jù)業(yè)務(wù)代碼辨別數(shù)據(jù)的確切業(yè)務(wù)含義，應(yīng)提供可配置的功能，基于一定的標(biāo)準(zhǔn)對(duì)數(shù)據(jù)供應(yīng)系統(tǒng)代碼進(jìn)行轉(zhuǎn)換，使數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)消費(fèi)系統(tǒng)按照統(tǒng)一標(biāo)準(zhǔn)來(lái)理解數(shù)據(jù)。
數(shù)據(jù)交換離不開(kāi)數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)未動(dòng)標(biāo)準(zhǔn)先行是構(gòu)建優(yōu)質(zhì)數(shù)據(jù)交換的前提。但現(xiàn)實(shí)中許多企業(yè)沒(méi)有做好數(shù)據(jù)標(biāo)準(zhǔn)，導(dǎo)致這些標(biāo)準(zhǔn)是在進(jìn)行數(shù)據(jù)交換或數(shù)據(jù)采集的時(shí)候進(jìn)行，影響了數(shù)據(jù)的質(zhì)量。一旦出現(xiàn)數(shù)據(jù)被篡改、被泄露等安全性問(wèn)題，輕的影響業(yè)務(wù)開(kāi)展，嚴(yán)重的泄露核心機(jī)密造成企業(yè)重大損失。拷貝的數(shù)據(jù)難以控制準(zhǔn)確性和合規(guī)性，拷貝的數(shù)據(jù)流向哪里也無(wú)法控制，是誰(shuí)拷貝了信息也無(wú)法掌控。一旦出現(xiàn)信息泄露，無(wú)法追責(zé)。
統(tǒng)一指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)，可以規(guī)范業(yè)務(wù)統(tǒng)計(jì)分析語(yǔ)言，幫助企業(yè)提升分析應(yīng)用和監(jiān)管報(bào)送的數(shù)據(jù)質(zhì)量，進(jìn)而提高全行數(shù)據(jù)質(zhì)量和數(shù)據(jù)資產(chǎn)價(jià)值。
4.2 自動(dòng)采集元數(shù)據(jù)
數(shù)據(jù)交換依托于元數(shù)據(jù)，數(shù)據(jù)交換的本質(zhì)是基于元數(shù)據(jù)的交換。對(duì)半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)自動(dòng)采集。
元數(shù)據(jù)是關(guān)于數(shù)據(jù)、操縱數(shù)據(jù)的數(shù)據(jù)和數(shù)據(jù)庫(kù)系統(tǒng)的結(jié)構(gòu)和意義的描述信息，重要目標(biāo)就是提供數(shù)據(jù)資源的全面指南。元數(shù)據(jù)不僅定義了數(shù)據(jù)交換中的數(shù)據(jù)模式、來(lái)源以及抽取轉(zhuǎn)換規(guī)則等，而且整個(gè)數(shù)據(jù)交換系統(tǒng)的運(yùn)行都應(yīng)該是基于元數(shù)據(jù)的，是元數(shù)據(jù)把數(shù)據(jù)交換系統(tǒng)中各個(gè)松散的組件聯(lián)系起來(lái)，組成了一個(gè)有機(jī)的整體。
通過(guò)自動(dòng)化的元數(shù)據(jù)采集完成部門(mén)核心職能的業(yè)務(wù)梳理及其對(duì)應(yīng)的信息資源梳理，編制部門(mén)信息資源目錄，摸清信息資源有什么、在哪里，提高信息資源共享程度，建立信息資源共享機(jī)制和管理制度。結(jié)合企業(yè)內(nèi)部信息系統(tǒng)中的數(shù)據(jù)現(xiàn)狀和企業(yè)業(yè)務(wù)屬性、技術(shù)屬性的要求形成企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的業(yè)務(wù)屬性和技術(shù)屬性，制定有效合理的指標(biāo)數(shù)據(jù)規(guī)范要求。
4.3 數(shù)據(jù)交換方式和方法
4.3.1 不同類(lèi)型數(shù)據(jù)交換方式
新的數(shù)據(jù)交換平臺(tái)提供數(shù)據(jù)、報(bào)文文件等多種數(shù)據(jù)交換服務(wù)，能夠快速建立跨硬件平臺(tái)、數(shù)據(jù)庫(kù)和操作系統(tǒng)的可交互操作的數(shù)據(jù)交換與信息共享平臺(tái)，交換平臺(tái)提供了一個(gè)開(kāi)放的環(huán)境，支持多樣的客戶(hù)機(jī)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)和通訊協(xié)議，通過(guò)可視化配置實(shí)現(xiàn)與數(shù)據(jù)庫(kù)、文件以及web接口的數(shù)據(jù)交互。使得數(shù)據(jù)交換與業(yè)務(wù)邏輯的個(gè)性有機(jī)結(jié)合，快速響應(yīng)數(shù)據(jù)集成和外部數(shù)據(jù)交換的需求。
數(shù)據(jù)交換的方式一般是根據(jù)數(shù)據(jù)的類(lèi)型來(lái)進(jìn)行區(qū)分，如結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)可通過(guò)ETL的數(shù)據(jù)交換方式進(jìn)行，非結(jié)構(gòu)化的數(shù)據(jù)像壓縮文件、電影、圖片等采用文件傳輸?shù)姆绞竭M(jìn)行交換，而對(duì)于一些實(shí)時(shí)性較高的交換一般采用接口形式進(jìn)行。例如：restfull、webservice等。
結(jié)構(gòu)化數(shù)據(jù)交換方法
結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)交換主要有：時(shí)間戳同步、全文比對(duì)同步、觸發(fā)器同步、CDC增量同步、全量同步。
這里我們對(duì)幾種做一個(gè)比較：
- 全量同步
全量抽取一般適用于統(tǒng)計(jì)分析或無(wú)需進(jìn)行二次更新的業(yè)務(wù)需求，通過(guò)全量抽取一次或多次將業(yè)務(wù)系統(tǒng)數(shù)據(jù)源在不做任何操作的情況下直接抽取過(guò)來(lái)，全量數(shù)據(jù)抽取方式雖然較簡(jiǎn)單、直接、快速。通過(guò)系統(tǒng)中的采集組件，無(wú)需增加過(guò)濾條件，即可對(duì)數(shù)據(jù)庫(kù)中的全量文件進(jìn)行一次性采集。全量采集比較適合于數(shù)據(jù)業(yè)務(wù)量小的業(yè)務(wù)需求。這種方式不能增量的進(jìn)行數(shù)據(jù)同步，對(duì)于大數(shù)據(jù)量下的同步并不適用。
- 時(shí)間戳同步
使用這種方式進(jìn)行增量數(shù)據(jù)抽取的前提是源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)都必須有時(shí)間戳字段。先讀取目標(biāo)數(shù)據(jù)庫(kù)中的最大時(shí)間，然后以這個(gè)時(shí)間作為參數(shù)從源數(shù)據(jù)庫(kù)中讀取大于這個(gè)時(shí)間的所有數(shù)據(jù)。
基于時(shí)間戳的方法需要相關(guān)應(yīng)用系統(tǒng)中的每個(gè)表中都有一個(gè)時(shí)間戳字段，以記錄每個(gè)表的修改時(shí)間。這種方法不影響原有應(yīng)用的運(yùn)行效率，但如果表中沒(méi)有時(shí)間戳的字段卻需要對(duì)原有系統(tǒng)做較大的調(diào)整，這種方式不能捕獲到那些并非通過(guò)應(yīng)用系統(tǒng)引起的操作數(shù)據(jù)變化。
優(yōu)點(diǎn)：處理速度快，數(shù)據(jù)處理邏輯相對(duì)簡(jiǎn)單。
缺點(diǎn)：源數(shù)據(jù)庫(kù)沒(méi)有時(shí)間戳字段的表需要更改表結(jié)構(gòu)，而且需要源數(shù)據(jù)庫(kù)來(lái)維護(hù)時(shí)間戳字段；無(wú)法實(shí)現(xiàn)數(shù)據(jù)同步，因?yàn)槭褂脮r(shí)間戳字段無(wú)法獲取刪除后的數(shù)據(jù)。
- CDC增量同步
通過(guò)分析數(shù)據(jù)庫(kù)日志的信息來(lái)捕獲復(fù)制對(duì)象的變化序列。這種方法不僅方便，也不會(huì)占用太多額外的系統(tǒng)資源，對(duì)任何類(lèi)型的復(fù)制都適合，不但能提高效率和保證數(shù)據(jù)的完整性，還能在對(duì)等式復(fù)制時(shí)提供詳細(xì)的控制信息。但由于數(shù)據(jù)庫(kù)日志的格式是不公開(kāi)的，因而不得不基于某一固定的數(shù)據(jù)庫(kù)日志分析工具或接口，這給異構(gòu)數(shù)據(jù)庫(kù)復(fù)制帶來(lái)了問(wèn)題。
優(yōu)點(diǎn)：可靠性強(qiáng)，對(duì)源系統(tǒng)沒(méi)有影響。
缺點(diǎn)：各數(shù)據(jù)庫(kù)系統(tǒng)的日志文件絕大部分都是私有的，并且日志格式都不一樣，因此捕獲這些日志需要有專(zhuān)門(mén)有針對(duì)性的組件來(lái)進(jìn)行，個(gè)別數(shù)據(jù)庫(kù)還需要管理員權(quán)限進(jìn)行配合才能實(shí)現(xiàn)。對(duì)于沒(méi)有提供日志分析接口的數(shù)據(jù)源，開(kāi)發(fā)的難度比較大
- 觸發(fā)器同步
在業(yè)務(wù)數(shù)據(jù)表中創(chuàng)建相應(yīng)的觸發(fā)器，當(dāng)提取、復(fù)制對(duì)象進(jìn)行變更（插入、修改、刪除）時(shí)，由觸發(fā)器觸發(fā)提數(shù)程序，將變化寫(xiě)入目標(biāo)數(shù)據(jù)庫(kù)中。這種方案可用于同步復(fù)制、增量復(fù)制。
優(yōu)點(diǎn)：借助數(shù)據(jù)庫(kù)本身的機(jī)制，可靠性強(qiáng)。
缺點(diǎn)：對(duì)源系統(tǒng)有影響，需要建立觸發(fā)器以及臨時(shí)表或臨時(shí)數(shù)據(jù)存儲(chǔ)文件
- 全文比對(duì)同步
對(duì)前后兩個(gè)時(shí)間點(diǎn)取業(yè)務(wù)數(shù)據(jù)表的全量進(jìn)行數(shù)據(jù)比對(duì)，比對(duì)出來(lái)有差異的部分就是數(shù)據(jù)增量的部分。此法可以用于一段時(shí)間后進(jìn)行數(shù)據(jù)的強(qiáng)制同步，但由于消耗資源較大，因此一般建議用于業(yè)務(wù)空閑期使用。
優(yōu)點(diǎn)：對(duì)源系統(tǒng)沒(méi)有任何影響。
缺點(diǎn)：面對(duì)海量數(shù)據(jù)（千萬(wàn)級(jí)、萬(wàn)萬(wàn)級(jí)）進(jìn)行比對(duì)時(shí)有一定的性能問(wèn)題。
這些同步方式除了全量同步，其他幾種都需要業(yè)務(wù)表有主鍵。這些同步的方式各有優(yōu)缺點(diǎn)，在實(shí)際使用中應(yīng)根據(jù)企業(yè)系統(tǒng)自身實(shí)際情況來(lái)采取適合的交換方法。網(wǎng)上有許多人推薦使用CDC的方式，CDC這種架構(gòu)下數(shù)據(jù)寫(xiě)入主存儲(chǔ)后會(huì)由主存儲(chǔ)再向輔存儲(chǔ)進(jìn)行同步，對(duì)應(yīng)用層是最友好的，只需要與主存儲(chǔ)打交道。主存儲(chǔ)到輔存儲(chǔ)的數(shù)據(jù)同步，則可以再利用異步隊(duì)列復(fù)制技術(shù)來(lái)做。不過(guò)這種方案對(duì)主存儲(chǔ)的能力有很高的要求，必須要求主存儲(chǔ)能支持CDC技術(shù)。另外這種方式在一些數(shù)據(jù)庫(kù)中需要有DBA的權(quán)限配合才能夠完成，所以在進(jìn)行CDC同步的時(shí)候首先就需要考慮數(shù)據(jù)庫(kù)的環(huán)境是否有條件能夠完成CDC的配置。
觸發(fā)器、時(shí)間戳、全文比對(duì)以及方式都能夠支持?jǐn)帱c(diǎn)續(xù)傳，所使用的方式各不相同。
觸發(fā)器數(shù)據(jù)同步的過(guò)程是先將增量數(shù)據(jù)同步到臨時(shí)表中，這個(gè)臨時(shí)表會(huì)增加兩個(gè)字段，一個(gè)是所做操作的標(biāo)識(shí)(標(biāo)識(shí)有：insert、update和delete),另一個(gè)是自增的列。在進(jìn)行同步時(shí)是查詢(xún)這張臨時(shí)表來(lái)進(jìn)行的，再查臨時(shí)表時(shí)會(huì)使用自增的列進(jìn)行排序進(jìn)行查詢(xún)，檢查尋到的增量數(shù)據(jù)通過(guò)組件到目標(biāo)庫(kù)中根據(jù)操作標(biāo)識(shí)進(jìn)行相應(yīng)的操作，操作完成后如果成功執(zhí)行則會(huì)去臨時(shí)表把已經(jīng)同步的增量數(shù)據(jù)按照自增列的值進(jìn)行刪除。如果這個(gè)過(guò)程中在向目標(biāo)同步數(shù)據(jù)時(shí)出現(xiàn)異常，則這張臨時(shí)表中的數(shù)據(jù)不會(huì)被刪除掉。而我們?cè)谶M(jìn)行作業(yè)觸發(fā)時(shí)一般使用的都是按照頻度、計(jì)劃去定期執(zhí)行，當(dāng)前這次同步失敗后，在下一次計(jì)劃觸發(fā)執(zhí)行時(shí)由于上一次所執(zhí)行的作業(yè)最后并沒(méi)有將臨時(shí)表中的作業(yè)刪除，在這次作業(yè)執(zhí)行時(shí)上一次沒(méi)有同步的數(shù)據(jù)還在。所以這次執(zhí)行時(shí)就會(huì)從斷點(diǎn)位置開(kāi)始再次進(jìn)行同步。
時(shí)間戳數(shù)據(jù)同步的過(guò)程是首先到目標(biāo)表去根據(jù)時(shí)間戳使用數(shù)據(jù)庫(kù)中的獲取最大值的函數(shù)(一般數(shù)據(jù)庫(kù)使用MAX函數(shù))來(lái)查找時(shí)間戳里的最大值，然后使用這個(gè)最大值去源表找大于這個(gè)值的數(shù)據(jù)(同時(shí)需要根據(jù)這個(gè)時(shí)間戳進(jìn)行排序)，這些查找到的數(shù)據(jù)就是我們需要同步的增量數(shù)據(jù)，時(shí)間戳這種方式不能區(qū)分這些數(shù)據(jù)是插入還是更新的操作。那么接下來(lái)使用的是數(shù)據(jù)平臺(tái)提供的插入更新組件，這個(gè)組件會(huì)在執(zhí)行操作前先根據(jù)主鍵到數(shù)據(jù)庫(kù)中查尋一下數(shù)據(jù)如果有則執(zhí)行更新，如果沒(méi)有則執(zhí)行插入。這樣進(jìn)行數(shù)據(jù)同步，如果在執(zhí)行過(guò)程中出現(xiàn)異常那么目標(biāo)數(shù)據(jù)庫(kù)就沒(méi)有同步這些增量數(shù)據(jù)。同樣我們?cè)谶M(jìn)行作業(yè)觸發(fā)時(shí)使用的都是按照頻度、計(jì)劃去定期執(zhí)行，當(dāng)前這次同步失敗后，在下一次計(jì)劃觸發(fā)執(zhí)行時(shí)由于上一次所執(zhí)行的作業(yè)沒(méi)有進(jìn)入目標(biāo)表，在這次執(zhí)行作業(yè)時(shí)從目標(biāo)表查找的最大值就沒(méi)有變化。所以這次執(zhí)行時(shí)就會(huì)從斷點(diǎn)位置開(kāi)始再次進(jìn)行同步。
全文比對(duì)的過(guò)程是先從源和目標(biāo)中將數(shù)據(jù)按照排序字段先進(jìn)行排序然后抽取出來(lái)，經(jīng)過(guò)比對(duì)組件計(jì)算得到變化的狀態(tài)(insert、update和delete),最后根據(jù)得到的變化狀態(tài)將數(shù)據(jù)同步到目標(biāo)表。如果在這一過(guò)程中發(fā)生異常，那么這次同步的數(shù)據(jù)就沒(méi)有進(jìn)入目標(biāo)表，在下一次計(jì)劃觸發(fā)執(zhí)行時(shí)由于上一次所執(zhí)行的作業(yè)沒(méi)有進(jìn)入目標(biāo)表，在這次執(zhí)行作業(yè)時(shí)又會(huì)重新進(jìn)行比對(duì)得到斷點(diǎn)位置又會(huì)再次進(jìn)行數(shù)據(jù)同步。
CDC數(shù)據(jù)同步的執(zhí)行過(guò)程是根據(jù)日志記錄的偏移來(lái)從日志中找出需要同步的增量數(shù)據(jù)，然后到目標(biāo)表根據(jù)操作標(biāo)識(shí)進(jìn)行數(shù)據(jù)同步完成后修改日志記錄的偏移，那么作業(yè)在執(zhí)行過(guò)程中出現(xiàn)異常時(shí)，這個(gè)日志的偏移量沒(méi)有改變。在進(jìn)行性下一次數(shù)據(jù)交換時(shí)還會(huì)從這個(gè)偏移量的位置進(jìn)行，從而實(shí)現(xiàn)斷點(diǎn)續(xù)傳。
非結(jié)構(gòu)化數(shù)據(jù)交換
以前的非結(jié)構(gòu)化的數(shù)據(jù)交換，常常使用網(wǎng)盤(pán)或者FTP傳輸文件時(shí)，尤其是大文件，容易出現(xiàn)中斷，嚴(yán)重影響工作效率和業(yè)務(wù)。
數(shù)據(jù)交換平臺(tái)中采用了數(shù)字簽名、時(shí)間戳、報(bào)文加密的方式對(duì)傳輸?shù)南⑦M(jìn)行完整性驗(yàn)證，防止消息在傳輸過(guò)程中被篡改。通過(guò)數(shù)據(jù)交換平臺(tái)可以驗(yàn)證消息確實(shí)來(lái)自于其真正的發(fā)送者而非假冒；確保消息的內(nèi)容沒(méi)有被修改；防止以插入、刪除、調(diào)換或修改等方式篡改消息。
交換平臺(tái)中的文件傳輸具有以下特點(diǎn)：
- 數(shù)據(jù)包裹傳輸方式 防止數(shù)據(jù)被篡改
采用全新數(shù)字包裹數(shù)據(jù)傳輸方式，有效防止數(shù)據(jù)被惡意篡改。
- 加密傳輸和存儲(chǔ) 保障數(shù)據(jù)安全性
提供文件安全交換加密傳輸和存儲(chǔ)。采用私有文件傳輸協(xié)議和SSL安全協(xié)議訪(fǎng)問(wèn)。提供文件效期控制，支持文件自動(dòng)清除銷(xiāo)毀。
- 支持?jǐn)帱c(diǎn)續(xù)傳錯(cuò)誤重傳 確保數(shù)據(jù)高效流轉(zhuǎn)
采用超高速傳輸協(xié)議，支持超大文件和海量文件傳輸。支持?jǐn)帱c(diǎn)續(xù)傳，錯(cuò)誤重傳，文件秒傳和文件校驗(yàn)。
下面列舉了平臺(tái)中文件傳輸中所使用到的技術(shù)：
- 文件校驗(yàn)
平臺(tái)采用單向散列算法用于文件的完整性驗(yàn)證，在文件傳輸之前會(huì)使用單向散列算法生成文件唯一摘要信息，在文件傳輸后會(huì)將收到的文件再次使用單向散列算法生成摘要信息和之前的摘要信息進(jìn)行比較。
- 斷點(diǎn)續(xù)傳：
斷點(diǎn)續(xù)傳是在下載或上傳時(shí)，將下載或上傳任務(wù)（一個(gè)文件或一個(gè)壓縮包）人為的劃分為幾個(gè)部分，每一個(gè)部分采用一個(gè)線(xiàn)程進(jìn)行上傳或下載，如果碰到網(wǎng)絡(luò)故障，可以從已經(jīng)上傳或下載的部分開(kāi)始繼續(xù)上傳下載未完成的部分，而沒(méi)有必要從頭開(kāi)始上傳下載。用戶(hù)可以節(jié)省時(shí)間，提高速度。
- 壓縮傳輸：
在文件傳輸時(shí)先將文件進(jìn)行壓縮，然后傳送壓縮文件到目標(biāo)，最后進(jìn)行解壓和清除工作，壓縮傳輸能有效減小文件體積節(jié)省傳輸帶寬。
- 文件切片：
切片傳輸是將文件進(jìn)行切片，每一片形成一個(gè)傳輸線(xiàn)程進(jìn)行傳輸。采用并行的數(shù)據(jù)流傳輸管道，有效地將傳輸速率最大化。
4.3.2 實(shí)時(shí)數(shù)據(jù)交換
打破信息壁壘和信息孤島，實(shí)現(xiàn)統(tǒng)一高效、互聯(lián)互通、安全可靠的數(shù)據(jù)資源體系，實(shí)時(shí)數(shù)據(jù)交換是推動(dòng)信息跨部門(mén)跨層級(jí)共享共用數(shù)據(jù)中心的重要環(huán)節(jié)。實(shí)時(shí)數(shù)據(jù)交換適用于對(duì)于數(shù)據(jù)時(shí)效要求快速、高頻度、少量數(shù)據(jù)傳輸?shù)膱?chǎng)景。實(shí)時(shí)數(shù)據(jù)交換通過(guò)將數(shù)據(jù)中心庫(kù)中的數(shù)據(jù)快速的發(fā)布出來(lái)提供給外部系統(tǒng)共享調(diào)用，同時(shí)能夠監(jiān)控外部調(diào)用數(shù)據(jù)的情況提升數(shù)據(jù)的價(jià)值。
在新的Web服務(wù)共享下數(shù)據(jù)交換平能夠自助的、一鍵式將數(shù)據(jù)中心庫(kù)(包括常見(jiàn)的關(guān)系型數(shù)據(jù)庫(kù)MySQL、oracle、sqlserver等，或Hbase、Hive、MongoDB)中的數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)的Web服務(wù)發(fā)布出來(lái)。用戶(hù)只需要配置發(fā)布數(shù)據(jù)中表和表之間的關(guān)系以及發(fā)布的字段就能夠?qū)崿F(xiàn)單表、多表或數(shù)據(jù)實(shí)體的發(fā)布。發(fā)布出的服務(wù)帶有對(duì)輸入輸出以及調(diào)用url的詳細(xì)描述信息，消費(fèi)方能夠很方便的對(duì)這些信息進(jìn)行查看和訂閱。
服務(wù)方能夠?qū)τ嗛喌男畔⑦M(jìn)行審批，審批通過(guò)后消費(fèi)方才能根據(jù)審批信息，配置服務(wù)調(diào)用參數(shù)調(diào)用服務(wù)。服務(wù)方通過(guò)對(duì)訂閱信息的管理和監(jiān)控能更好的掌握和發(fā)掘數(shù)據(jù)的價(jià)值。
4.3.3 數(shù)據(jù)驅(qū)動(dòng)的交換
變化數(shù)據(jù)捕獲簡(jiǎn)稱(chēng)CDC，這種方式主要應(yīng)用于增量數(shù)據(jù)同步并且實(shí)時(shí)性要求較高的場(chǎng)景。這種架構(gòu)下數(shù)據(jù)寫(xiě)入主存儲(chǔ)后會(huì)由主存儲(chǔ)再向輔存儲(chǔ)進(jìn)行同步，對(duì)應(yīng)用層是最友好的，只需要與主存儲(chǔ)打交道。主存儲(chǔ)到輔存儲(chǔ)的數(shù)據(jù)同步，則可以再利用異步隊(duì)列復(fù)制技術(shù)來(lái)做。不過(guò)這種方案對(duì)主存儲(chǔ)的能力有很高的要求，必須要求主存儲(chǔ)能支持CDC技術(shù)。而目前每種數(shù)據(jù)庫(kù)實(shí)現(xiàn)CDC的方式和方法各不相同，于是就需要根據(jù)數(shù)據(jù)庫(kù)類(lèi)型定制化的進(jìn)行CDC的開(kāi)發(fā)。
CDC的數(shù)據(jù)同步具有低影響、低延遲、高性能等特點(diǎn)。這里以mysql為例采用Canal來(lái)說(shuō)明實(shí)現(xiàn)CDC數(shù)據(jù)同步。canal利用了mysql的slave協(xié)議將自己偽裝為mysql的一個(gè)子服務(wù)器，向mysql master發(fā)送dump協(xié)議mysql master收到dump請(qǐng)求，就會(huì)將記錄的日志信息給slave(也就是canal)，canal解析日志信息獲取需要同步的數(shù)據(jù),數(shù)據(jù)交換平臺(tái)通過(guò)Canal組件監(jiān)聽(tīng)Canal服務(wù)獲取到變化數(shù)據(jù)交給之后的增量數(shù)據(jù)輸出組件根據(jù)CDC所捕獲的操作類(lèi)型(類(lèi)型有：insert,update,delete)對(duì)目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行相同的操作來(lái)完成數(shù)據(jù)同步。
這里Canal通過(guò)對(duì)日志數(shù)據(jù)的監(jiān)聽(tīng)觸發(fā)。
4.3.4 指定周期的交換
數(shù)據(jù)交換平臺(tái)作為一個(gè)批量數(shù)據(jù)處理系統(tǒng)，每天都會(huì)進(jìn)行大量的數(shù)據(jù)處理作業(yè)，這些作業(yè)之間可能存在復(fù)雜的時(shí)序關(guān)聯(lián)，因此必須有一個(gè)具備一定自動(dòng)化程度的調(diào)度層，來(lái)實(shí)現(xiàn)作業(yè)有序、高效的執(zhí)行。
作業(yè)在運(yùn)行前都需要在統(tǒng)一調(diào)度系統(tǒng)中注冊(cè)，注冊(cè)成功后再由調(diào)度系統(tǒng)自身的調(diào)度管理根據(jù)配置的任務(wù)計(jì)劃決定作業(yè)的執(zhí)行次序進(jìn)行資源調(diào)配。
調(diào)度包含以下內(nèi)容：
- 觸發(fā)方式：在調(diào)度管理中定期根據(jù)日歷、頻度進(jìn)行作業(yè)觸發(fā)。
- 作業(yè)次序：觸發(fā)后作業(yè)會(huì)根據(jù)之前設(shè)定好的數(shù)據(jù)性進(jìn)行作業(yè)排序調(diào)整作業(yè)次序。
- 任務(wù)計(jì)劃：任務(wù)計(jì)劃會(huì)按照配置好的任務(wù)執(zhí)行周期來(lái)進(jìn)行任務(wù)調(diào)度。
- 資源調(diào)配：在執(zhí)行調(diào)度的時(shí)候會(huì)根據(jù)注冊(cè)的作業(yè)服務(wù)器的狀況進(jìn)行資源分配執(zhí)行傳輸任務(wù)。
4.3.5 事件驅(qū)動(dòng)的交換
數(shù)據(jù)交換平臺(tái)在與用戶(hù)的系統(tǒng)進(jìn)行集成式往往會(huì)遇到客戶(hù)系統(tǒng)需要直接運(yùn)行交換作業(yè)的情況，為此數(shù)據(jù)交換平臺(tái)提供了一套基于事件觸發(fā)的作業(yè)運(yùn)行機(jī)制。能夠通過(guò)文件監(jiān)聽(tīng)或者h(yuǎn)ttp調(diào)用來(lái)與用戶(hù)的系統(tǒng)進(jìn)行集成。
交換服務(wù)能夠通過(guò)監(jiān)聽(tīng)文件目錄或端口，當(dāng)目錄中有符合作業(yè)觸發(fā)規(guī)范的文件時(shí)或接口被調(diào)用時(shí)，對(duì)文件中描述的計(jì)劃按照之前設(shè)定好的數(shù)據(jù)性進(jìn)行作業(yè)排序調(diào)整作業(yè)次序觸發(fā)執(zhí)行，并刪除監(jiān)聽(tīng)到的文件。整個(gè)觸發(fā)執(zhí)行過(guò)程都會(huì)進(jìn)入日志信進(jìn)行留痕。
4.4 新方式迎接數(shù)據(jù)挑戰(zhàn)
4.4.1 批量數(shù)據(jù)交換
在進(jìn)行數(shù)據(jù)交換時(shí)往往遇到的情況是要將整個(gè)庫(kù)中所有的表進(jìn)行遷移或同步，這些遷移或同步的大體邏輯往往相同，但庫(kù)中的表非常多，傳統(tǒng)的數(shù)據(jù)交換中是一張?jiān)幢韺?duì)一張目標(biāo)表進(jìn)行作業(yè)任務(wù)開(kāi)發(fā)，造成開(kāi)發(fā)人員巨大的工作量，表中的字段和和類(lèi)型在進(jìn)行配置時(shí)容易出錯(cuò)，效率低下。
批量數(shù)據(jù)交換采用作業(yè)模板作為業(yè)務(wù)規(guī)格定義，結(jié)合資源目錄能夠通過(guò)簡(jiǎn)單地可視化操作批量數(shù)據(jù)源，對(duì)數(shù)據(jù)源進(jìn)行批量的數(shù)據(jù)交換處理。批量數(shù)據(jù)交換有以下特性：
- 基于作業(yè)模板實(shí)現(xiàn)業(yè)務(wù)能力定義
- 可批量進(jìn)行整庫(kù)的數(shù)據(jù)交換
- 自動(dòng)控制數(shù)據(jù)交換中的各種數(shù)據(jù)轉(zhuǎn)換
- 自動(dòng)進(jìn)行數(shù)據(jù)分批次交換傳輸
- 對(duì)交換的數(shù)據(jù)可配置數(shù)據(jù)脫敏
通過(guò)批量數(shù)據(jù)交換加強(qiáng)了大數(shù)據(jù)量的交換能力。配置、部署、運(yùn)維簡(jiǎn)單，能夠有效提升開(kāi)發(fā)人員的開(kāi)發(fā)效率和質(zhì)量。
4.4.2 跨區(qū)域數(shù)據(jù)交換
跨域的數(shù)據(jù)交換在實(shí)際應(yīng)用中，每個(gè)單位或部門(mén)從安全的角度考慮，都會(huì)設(shè)置前置機(jī)和防火墻，以及根據(jù)需求雙方商定通訊方式編制相應(yīng)的交換策略。因此，實(shí)施難度會(huì)加大，實(shí)施進(jìn)度也會(huì)拉長(zhǎng)。
以前遇到跨區(qū)域數(shù)據(jù)同步往往是先將數(shù)據(jù)轉(zhuǎn)換為文件，然后通過(guò)p2p文件傳輸將文件發(fā)送到目標(biāo)節(jié)點(diǎn)，最后目標(biāo)節(jié)點(diǎn)拿到文件再將文件通過(guò)轉(zhuǎn)換導(dǎo)入到目標(biāo)數(shù)據(jù)源中。
新的模式對(duì)下面幾個(gè)因素都要考慮周全。
- 簡(jiǎn)單。交互的設(shè)計(jì)要簡(jiǎn)單，這對(duì)調(diào)用雙方都有好處。
- 安全性。如何保證數(shù)據(jù)在交互過(guò)程中出現(xiàn)各種異常的情況下，數(shù)據(jù)不出錯(cuò)、不丟失。
- 性能。在選擇的時(shí)候，要考慮數(shù)據(jù)量的大小，以決定一種合適的交換方式（比如：一次調(diào)用請(qǐng)求的數(shù)據(jù)量，請(qǐng)求調(diào)用的頻率）。
在新的交換模式下通過(guò)對(duì)節(jié)點(diǎn)的管理和注冊(cè)，結(jié)合了文件傳輸高效、安全、穩(wěn)定的特性，在進(jìn)行跨區(qū)域數(shù)據(jù)同步時(shí)只需要配置源和目標(biāo)的數(shù)據(jù)庫(kù)信息按照既定的業(yè)務(wù)邏輯就能夠完成跨節(jié)點(diǎn)的數(shù)據(jù)交換，文件傳輸?shù)倪^(guò)程自動(dòng)交由數(shù)據(jù)交換平臺(tái)完成，減輕了跨域數(shù)據(jù)同步的復(fù)雜度。
4.4.3 應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)
傳統(tǒng) ETL 主要以 SQL 為主要技術(shù)手段，把數(shù)據(jù)經(jīng)抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉(cāng)庫(kù)。但是在如今移動(dòng)互聯(lián)網(wǎng)大力發(fā)展的場(chǎng)景下，產(chǎn)生大量碎片化和不規(guī)則的數(shù)據(jù)。這中間的數(shù)據(jù)導(dǎo)入和 SQL ETL 的提取的過(guò)程，大量消耗 IO 性能和計(jì)算資源，在很多場(chǎng)景下已經(jīng)是數(shù)據(jù)處理的瓶頸所在。
Spark通過(guò)在數(shù)據(jù)處理過(guò)程中成本更低的洗牌（Shuffle）方式，將MapReduce提升到一個(gè)更高的層次。利用內(nèi)存數(shù)據(jù)存儲(chǔ)和接近實(shí)時(shí)的處理能力，Spark比其他的大數(shù)據(jù)處理技術(shù)的性能要快很多倍。
新的數(shù)據(jù)交換中我們開(kāi)發(fā)了 FlumeOnYarn 的架構(gòu)，基于 XML 描述的可編程的函數(shù) ETL 轉(zhuǎn)換方法。這種方式充分利用了Spark對(duì)大數(shù)據(jù)的處理能力，通過(guò)XML文件描述源和目標(biāo)以及中間的轉(zhuǎn)換過(guò)程就能夠控制Spark對(duì)數(shù)據(jù)進(jìn)行ETL過(guò)程處理，在應(yīng)對(duì)Hadoop、Hive以及Hbase等任務(wù)處理時(shí)能夠充分體現(xiàn)出大數(shù)據(jù)處理的優(yōu)勢(shì)。
4.5 監(jiān)控與管理
4.5.1 監(jiān)控保證運(yùn)行的穩(wěn)定
交換平臺(tái)的監(jiān)控需要獲取交換服務(wù)器的CPU、內(nèi)存以及磁盤(pán)，在作業(yè)運(yùn)行時(shí)首先根據(jù)負(fù)載算法將收集到的CPU、內(nèi)存和磁盤(pán)信息進(jìn)行負(fù)載運(yùn)算，判斷那臺(tái)交換服務(wù)器的負(fù)載較低，將作業(yè)分發(fā)到負(fù)載較低的交換服務(wù)器上運(yùn)行。
負(fù)載均衡解決了單臺(tái)作業(yè)服務(wù)器在進(jìn)行多作業(yè)并發(fā)時(shí)數(shù)據(jù)ETL過(guò)程壓力過(guò)大的一種多節(jié)點(diǎn)負(fù)載方案。通過(guò)負(fù)載均衡將多個(gè)作業(yè)服務(wù)器節(jié)點(diǎn)組合，將作業(yè)通過(guò)負(fù)載算法分?jǐn)偟竭@些節(jié)點(diǎn)上進(jìn)行ETL過(guò)程。使這些作業(yè)服務(wù)器能以最好的狀態(tài)對(duì)外提供服務(wù)，這樣系統(tǒng)吞吐量最大，性能更高，對(duì)于用戶(hù)而言處理數(shù)據(jù)的時(shí)間也更小。而且，負(fù)載均衡增強(qiáng)了系統(tǒng)的可靠性，最大化降低了單個(gè)節(jié)點(diǎn)過(guò)載、甚至宕機(jī)的概率。
4.5.2 對(duì)各個(gè)運(yùn)行環(huán)節(jié)的監(jiān)控
在數(shù)據(jù)交換過(guò)程中，監(jiān)控管理系統(tǒng)負(fù)責(zé)監(jiān)控作業(yè)的運(yùn)行和調(diào)度情況，統(tǒng)計(jì)交換的過(guò)程和數(shù)據(jù)，形成圖形化的報(bào)表進(jìn)行統(tǒng)計(jì)的數(shù)據(jù)展現(xiàn)。能夠清晰地體現(xiàn)數(shù)據(jù)交換過(guò)程的各種狀態(tài)和數(shù)據(jù)量。
數(shù)據(jù)交換平臺(tái)提供了總攬全局的總體監(jiān)控和明細(xì)型的計(jì)劃監(jiān)控以及事件監(jiān)控；可視化的多維度作業(yè)運(yùn)行監(jiān)控以及完善的資源監(jiān)控功能，對(duì)作業(yè)以及和作業(yè)相關(guān)的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)監(jiān)控和統(tǒng)計(jì)。可統(tǒng)計(jì)作業(yè)交換過(guò)程中的調(diào)度日志、作業(yè)執(zhí)行日志、歷史日志、交換的數(shù)據(jù)量以及統(tǒng)計(jì)數(shù)據(jù)交換的成功失敗次數(shù)，可以保證在第一時(shí)間發(fā)現(xiàn)系統(tǒng)存在的問(wèn)題，并且及時(shí)排除，保證系統(tǒng)的正常運(yùn)行。
5.總結(jié)
隨著數(shù)據(jù)交換在企業(yè)中越來(lái)越受到重視，企業(yè)不僅僅局限于只對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的交換，更有許多企業(yè)通過(guò)數(shù)據(jù)交換打造出了自己的數(shù)據(jù)中臺(tái)和數(shù)據(jù)共享平臺(tái)，通過(guò)對(duì)數(shù)據(jù)的加工、分析和共享提升了數(shù)據(jù)的價(jià)值。創(chuàng)建了在各個(gè)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)高速公路使原先的數(shù)據(jù)孤島，變成數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市有效的對(duì)數(shù)據(jù)進(jìn)行管理和應(yīng)用。
關(guān)于作者：光芒，普元項(xiàng)目經(jīng)理，十多年的IT從業(yè)經(jīng)驗(yàn)，一直專(zhuān)注于企業(yè)數(shù)據(jù)交換和數(shù)據(jù)管理的工作。曾主持參與了Primeton DI和Primeton ESB的產(chǎn)品研發(fā)工作，致力于自服務(wù)的數(shù)據(jù)共享和數(shù)據(jù)交換研究，在數(shù)據(jù)治理領(lǐng)域不斷探索和研發(fā)。
關(guān)于EAWorld：微服務(wù)，DevOps，數(shù)據(jù)治理，移動(dòng)架構(gòu)原創(chuàng)技術(shù)分享
