To digitally transform the business, AI must be real-time. For AI to be real-time, we need real-time analytics.[1]
Hybrid transaction/analytical processing (HTAP) is an emerging application architecture that "breaks the wall" between transaction processing and analytics. It enables more informed and "in business real time" decision making.
——Defined by Gartner
背景篇-引言
自 StoneDB 開源的第一天，石原子科技就說要做真正的 HTAP，那么究竟石原子科技對 HTAP是怎么理解的？解讀一門技術，就要從其發(fā)展背景入手，本篇文章中石原子科技將從 OLTP 和 OLAP 最近的發(fā)展介紹及各自遇到的問題為基礎，引出 HTAP 相關概念。
OLTP：特點、適用場景、遇到的問題、最新進展
對事務型數(shù)據(jù)進行處理稱為聯(lián)機事務處理 (On Line Transaction Processing, OLTP)。OLTP 系統(tǒng)其主要的使用場景為記錄日常運營中與業(yè)務系統(tǒng)之間的交互記錄，并且支持以該數(shù)據(jù)進行查詢分析以獲得分析結果。
事務數(shù)據(jù)是指一種信息，用于跟蹤與組織活動相關的交互，常為：業(yè)務事務。例如：從客戶收到的付款、對供應商進行的付款、從庫存移動的產(chǎn)品、接受的訂單或交付的服務。表示事務本身的事務事件通常包含時間維度、數(shù)值等。
事務通常需要原子性和一致性。原子性意味著整個事務始終作為一個工作單元成功或失敗，永遠不會處于半完成狀態(tài)。如果無法完成某個事務，數(shù)據(jù)庫系統(tǒng)必須回退任何已完成的該事務的一部分工作，從而能夠保證整個工作要么完成，要么失敗。一致性意味著事務始終讓數(shù)據(jù)處于最終有效狀態(tài)，如果已將某個事務的一部分提交到數(shù)據(jù)庫，那么該源事務中所有其他作用域內(nèi)操作也將處于最終有效狀態(tài)并提交到數(shù)據(jù)庫中。事務型數(shù)據(jù)庫可以使用各種鎖定策略（如悲觀鎖定）支持事務的強一致性，以確保所有用戶和進程的所有數(shù)據(jù)在業(yè)務的上下文中具有強一致性。
事務型數(shù)據(jù)最常見的部署體系結構是三層體系結構。在該體系結構中，事務型數(shù)據(jù)在數(shù)據(jù)存儲層被使用。三層體系結構通常包含：表示層、業(yè)務邏輯層和數(shù)據(jù)存儲層。
適用場景
如果業(yè)務系統(tǒng)對數(shù)據(jù)完整性和實時性有約束要求，同時在業(yè)務的處理過程中需要保證數(shù)據(jù)的嚴格完整性，而且更改后的數(shù)據(jù)需要嚴格的持久性，此時OLTP 會是你的首要選擇。因為，OLTP 系統(tǒng)設計用于高效地處理和存儲事務，以及查詢事務數(shù)據(jù)。
面臨挑戰(zhàn)
實現(xiàn)和使用 OLTP 系統(tǒng)可能會帶來一些挑戰(zhàn)：
（1）OLTP 系統(tǒng)不是特別適合用于處理大量數(shù)據(jù)場景的復雜查詢。在大數(shù)據(jù)量復雜查詢場景下， OLTP 系統(tǒng)會消耗大量的計算資源和存儲資源，所以執(zhí)行上可能較慢。而且如果此時其它事務也正在對某些復雜查詢的數(shù)據(jù)進行操作，往往會觸發(fā)系統(tǒng)中的鎖機制，這會導致整個系統(tǒng)性能的下降。
（2）在 OLTP 系統(tǒng)中，數(shù)據(jù)庫對象的命名約定通常簡潔而精煉，這對業(yè)務用戶專業(yè)素養(yǎng)要求較高。OLTP 系統(tǒng)中增強的規(guī)范化與簡潔的命名約定共同使得業(yè)務用戶在沒有 DBA 或數(shù)據(jù)開發(fā)者幫助的情況下難以執(zhí)行查詢。
（3）歷史記錄以及在任何一個表中存儲太多數(shù)據(jù)都會導致查詢性能變慢。常見的解決方案是在 OLTP 系統(tǒng)中維護一個相關時間范圍（例如當前統(tǒng)計年度）并將歷史數(shù)據(jù)卸載到其他系統(tǒng)，例如：數(shù)據(jù)倉庫。
OLAP：特點、適用場景、遇到的問題、最新進展
聯(lián)機分析處理（英語：Online analytical processing），簡稱 OLAP，用來快速解決多維分析問題的一種方法。OLAP 是更廣泛的商業(yè)智能范疇的一部分，它還包括關系數(shù)據(jù)庫、報告編寫和數(shù)據(jù)挖掘。
企業(yè)用來存儲其所有事務和記錄的數(shù)據(jù)庫稱為聯(lián)機事務處理 (OLTP) 數(shù)據(jù)庫。它們通常包含對組織有價值的大量信息。OLTP 的數(shù)據(jù)庫不是為分析而設計的。因此，從這些數(shù)據(jù)庫中檢索答案從時間和工作量角度而言成本高昂。OLAP 系統(tǒng)設計用來以高性能方式從數(shù)據(jù)中提取商業(yè)智能信息。這是因為 OLAP 數(shù)據(jù)庫針對高頻讀取和低頻寫入進行了優(yōu)化。
適用場景
需要快速執(zhí)行復雜的分析和即席查詢，且不能對 OLTP 系統(tǒng)產(chǎn)生負面影響；
為業(yè)務用戶提供一種簡單的方式來基于數(shù)據(jù)生成報表；
提供大量聚合，這些聚合將使用戶能夠快速獲得響應結果。OLAP 適用于大量數(shù)據(jù)且查詢多為聚合計算的場景下。OLAP 系統(tǒng)針對高頻讀取應用場景（例如分析和商業(yè)智能）進行了優(yōu)化。
面臨挑戰(zhàn)
OLAP 系統(tǒng)中的數(shù)據(jù)更新較少，具體取決于業(yè)務需求，這意味著 OLAP 系統(tǒng)更適用于戰(zhàn)略級業(yè)務決策，而非適用于立即對更改做出響應。另外，還需要規(guī)劃一定級別的數(shù)據(jù)清理和業(yè)務流程來使 OLAP 系統(tǒng)中的數(shù)據(jù)保持最新。
