MySQL Autopilot提供 9 種基于機(jī)器學(xué)習(xí)的自動(dòng)化能力,進(jìn)一步提升MySQL Heatwave服務(wù)的性能和可擴(kuò)展性。
根據(jù)行業(yè)標(biāo)準(zhǔn)TPC-H基準(zhǔn),MySQL HeatWave的性價(jià)比高出Snowflake達(dá) 35 倍,比亞馬遜Redshift的AQUA高 13 倍。
2021年8月12日,北京——甲骨文宣布推出MySQL Heatwave服務(wù)的最新組件MySQL Autopilot,可作為在Oracle云基礎(chǔ)設(shè)施(Oracle Cloud Infrastructure, OCI)之上,MySQL數(shù)據(jù)庫服務(wù)的內(nèi)存中查詢加速引擎。MySQL Autopilot借助先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)HeatWave自動(dòng)化,使其更易于使用,同時(shí)提升性能和可擴(kuò)展性。任何其他云供應(yīng)商都沒有為自己的數(shù)據(jù)庫產(chǎn)品提供這種先進(jìn)的自動(dòng)化能力,且MySQL HeatWave客戶無需支付額外費(fèi)用即可獲得Autopilot。
MySQL Autopilot可自動(dòng)執(zhí)行和高查詢性能相關(guān)的許多關(guān)鍵、具挑戰(zhàn)性的功能,包括配置、數(shù)據(jù)加載、查詢執(zhí)行和故障處理。它使用先進(jìn)的技術(shù)來提取數(shù)據(jù)樣本,采集和查詢統(tǒng)計(jì)數(shù)據(jù),使用Oracle AutoML構(gòu)建機(jī)器學(xué)習(xí)模型,以構(gòu)建內(nèi)存使用、網(wǎng)絡(luò)負(fù)載和執(zhí)行時(shí)間模型。這些機(jī)器學(xué)習(xí)模型可被MySQL Autopilot用于執(zhí)行其核心能力,隨著查詢的次數(shù)越來越多,MySQL Autopilot將使得HeatWave查詢優(yōu)化程序漸趨智能化,從而不斷改善系統(tǒng)性能,而這一能力正是亞馬遜Redshift、亞馬遜Aurora、Snowflake或其他基于MySQL數(shù)據(jù)庫產(chǎn)品所不具備的。
MySQL Autopilo納入了以下功能:
自動(dòng)配置 — 通過對需要分析的表數(shù)據(jù)進(jìn)行自適應(yīng)采樣,以預(yù)測運(yùn)行工作負(fù)載所需的HeatWave節(jié)點(diǎn)數(shù),因此客戶不再需要以人工的方式估算集群的最佳大小,同時(shí)也是任何其他數(shù)據(jù)庫服務(wù)無法提供的獨(dú)特能力。
自動(dòng)并行加載 —通過預(yù)測加載到 HeatWave 中的每個(gè)表的最佳并行度,以優(yōu)化加載時(shí)間和內(nèi)存使用。
自動(dòng)數(shù)據(jù)放置 —預(yù)測應(yīng)在內(nèi)存中對哪些表進(jìn)行分區(qū),以實(shí)現(xiàn)最佳查詢性能,并通過推薦的新列預(yù)測查詢性能的改善程度,可最小化操作人員的影響,最大限度地減少跨節(jié)點(diǎn)的數(shù)據(jù)移動(dòng)。任何其他數(shù)據(jù)庫服務(wù)都未提供這一能力。
自動(dòng)編碼 — 可決定加載至HeatWave的最佳呈現(xiàn)方式,同時(shí)將查詢納入考慮。這一最佳呈現(xiàn)方式能提供最佳的查詢性能,最小化集群的大小,從而最小化成本。
自動(dòng)查詢計(jì)劃 — 智能地學(xué)習(xí)執(zhí)行查詢后的各種統(tǒng)計(jì)數(shù)據(jù),用于改進(jìn)未來的查詢動(dòng)作。隨著查詢次數(shù)的日益增多,系統(tǒng)的性能將會(huì)得到進(jìn)一步提升。任何其他數(shù)據(jù)庫服務(wù)都未提供這一能力。
自動(dòng)估算查詢時(shí)間 —可在執(zhí)行查詢前估算執(zhí)行時(shí)間,幫助客戶確定查詢時(shí)間是否過長,是否應(yīng)該進(jìn)行其他查詢。
自動(dòng)變更傳播 — 當(dāng)MySQL數(shù)據(jù)庫發(fā)生變更時(shí),智能地確認(rèn)傳到HeatWave橫向擴(kuò)展數(shù)據(jù)管理層的最佳時(shí)間,確保在恰當(dāng)?shù)臅r(shí)間傳播變更。任何其他云供應(yīng)商尚未提供這一能力。
自動(dòng)調(diào)度 — 智能地確定隊(duì)列中哪些查詢運(yùn)行時(shí)間較短,并將其優(yōu)先排列在運(yùn)行時(shí)間較長的查詢之前,以縮短總體等待時(shí)間。其他大多數(shù)數(shù)據(jù)庫都使用“先進(jìn)先出”(FIFO)調(diào)度機(jī)制。
自動(dòng)錯(cuò)誤恢復(fù) — 由于軟件或硬件故障導(dǎo)致一個(gè)或更多個(gè)HeatWave節(jié)點(diǎn)無法響應(yīng),系統(tǒng)則會(huì)配置新的節(jié)點(diǎn)并重新加載必要的數(shù)據(jù)。
甲骨文公司首席企業(yè)架構(gòu)師Edward Screven表示:“集成HeatWave技術(shù)的MySQL數(shù)據(jù)庫服務(wù)可高效支持OLTP和OLAP,可讓用戶運(yùn)行混合工作負(fù)載,或?qū)ψ约旱腗ySQL數(shù)據(jù)庫進(jìn)行實(shí)時(shí)分析,相比于其他分析或基于MySQL的數(shù)據(jù)庫,性能可提升 10 至1, 000 倍,而成本不到其一半。MySQL HeatWave是OCI上發(fā)展最快的云服務(wù)之一,越來越多的客戶將MySQL工作負(fù)載遷移至HeatWave。今天發(fā)布的眾多創(chuàng)新都是甲骨文多年研發(fā)的結(jié)果,在自動(dòng)化、性能和成本方面均有了極大改善,使得HeatWave更加領(lǐng)先于其他云服務(wù)。”
甲骨文同時(shí)推出MySQL橫向擴(kuò)展數(shù)據(jù)管理(MySQL Scale-out Data Management),將數(shù)據(jù)加載至HeatWave的性能提升高達(dá) 100 倍。HeatWave現(xiàn)可支持 64 個(gè)節(jié)點(diǎn)(原來為 24 個(gè))的集群,處理多達(dá)32 TB的數(shù)據(jù)(原來為12 TB),進(jìn)一步強(qiáng)化了HeatWave相對于主要競爭對手的性價(jià)比優(yōu)勢。
相比于所有其他數(shù)據(jù)庫和分析云服務(wù),HeatWave的價(jià)格更低,分析和混合工作負(fù)載的性能更高。具體來說,HeatWave具備:
性價(jià)比比亞馬遜Redshift AQUA高 13 倍 — 價(jià)格為其一半,速度快6. 5 倍(TPC-H10TB)
性價(jià)比比Snowflake高 35 倍 — 價(jià)格為其1/5,速度快 7 倍(TPC-H10TB)
性價(jià)比比谷歌Big Query高 36 倍 — 價(jià)格為其1/4,速度快 9 倍(TPC-H30TB)
性價(jià)比比Azure Synapse高 15 倍 — 價(jià)格為其1/4,速度快 3 倍(TPC-H30TB)
在混合工作負(fù)載方面,性價(jià)比比亞馬遜Aurora高 42 倍 — 價(jià)格為其42%,延遲低 18 倍,吞吐量多 110 倍(CH-benCHmark100G)
客戶可訪問此處,了解甲骨文公開提供基準(zhǔn)代碼,并自行使用。甲骨文同時(shí)也宣布現(xiàn)在可使用HeatWave加速行業(yè)標(biāo)準(zhǔn)TPC-DS基準(zhǔn)測試。
從亞馬遜遷移至OCI上MySQL HeatWave的客戶可顯著降低成本,極大提升云工作負(fù)載的性能。
Red3i是美國的一家領(lǐng)先的商務(wù)智能和數(shù)字營銷企業(yè),其聯(lián)合創(chuàng)始人兼首席技術(shù)官Amit Palshikar表示:“我們將6TB數(shù)據(jù)庫和數(shù)字營銷及媒體管理應(yīng)用程序從亞馬遜網(wǎng)絡(luò)服務(wù)Aurora成功地遷移至OCI上的MySQL HeatWave,從而降低成本達(dá)60%,將復(fù)雜查詢的性能提升了 1000 多倍,總體工作負(fù)載改善了85%。同時(shí),我們無需對應(yīng)用程序進(jìn)行任何修改,自動(dòng)恢復(fù)功能最小化了停機(jī)時(shí)間。幫助我們擴(kuò)展至數(shù)千個(gè)核,因應(yīng)我們越來越多的需求。”
IDC數(shù)據(jù)管理軟件研究副總裁Carl Olofson指出:“市面上有一些云數(shù)據(jù)庫提供商繼續(xù)提供針對特定工作負(fù)載的專用數(shù)據(jù)庫,尤其是在開源領(lǐng)域,開發(fā)者希望通過人工調(diào)整參數(shù)的方式優(yōu)化性能。甲骨文采取了不同的方式,將數(shù)據(jù)庫的各種功能整合在一個(gè)系統(tǒng)中,在開源云數(shù)據(jù)庫服務(wù)MySQL HeatWave中提供數(shù)據(jù)庫融合和自動(dòng)化能力。甲骨文在 2020 年推出了MySQL HeatWave,在一個(gè)數(shù)據(jù)庫中提供全面的本地云支持,將OLTP和OLAP整合,無需提取、轉(zhuǎn)換和加載(ETL)。在本次發(fā)布的新版本中,甲骨文增加了基于機(jī)器學(xué)習(xí)的自動(dòng)化,避免了與配置、數(shù)據(jù)加載、查詢執(zhí)行和故障處理相關(guān)的猜測和人工需求。這些自動(dòng)化功能也是 HeatWave 優(yōu)秀的性能和性價(jià)比結(jié)果主要原因,正如甲骨文公開可訪問和可重復(fù)的基準(zhǔn)所報(bào)告所顯示,其提供的指標(biāo)與其他云數(shù)據(jù)庫服務(wù)提供商的指標(biāo)相比相當(dāng)具有優(yōu)勢。”
MySQL HeatWave也被集成進(jìn)了甲骨文的湖倉(lake house),而OCI數(shù)據(jù)目錄是該湖倉的唯一目錄,包含MySQL數(shù)據(jù)庫服務(wù)、Oracle自治數(shù)據(jù)庫和對象存儲(chǔ)的數(shù)據(jù)(OCI Object Storage)。湖倉用戶可通過該目錄發(fā)現(xiàn)MySQL數(shù)據(jù),按需移動(dòng)或分析這些數(shù)據(jù)。Oracle分析云和Oracle云數(shù)據(jù)集成服務(wù)等其他OCI服務(wù)也與MySQL HeatWave進(jìn)行集成。