6月20日消息,亞馬遜云科技推出Amazon Redshift流式注入(Streaming Ingestion)功能預(yù)覽,讓客戶能夠直接從Amazon Kinesis Data Streams向Amazon Redshift數(shù)據(jù)倉庫中注入實時數(shù)據(jù)并分析。
通常,在游戲?qū)崟r數(shù)據(jù)分析、在線廣告點擊流分析、零售POS機數(shù)據(jù)流分析、應(yīng)用日志和網(wǎng)絡(luò)日志分析、物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)分析等應(yīng)用場景中,應(yīng)用或者終端設(shè)備會在短時間內(nèi)持續(xù)生成巨量數(shù)據(jù)流。這些數(shù)據(jù)流會被送到Amazon Kinesis Data Streams進(jìn)行實時緩存并最終使用Amazon Redshift完成數(shù)據(jù)分析。
以往,亞馬遜云科技的客戶如果想從Amazon Kinesis Data Streams向Amazon Redshift注入實時數(shù)據(jù),需要先在Amazon S3中暫存數(shù)據(jù),然后使用Copy命令加載數(shù)據(jù)來構(gòu)建數(shù)據(jù)管道,這一過程通常需要幾分鐘才能完成。
現(xiàn)在,Amazon Redshift流式注入功能可以讓客戶無需在Amazon Simple Storage Service(Amazon S3)中暫存數(shù)據(jù),直接將每秒數(shù)百兆的流數(shù)據(jù)接收到Amazon Redshift數(shù)據(jù)倉庫集群并處理。客戶使用現(xiàn)有工具和SQL執(zhí)行下游處理和轉(zhuǎn)換,無需額外的成本,在幾秒鐘內(nèi)從數(shù)據(jù)中獲得洞察。
亞馬遜云科技方面表示,Amazon Redshift流式注入(Streaming Ingestion)功能的推出大幅簡化流式數(shù)據(jù)管道構(gòu)建,加速數(shù)據(jù)處理,支持以低延遲、高吞吐量訪問數(shù)據(jù)倉庫中的實時數(shù)據(jù),幫助數(shù)據(jù)工程師、數(shù)據(jù)分析師和大數(shù)據(jù)開發(fā)者將數(shù)據(jù)分析從“批量”轉(zhuǎn)向“實時”,提升了亞馬遜云科技實時數(shù)據(jù)處理能力,并將進(jìn)一步推動機器學(xué)習(xí)由實驗轉(zhuǎn)向規(guī)模化落地。