4月，阿里云Serverless工作流正式商業(yè)化，這是一款用于協(xié)調(diào)多個(gè)分布式任務(wù)執(zhí)行的全托管 Serverless 云服務(wù)。產(chǎn)品致力于簡(jiǎn)化開(kāi)發(fā)和運(yùn)行業(yè)務(wù)流程所需要的任務(wù)協(xié)調(diào)、狀態(tài)管理以及錯(cuò)誤處理等繁瑣工作，讓用戶聚焦業(yè)務(wù)邏輯開(kāi)發(fā)。

精準(zhǔn)打造云上自動(dòng)生產(chǎn)線，Serverless工作流正式商用

工作流是一種非常常見(jiàn)的場(chǎng)景，比如企業(yè)內(nèi)部審批、采購(gòu)訂單、ETL等日常企業(yè)事務(wù)，或者大數(shù)據(jù)處理流水線，常規(guī)或定制化自動(dòng)化運(yùn)維等。此外，音視頻行業(yè)的多媒體文件分片轉(zhuǎn)碼、格式轉(zhuǎn)換、審核校驗(yàn)和人臉識(shí)別等長(zhǎng)時(shí)任務(wù)，電商旅游行業(yè)的客戶線上訂單，AI行業(yè)的機(jī)器學(xué)習(xí)流水線， 生信行業(yè)的基因測(cè)序工作流。

這些場(chǎng)景面臨著以下難點(diǎn)：一般由眾多異步分布式任務(wù)組成，控制邏輯和任務(wù)邏輯交織在一起，流程復(fù)雜冗長(zhǎng)；分布式任務(wù)可能跨越公共云和本地機(jī)房，安全的打通網(wǎng)絡(luò)代價(jià)很大；整個(gè)工作流執(zhí)行完畢耗時(shí)過(guò)長(zhǎng)，造成資源占用的浪費(fèi)；涉及異步且關(guān)鍵業(yè)務(wù)流程，務(wù)必保證數(shù)據(jù)一致性；繁復(fù)的執(zhí)行步驟如何進(jìn)行可視化監(jiān)控等等。

Serverless工作流正式針對(duì)這些痛點(diǎn)，分離控制邏輯與任務(wù)邏輯，細(xì)化責(zé)任，便于管理和維護(hù)； 將流程以模版方式統(tǒng)一定義控制，簡(jiǎn)化編排，通過(guò)串聯(lián)或并行等多種方式編排任務(wù)；支持函數(shù)，隊(duì)列，云服務(wù)等多種任務(wù)類(lèi)型，打通公共云和企業(yè)內(nèi)網(wǎng)；支持最長(zhǎng)1年的執(zhí)行任務(wù)，但卻采用Serverless計(jì)費(fèi)模型， 按需付費(fèi)；動(dòng)態(tài)調(diào)用并發(fā)函數(shù)，保持狀態(tài)和消息的持久化，信息不丟失且最終同步，提高容錯(cuò)性，自動(dòng)處理異常；流程進(jìn)度可視化，歷史執(zhí)行可追溯性等等。

助力圖森未來(lái)，自動(dòng)化數(shù)據(jù)處理平臺(tái)， 讓一切簡(jiǎn)單可靠

圖森未來(lái)是一家專(zhuān)注于L4級(jí)別無(wú)人駕駛卡車(chē)技術(shù)研發(fā)與應(yīng)用的人工智能企業(yè)，面向全球提供可大規(guī)模商業(yè)化運(yùn)營(yíng)的無(wú)人駕駛卡車(chē)技術(shù)，為全球物流運(yùn)輸行業(yè)賦能。目前已完成D輪融資，估值超過(guò)10億美元。無(wú)人駕駛技術(shù)研發(fā)依賴大量的路測(cè)試驗(yàn)數(shù)據(jù)積累，而高效進(jìn)行路測(cè)、快速對(duì)路測(cè)數(shù)據(jù)進(jìn)行處理來(lái)指導(dǎo)模型的更新迭代是這類(lèi)場(chǎng)景的核心訴求。

路測(cè)過(guò)程中會(huì)有大量數(shù)據(jù)產(chǎn)生，而對(duì)這些數(shù)據(jù)的處理流程則復(fù)雜多變，即使對(duì)于同一批數(shù)據(jù)，不同的業(yè)務(wù)小組也會(huì)有不同的使用及處理方式。如何有效管理不同的數(shù)據(jù)處理流程、降低人為介入頻率能夠大幅的提高生產(chǎn)效率。

路測(cè)不定時(shí)運(yùn)行的特點(diǎn)使得流程編排任務(wù)運(yùn)行時(shí)間點(diǎn)、運(yùn)行時(shí)長(zhǎng)具有極大的不確定性，本地機(jī)房獨(dú)自建立流程管理系統(tǒng)難以最大優(yōu)化機(jī)器利用率，造成資源浪費(fèi)。而圖森未來(lái)本地已有許多單元化業(yè)務(wù)處理腳本及應(yīng)用程序，但因?yàn)楦鞣N限制而無(wú)法全量的遷移上云，這也對(duì)如何合理化使用云上服務(wù)帶來(lái)了挑戰(zhàn)。

另外，由于處理流程的步驟繁多，不同任務(wù)間的數(shù)據(jù)共享變得十分重要。任務(wù)之間在相互依賴的情況下，非?？简?yàn)系統(tǒng)可靠性。因此，對(duì)于復(fù)雜流程的步驟間的狀態(tài)及數(shù)據(jù)管理也是業(yè)務(wù)所面臨的一項(xiàng)挑戰(zhàn)。

針對(duì)上述情況，圖森未來(lái)開(kāi)始探索數(shù)據(jù)處理平臺(tái)的自動(dòng)化。阿里云 Serverless 工作流按執(zhí)行調(diào)度的次數(shù)計(jì)費(fèi)，具有易用易集成、運(yùn)維簡(jiǎn)單等諸多優(yōu)點(diǎn)，能夠很好的解決上述場(chǎng)景中所遇到的問(wèn)題，非常適合這類(lèi)不定時(shí)運(yùn)行的離線任務(wù)場(chǎng)景。Serverless 工作流還支持編排本地或自建機(jī)房的任務(wù)，圖森未來(lái)通過(guò)使用 Serverless 工作流原生支持的消息服務(wù)MNS解決了云上云下的數(shù)據(jù)打通問(wèn)題，使得本地的原有任務(wù)得到很好的編排及管理。

除了調(diào)度外，Serverless 工作流也支持對(duì)任務(wù)的狀態(tài)及執(zhí)行過(guò)程中所產(chǎn)生的數(shù)據(jù)進(jìn)行維護(hù)。圖森未來(lái)通過(guò)使用任務(wù)的輸入輸出映射及狀態(tài)匯報(bào)機(jī)制，高效的管理了流程中各任務(wù)的生命周期及相互間的數(shù)據(jù)傳遞。

在未來(lái)，隨著業(yè)務(wù)規(guī)模的擴(kuò)大，圖森未來(lái)將持續(xù)優(yōu)化離線大數(shù)據(jù)處理流程的運(yùn)行效率及自動(dòng)化水平。通過(guò)各種探索，圖森未來(lái)將進(jìn)一步提升工程團(tuán)隊(duì)的效率，將更多的精力和資金投入到業(yè)務(wù)創(chuàng)新中去。

Serverless工作流更多應(yīng)用場(chǎng)景

各個(gè)公司會(huì)有如下的一些典型工作流場(chǎng)景。這里簡(jiǎn)單介紹三個(gè)典型應(yīng)用：訂單流程審批，可支持1年執(zhí)行時(shí)長(zhǎng)對(duì)于電商、旅行行業(yè)的訂單，或者企業(yè)內(nèi)部的日常各類(lèi)申請(qǐng)， 從下發(fā)到生效都要經(jīng)過(guò)多個(gè)環(huán)節(jié)，需要跨公司辦公網(wǎng)絡(luò)和公共云的多網(wǎng)絡(luò)環(huán)境，途徑多個(gè)環(huán)節(jié)的多步驟分布式，可能涉及人工介入，最終數(shù)據(jù)確保強(qiáng)一致性。目前Serverless工作流默認(rèn)的支持最長(zhǎng) 1 年的執(zhí)行，以及并行觸發(fā) 1 萬(wàn)個(gè)流程。

多媒體文件處理，降低失敗率、提升吞吐量Serverless工作流同樣適用多任務(wù)編排，比如多媒體文件如轉(zhuǎn)碼、截幀、人臉識(shí)別、語(yǔ)音識(shí)別、審核上傳等各類(lèi)處理。用戶可以編排成一個(gè)完整的處理流程，通過(guò)函數(shù)計(jì)算提交媒體處理(IMM)任務(wù)（或自建處理器），產(chǎn)出一個(gè)符合業(yè)務(wù)需求的輸出。各任務(wù)的執(zhí)行錯(cuò)誤異?？梢员豢煽康闹卦嚕蟠筇嵘嗝襟w任務(wù)處理吞吐量。對(duì)于視頻點(diǎn)播、 視頻轉(zhuǎn)碼等重度依賴算力的任務(wù)如果采用Serverless方式搭建，將函數(shù)計(jì)算和Serverless工作流組合使用，僅需3人天便可上線落地。

自動(dòng)化運(yùn)維，流程進(jìn)度可視化跟進(jìn)自動(dòng)化運(yùn)維常見(jiàn)有步驟繁瑣時(shí)間長(zhǎng)短不一，單機(jī)腳本可靠性低，依賴復(fù)雜等常見(jiàn)的挑戰(zhàn)，另外進(jìn)度無(wú)法可視化。Serverless 工作流+函數(shù)計(jì)算的流程可以很好地應(yīng)對(duì)這些挑戰(zhàn)。例如軟件自動(dòng)化部署從構(gòu)建Docker容器，上傳容器鏡像，開(kāi)始并追蹤各節(jié)點(diǎn)下拉鏡像并啟動(dòng)新版本鏡像的容器，每一步函數(shù)產(chǎn)生的日志會(huì)被保存到日志服務(wù)可供查詢分享?；诠ぷ髁鞯淖詣?dòng)化工具相比單機(jī)運(yùn)維腳本具有高可用，自帶錯(cuò)誤處理機(jī)制和進(jìn)度圖形化的特點(diǎn)。

"Serverless 工作流是阿里云 Serverless 產(chǎn)品體系中的關(guān)鍵一環(huán)。" 阿里云 Serverless產(chǎn)品負(fù)責(zé)人楊皓然表示，“ 通過(guò) Serverless 工作流，用戶能夠?qū)⒑瘮?shù)計(jì)算、視覺(jué)智能平臺(tái)等多個(gè)阿里云服務(wù)，或者自建的服務(wù)，以簡(jiǎn)單直觀的方式編排為工作流，迅速構(gòu)建彈性高可用的云原生應(yīng)用。”

據(jù)悉，阿里云在2017年推出函數(shù)計(jì)算， 該服務(wù)根據(jù)應(yīng)用負(fù)載變化實(shí)時(shí)智能地彈性擴(kuò)縮容，1分鐘完成上萬(wàn)實(shí)例的伸縮并保證穩(wěn)定的延時(shí)。目前已經(jīng)支撐微博、芒果TV、華大基因、圖森未來(lái)、石墨科技等用戶的關(guān)鍵應(yīng)用，輕松應(yīng)對(duì)業(yè)務(wù)洪峰。