12 月 2 日，火山引擎「新云·共未來」云產(chǎn)品發(fā)布會在上海成功召開。火山引擎云原生產(chǎn)品負(fù)責(zé)人鄧德源帶來了主題為《火山引擎全棧云原生架構(gòu)實踐》的分享
以下為演講正文：
大家好，我是火山引擎云原生產(chǎn)品負(fù)責(zé)人鄧德源，今天非常榮幸能夠給大家?guī)碓圃募夹g(shù)分享。接下來我將為大家分享我們的云原生架構(gòu)如何為字節(jié)跳動的業(yè)務(wù)提供安全、穩(wěn)定、連續(xù)的服務(wù)，并通過火山引擎云原生實踐和案例解讀，分享我們對云原生未來發(fā)展的思考。
字節(jié)跳動云原生發(fā)展歷程
字節(jié)跳動的云原生發(fā)展歷程大致經(jīng)歷了 4 個階段。
第一階段是 2016-2017 年間，開始嘗試實踐 Docker & Kubernetes。
從 2016 年開始，字節(jié)跳動啟動了Kubernetes v1.4 的開發(fā)測試上線，并不斷完善周邊基礎(chǔ)設(shè)施建設(shè)，如基于 Consul 實現(xiàn)服務(wù)發(fā)現(xiàn)等。
第二階段是 2017-2018 年間，公司業(yè)務(wù)全面實現(xiàn)了微服務(wù)化，為后續(xù)全面云原生化奠定了基礎(chǔ)。
在這一階段，我們基于微服務(wù)化的痛點，啟動了對 Service Mesh 的調(diào)研和實現(xiàn)，主要場景是安全業(yè)務(wù)推廣；同期，我們也不斷加強云原生鏈路觀測能力，實現(xiàn)了監(jiān)控日志一體化分析平臺，初步解決了大規(guī)模服務(wù)下的服務(wù)問題診斷。
第三階段 2019-2020 年，字節(jié)跳動實現(xiàn)了核心業(yè)務(wù)的云原生化。基于前一階段的微服務(wù)化成果，團(tuán)隊逐步啟動了核心業(yè)務(wù)的云原生化，并獲得了 3 個標(biāo)志性里程碑：
• 基于容器化調(diào)度平臺，實現(xiàn)了在離線業(yè)務(wù)的統(tǒng)一管理和調(diào)度，將容器平臺作為業(yè)務(wù)統(tǒng)一入口，并且實現(xiàn)了資源利用率的大范圍提高；
• 完成了業(yè)務(wù) Mesh 化的全覆蓋，同時非 Mesh 化業(yè)務(wù)也能夠通過服務(wù)框架的形式共存；
• 函數(shù)計算全面上量，支持大規(guī)模消費類場景，并涵蓋了新興場景，如云邊一體化。
第四階段是 2021 年，字節(jié)跳動所有業(yè)務(wù)均已經(jīng)實現(xiàn)了全面云原生化，并且基于云原生基礎(chǔ)設(shè)施，成功支持了春晚活動，充分驗證了其穩(wěn)定性和彈性能力。
今年年初，為了優(yōu)化存儲的運維效率，同時釋放計算資源，我們開啟了數(shù)據(jù)庫、緩存等中間件的改造，系統(tǒng)全面走向了整合化。基于平臺化的基礎(chǔ)設(shè)施，我們也在深度地向智能化、實時化、分離化等方向全面演進(jìn)。
截止目前，字節(jié)跳動已經(jīng)建設(shè)了完善的云原生基礎(chǔ)設(shè)施：擁有 200 多個生產(chǎn)集群，共計 50 萬節(jié)點，最大集群節(jié)點數(shù)上萬，容器數(shù)超過 1000萬；有 10 萬多在線微服務(wù)，平均每日變更數(shù)達(dá) 2 萬次，離線任務(wù)數(shù)超過 1.4 億。
這個時候，我們開始問自己一些問題：字節(jié)跳動的理念是獨一無二的嗎？我們的實踐是否是不可復(fù)制的？我們豐富的云原生實踐，如何能夠普惠萬千企業(yè)？
火山引擎云原生架構(gòu)設(shè)計理念與實踐
根據(jù)國家“十四五”規(guī)劃，到 2025 年，國內(nèi)數(shù)字經(jīng)濟(jì)占比將達(dá)到 GDP 的 10%，企業(yè)新增生產(chǎn)級云原生應(yīng)用在新應(yīng)用的占比將從 2020 年的10% 增加到 60%。數(shù)字經(jīng)濟(jì)與實體經(jīng)濟(jì)的融合已經(jīng)成為不可逆轉(zhuǎn)的趨勢。
那么，作為近年來增速最快的企業(yè)之一，字節(jié)跳動的云原生架構(gòu)體系是如何全面、有機(jī)地跟隨業(yè)務(wù)的快速發(fā)展的？這離不開我們設(shè)計基礎(chǔ)架構(gòu)的核心理念和原則。
基礎(chǔ)設(shè)施：平臺化 → 智能化。平臺化從另一個角度看即是服務(wù)化，當(dāng)基礎(chǔ)設(shè)施平臺化且有聚集效應(yīng)時，企業(yè)才有足夠的體量往下推演；同時隨著數(shù)據(jù)和經(jīng)驗的積累，企業(yè)也能進(jìn)一步衍生出智能化能力，包括智能調(diào)度、智能運維等。
系統(tǒng)架構(gòu)：垂直化 → 整合化。基于業(yè)務(wù)發(fā)展的速度，我們針對某些場景，例如推薦廣告搜索，實現(xiàn)了相對垂直的管控能力；同時，我們的在線和離線能夠整合，批處理和流處理能夠一體化，異構(gòu)資源能夠做到統(tǒng)一調(diào)度。從垂直到整合，這是一個逐步收攏的過程。
基礎(chǔ)組件：規(guī)模化 → 實時化。規(guī)模化推動的是以量取勝、實時化推動的是以質(zhì)取勝。規(guī)模化階段業(yè)務(wù)不斷上量，資源成倍增加，而實時化的演進(jìn)迫使我們?nèi)プ黾?xì)粒度的優(yōu)化，例如我們在軟硬結(jié)合、內(nèi)存計算方向的探索，在降本提效上都有顯著的效果。
研發(fā)體系：敏捷化 → 現(xiàn)代化。我們不僅提倡敏捷化快速交付的能力，還不斷實踐現(xiàn)代化應(yīng)用的構(gòu)建。所謂現(xiàn)代化，一方面意味著應(yīng)用構(gòu)建更深入地走向移動化和低代碼化，另一方面則是在應(yīng)用的容災(zāi)和遷移能力上能夠更深層地做到無感知。
業(yè)務(wù)觸點：中心化 → 分離化。這是一個逐步建設(shè)多云、混合云、云端一體化能力的過程，我們所服務(wù)的業(yè)務(wù)遍布各地，這些業(yè)務(wù)所服務(wù)的客戶同樣遍布各地，我們期望基礎(chǔ)架構(gòu)能夠在計算、存儲、數(shù)據(jù)方面都具備分布式的能力，支持業(yè)務(wù)提供更廣泛的服務(wù)。
事實證明，云原生為上述理念提供了一條最佳的實踐路徑。云原生強調(diào)自動化、高彈性、可擴(kuò)展，同時提供了一整套圍繞這個思想的工具鏈和規(guī)范。
而作為字節(jié)跳動旗下的企業(yè)級技術(shù)服務(wù)平臺，火山引擎抽象了字節(jié)跳動在硬件、存儲、安全、業(yè)務(wù)、開發(fā)、運維等多個場景下的云原生實踐思想，推出了包含上層解決方案和中層基礎(chǔ)產(chǎn)品服務(wù)的云原生全系產(chǎn)品。
火山引擎云原生產(chǎn)品與解決方案
火山引擎云原生產(chǎn)品重點圍繞 5 個方向完善產(chǎn)品矩陣，分別是云原生系統(tǒng)、開發(fā)態(tài)、交付態(tài)、運行態(tài)以及安全運維。
其中，「云原生系統(tǒng)」包含最基礎(chǔ)的容器服務(wù)和鏡像倉庫兩大核心產(chǎn)品，沉淀了字節(jié)跳動數(shù)年來建設(shè)容器平臺的經(jīng)驗，除基本應(yīng)用托管能力外，還提供高穩(wěn)定、高性能、自運維等能力，旨在為企業(yè)提供最堅實的底座。火山引擎的上層產(chǎn)品大多都圍繞這兩款產(chǎn)品構(gòu)建，例如函數(shù)服務(wù)、持續(xù)交付、應(yīng)用觀測、湖倉一體的大數(shù)據(jù)分析服務(wù)、機(jī)器學(xué)習(xí)平臺。許多內(nèi)部業(yè)務(wù)系統(tǒng)，如抖音電商、商業(yè)化開放平臺，也都基于這款容器產(chǎn)品構(gòu)建其業(yè)務(wù)系統(tǒng)。
基于應(yīng)用生命周期拆解，我們新劃分了「開發(fā)、交付和運行態(tài)」，其核心是解決應(yīng)用現(xiàn)代化過程中所遇到的問題。首次發(fā)布的產(chǎn)品體系可以支撐企業(yè)業(yè)務(wù)架構(gòu)升級以及打通重點場景的原子產(chǎn)品，其中既包含代碼倉庫、應(yīng)用平臺這類可以支撐應(yīng)用快速開發(fā)的產(chǎn)品，也包含持續(xù)交付、制品倉庫等提升敏捷化和統(tǒng)一交付能力的產(chǎn)品，也有服務(wù)網(wǎng)格、應(yīng)用觀測、應(yīng)用韌性這類可以從流量、監(jiān)控、演練等方面保障業(yè)務(wù)平穩(wěn)運行的產(chǎn)品。
最后，在「安全與運維」層面，火山引擎重點構(gòu)建了以云堡壘機(jī)和云命令行為主的安全運維通道，以及以 IaC 為核心的自動化運維能力，結(jié)合應(yīng)用全生命周期托管能力，提供安全且自動化的云原生體驗。
解決方案主要包括「業(yè)務(wù)架構(gòu)升級」和「重點場景使能」兩方面。其中，「業(yè)務(wù)架構(gòu)升級」主要針對業(yè)務(wù)的多云部署、新一代的微服務(wù)架構(gòu)以及面向下一代的無服務(wù)器架構(gòu)展開。「重點場景使能」則是輸出字節(jié)跳動快速發(fā)展的核心路徑：當(dāng)前，大多數(shù)企業(yè)現(xiàn)在已經(jīng)進(jìn)入轉(zhuǎn)型的深水區(qū)，業(yè)務(wù)和架構(gòu)復(fù)雜性并非單款產(chǎn)品所能解決的；相較于產(chǎn)品能力零散的輸出，所有產(chǎn)品力的構(gòu)建都圍繞著核心場景完成。
云原生的基礎(chǔ)底座：容器
此次火山引擎推出的云原生容器系統(tǒng)類產(chǎn)品包括容器服務(wù)和鏡像倉庫，提供最基礎(chǔ)的容器化平臺，主要有四個特點：
按需彈性：容器服務(wù)底層基于彈性計算和彈性容器兩類計算引擎，其中彈性容器主打彈性場景，根據(jù)實測數(shù)據(jù)，它可以支持容器的秒級啟動，30 秒滿足近萬核的擴(kuò)容需求。
• 系統(tǒng)層采用精簡 Hypervisor 和 Kernel，裁剪掉多余功能，僅保留核心能力，兼容性得到了內(nèi)部業(yè)務(wù)的廣泛驗證；
• 管控層針對核心創(chuàng)建鏈路做異步和緩存，無需每次額外申請 ENI 和 EBS 資源；
• 采用快照和按需加載的能力，將鏡像加載速度降低到毫秒內(nèi)。
性能優(yōu)化：容器和虛擬機(jī)運行時全面基于自研網(wǎng)卡和自研 vSwitch，相比開源方案，火山引擎軟硬一體化的方案在PPS、延遲和帶寬具有近 2到 3 倍的提升，單機(jī)容器密度近千。存儲 IO 上采用自研協(xié)議棧，深度優(yōu)化數(shù)據(jù)拷貝路徑，實現(xiàn)用戶態(tài)協(xié)議和全鏈路零拷貝，性能相對原生IO 提升了 5 倍。
安全可靠：VKE 支持同一集群同時運行 runC 和 runV 容器，用戶可以按照隔離需求來選擇不同的運行時。Kubernetes 完全由平臺托管，默認(rèn)采用 CIS 等安全規(guī)范，由平臺確保 Kubernetes 的安全和運維，免除用戶管理成本。
隨處可及：在設(shè)計之初，我們就意識到了系統(tǒng)可擴(kuò)展能力的重要性，確定了同源架構(gòu)的路線。一方面通過同一套基礎(chǔ)底座實現(xiàn)隨處部署，另外通過同一套產(chǎn)品能力提供無縫的體驗。接口上做到 Kubernetes 100% 的兼容，已經(jīng)使用 Kubernetes 的用戶可以實現(xiàn)無縫遷移。
云原生的中堅力量：服務(wù)治理
為保障云原生應(yīng)用全生命周期的敏捷和穩(wěn)定，字節(jié)跳動圍繞研發(fā)效率、運行效率和穩(wěn)定性三個方面，實現(xiàn)了一系列平臺和服務(wù)來保障服務(wù)治理能力的有效落地，解決了易用性和快速迭代的問題、性能和成本的問題，并保障了觀測、安全和運行時的穩(wěn)定。
在本次云產(chǎn)品發(fā)布會上，我們主要推出 API 網(wǎng)關(guān)、服務(wù)網(wǎng)格、應(yīng)用觀測服務(wù)、應(yīng)用韌性服務(wù)和持續(xù)交付。下圖介紹了每個產(chǎn)品的原子能力，這里我圍繞幾個實際的場景來介紹它們所服務(wù)的一些場景。
敏捷迭代：隨著企業(yè)業(yè)務(wù)、規(guī)模的不斷發(fā)展擴(kuò)張，項目復(fù)雜度提高，研發(fā)進(jìn)度變慢和交付質(zhì)量下降不可避免。結(jié)合持續(xù)交付、應(yīng)用觀測服務(wù)和容器服務(wù)，火山引擎可以幫助企業(yè)實現(xiàn)可灰度、可觀測、可回滾的能力：通過持續(xù)交付完成代碼上線，通過應(yīng)用觀測實現(xiàn)實時監(jiān)控，通過容器服務(wù)完成快速回滾，所有操作一氣呵成。此外，這些流程都可以通過應(yīng)用韌性服務(wù)來進(jìn)行實時的演練。
零信任網(wǎng)絡(luò)：零信任假設(shè)無論在網(wǎng)絡(luò)邊界內(nèi)部還是外部，都不存在任何隱含的信任。換句話說，任何地方都需要顯式認(rèn)證，并使用最小權(quán)限原則來限制對資源的訪問。因為有海外團(tuán)隊在業(yè)務(wù)合規(guī)經(jīng)驗上的積累和交流，我們對零信任有非常深度的實踐。最初我們實現(xiàn)了 JWT Token之間任務(wù)互訪，現(xiàn)在已逐漸遷移到以云原生技術(shù) SPIFFE 為標(biāo)準(zhǔn)，同時以 API 網(wǎng)關(guān)、服務(wù)網(wǎng)格和容器服務(wù)作為基礎(chǔ)實現(xiàn)的方案。基于這些實踐，火山引擎可以為企業(yè)提供專家級安全保障。
全鏈路監(jiān)控：微服務(wù)架構(gòu)的復(fù)雜性為運維工作帶來了很大挑戰(zhàn)。為了實現(xiàn)對復(fù)雜微服務(wù)的監(jiān)控，火山引擎在微服務(wù)中添加埋點，可采集指標(biāo)、日志、分布式鏈路等多種數(shù)據(jù)，實現(xiàn)對業(yè)務(wù)立體化的監(jiān)控。
全場景接入：我們在服務(wù)治理上的一個亮點是針對不同的場景實現(xiàn)場景化的接入。服務(wù)網(wǎng)格在字節(jié)跳動的第一個落地場景是安全，通過為每個業(yè)務(wù)配置安全 Sidecar 的模式，我們實現(xiàn)了對業(yè)務(wù)風(fēng)險控制的能力。基于此，我們演化出通用 Sidecar 模式，接入了數(shù)據(jù)庫 DB Mesh、A/B測試，所有的接入對業(yè)務(wù)而言都無感知、無侵入。
云原生的極致形態(tài)：Serverless
除了容器系統(tǒng)和服務(wù)治理兩類產(chǎn)品體系，圍繞「業(yè)務(wù)架構(gòu)升級」，火山引擎也推出了一些 Serverless 和多云產(chǎn)品。它們是火山引擎正在經(jīng)歷且未來演進(jìn)的方向。
Serverless 的價值是什么？云的本質(zhì)就是規(guī)模化經(jīng)濟(jì)，通過按需付費、彈性伸縮和免運維來釋放企業(yè)的生產(chǎn)力，但現(xiàn)在云的形態(tài)做得還不夠透徹。我們按「資源」需求付費，而不是「業(yè)務(wù)」需求付費；我們的彈性還處在準(zhǔn)實時階段，而且很多業(yè)務(wù)因為架構(gòu)或者周邊生態(tài)問題還無法享受到彈性能力；最后在運維上，云僅免去了物理層運維，但復(fù)雜度上移到了虛擬化層。如果能在這三個方面做到極致，企業(yè)的成本和可用性可以得到長足的優(yōu)化。
Serverless 不是簡單的工具或框架，而是一種軟件架構(gòu)思想和方法，涉及面比較廣，但我們認(rèn)為這種思想下的軟件架構(gòu)將是云原生走向極致的一種形態(tài)。火山引擎目前已經(jīng)是 Serverless 的深度實踐者，我們走向 Serverless 總共有 4 個大目標(biāo)：業(yè)務(wù) Serverless 化、開發(fā) Serverless化、資源Serverless 化、運維 Serverless 化。
• 業(yè)務(wù) Serverless 化：99% 以上業(yè)務(wù)負(fù)載 Serverless 化，包括微服務(wù)、函數(shù)、定時任務(wù)、計算類任務(wù)、機(jī)器學(xué)習(xí)及 AI 任務(wù)。
• 開發(fā) Serverless 化：Serverless 形態(tài)對開發(fā)者而言缺乏友好型，這里我們以 CloudIDE、FaaS Native、Remote Debuging 等能力來服務(wù)開發(fā)者，很大程度上緩解了開發(fā)排障效率低的問題。
• 資源 Serverless 化：如前所述，目前全部負(fù)載基于容器服務(wù)和彈性容器，并開放混合調(diào)度能力，對平臺而言資源利用最大化，對我們上層客戶而言成本達(dá)到了最優(yōu)化。
• 運維 Serverless 化：Serverless 帶來的一個顯而易見的好處是用戶免運維，無需管理基礎(chǔ)設(shè)施；但從另外一個角度來看，Serverless 規(guī)范化架構(gòu)和彈性能力，更能進(jìn)一步確保系統(tǒng)高可用性。
在 Serverless 層面，火山引擎目前主要圍繞「應(yīng)用平臺」和「函數(shù)服務(wù)」進(jìn)行能力輸出。其中應(yīng)用平臺本質(zhì)是一套基于容器服務(wù)的應(yīng)用托管平臺，支持更多高級的能力比如全鏈路灰度部署、單 AZ、多 AZ 部署策略等；火山引擎函數(shù)服務(wù)則已經(jīng)支持大量應(yīng)用場景，例如小程序開發(fā)、評論離線流、游戲技術(shù)中臺、紅包雨活動、飛書在線面試等。
多云原生：應(yīng)用與資源的多云化
上午主會場提到幾個數(shù)據(jù)，92% 的企業(yè)都會使用多云，未來一定是多云的時代。目前企業(yè)實踐多云的路徑依然很漫長，而部分已經(jīng)“采用”多云的企業(yè)，內(nèi)部也儼然形成了一種新的「煙囪式」建設(shè)形態(tài)。
當(dāng)我們談多云的時候，很多時候大家都會想到 CMP，就是云管平臺：用一個管理軟件將多個云的資源層納管到一起，再加上一些權(quán)限管理、賬號對接等功能。這只是從運維管理基礎(chǔ)云資源的角度來納管，再極端一點，只是將資源顯示在一個控制面板上。云管并不是真正意義上的多云：一方面各個云的接口差異很大，難以適配；另一方面，云服務(wù)很多，云管要接入的服務(wù)范圍很難框定。
火山引擎秉持著「開放共享的云」的理念，深度實踐了多云基礎(chǔ)設(shè)施。我們推出的多云產(chǎn)品的核心是將容器服務(wù)集群管理的能力延伸到本地數(shù)據(jù)中心或云服務(wù)商 IaaS 之上，同時支持納管自建集群，實現(xiàn)面向應(yīng)用的多云容器平臺統(tǒng)一控制平面。
VKE 向外延伸的能力我們統(tǒng)稱為 VKE Anywhere，支持用戶導(dǎo)入現(xiàn)有 Kubernetes 集群——無論是來自 IDC 或公有云資源自建集群，還是通過云托管的集群—— 我們都能夠一并支持。VKE Anywhere 同時支持托管集群，即通過 VKE Anywhere 來創(chuàng)建 Kubernetes 集群，底層可基于不同類型的環(huán)境。VKE Anywhere 與 VKE 完全同源同構(gòu)，對上保持完全一致的 API 結(jié)構(gòu)，上層產(chǎn)品無需改造即可接入 VKE Anywhere，可以根據(jù)客戶場景實現(xiàn)產(chǎn)品的靈活封裝。本次發(fā)布我們以應(yīng)用開發(fā)交付為主，上層引入包括鏡像倉庫、持續(xù)交付、服務(wù)網(wǎng)格、應(yīng)用觀測服務(wù)等產(chǎn)品，同時還引入了應(yīng)用市場支持企業(yè)內(nèi)部應(yīng)用快速分發(fā)。
多云控制面支持多集群聯(lián)邦、全局服務(wù)發(fā)現(xiàn)和負(fù)載均衡等全局管控能力，可以根據(jù)用戶需求部署在任意數(shù)據(jù)中心，通過專線或者 VPN 方式互聯(lián)。火山引擎內(nèi)部對多云的實踐效果顯著，我們當(dāng)前已經(jīng)創(chuàng)建了 3 個聯(lián)邦集群，底層納管了 10+ Kubernetes 集群，共支持 100k+ 節(jié)點。
結(jié)語
火山引擎的發(fā)展離不開客戶的支持。
目前國信證券的金太陽服務(wù)證券交易應(yīng)用、資產(chǎn)運營管理業(yè)務(wù)、投行/風(fēng)控/開戶等業(yè)務(wù)，均運行在火山引擎的容器云平臺上。我們的容器平臺核心能力支撐了國信證券基礎(chǔ)設(shè)施的平臺化：統(tǒng)一資源管理方面，我們?yōu)槠浣ㄔO(shè)了資源審批到上線的全部流程；交易應(yīng)用基于容器服務(wù)全托管，實現(xiàn)了自愈、彈性伸縮、快速回滾等能力；平臺系統(tǒng)對接上，通過一些列擴(kuò)展點，打通了核心系統(tǒng)的對接。
在 2021 年中國信息通信研究院發(fā)布的 DevOps 標(biāo)準(zhǔn)持續(xù)交付第十二批評估結(jié)果中，國信證券金太陽資訊中臺順利通過《研發(fā)運營一體化（DevOps）能力成熟度模型》持續(xù)交付 3 級評估，標(biāo)志著其持續(xù)交付能力達(dá)到國內(nèi)領(lǐng)先水平。同時，國信證券也是全國第三家通過持續(xù)交付 3 級評估的券商。
未來我們也將繼續(xù)努力，打磨更加優(yōu)秀的產(chǎn)品，將更多的內(nèi)部實踐輸出到客戶手上，謝謝大家。
