隨著AI技術的飛速發展，智能設備如AI手機、AI PC和AI眼鏡正逐步向AI Agent化邁進。然而，這些小型終端要想充分利用大模型的能力，仍面臨一個關鍵難題：如何構建一套端邊云聯動的解決方案，使小型設備也能承載大型模型的算力需求。
據行業觀察，大模型技術正呈現出一種新趨勢，即端邊云協同，以加速端智能場景的實際應用。近年來，市場涌現出多種形態的端側AI產品，如智能門鎖、AI看護機和無人機等，它們主打輕量化部署，內置的AI模型小巧易用。然而，由于功耗和算力的限制，這些設備在處理復雜計算任務時顯得力不從心，因此推理任務逐漸向邊緣和云端轉移。
在這一背景下，字節跳動旗下的云服務平臺火山引擎在2024年冬季的FORCE原動力大會上，宣布了其邊緣云的全面升級。此次升級優化了物聯網平臺、智能平臺和邊緣大模型網關服務，并推出了邊緣原生智能體，旨在構建一套完整的基礎設施，連接端側小模型應用和邊云大模型能力。
火山引擎邊緣智能技術負責人表示，端側通過OneSDK一站式解決方案，使嵌入式設備也能接入大模型；邊緣側則部署了大模型網關，提升了調用過程的效率和穩定性；中心側通過編排智能體，降低了大模型部署的難度；而邊緣原生智能體則可根據不同行業需求進行個性化定制。
在談到邊緣智能技術的最新優勢和應用場景時，該負責人指出，邊緣AI的發展可分為基礎設施和應用場景兩個方面。基礎設施主要負責解決連接和計算問題，提供大模型的調度和計算推理能力。而應用場景的發展則受限于碎片化和難以規模化的問題。一套支持端邊云聯動的智能邊緣架構能夠在很大程度上解決這些問題，拓寬邊緣AI的部署范圍。
AI Agent與大模型的連接強化，以及計算任務的端邊云協同處理，是當前技術發展的重點。火山引擎的邊緣智能解決方案針對這些難題，展現出了兩大技術優勢。首先，該方案已被多家企業采用，無論是大型還是中小型企業，都能通過這一方案實現AI Agent的部署和應用。其次，該方案通過智能決策器，實現了算力的優化分配，既保證了計算任務的高效完成，又確保了數據的安全和隱私。
隨著AI Agent生態的蓬勃發展，越來越多的公司開始引入這一技術。據數據顯示，截至2025年1月4日，AI Agent的整體市值已達到173.6億美元，過去一周的漲幅接近50%。有調研報告顯示，超過半數的受訪者已在生產過程中使用AI Agent，中型公司最為活躍，主要用于提高生產效率。
火山引擎的邊緣智能基礎架構，不僅優化了端智能的接入流程，提升了推理請求的加速性能和安全性，還增強了模型分發和智能體配置等功能。該架構已在國內多家企業和單位中得到應用，如潤欣科技、地瓜機器人等，助力其業務增長。
為了更好適應AI Agent時代，火山引擎還推出了一系列端智能解決方案，包括OneSDK、OneCredential和OneStop。OneSDK提供了一站式解決方案，滿足設備運維、設備安全和智能需求；OneCredential支持跨云服務權限的端智能解決方案，降低了資源占用和證書創建成本；OneStop則通過深度融合端云技術，降低了端側智能體的開發與接入門檻。
火山引擎的智能決策器是另一個亮點。該決策器能夠根據提示詞等信息，將任務按需分發至本地、邊緣或云端處理。它采用基于規則和模型的動態決策方式，綜合考慮功耗、機型、溫度和任務復雜性等因素，確保數據安全和隱私成為首要考慮原則。例如，在智能座艙中，車內攝像頭的隱私對話和行為記錄會被本地化處理，而復雜操作則交給云端大模型處理。
火山引擎的邊緣大模型網關也發揮了重要作用。它具備標準接口、就近訪問、推理加速和高魯棒性四大核心能力，適配多家主流大模型廠商和智能體提供商，實現了快速接入和降低延遲。同時，通過全球范圍的邊緣節點和智能流量調度策略，進一步優化了訪問效率。
邊緣原生智能體作為AI模型端側落地的重要形式，也受到了火山引擎的重視。它提出了四大必備能力，包括理解設備能力、連接物理世界、單智能體協同和多智能體協同。目前，邊緣原生智能體已應用于智能數字工廠和智慧園區等領域，實現了工業質檢和園區安防等功能。
火山引擎邊緣云的分布式云網基礎設施在全球擁有2500多個邊緣節點，網絡時延控制在1至40毫秒之間，支持端邊互聯、邊邊互聯和邊云互聯場景，實現了智能應用的就近上云。同時，為了保障數據的安全傳輸，火山引擎還新增了針對AI Agent的邊緣安全防護功能，包括提示詞檢測、系統提示詞防御和結果檢查等。
