【ITBEAR科技資訊】7月17日消息，近日在全球邊緣計算大會上，網宿科技分享了他們對于大模型時代的思考和探索。作為領先的邊緣計算服務提供商，網宿科技表示大模型將成為未來的基礎設施，并認為每個行業和企業都將擁有自己的大模型。他們強調如何將大模型有效地應用于具體場景并提高生產力是業界共同需要探索的方向，也是網宿邊緣計算的機遇所在。
據ITBEAR科技資訊了解，在大模型時代，邊緣計算有兩個關鍵場景可以發揮其價值，即微調訓練和邊緣推理。當前，大模型和人工智能圖形芯片正引領著全球科技的新浪潮。然而，從零開始訓練模型的周期長、對GPU的需求大以及成本高等問題，使得大模型的使用范式主要為"預訓練 + 微調訓練 + 提示詞工程"，即基于預訓練好的大模型進行領域知識微調訓練或使用提示詞工程，從而降低成本。
陳云輝指出，盡管這種模式可以加速人工智能圖形芯片的創新步伐，但大模型參數量巨大，對所有參數進行微調的成本非常高。為解決這一問題，輕量微調訓練方法如LoRA和QLoRa成為了有效的解決方案之一。網宿邊緣計算平臺可以支持這些輕量微調訓練方法，從而大大降低大模型個性化和領域化的適配成本，促進人工智能圖形芯片在垂直應用場景的落地。
此外，隨著多模態人工智能的發展和人工智能圖形芯片在更多領域的應用，人工智能圖形芯片生成的內容將涵蓋圖片、語音和視頻，相對于訓練而言，推理的成本將占據較高比例，對流量的需求也將不斷增加。伴隨著人工智能圖形芯片模型的領域化、小型化和輕量化技術的發展，對算力的要求也將持續降低。
陳云輝表示，因此，大模型的推理運算可以從中心下沉到邊緣，實現更低的帶寬成本和更快的響應速度。而網宿邊緣計算在邊緣側擁有得天獨厚的優勢，可以有效地支持邊緣推理場景。
網宿邊緣計算作為領先的邊緣計算服務提供商，擁有顯著的資源協同優勢。他們可以充分協同CDN業務在機房、算力、帶寬和調度等方面，借助全球2800個節點構建的輕量化邊緣智能平臺，廣泛分布的節點資源以及豐富的平臺運營經驗，可以在大模型場景中發揮重要作用。
基于以上優勢，網宿科技正在探索面向大模型和人工智能圖形芯片時代的產品形態，并逐步落地實施。他們基于網宿邊緣智能平臺，針對大模型推理和訓練等場景，構建了邊緣CPU算力平臺、開源大模型訓練部署平臺，并輸出垂直領域的解決方案，以適應市場需求和技術發展，助力各行各業實現大模型的應用。
網宿邊緣GPU算力平臺是基于網宿廣泛分布的節點資源，提供輕量化算力資源，并支持GPU虛擬化，滿足輕量人工智能任務場景的需求，例如人工智能推理、深度學習和圖形可視化等。
網宿開源大模型訓練部署平臺基于開源預訓練大模型，提供從模型微調訓練、性能評估、部署監控到輕量化推理等功能的端到端大模型服務平臺，能夠降低大模型應用的成本，幫助客戶構建專屬的大模型。
此外，網宿還提供針對不同垂直領域的解決方案，例如基于私有大模型的企業知識庫解決方案和針對電商領域的圖像生成解決方案，如AI模特等，以幫助垂直領域降低成本并提高效率。
陳云輝表示，以上三種產品形態分別對應IaaS、PaaS和SaaS層，網宿科技希望打造全棧解決方案，降低人工智能圖形芯片的使用門檻。他們相信，隨著大模型和人工智能圖形芯片的廣泛應用，網宿邊緣智能平臺將在更多領域展現其價值。
此次會議上，陳云輝還重點展示了網宿邊緣智能平臺在人工智能應用場景中的實踐經驗。該平臺基于網宿豐富的節點管理和調度能力，針對邊緣計算場景提供了云邊一體化協同托管方案，可以一站式管理各類邊緣設備的應用，并將云上應用延伸到邊緣，滿足客戶對邊緣計算資源的遠程管控、數據處理、分析決策和人工智能應用等需求。目前，該平臺已成功服務于智能養殖、智能換電、智能勘測、智能安防等人工智能應用場景，幫助客戶節約建設成本并提升運營效率。
