◎記者 劉怡鶴
近日，能“一口氣讀完20萬字小說”的AI大模型應用Kimi再次為國內AI產業添了一把火。業內認為，國產大模型能力提升或成今年國內AI領域最核心的主線。超長上下文是主要突破口嗎？大模型還將如何提升能力？
在3月24日舉行的2024全球開發者先鋒大會（2024 GDC）大模型前沿論壇上，阿里通義、騰訊混元、稀宇科技MiniMax ABAB、商湯商量、書生·浦語五個大模型的技術負責人罕見“同框”， 共同探討未來大模型的技術演進方向。
超長上下文成國產大模型新競逐焦點
3月18日，月之暗面公司宣布Kimi智能助手啟動200萬字無損上下文內測。2023年10月，Kimi初次亮相時其處理能力還只有20萬字。也就是說，Kimi只用了不到半年，就將上下文處理能力提升了一個數量級。
月之暗面介紹稱，大模型無損上下文長度的數量級提升，能進一步打開對AI應用場景的想象力，包括完整代碼庫的分析理解、可以自主幫人類完成多步驟復雜任務的智能體、不會遺忘關鍵信息的終身助理、真正統一架構的多模態模型等。
消息發布后，Kimi訪問量激增，一度無法正常使用。連日來，Kimi還帶“紅”一眾A股“Kimi概念股”。以超長上下文處理能力為突破口，Kimi成為國內出現“百模大戰”以來為數不多的“破圈者”。
Kimi迅速走紅后，阿里宣布“通義千問”將向所有人免費開放1000萬字的長文檔處理功能，可以幫助用戶快速讀研報、分析財報、讀科研論文、研判案情、讀醫療報告、解讀法律條文、分析考試成績、總結深度文章。360智腦也宣布正式內測500萬字長文本處理功能，該功能將入駐360AI瀏覽器。
事實上，從2023年下半年開始，大模型支持的上下文長度就快速增長，從早期GPT-3的2K（存儲容量單位），到今年3月提升到1M。
“更長的上下文意味著什么，是我們需要思考的。”上海人工智能實驗室首席科學家林達華介紹說，2K的上下文能力支持日常聊天、知識問答、短文理解；32K支持擬人對話、長文分析、代碼解釋及編寫；100K支持處理長報告及短篇小說、智能體長時間交互、簡單的軟件及網站構建；1M支持處理長篇小說、直接注入小型知識庫、項目級代碼分析與構建。
長文本能力仍存局限性
林達華認為，直接使用上下文面臨兩個基本問題：一是超長上下文的推理計算代價高昂；二是上下文本身對信息不會進行壓縮，不能直接捕捉其中的深層知識和規律。
上海人工智能實驗室青年科學家陳愷認為，目前業內對于長文本的評測方式是“大海撈針”，也就是從超長文本中找出一個信息，很多模型在這樣的測試中能做到接近100%的準確率。
陳愷說：“但如果把模型換到更接近真實的使用場景里，需要模型找一些碎片化信息并把它們聯系起來，模型的能力和準確率會大幅下降。這和其他模型的應用能力類似，業內要繼續關注模型的泛化性和實際應用能力。”
此外，業內也有聲音質疑超長上下文的技術水平和價值。月之暗面方面稱，公司為了實現更好的長窗口無損壓縮性能，研發和技術團隊從模型預訓練到對齊、推理環節均進行了原生的重新設計和開發，不走“滑動窗口”“降采樣”等技術捷徑，攻克了很多底層技術難點。
達觀數據副總裁王文廣接受上海證券報記者采訪表示：“從創新點來看，Kimi顯示出了其在無損閱讀方面的巨大潛力，超長文本上下文的輸入為內容創作和整理提供了技術基礎。但從技術本身來說，這只是個噱頭，既沒有對模型能力提升帶來什么幫助，本身也沒什么難度。”
達觀數據是專注智能文本處理的國家級專精特新“小巨人”企業。2023年7月，達觀數據對外發布“曹植”大語言模型應用公測版，“曹植”具有長文本、多語言、垂直化三大特點。
王文廣說：“從Kimi的走紅來看，接下來‘百模大戰’會更加喧囂，很快會有大模型廠商推出具有千萬字甚至上億字處理能力的模型。未來，大模型領域可能還會出現有噱頭、技術難度不高的宣傳點。但真正的產業應用，還是要靜下心來，一步一個腳印提升模型能力，一點一滴來解決產業上的問題。”
五大模型“主創”共論技術演進方向
除了上下文長度，國產大模型還有哪些能力提升路徑？下一步如何更大限度地發揮“模”力？
阿里通義算法負責人周暢認為，合成數據會在未來大模型訓練中扮演更重要的角色。合成數據是一種模仿真實世界數據的非人工創建的數據。
“通過使用合成數據，語言模型和多模態模型有望僅靠‘自己’便獲得能力提升。升級數據處理能力將是提升模型研發水平的重要方向之一。”周暢說。
對于如何讓模型本身深度參與迭代，陳愷表示，參照研究人員研發中需具備的能力，如果模型具備較強的數學能力、編程能力和頭腦風暴能力，并很好地將幾種能力結合起來，就能向“自我提升”的臨界點邁進。
騰訊混元大模型算法負責人康戰輝提到，目前，頭部廠商的模型架構都在轉向混合專家模型（Mixture of Experts，MoE）?；旌蠈＜夷Ｐ图磳⒋笮湍Ｐ筒鸱譃槎鄠€較小的專家模型，每個專家模型負責處理特定的任務或數據子集。
在康戰輝看來，未來，參數量較小的模型可能在應用端表現出更高效率和“性價比”，全模態輸入輸出的大模型將是下一階段研究目標。
大模型的技術演進一方面旨在進一步提升能力，另一個重要方向是如何在現實場景中更好用。
稀宇科技技術副總裁安德森認為，人完成各種各樣的工作時，并不是僅靠自己的大腦，而是靠大腦加上各種外部的工具。所以，大模型在落地應用的時候也要考慮把大模型和其他工具，包括其他模型結合在一起，使其更加便利。
商湯科技大裝置執行總監成功表示，大模型的基礎能力已在很多場景落地，但在實踐中，模型的推理能力，包括規劃執行能力等仍需重點突破。同時，他強調關注效率和成本，模型能以更低成本、更快觸達應用始終是技術發展的重要目標。
