五年磨一劍，27000塊GPU加持，現場演示AI編程問診，幾分鐘訓練出港風美人。
作者 | ZeR0
編輯 | 漠影
智東西4月10日報道，今日，商湯科技宣布以AGI（通用人工智能）作為核心發展戰略，基于“日日新SenseNova”大模型體系，以“大模型+大算力”持續實現AGI的更多突破。
商湯還在現場展示了其類ChatGPT平臺——自研中文語言大模型應用平臺“商量”：現場演示寫廣告詞、寫邀請函、交替創作兒童故事、看長篇PDF文件并快速做閱讀理解、編寫代碼等多樣能力。
此外，商湯一連甩出基于“日日新SenseNova”大模型體系的4款生成式AI應用平臺。商湯現場演示了實時的AI文生圖、AI創作生動數字人視頻的實操過程，并展示了用其3D內容生成平臺做的高逼真城市級重建、復雜結構物體的商業廣告視頻，還用平板電腦演示了流暢的3D內容實時交互。
目前商湯已打造CV（計算機視覺）、NLP（自然語言處理）、AIGC（人工智能內容生成）多個AI大模型。其SenseCore AI大裝置是業內稀缺的大模型專用基礎設施，現有27000塊GPU，可輸出5000 PetaFlops算力，能夠以最大4000卡規模集群進行單任務訓練，并可做到7天以上不間斷的穩定訓練。
商湯將基于AI大裝置，向客戶提供涵蓋自動化數據標注、大模型推理部署、大模型并行訓練、大模型增量訓練、開發者效率提升等多種大模型即服務（MaaS，Model-as-a-Service）。
在“一平臺四支柱”的戰略體系下，商湯“日日新SenseNova”大模型體系已全面支持了智能汽車、智慧生活、智慧商業、智慧城市等業務板塊，打通了多個領域、行業的應用閉環。
01.
中文語言大模型露面：AI現編“手寫
文檔OCR”程序，還充當大夫在線問診
“商量”是商湯科技自研的中文語言大模型應用平臺，支持單輪對話、多輪對話及超長文本理解，能夠秒解復雜問題、提供定制化建議、輔助創作文本內容，并具備不斷學習進化的特性。
，時長
01:26
該平臺背后，是商湯研發的千億參數中文語言大模型，支持企業服務、城市管理、汽車出行等600+個垂直領域。
▲商湯中文語言大模型能理解句意，并嘗試判斷句子的合理性
據分享，“商量”具備邏輯推演與智能，可在互動式引導過程中精進判斷力與創作智能；兼具理解廣度與深度，在多輪對話、超長文本知識理解、問診與編程等垂直領域表現突出，全方位覆蓋各種應用。
比如，打開一個PDF文件，通過文字識別技術，它能快速閱讀理解《專利法》，并根據用戶針對此文輸入的問題，給出相應的答案。
“商量”還支持知識自動及時更新，能夠回答文檔中不涉及的知識，生成更可信、更準確、更安全的文本和對話。
目前，商湯已經面向編程、醫療等細分領域，打造了行業專屬中文語言大模型。
面向編程領域，商湯“AI代碼助手”是商湯科技研發的一款基于大語言模型的的AI輔助開發工具，為開發人員提供代碼補全、注釋生成代碼、測試代碼生成、代碼翻譯、代碼修正、代碼重構、復雜度分析等功能。
輸入中文要求，它就能自動生成完整代碼。
現場，商湯還讓“AI代碼助手”編寫“手寫文檔OCR”的程序，并成功跑通了代碼。
“AI代碼助手”同時支持中英文及多種編程語言，并能快速適應開發者的個性化編碼風格，提高開發效率、減少開發錯誤，幫助開發人員專注于更有創造性的編程工作與代碼設計。
據商湯內部實測，應用“AI代碼助手”后，代碼編寫效率提升62%，HumanEval測試集一次通過率為39%。
面向醫療行業，商湯基于海量醫學知識和真實醫患互動對話數據打造的中文醫療語言大模型，能夠提供導診、問診、健康咨詢、輔助決策等多場景多輪會話能力，目前在問診分診、醫療知識科普、疾病鑒別診斷等領域表現出色。
商湯中文醫療語言大模型具備持續學習能力，并能根據用戶的反饋和評價進行自我調整和優化，從而提升自身應對各種醫療場景時的理解與分析能力，未來將繼續拓展在藥物治療、手術方案等方面的問診能力，幫助醫生進一步提升診療效率。
02.
生成式AI應用系列：
AI文生圖、自動制作視頻、3D內容生成
除了對話外，商湯也基于“日日新SenseNova”大模型體系，自研了AI繪圖、AI視頻制作和生成工具平臺，包括秒畫、如影、瓊宇、格物等，為短視頻、直播產業帶來生產力的提升。
1、“秒畫”AI內容創作社區平臺：單卡支持每10秒生成5張512分辨率圖片
“秒畫”是商湯科技打造的AI內容創作社區平臺，可幫助用戶輕松地創作高質量的藝術作品，自動生成元素和細節。該平臺支持用戶訓練個性化繪模型，可滿足不同繪畫風格需求。
“秒畫”采用了商湯自研的超10億參數自研文生圖生成模型，方便用戶在本地在推理和自訓練：1）推理速度快，單卡支持每10秒生成5張@512分辨率的圖片；2）單卡支持5分鐘內定制屬于自己的LoRA模型@20張訓練圖片。
商湯現場演示了在聊天框輸入一連串詳細的中文描述，讓AI生成港風美女照片。
看起來，AI理解了什么是美女，但還沒弄明白什么是港風。
但這不是問題，讓AI現學就行了。點擊頁面左邊菜單欄中的“訓練模型”，輸入模型提示詞，上傳20張或者更多的港風美女照片，再訓練它一下。很快，AI學成歸來，生成了更符合要求的港風美女：
商湯的生成模型開源社區匯聚了10000+開源模型。基于“秒畫”平臺發布的模型可設置為to B服務API，結合商湯大算力對外提供商業化服務。
2、“如影”視頻生成平臺：聊聊天制作出AI數字人，自動生成文案和最終視頻
商湯“如影”AI數字人視頻生成平臺旨在讓每個人都能輕松創作視頻，支持AI數字人動作表情、AI文案生成、AI跨語言文稿、AI素材生成的全棧式智能創作，且卡通/真實各種風格切換自如。
，時長
01:37
整個過程無需專業拍攝設備，如影即可生成高度逼真的數字形象，并通過文字驅動，快速、高效地創作各種人物視頻內容。而且創作出的數字人形象逼真、表情自然豐富。
只需在對話框中輸入視頻創作的粗略想法，商湯如影就能自動產生相應的視頻文案，并直接AI驅動各種數字內容生最終視頻。
該平臺支持百余種語言，方便跨語種創作，并通過圖片AI生成等能力讓創作素材獲取更加便利。商湯現場演示了換成阿拉伯語，生成的視頻中，數字人連口型都對的很好。
如影AI數字人視頻生成平臺不僅可以幫助創作者快速打造各種短視頻，直播等營銷內容，還可以為教育培訓、企業宣傳，娛樂文化等領域提供視頻解決方案，提高品牌知名度和用戶粘性。
3、“瓊宇/格物”3D內容生成平臺：實時編輯創作，還原真實細節
瓊宇、格物是商湯科技基于神經輻射場技術（NeRF）的3D內容生成平臺，可基于3D內容生成技術實現對空間和物體的復刻與交互，大到城市數字孿生，小到桌面手辦，都能逼真復刻。
兩套平臺生成的各類3D內容都能進行再編輯再創作，通過海量高精度數字資產的生產，滿足影視創作、建筑設計、商品營銷、數字孿生管理等各類對可交互3D實景內容有強烈需求的應用場景。
瓊宇大空間3D內容生成應用主打場景生成，復刻和還原超真實感的場景，不僅支持自由漫游，還支持實時交互和編輯，可用于城市及園區的數字孿生、影視創作、文旅、電商等應用場景。
瓊宇擁有厘米級重建精度、大場景實時渲染與互動、多源數據融合、超精細化等算法優勢，具備城市級大尺度的空間重建生成能力，可生成100平方公里的空間。傳統人工建模10000人/天的建模任務，通過瓊宇只需2天即可完成（算力為1200 TFLOPS），并能還原真實細節和光照效果。
相較于傳統物體建模方式，格物小物體3D內容生成應用可實現各品類物體超細節的復刻還原，帶來400%的綜合效率提升，實現95%的綜合成本降低，覆蓋品類全、重建效果好。
憑借商湯NeRF技術，格物可良好支持復雜結構物體復刻，并做到光照精準復刻，材質完美還原，適用于商業廣告、商品營銷等應用場景。下圖是商湯用格物生成的商業廣告視頻。
03.
提供多元化MaaS服務、開放API接口
對外提供7000多張GPU計算資源
可以看到，商湯大模型體系的落地布局主要面向to B客戶，為細分應用場景提供專用大模型，通過平臺形式對外輸出，將內容生成技術價值轉化為易上手、好操作的實用工具，來釋放生產力。
大模型體系名稱取自《禮記·大學》中湯之盤銘曰“茍日新、日日新、又日新”。商湯科技希望在模型的迭代速度及處理問題的能力上可以日日更新，不斷解鎖AGI更多可能。
基于“日日新SenseNova”大模型體系，商湯將向客戶提供圖片生成、自然語言對話、視覺推理和標注服務等API接口，方便客戶按需調用商湯大模型的各項AI技術能力，以及進行二次開發。
此外，商湯科技還將面向客戶提供自動化數據標注、大模型推理部署、大模型并行訓練、大模型增量訓練、開發者效率提升等多種大模型即服務（MaaS，Model-as-a-Service）：
（1）大模型并行訓練和大模型增量訓練服務：幫助客戶以更低成本，快速結合相關領域知識，訓練不同的行業大模型，實現千行千面模型開發，并將增量微調成本降低90%。
目前商湯AI大裝置已支持了超過10個大模型訓練項目，其中還對外提供7000多張GPU計算資源，支持了包括互聯網、游戲、商業銀行和科研機構等8家客戶自定義的大模型訓練任務。
（2）自動化數據標注：可實現智能標注，帶來近百倍效率提升。平臺內置10余個通用大模型和行業專用大模型，支持智能駕駛、智慧交通、智慧城市等多種場景的2D分類、檢測和3D檢測的智能標注，相比傳統人工標注和小模型標注模式，具有標注效果好、效率高、成本低等核心優勢。
（3）大模型推理部署：可實現推理成本最低化，效率提升100%，助力客戶快速部署大模型應用。
（4）開發者效率提升：面向開發人員開放模型及AI開發工具鏈，賦能開發者效率提升。
無論是中文大語言模型應用平臺、4款生成式AI應用平臺，還是開放API接口和提供多元化MaaS服務，都有助于進一步降低AI技術在實際業務環節中部署的門檻，降低成本并提高效率。
而商湯之所以能一次性放出這么多大招，離不開這5年多以來的技術積淀和實踐經驗。
04.
AI大模型五年磨一劍
全面支持四大業務板塊
商湯自2018年起致力于AI大模型的研發，2019年便使用上千張GPU卡進行單任務訓練，推出了10億參數量規模的視覺模型，創當時業界最好算法效果；近兩年訓練了百億參數規模的超大視覺模型，相當于千億參數語言模型的訓練量。
目前商湯已成功研發了320億參數量的全球最大的通用視覺模型，實現了高性能的目標檢測、圖像分割和多物體識別算法，并在自動駕駛、工業質檢、醫療影像等多個領域得到廣泛應用。
商湯還發布了最大的用于真實感知、重建和生成的多模態數據集（OmniObject3D）。
在“一平臺四支柱”的戰略體系下，商湯“日日新SenseNova”大模型體系已全面支持了智能汽車、智慧生活、智慧商業、智慧城市等業務板塊，打通了多個領域、行業的應用閉環。
在智能駕駛領域，通過大模型生產高精度車端模型，大幅提升了few/one/zero shot在長尾類別中的精度，在重點關注類別上平均精度提升3%。此外，大模型提供了高精度的智能標注能力，為數據閉環提供了核心功能，大大減少了需要人工標注的數據量，加速了模型精度的提升。
得益于大模型能力，商湯實現了BEV環視感知，做到了3000類物體的高精度識別，還構建了感知決策一體化的自動駕駛多模態大模型，帶來更強的環境、行為、動機解碼能力。
在生物醫藥領域，商湯AI大裝置為蛋白質結構大模型提供AI推理算力，并為蛋白質相互作用模型，提供研發平臺及訓練算力。
商湯與百英科技合作，訓練抗體親和力預測模型。通過高性能計算優化，蛋白質結構預測大模型推理時間由數小時減少到數分鐘，使得蛋白質結構預測性能達到工業應用的標準，抗體篩選效率提升60%。
基于在智慧城市、智慧商業等領域的長期實踐，商湯積累了海量真實世界的高質量視覺數據，這些數據又反過來推動商湯在視覺技術方面的持續突破，為大模型的研發提供有力基礎。
05.
5000P大算力、27000塊GPU
支持20個千億參數超大模型同時訓練
商湯科技董事長兼CEO徐立博士說，在AI的大模型時代，所需要的計算量，等于大模型參數量與處理數據量的乘積。
▲商湯科技董事長兼CEO徐立博士
過去5年，AI大模型的參數量幾乎每一年提升一個數量級。過往的10年，最好AI算法對于算力的需求增長超過了100萬倍。人一生中能聽到約10億詞匯量，而GPT-3已學習約5000億自然語言數據量，已知最大自然語言模型的數據量達到2萬億。
大模型參數量將以指數級的速率提升，隨著多模態引入，數據量還將大規模增長，必然導致算力需求劇增。
商湯科技依托人工智能基礎設施SenseCore AI大裝置實現了前瞻的算力布局，以及源于產業實踐的豐富高質量視覺信息和技術積累，為大模型的研發提供了強大的算力底座。
1、5000 Petaflops超大規模算力，是亞洲最大的智能計算平臺之一：SenseCore商湯AI大裝置目前包含27000塊GPU，可輸出5000 Petaflops算力，是亞洲最大的智能計算平臺之一。
2、支持20個千億參數超大模型同時訓練，并提供一條龍基礎設施服務：商湯AI大裝置當前算力可支持20個千億參數量的超大模型同時訓練，并提供涵蓋數據、訓練工具、推理部署、性能優化一條龍的大模型基礎設施服務體系。
3、支持最大4000卡并行單任務訓練，可持續7天以上不間斷穩定訓練：不僅支持了商湯自身的大模型訓練項目，而且還訓練了其他企業自定義的模型。商湯將力爭在4000卡規模集群的訓練關鍵指標達到世界領先，為萬億級參數提供基礎。
據悉，在AI大模型時代，衡量算力能力和核心指標不是簡單的數字，其一是多卡并行狀態下的有效利用率，即能夠支撐大模型訓練的實際算力；其二是系統能夠持續穩定運行的時長。
商湯AI大裝置融合了AI、超算與大數據的核心能力，通過為AI優化的高性能計算、高性能存儲及緩存、高性能網絡，以存算分離，大規模彈性、容錯調度等特征，支撐大模型在數千張卡、PB級存儲上，完成萬億級參數大模型訓練。
SenseCore AI平臺產品還提供了模塊化、全鏈條的數據、訓練及推理能力。可實現百億級數據管理及檢索，人工標注服務，加速AI大模型研發效率。一鍵量化、一鍵部署、一鍵應用，提供了大模型快速上線驗證的工具，加速創新。
06.
結語：以“大模型+大算力”戰略布局
劍指AGI時代的基礎設施服務
過去十年，深度學習掀起的AI技術革命在很多領域突破了“工業紅線”，但在廣泛復雜的場景需求下，定制化AI模型的開發模式依然面臨研發成本高、周期長等問題。
如今，將語言、視覺等信息和能力融為一體的多模態大模型正催生新的研究范式，通過強化學習和人類反饋不斷解鎖基模型新的能力，從而更高效地解決海量的開放式任務。
AI新的技術革命已經到來，它的影響注定深遠。今天，商湯通過展示“日日新SenseNova”大模型體系和業界稀缺的大模型專用基礎設施商湯AI大裝置，交出了邁向AGI目標的階段性答卷。
基于“日日新SenseNova”大模型體系，商湯自研了中文語言大模型應用平臺、革新的人機協作模式，以及包括AI內容創作、2D/3D數字人視頻生成、大場景/小物體生成的一系列視頻內容的制作和生成工具平臺。
這些平臺將為醫療問診、短視頻、直播、商業廣告、商品營銷、數字孿生、影視創作、文旅等產業帶來生產力的提升。而商湯提供的多種API接口、MaaS服務等，又將進一步助攻大模型AI技術在各行各業的規模化普及。
