阿里通義實驗室近日在其官方公眾號上宣布了一項重要進展：其首個音頻生成模型ThinkSound已正式對外開放源代碼，這一創新有望顛覆以往“靜默畫面”的創作邊界。
ThinkSound在音頻生成領域首次引入了CoT（思維鏈）技術，使AI能夠邏輯清晰地理解畫面事件與聲音之間的關聯，從而生成高保真、高度同步的空間音頻。這不僅僅是“為圖配音”，而是讓AI真正“理解畫面并配音”。
為了訓練出能夠“邏輯聆聽”的AI，通義實驗室的語音團隊精心打造了AudioCoT數據集，這是首個支持鏈式推理的多模態音頻數據集。AudioCoT匯集了來自VGGSound、AudioSet、AudioCaps、Freesound等多個平臺的2531.8小時高質量音頻樣本，涵蓋了從動物叫聲到機械運轉、環境音效等多種真實場景，為模型提供了廣泛的訓練素材。
為了確保數據集的質量，研究團隊實施了一套嚴格的數據篩選流程，包括多階段的自動化質量檢查和至少5%的人工抽樣驗證，以確保每一條數據都能有效支持AI的結構化推理能力。AudioCoT還設計了面向交互式編輯的對象級和指令級樣本，以滿足ThinkSound在后續細化與編輯功能上的需求。
ThinkSound由兩大核心組件構成：一個是擅長“思考”的多模態大語言模型（MLLM），另一個是專注于“聽覺輸出”的統一音頻生成模型。這兩個模塊的協同工作，使得系統能夠分階段解析畫面內容，并最終生成與畫面精確匹配的音頻效果。這一過程包括理解整體畫面、聚焦具體物體以及響應用戶指令三個階段。
據官方介紹，盡管近年來端到端視頻到音頻（V2A）生成技術取得了長足進步，但在捕捉畫面動態細節和空間關系方面仍存在挑戰。例如，貓頭鷹何時鳴叫、何時起飛，以及樹枝晃動時是否伴隨摩擦聲等視覺與聲學之間的關聯，往往被忽視，導致生成的音頻過于泛化，甚至與關鍵視覺事件不匹配，無法滿足專業創意場景中對時序和語義連貫性的高要求。
這一問題的核心在于，AI缺乏對畫面事件的結構化理解，無法像人類音效師那樣逐步分析、推理并合成聲音。而ThinkSound的推出，正是為了解決這一難題，推動音頻生成技術邁向新的高度。
