【ITBEAR】9月24日消息，字節(jié)跳動(dòng)近日正式宣布進(jìn)軍AI視頻生成領(lǐng)域，推出了兩款面向企業(yè)市場(chǎng)的大模型——“豆包視頻生成-PixelDance”與“豆包視頻生成-Seaweed”，并開(kāi)啟了邀測(cè)活動(dòng)。
這兩款“豆包視頻生成”大模型憑借其出色的語(yǔ)義理解能力、對(duì)復(fù)雜交互畫(huà)面的精準(zhǔn)捕捉以及多鏡頭切換下的內(nèi)容一致性，成功躋身業(yè)界領(lǐng)先水平。它們不僅能夠深度理解并響應(yīng)復(fù)雜的指令，驅(qū)動(dòng)不同人物角色完成一系列精細(xì)的動(dòng)作互動(dòng)，還在細(xì)節(jié)處理上達(dá)到了極致，從人物樣貌、服裝的微妙變化到頭飾的精準(zhǔn)呈現(xiàn)，均能在不同運(yùn)鏡角度下保持高度一致，呈現(xiàn)出如同實(shí)拍般的自然流暢效果。
據(jù)ITBEAR了解，“豆包視頻生成”模型依托字節(jié)跳動(dòng)自主研發(fā)的DiT（Dynamic Integration Transformer）架構(gòu)，通過(guò)高效的DiT融合計(jì)算單元，實(shí)現(xiàn)了視頻在大動(dòng)態(tài)場(chǎng)景與多樣運(yùn)鏡之間的無(wú)縫切換。這一技術(shù)突破為視頻創(chuàng)作帶來(lái)了更多的自由度和靈動(dòng)性，滿足了創(chuàng)作者對(duì)視覺(jué)表達(dá)的無(wú)限想象。同時(shí)，該模型還采用了全新設(shè)計(jì)的擴(kuò)散模型訓(xùn)練方法，有效攻克了多鏡頭切換過(guò)程中保持主體、風(fēng)格、氛圍一致性的技術(shù)難題，確保在鏡頭切換的瞬間，視頻的整體氛圍與細(xì)節(jié)表現(xiàn)依然和諧統(tǒng)一，為觀眾帶來(lái)更加沉浸式的觀看體驗(yàn)。
為了進(jìn)一步提升視頻創(chuàng)作的專業(yè)性和觀賞性，“豆包視頻生成”團(tuán)隊(duì)在技術(shù)創(chuàng)新上不斷突破。他們通過(guò)優(yōu)化算法和增強(qiáng)模型的學(xué)習(xí)能力，使得生成的視頻在畫(huà)質(zhì)、流暢度以及細(xì)節(jié)處理上都達(dá)到了業(yè)界頂尖水平。這一系列的努力不僅提升了視頻的質(zhì)量，也為創(chuàng)作者提供了更多發(fā)揮創(chuàng)意的空間。
目前，“豆包視頻生成”系列模型已在即夢(mèng)AI內(nèi)測(cè)版中開(kāi)啟小范圍測(cè)試，旨在收集用戶反饋，不斷優(yōu)化產(chǎn)品性能。這一舉措不僅展示了字節(jié)跳動(dòng)在AI視頻生成領(lǐng)域的雄心壯志，也為未來(lái)的視頻創(chuàng)作市場(chǎng)帶來(lái)了新的期待和可能性。
關(guān)鍵詞：#字節(jié)跳動(dòng)# #AI視頻生成# #豆包視頻生成# #DiT架構(gòu)# #沉浸式觀看體驗(yàn)#
