想象一下，曾經(jīng)只能通過后期制作的特效，如今卻能實(shí)時(shí)呈現(xiàn)在觀眾眼前。無論是將“馬斯克AI女友”瞬間轉(zhuǎn)換為哥特或卡哇伊風(fēng)格，還是讓家中的寵物狗穿上蜘蛛俠戰(zhàn)衣，在MirageLSD的魔力下，一切皆有可能。這一技術(shù)不僅限于簡單的濾鏡效果，而是能夠深刻理解視頻內(nèi)容，并據(jù)此生成無限想象力的AI視頻。
MirageLSD之所以能夠?qū)崿F(xiàn)實(shí)時(shí)生成，得益于Decart自研的Live Stream Diffusion（LSD）模型。該模型能夠在保持時(shí)間連貫性的同時(shí)，逐幀生成視頻，并支持完全交互式的視頻合成。用戶可以在視頻生成的過程中，持續(xù)進(jìn)行提示、變換和編輯，從而創(chuàng)造出獨(dú)一無二的個(gè)性化視頻內(nèi)容。
與傳統(tǒng)的視頻生成模型相比，MirageLSD不僅解決了誤差累積導(dǎo)致的質(zhì)量下降問題，還實(shí)現(xiàn)了無限長度的視頻生成。這得益于其采用的DiffusionForcing技術(shù)和歷史增強(qiáng)技術(shù)，使得模型能夠在經(jīng)過損壞的歷史幀輸入上進(jìn)行微調(diào)，預(yù)測(cè)并修正輸入中的偽影，從而增強(qiáng)了對(duì)自回歸生成中常見漂移的魯棒性。
為了實(shí)現(xiàn)實(shí)時(shí)性能，MirageLSD在模型設(shè)計(jì)和系統(tǒng)執(zhí)行方面都進(jìn)行了重大優(yōu)化。通過設(shè)計(jì)自定義的CUDA超大內(nèi)核、減少每幀所需的計(jì)算量以及優(yōu)化模型架構(gòu)與GPU硬件的對(duì)齊，MirageLSD成功地將響應(yīng)速度提高了16倍，實(shí)現(xiàn)了每秒24幀的實(shí)時(shí)視頻生成。這一突破性的成就，無疑為未來的視頻娛樂、直播互動(dòng)等領(lǐng)域帶來了無限的想象空間。
