聲明:本文來自于微信公眾號(hào) 新智元（ID:AI_era），作者:新智元，授權(quán)轉(zhuǎn)載發(fā)布。
【新智元導(dǎo)讀】Sora還沒開放，但網(wǎng)友們用Runway、Pika等工具做出的電影級(jí)大片已經(jīng)「上線」，B站西游記的瀏覽量快破百萬了!另外，Lightricks今天推出的革命性AI電影制作平臺(tái)LTX Studio，讓我們可以親手DIY電影級(jí)大片了。
最近，全網(wǎng)掀起了AI視頻熱潮。
各種史詩級(jí)大片紛紛出爐，逼真的效果、震撼的場(chǎng)面讓網(wǎng)友們震驚到失語。
比如B站UP主「AI瘋?cè)嗽骸沟倪@部2024開篇王炸——AI版西游記動(dòng)畫短片，已經(jīng)取得了將近百萬的播放量。
網(wǎng)友們紛紛驚呼，開篇就被驚艷到，整個(gè)看下來感受就是:簡(jiǎn)直絕了!
而一位名叫Shang Chi的小哥做出的AI電影「懷舊宇航員」，則讓無數(shù)人落淚，直接入選今年MIT AI電影大賽的最佳影片。
所以，我們離自己DIY出一部AI大片，到底有多遠(yuǎn)?
雖然，最近爆紅的Sora把視頻時(shí)間延長到了史詩級(jí)的60秒，但離一整部電影大片的時(shí)長，還是差得遠(yuǎn)。
不過，剛剛出爐的一套AI工具，直接把電影制作的整個(gè)工作流都給實(shí)現(xiàn)了!
AI大電影「完整工作流」來了
就在剛剛，以色列初創(chuàng)公司Lightricks正式發(fā)布了一款A(yù)I驅(qū)動(dòng)的電影生成和剪輯軟件——LTX Studio。
只要通過文字，它就能直接生成復(fù)雜的劇情，包含語音、音效、視頻畫面，一整套全包圓了。
聯(lián)合創(chuàng)始人（從左至右）:Itai Tsiddon、Yaron Inger、Zeev Farbman、Amit Goldstein和Nir Pochter
它包含的一整套導(dǎo)演工具，直接重新定義了視頻制作的工作流!其中包括自動(dòng)編寫腳本工具、調(diào)整多鏡頭的場(chǎng)景控制工具、保證角色一致性的工具、攝像機(jī)控制、一鍵編輯等等。
這樣，我們制作出高質(zhì)量視頻，就更輕松了。
只要你給出一個(gè)初步想法，LTX Studio就能把你的想法可視化。
比如，現(xiàn)在我們的電影中需要一只因驚訝而放大的瞳孔。
一個(gè)躺在地上的女人。
一個(gè)被水淹了的未來主義房間中的一棵樹。
昏暗走廊中的一個(gè)女人。
一個(gè)惡棍。
根據(jù)你輸入的prompt，LTX Studio自動(dòng)為創(chuàng)建出了腳本，分割出眾多個(gè)鏡頭。
比如一個(gè)未來主義空間的戲劇場(chǎng)景，它創(chuàng)建出的鏡頭如下。
或者，我們需要紐約法庭的場(chǎng)景。
有了這些分鏡頭之后，就可以直接讓它生成一部電影了!
自動(dòng)生成的故事板，會(huì)組織起整個(gè)的敘事和場(chǎng)景規(guī)劃，對(duì)角色、攝像機(jī)角度都能自定義控制。這種直觀的體驗(yàn)，讓前期制作和粗剪都更迅速。
而它生成的畫面內(nèi)容，比如演員、造型、場(chǎng)景，都可以隨意剪輯更換。
比如，剛才生成影片中男人背后的綠車，我們想讓它變成紅色的，一秒給你改變。
可以讓肌肉女變成肌肉男嗎?完全沒問題。
后悔了，還是想讓男性角色變回女性?也沒問題。
我們可以把這個(gè)場(chǎng)景中女性角色身邊的男性換成一個(gè)中年黑人，或者一位衣冠楚楚的紳士。
一個(gè)效果炸裂的電影片頭怎么設(shè)計(jì)?它來幫你。
公司聯(lián)合創(chuàng)始人兼CEO Zeev Farbman表示，這款產(chǎn)品非常適合電影制作人、前期制作人員和廣告公司等專業(yè)人士。
「LTX Studio能夠幫助快速構(gòu)建概念故事，或者在不需要大量投資的情況下，幫助電影制作人評(píng)估拍攝場(chǎng)景的不同方案。」
背后的模型
LTX Studio結(jié)合了多種AI技術(shù)，涵蓋了創(chuàng)作過程中的各個(gè)環(huán)節(jié)。
其中，公司獨(dú)創(chuàng)的文生視頻模型——LongAnimateDiff，能夠創(chuàng)作出幀數(shù)在16至64之間的視頻。
此外，團(tuán)隊(duì)還發(fā)布了另一款專門用于創(chuàng)作32幀視頻的模型。與LongAnimateDiff相比，它在視頻質(zhì)量上通常有更出色的表現(xiàn)。
不過，并不是所有的功能都依賴AI技術(shù)。
對(duì)于背景音樂，公司選擇了第三方的音樂資產(chǎn)供應(yīng)商，因?yàn)樗麄冋J(rèn)為目前的AI技術(shù)還無法創(chuàng)作出符合要求的背景音樂質(zhì)量。
一大波真實(shí)制作來了!
官方在推特上已經(jīng)放出了一大波網(wǎng)友制作的視頻，并且還分享了背后工作流的樣子。
在賽博朋克的未來城市中，一位賞金獵人的新手之旅意外地將他卷入了一場(chǎng)殘酷的城市幫派戰(zhàn)爭(zhēng)。
這一切始于他在一次意外中救下了一位黑幫老大的兒子，從而引發(fā)了一系列連鎖反應(yīng)。
如果他想在法律的邊緣生存下去，就必須迅速適應(yīng)這個(gè)充滿危險(xiǎn)和詭計(jì)的世界。
A rookie cyberpunk bounty hunter finds himself at the center of a city gang war after saving a mob bosses son from a rival attack. Gotta learn the rules fast if he wants to survive life on this side of the law. A crime thriller packed with hits， jealousy， and power.
Marcus，一位身經(jīng)百戰(zhàn)的角斗士，正站在競(jìng)技場(chǎng)地下的昏暗房間中，進(jìn)行最后的檢查。
畫面中的短劍是他在無數(shù)戰(zhàn)斗中的忠實(shí)伴侶，每一次的磨礪都是對(duì)生死的考驗(yàn)。
當(dāng)Marcus踏入競(jìng)技場(chǎng)，那刺眼的陽光和滾燙的空氣仿佛預(yù)示著即將到來的戰(zhàn)斗。
Marcus is a gladiator and in the dimly lit room beneath the arena， he prepares for battle as he checks his gladius for the last time. He steps out into the light， seeing the vast crowd in the scorching sun， he sees his opponent and softly smiles. This day belongs to him.
在這個(gè)因核災(zāi)難而變得荒涼的世界里，只有女性存活下來。
她們佩戴的防毒面具，不僅是在這充滿毒素的空氣中求生的必需品，更成為了她們反抗絕望、宣示力量的象征。
在這片滿目瘡痍的廢墟之中，她們?yōu)闋?zhēng)奪資源、權(quán)力以及自由，展開了殊死的斗爭(zhēng)。
In a world scorched by nuclear disaster， where only women survive， they wear gas masks， not just for air， but as a statement. Amidst the ruins， they fight for resources， power， and freedom. In a Mad Max inspired dystopia， witness their stylish resilience.
在一個(gè)奇妙的冒險(xiǎn)中，一位8歲的勇敢女孩穿越時(shí)空回到了恐龍時(shí)代，卻意外發(fā)現(xiàn)了一個(gè)充滿神秘的高級(jí)文明。
面對(duì)時(shí)間的緊迫，她不僅要想方設(shè)法修復(fù)她的時(shí)間機(jī)器，還要揭開這個(gè)古老文明的秘密，并把這些珍貴的知識(shí)帶回現(xiàn)代。
An8year old girl travels back in time to see the dinosaurs and discovers an unknown advanced civilization. She must fix her time machine and bring back the secret on the civilization to the present before it's too late.
國外網(wǎng)友熱評(píng)十大AI電影
這些天，「AI顛覆好萊塢」的呼聲，是越來越猛了。
隨著Sora掀起AI視頻的熱潮，網(wǎng)友們也紛紛使用各種AI視頻工具，做出了自己的電影級(jí)大片。
國外博主Min Choi最近就評(píng)選出，全網(wǎng)十個(gè)效果最好的DIY電影預(yù)告片。
1懷舊宇航員
這個(gè)AI短片，出自一位叫Shang Chi的網(wǎng)友之手。
入選了2024年MIT AI電影制作大賽黑客馬拉松的最佳影片。
Shang Chi感嘆道:AI是講故事的終極武器，如果沒有偉大的AI社區(qū)靈感，自己不可能做出這個(gè)片子。
網(wǎng)友們看完后非常感動(dòng)，紛紛表示:「感謝你創(chuàng)造了這個(gè)美麗的故事。」
2真人版高達(dá)預(yù)告
「Dave Clark」制作的這個(gè)高達(dá)真人概念預(yù)告片，效果好到令人震驚。
其中用到了Runway的運(yùn)動(dòng)筆刷功能。
3足球比賽
由「The Classified Football Results」制作的這部片子，是由傳奇人物James Alexander Gordon的聲音朗讀。
畫面和視頻由Midjourney和Runway生成。
4最終幻想VII重生
這是日本網(wǎng)友「吉川明靜」制作的《最終幻想》預(yù)告片。
「Shikoba」制作的這個(gè)視頻，是由Midjourney、PixVerse和Music Soundbay共同完成的。
6午夜奧德賽
「Ethereal Gwirl」制作的這部大片，已經(jīng)在YouTube上正式播出了!
本視頻由Midjourney、Pika、Runway、Magnific AI、Stable Diffusion和FulljourneyAI共同完成。
精美的畫質(zhì)，扣人心弦的情節(jié)，被網(wǎng)友們?cè)u(píng)為「史詩級(jí)」作品。
7Levi's風(fēng)廣告大片
「Paul Montreal」經(jīng)過全新的構(gòu)想，對(duì)90年代的經(jīng)典Levi's廣告「Creek」進(jìn)行了再創(chuàng)作。
使用的工具是Midjourney、Runway、Artlist和Magnific AI。
在這個(gè)過程中應(yīng)用到了許多電影攝影技術(shù)，和視覺敘事藝術(shù)。
8Absence
這個(gè)名為「Absence」的大片，講述的是一場(chǎng)穿越時(shí)空的因果之旅。
作者「Dustin Hollywood」使用的工具是Midjourney、Runway、Topaz Labs和Magnific AI。
9產(chǎn)婦:AI恐怖電影預(yù)告片
作者「PZF」表示，自己想創(chuàng)作一些與日常工作完全不同的東西，其次也想提高自己的編輯技能。
因此他虛構(gòu)了一部恐怖電影「產(chǎn)婦」（Maternity），做出了60秒的預(yù)告片。
網(wǎng)友們表示，里面的小孩盯著你眼睛的時(shí)候，簡(jiǎn)直毛骨悚然……
而作者表示，開始自己并沒有打算把視頻做得這么暗黑，但他發(fā)現(xiàn)了一種十分有效的風(fēng)格，找到了很合適的配樂，然后就做成了這個(gè)樣子。
10犬之日
作者「Next on Now」表示，每個(gè)人都會(huì)偶爾需要屬于自己的「犬之日」。
使用的工具是Runway、Midjourney和ElevenLabs。
看到網(wǎng)友們的這些大片，你是不是也手癢癢了?
Runway、Pika之類的工具，大家一定已經(jīng)玩得很溜了。這里重點(diǎn)介紹下LTX Studio的使用方法。
正如之前的演示，它使用起來非常簡(jiǎn)單，很好上手。
我們只需先輸入一段自己的想法，然后LTX Studio就會(huì)根據(jù)這段prompt創(chuàng)建一個(gè)腳本和故事板，以及人物角色。
其中，故事板會(huì)展現(xiàn)分割成眾多鏡頭的不同場(chǎng)景。
接著，我們可以通過輸入指令來變換場(chǎng)景，更改風(fēng)格（如動(dòng)畫或影視風(fēng)格）、調(diào)整天氣設(shè)定和更換地點(diǎn)。
一般而言，每個(gè)鏡頭的長度僅有幾秒。
借助LTX Studio提供的鏡頭編輯器，我們可以重命名鏡頭并調(diào)整包括視頻特效、動(dòng)作幅度、攝像機(jī)的角度/位移、持續(xù)時(shí)間和角色對(duì)白等設(shè)置。
另外，我們還能通過一個(gè)獨(dú)立的角色頁簽，為整個(gè)構(gòu)想增加、刪除或更改角色。或者， 直接上傳一張面部清晰可見的圖片，來創(chuàng)造角色。
這個(gè)過程中，故事角色的一致性是不需要操心的。
當(dāng)用戶完成故事線的微調(diào)和鏡頭編輯后，就可以預(yù)覽電影了。還能導(dǎo)出文件，分享給其他人。
Waitlist現(xiàn)在就可以申請(qǐng)了，試用是免費(fèi)的!
3月27日發(fā)布正式版后，估計(jì)就要收費(fèi)了。
申請(qǐng)地址:https://ltx.studio/
Sora依然無人可擋
而在AI視頻領(lǐng)域，如果橫向比較的話，現(xiàn)在可以確定的是，Sora依舊無人可擋。
最近，國外的一位小哥Mickmumpitz，就對(duì)比了Sora和Runway Gen-2、AnimateDiff、Pika，以及LeonardoAI的生成效果。
一句話總結(jié)就是，Sora鶴立雞群。
接下來是固定考題:根據(jù)這幅靜圖創(chuàng)作視頻。
以下是四個(gè)AI視頻工具的作品。
同樣的prompt畫出的視頻，Sora和Runway是這樣的。
Sora和AnimateDiff是這樣的。
Sora和Pika是這樣的。
Sora和LeonardoAI是這樣的。
以下是生成小狗的效果圖對(duì)比。
以下是公路汽車的效果對(duì)比。
可以看到，Sora比起其他AI視頻工具，性能強(qiáng)大得不是一檔。
簡(jiǎn)直難以想象，Sora正式上線以后，電影業(yè)會(huì)被顛覆成什么樣。
