作者 | 崔皓
審校 | 重樓
摘要
本文探討了如何利用大語言模型和AI視頻生成模型來創建高度個性化和創意豐富的視頻內容。文章詳細介紹了從構思到實現的全過程，包括問題分析、目標設定、工具和模型選擇，以及實際操作步驟。使用的技術和工具包括OpenAI的GPT-3.5-turbo、Hugging Face的zerscope_v2_576w模型，以及Langchain、PyTorch等輔助工具。
開篇
在科技日新月異的今天，人工智能不僅僅局限于數據分析或自動駕駛等領域，其在創意產業中的應用也越來越廣泛。那么，能不能讓大語言模型與AI視頻生成模型聯手，為我們帶來高度個性化且極富創意的視頻內容呢？本文將介紹如果通過輸入幾個關鍵詞讓大模型幫助我們生成創意視頻。其中用到了OpenAI，Hugging face開源庫，LangChain等技術或框架，通過手把手編寫代碼，查找資料的方式呈現完整的開發過程。突發奇想
在瀏覽社交媒體時，我經常看到各種精彩絕倫的創意視頻。每次看到這些，我都忍不住想：如果我也能制作出這樣的作品，該有多好！但問題是，我作為一個碼農對創意這件事一直不太自信。那么如何能夠創建屬于自己的創意視頻呢？突然，我想到了大語言模型和AI視頻生成技術。大語言模型擅長生成文本，而AI視頻生成模型則能從文本生成視頻。那么，它們能否聯手，幫助我填補這一創意缺口呢？
思路整理：明確目標，分解任務
在有了初步的想法后，下一步就是具體地整理思路，明確我們需要解決哪些問題。這樣不僅能讓我們有目標可行，還能為后續的行動計劃提供明確的方向。以終為始，我們的目標就是讓計算機幫我們自動生成創意視頻，那么就可以分割為產生創意和生成視頻兩個環節。問題一：創意缺乏，如何解決？
對于大多數碼農來說，創意并不是我們的強項。但是好消息是，現在有大語言模型能夠在這方面幫助我們。通過合理地設置提示（prompt）或者利用現有的模板，我們甚至能生成具體的創意腳本。我的初步想法如下：
1. 查找合適的大語言模型，例如GPT-3.5-turbo。
2. 設計或找到有效的文本提示模板。
3. 進行多輪的文本生成實驗，直到滿意為止。
問題二：如何生成視頻？
生成創意文本后，下一步就是將這些文本轉化為視頻。由于我們并不是專業的視頻制作人員，因此找到一個現成的、用戶友好的AI視頻生成模型將會非常有幫助。這也難不倒我，通過下面幾步或許能夠如愿以償：
1. 搜尋開源的AI視頻生成模型，到最大的模型庫Hugging face上去找找一定會有收獲。
2. 了解模型的輸入要求和使用方式。
3. 實施初步的視頻生成測試，如果需要，進行必要的調整。
首先，利用大語言模型解決創意問題；其次，利用AI視頻生成模型將創意實現為具體的視頻內容。這樣一來，即便我們不是“創意大師”，也完全有能力制作出令人印象深刻的創意視頻。
查找資料：武裝自己的工具箱
通過對目標的分析，我們總結出兩大問題，并且針對每個問題都有了基本的解決思路。接下來需要了解對應的工具，同時對工具，框架和庫進行測試，從而驗證我們的想法。接著，我們對技術做了如下的選擇：
大語言模型：OpenAI的GPT-3.5-turbo
OpenAI是在AI界非常有影響力的組織，其推出的GPT模型家族幾乎成為了大語言模型的代名詞。同時，與其他版本相比，GPT-3.5-turbo的token費用更加實惠，對于個人或小型項目來說非常適用。這里，我計劃使用GPT-3.5-turbo來生成創意文本。通過設置特定的提示和參數，我能夠讓模型產生具有高創意價值的文本內容。
AI視頻模型：cerspense/zeroscope_v2_576w
在Hugging Face的平臺上，這個模型因其高Star評級而受到了大量關注，這通常是社群對其有效性的一種認可。那么在這個平臺上面如何找到我們需要的模型呢？首先，登錄平臺，在首頁選擇“Tasks”。
在Tasks中列出所有Hugging face上模型能夠執行的任務，并且Hugging face 已經對所有的模型進行了分類。我們找到“Text-to-Video”的分類，點擊進入。
在進去的頁面會對這類模型進行簡單地介紹。它會告訴你將文本輸入到模型，輸出的結果就是視頻。我們點擊右邊的“Browse Models”按鈕瀏覽所有的模型。
在展開的模型列表中，最上面的zeroscope_v2_576w 下載量有28.5K，看來用的人很多，而且星星數量也不少。
點擊進入模型詳情頁，里面對模型進行了簡單描述，并且提供了模型的使用方式。由于所有Hugging face上面托管的模型都可以免費使用，所以我們直接按照使用方法調用就好了。 具體的調用方法會在后面的代碼描述中說明。
我看了看模型基本沒有問題，于是敲定就是它了。將文本轉化為視頻內容的重任就交給它了。
輔助工具：Langchain, PyTorch, Diffusers
解決兩個大模型工具的問題之后，我們還需要一些幫手。- Langchain：作為一個大模型的腳手架，Langchain的Prompt Template可以幫助我更有效地設置和優化模型的輸入提示。
- PyTorch：作為一個強大的機器學習庫，PyTorch可以用于定制一些特定功能，讓我更靈活地使用前兩者。
- Diffusers庫：提供了諸如`DiffusionPipeline`和`DPMSolverMultistepScheduler`等工具，這些可以用于進一步優化視頻生成過程。
通過選擇工具和模型，我為自己構建了工具箱。每一項選擇都是出于特定的考慮和需求，旨在解決我在創意視頻生成過程中可能遇到的問題。這樣，即使我不是一個“創意大師”，也有信心能制作出令人印象深刻的創意視頻。
小心嘗試：遇到的問題與調整
剛開始，我嘗試用一些簡單的關鍵字給到zeroscope_v2_576w模型，比如“小貓”，“科技感”，“奔跑”，來生成文本。然而，我很快發現這樣做產生的創意還是不夠豐富。語言的敏感性：英文輸入的效果更好。這和我之前預想的差不多，通過簡單的關鍵詞生成視頻可能還是不夠。通過如下代碼，我搞定了創意文字的輸出。
from langchain.llms import OpenAI
from langchain import PromptTemplate
llm = OpenAI(model_name="gpt-3.5-turbo")
template = """
我想讓大模型根據文字生成創意視頻，我本身沒有什么思路， 會輸入幾個關鍵詞，你根據這幾個詞生成具有創意的一句話（英文），在15token以內。
我把中文輸入放到這里：{input}，將你生成的這句話直接輸出，由于我要用這句話直接生成視頻，所以在輸出的時候不要附加除了這句話之外的內容。
"""
prompt = PromptTemplate(
#接受用戶輸入
input_variables=["input"],
#定義Prompt tempalte
template=template,
)
#這里是真正的用戶輸入
final_prompt = prompt.format(input='小貓 科技感 奔跑 ')
response = llm(final_prompt)
print (f"大語言模型的回應: {response}")
