【ITBEAR】火山引擎在近期舉辦的視頻云技術(shù)大會(huì)上，推出了一項(xiàng)針對(duì)大模型訓(xùn)練視頻預(yù)處理的創(chuàng)新方案。該方案已被應(yīng)用于豆包視頻生成模型，顯示出其在實(shí)際應(yīng)用中的潛力。
火山引擎總裁譚待在會(huì)上表示，隨著AIGC和多模態(tài)技術(shù)的發(fā)展，用戶體驗(yàn)正在發(fā)生深刻變化。火山引擎視頻云正積極探索AI大模型與視頻技術(shù)的結(jié)合，旨在為企業(yè)解決技術(shù)、處理鏈路和業(yè)務(wù)增長(zhǎng)層面的問題。
抖音集團(tuán)視頻架構(gòu)負(fù)責(zé)人王悅指出，大模型廠商在視頻預(yù)處理過程中面臨多重挑戰(zhàn)，包括龐大的數(shù)據(jù)集帶來的計(jì)算和處理成本問題，視頻樣本質(zhì)量的不一致，處理鏈路的復(fù)雜性，以及多種異構(gòu)算力資源的調(diào)度和部署難題。
為了應(yīng)對(duì)這些挑戰(zhàn)，火山引擎依托自研的多媒體處理框架BMF，發(fā)布了這項(xiàng)大模型訓(xùn)練視頻預(yù)處理方案。該方案能夠充分利用Intel的CPU、GPU等不同資源，有效降低模型訓(xùn)練的算力成本。同時(shí)，通過算法和工程的優(yōu)化，實(shí)現(xiàn)了對(duì)海量視頻數(shù)據(jù)的高質(zhì)量預(yù)處理，提升了模型訓(xùn)練效率。
火山引擎還發(fā)布了BMF lite版本，這是一個(gè)移動(dòng)端后處理解決方案，支持端側(cè)大模型接入和算子加速，更加輕量且通用。
豆包視頻生成模型PixelDance于9月24日面世，采用DiT架構(gòu)，并通過創(chuàng)新的擴(kuò)散模型訓(xùn)練方法，解決了多主體運(yùn)動(dòng)復(fù)雜交互和多鏡頭切換的內(nèi)容一致性難題。目前，該模型已通過火山引擎向企業(yè)開放邀測(cè)。
