VideoPoet 是由谷歌研究團隊開發(fā)的一款創(chuàng)新的 AI 視頻生成模型，旨在通過多模態(tài)大模型技術(shù)實現(xiàn)高質(zhì)量視頻內(nèi)容的生成。該模型的核心優(yōu)勢在于其多模態(tài)大模型架構(gòu)，能夠處理和轉(zhuǎn)換不同類型的輸入信號，包括文本、圖像、視頻和音頻，從而實現(xiàn)多種風(fēng)格和動作的視頻輸出。

VideoPoet官網(wǎng)入口網(wǎng)址：https://sites.research.google/videopoet/

VideoPoet 的主要功能包括文本到視頻、圖像到視頻、視頻風(fēng)格化、編輯與擴展、視頻音頻化和跨模態(tài)學(xué)習(xí)等。它采用僅解碼器的 Transformer 架構(gòu)，通過預(yù)訓(xùn)練和任務(wù)特定適應(yīng)兩個階段進行訓(xùn)練。預(yù)訓(xùn)練階段融合了多種多模態(tài)生成目標，使其能夠應(yīng)用于多種視頻生成任務(wù)。此外，VideoPoet 還支持生成長達 10 秒的視頻，并且無需特定數(shù)據(jù)集或擴散模型。

VideoPoet 的應(yīng)用場景非常廣泛，適用于電影制作、動畫片、廣告制作、虛擬現(xiàn)實等多個領(lǐng)域。用戶只需輸入文本描述，即可生成高質(zhì)量的視頻內(nèi)容，無需視覺或音頻指導(dǎo)。例如，谷歌團隊曾利用 VideoPoet 根據(jù)文本提示生成了一段浣熊旅行的故事視頻，總時長為 1 分鐘。

VideoPoet 的官網(wǎng)地址為：https://sites.research.google.com/view/videopoet/ 。用戶可以通過官網(wǎng)體驗入口快速上手使用該工具，無論是行業(yè)專家還是初學(xué)者，都能輕松創(chuàng)作滿足不同場景需求的視頻內(nèi)容。

VideoPoet 為視頻創(chuàng)作提供了無限可能，無論是專業(yè)制作人還是普通愛好者，都能通過簡單的操作實現(xiàn)創(chuàng)意表達。其強大的多模態(tài)處理能力和靈活的視頻生成功能，使其成為未來 AI 視頻生成技術(shù)的主流方向。