AnchorCrafter 是由中國科學院與騰訊聯(lián)合推出的一款基于擴散模型的 AI 虛擬主播帶貨視頻制作系統(tǒng)，旨在通過人-物交互（HOI）技術(shù)生成高保真度的產(chǎn)品推廣視頻。該系統(tǒng)特別適用于電商、廣告和內(nèi)容創(chuàng)作領(lǐng)域，能夠顯著提升視頻制作效率和質(zhì)量，同時降低制作成本。

AnchorCrafter官網(wǎng)入口網(wǎng)址：https://cangcz.github.io/Anchor-Crafter/

AnchorCrafter開源項目地址：https://github.com/cangcz/AnchorCrafter

技術(shù)原理與創(chuàng)新

AnchorCrafter 基于擴散模型架構(gòu)，使用擴散 UNet 和變分自編碼器（VAE）處理視頻幀，將視頻內(nèi)容編碼到潛在空間，并從噪聲中重建高質(zhì)量的視頻幀。其核心技術(shù)包括：

• HOI-外觀感知（HOI-appearance perception） ：通過多視角特征融合，增強模型對物體形狀和紋理的識別能力，實現(xiàn)人物與物體外觀的分離。
• HOI-動作注入（HOI-motion injection） ：通過克服對象軌跡條件化和相互遮擋管理的挑戰(zhàn)，實現(xiàn)復雜的人物-物體交互。
• HOI 區(qū)域重加權(quán)損失（HOI region reweighted loss） ：增強對物體細節(jié)的學習，確保生成視頻中人物外觀和動作的一致性。

核心功能

• 高保真度視頻生成：AnchorCrafter 能夠生成自然流暢且高度真實的視頻，人物和物體的動作細節(jié)逼真，視覺效果優(yōu)于現(xiàn)有方法。
• 人-物交互控制：用戶可以精確控制虛擬主播的動作和與商品的交互方式，如拿起、展示等，實現(xiàn)高度自然的互動效果。
• 多視角對象特征融合：通過參考多個視角的對象圖像提取物體的外觀特征，增強模型對物體形狀和紋理的識別能力。
• 高效訓練數(shù)據(jù)利用：盡管訓練數(shù)據(jù)集相對較小，但系統(tǒng)通過優(yōu)化訓練策略，有效提升了生成視頻的質(zhì)量。

應用場景

AnchorCrafter 主要應用于電子商務、在線廣告和內(nèi)容創(chuàng)作等領(lǐng)域。其核心優(yōu)勢在于：

• 電商帶貨：通過生成自然流暢的主播風格視頻，提升產(chǎn)品展示效果，吸引消費者注意力，提高轉(zhuǎn)化率。
• 廣告制作：快速生成高質(zhì)量的廣告視頻，降低制作成本，提高廣告投放效率。
• 內(nèi)容創(chuàng)作：為內(nèi)容創(chuàng)作者提供強大的工具，輕松制作互動性強的視頻內(nèi)容。

使用流程

1. 訪問官網(wǎng)：用戶可通過官網(wǎng)（https://cangcz.github.io/Anchor-Crafter/ ）了解系統(tǒng)功能并進行試用。
2. 上傳素材：準備目標人物和商品的圖片或視頻素材，并上傳至系統(tǒng)界面。
3. 設(shè)置交互場景：根據(jù)需求設(shè)計人物與商品的交互場景，并調(diào)整相關(guān)參數(shù)。
4. 生成視頻：啟動生成過程，系統(tǒng)將自動生成高質(zhì)量的視頻內(nèi)容。
5. 后期編輯：用戶可對生成的視頻進行預覽和后期編輯，確保最終效果符合預期。

AnchorCrafter 是一個集成了先進 AI 技術(shù)的虛擬主播帶貨視頻制作工具，通過人-物交互技術(shù)實現(xiàn)了高保真度和可控性的視頻生成。其強大的功能和廣泛的應用場景使其成為電商、廣告和內(nèi)容創(chuàng)作領(lǐng)域的有力工具。