Diffutoon 是一種由阿里巴巴達(dá)摩院與華東師范大學(xué)聯(lián)合研發(fā)的先進(jìn)動(dòng)漫風(fēng)格渲染技術(shù)，旨在將真實(shí)視頻轉(zhuǎn)換為逼真的動(dòng)漫風(fēng)格。該技術(shù)基于擴(kuò)散模型（Diffusion Model），通過(guò)學(xué)習(xí)大量圖片數(shù)據(jù)生成新的圖像和視頻，從而實(shí)現(xiàn)高分辨率、高一致性和可編輯的卡通著色效果。

Diffutoon官網(wǎng)入口網(wǎng)址：https://ecnu-cilab.github.io/DiffutoonProjectPage/

Diffutoon開(kāi)源項(xiàng)目地址：https://github.com/modelscope/DiffSynth-Studio

Diffutoon 的核心優(yōu)勢(shì)在于其能夠處理高分辨率和快速運(yùn)動(dòng)的視頻，同時(shí)保持內(nèi)容的一致性和視覺(jué)吸引力。其技術(shù)流程包括風(fēng)格化、一致性增強(qiáng)、結(jié)構(gòu)指導(dǎo)和著色四個(gè)關(guān)鍵子問(wèn)題的解決。通過(guò)多模塊去噪模型、控制網(wǎng)絡(luò)、動(dòng)畫(huà)滑動(dòng)擴(kuò)散、快速注意力機(jī)制等技術(shù)手段，Diffutoon 能夠生成高質(zhì)量的動(dòng)漫風(fēng)格視頻。

Diffutoon 的主要功能包括：

• 高分辨率輸出：支持高達(dá) 1536 x 1536 的分辨率，適用于高分辨率和快速運(yùn)動(dòng)的視頻。
• 內(nèi)容一致性：通過(guò)控制網(wǎng)絡(luò)和動(dòng)畫(huà)滑動(dòng)擴(kuò)散技術(shù)，確保視頻幀間的一致性和連貫性。
• 智能編輯：用戶可以通過(guò)編輯分支根據(jù)提示生成彩色視頻信號(hào)，實(shí)現(xiàn)個(gè)性化內(nèi)容創(chuàng)作。
• 自動(dòng)著色：根據(jù)視頻內(nèi)容和風(fēng)格要求自動(dòng)選擇合適的顏色填充，確保顏色協(xié)調(diào)性和視覺(jué)吸引力。
• 超分辨率與上色：即使輸入視頻分辨率較低，也能生成高質(zhì)量的動(dòng)漫風(fēng)格視頻。

Diffutoon 的應(yīng)用場(chǎng)景廣泛，包括動(dòng)畫(huà)制作、視頻游戲開(kāi)發(fā)、電影后期制作、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、社交媒體內(nèi)容創(chuàng)作、廣告和營(yíng)銷、教育和培訓(xùn)等領(lǐng)域。此外，Diffutoon 的代碼和模型已開(kāi)源，用戶可以通過(guò) GitHub 平臺(tái)訪問(wèn)并體驗(yàn)其功能。

Diffutoon 是一項(xiàng)革命性的視頻轉(zhuǎn)繪技術(shù)，為創(chuàng)作者提供了強(qiáng)大的工具，使他們能夠輕松將真實(shí)視頻轉(zhuǎn)化為具有動(dòng)漫風(fēng)格的高質(zhì)量作品。其開(kāi)源特性進(jìn)一步推動(dòng)了技術(shù)的普及和發(fā)展，為數(shù)字創(chuàng)意領(lǐng)域帶來(lái)了無(wú)限可能。