通義萬(wàn)相開源新模型 指定首尾圖片可生成延時(shí)攝影、變身等特效視頻

每經(jīng)記者 葉曉丹    每經(jīng)編輯 楊夏    

每經(jīng)杭州4月18日電（記者葉曉丹）記者從阿里云獲悉，4月17日晚，阿里巴巴開源通義萬(wàn)相“首尾幀生視頻14B模型”，這是業(yè)界首個(gè)開源的百億級(jí)參數(shù)規(guī)模首尾幀生視頻模型，它可根據(jù)用戶指定的開始和結(jié)束圖片，生成一段能銜接首尾畫面的720p高清視頻，滿足延時(shí)攝影、變身等更可控、更定制化的視頻生成需求。用戶可在通義萬(wàn)相官網(wǎng)直接免費(fèi)體驗(yàn)該模型，或在GitHub、Hugging Face、魔搭社區(qū)下載模型本地部署后進(jìn)行二次開發(fā)。

首尾幀生視頻比文生視頻、單圖生視頻的可控性更高，是最受AI（人工智能）視頻創(chuàng)作者歡迎的功能之一，但這類模型的訓(xùn)練難度較大，對(duì)模型的指令遵循、視頻內(nèi)容與首尾幀一致性、視頻過(guò)渡自然流暢性等均有高要求。

據(jù)介紹，基于現(xiàn)有的Wan2.1文生視頻基礎(chǔ)模型架構(gòu)，通義萬(wàn)相首尾幀生視頻模型進(jìn)一步引入了額外的條件控制機(jī)制，通過(guò)該機(jī)制可實(shí)現(xiàn)流暢且精準(zhǔn)的首尾幀變換；在訓(xùn)練階段，團(tuán)隊(duì)還構(gòu)建了專門用于首尾幀模式的訓(xùn)練數(shù)據(jù)，同時(shí)針對(duì)文本與視頻編碼模塊、擴(kuò)散變換模型模塊采用了并行策略，這些策略提升了模型訓(xùn)練和生成效率，也保障了模型具備高分辨率視頻生成的效果。

封面圖片來(lái)源：企業(yè)供圖