2024-08-19 10:44:17
8月19日,昆侖萬維發布全球首個集成視頻大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定制、分鏡、劇情、對白/BGM及影片合成于一體,讓創作者“一鍵成劇”,輕松制作高質量AI視頻。
SkyReels平臺集成了昆侖萬維自研劇本大模型SkyScript、自研分鏡大模型StoryboardGen、自研3D生成大模型Sky3DGen,以及業界首個將AI 3D引擎與視頻大模型深度融合的創新平臺WorldEngine。
SkyReels在劇本質量、分鏡質量、人物表演等各維度質量評估上均領先于GPT-4o等大模型
SkyReels能夠通過AI一鍵生成完整劇本、分鏡、人物對白與BGM,支持角色形象、音色與分鏡的自定義調整,并能夠自動將內容轉換為1080P 60幀的高清視頻,單次可生成視頻長度達180秒,相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻,有顯著突破。一鍵整合所有創作成果,極大提高視頻的創作效率,降低創作成本,推動“一人一劇”時代加速來臨。
同時,WorldEngine結合了引擎的精確可控能力(如光照模擬、物理模擬、3D空間、實時交互等)以及AI視頻大模型的幻想生成能力,提供了全新的線上混合視頻創作模式,讓視頻創作從模糊生成邁向更加精確可控。
SkyReels的AI劇本生成功能基于昆侖萬維自研劇本大模型SkyScript打造。為了讓AI生成的劇本具備短劇的高密集爽點劇情,昆侖萬維首先構建了億級的高質量短劇結構化數據集SkyScript-100M,該數據集針對海量精彩短劇的劇情節奏、爽點、情緒變化進行了高質量標注;
其次算法團隊設計了漸進式生成的劇本生成框架,實現了模型能夠輸出高度結構化的精彩劇本,無論是新手作者還是資深劇作家,都能通過它激發創意,輕松創作出引人入勝的短劇劇本。
SkyScript劇本大模型技術原理圖
短劇創作的另一重要環節——分鏡生成,則由昆侖萬維自研分鏡生成大模型StoryboardGen提供底層技術。StoryboardGen是昆侖萬維首創的基于DiT-MoE架構(基于Diffusion Transformer技術的Mixed-of-Experts混合專家架構)的分鏡生成模型,能夠實現高密度分鏡信息生成,大幅增強視覺敘事表達能力。
輸入劇本后,StoryboardGen模型會將劇本拆解成全局與主體兩部分,全局部分包括場景、景別、構圖等對分鏡的整體描述,主體部分包括角色形象、動作人物角色的定制,最終匯集至故事板(Storyboard)智能體生成完整分鏡。StoryboardGen的專項多智能體架構,能夠有效保證人物與場景的可控性和一致性,創造出高質量的工業級分鏡。
昆侖萬維StoryboardGen分鏡大模型技術原理圖
在最終的影像生成環節,WorldEngine是業界首個將AI 3D引擎與視頻大模型深度融合的創新平臺。這是一項劃時代的技術創新,WorldEngine以圖層融合技術為橋梁,打造出前所未有的3D與視頻混合創作模式。
用戶使用SkyReels生成AI視頻時,可以對任意元素自由選擇使用3D AI引擎生成或者視頻大模型生成,該創新模式突破了當前AI視頻大模型時常出現的“穿模”“反地心引力”等反物理規律現象,最大程度實現了物理模擬的精細度與視頻大模型的幻想創造力的完美融合。自此,AI視頻生成大模型將從“模糊控制”時代走向“精確可控”時代。
在3D AI引擎方面,昆侖萬維自研的Sky3DGen大模型能夠生成多樣化的3D元素和場景,從自然景觀到未來都市,從靜態物體到動態角色,并提供了實時的3D場景交互能力,使得用戶可以即時看到調整和編輯的效果,加快創作流程。在WorldEngine的加持下,用戶還可以輕松構建3D虛擬影棚,實現虛擬拍攝的夢幻體驗。
人物表演是短劇畫面呈現的核心環節之一。因此,在AI人物表演方面,昆侖萬維SkyReels團隊專門研發了ActorShow人物生成模型,使得SkyReels所生成的AI人物有著更強的口型表情和肢體動作的可控生成能力,角色呈現更自然。
而針對視頻后期合成中遇到的光照差異、風格差異等需求,昆侖萬維SkyReels團隊單獨訓練了專門的融合生成模型,使得圖層融合后的視頻呈現良好的一致性。
昆侖萬維AI短劇平臺SkyReels的推出,標志著全球AI短劇創作的一次技術飛躍,它將對視頻內容創作流程進行全面顛覆,讓創作者從繁瑣、復雜的制作流程中解放出來,專注于創意實現與靈感表達,讓“一人一劇”的夢想成為現實。
SkyReels AI短劇平臺不僅為專業內容創作者提供了強大的創作工具,更極大地降低了AI短劇創作的門檻,使得非專業用戶也能輕松上手。這一革命性的工具有望帶來AI短劇用戶生成內容(UGC)與專業用戶生成內容(PUGC)的爆發式增長,為短劇內容生態注入前所未有的活力,推動短劇內容創作與消費市場的進一步快速增長。一個由AI技術驅動的短劇創作與消費的時代,正在到來。
(本文不構成任何投資建議,投資者據此操作,風險自擔。)
特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP