AIGC時代，3D引擎有何作為？Unity高級經理孫志鵬：可能實現“一句話建模”

每經記者 朱成祥    每經編輯 梁梟    

近期，無論是科技領域還是資本市場，最火熱的概念莫過于ChatGPT和AIGC（人工智能技術生成內容）。從文本到圖片，AIGC都有豐富的應用。

那么，在3D世界，AIGC有沒有應用空間？3D引擎與ChatGPT以及GPT類工具，能否擦出火花？

針對以上問題，《每日經濟新聞》記者近日采訪了國際3D引擎巨頭Unity多位專家。Unity中國高級經理兼跨端移植技術負責人孫志鵬告訴記者，對應AI作畫，3D引擎可能實現“一句話建模”。

3D引擎可能實現“一句話建模”

ChatGPT可實現人工智能創作文本，基于文本，AI作畫可實現人工智能創作圖片，即從一維的文本到二維的平面圖片。那么，基于文本，能否形成三維的視頻呢？即利用CG（計算機動畫）技術以及3D引擎技術，進一步由AI制作微電影。如此前，藝術家團體Sagans就借助虛幻引擎5和AI算法，創造出賽博朋克風格的MV。

對此，孫志鵬表示，AI已被不斷集成至Unity的工具流中，主要用于強化管線的渲染能力，同時也會在程序化數字資產生成和可微渲染的部分，為AIGC的落地做能力加強和生態儲備，并參與GPT之類的預訓練模型的使用探索。在多模態、數據合成、對比學習等領域緊跟學術界成果，爭取早日在3D數字資產創作領域實現AIGC。

對應AI作畫，3D引擎可能實現“一句話建模”。以場景生成為例，目前看起來一個可能的路徑是：首先通過GPT之類的生成模塊，自動生成對一個用戶需要的場景足夠詳細的描述，然后通過一個多模態模塊進行模態融合，去驅動一個全可微的程序化建模模塊來生成場景，繼而通過可微渲染器渲染的結果，最后把這個結果交給類似CLIP（文末注）的模塊去生成符合最初描述的圖像或視頻。

而類似過程可以用在很多類型的資產生成過程中，“一句話建模”也就由此實現了。在此之前，工具引擎需要在程序化和可微的方向上做好準備，同時時刻緊跟AIGC相關領域的科研進展，在新銳技術落地的第一時間，讓一切成為可能。

中國很可能誕生最大的元宇宙世界

三維空間除了視頻，還有直播等場景。目前，虛擬人技術發展迅速，那么Unity能否進一步將自身技術應用到電視直播中，從虛擬人升級到虛擬演播室？

對此，Unity中國回復記者稱，此前，由韓國開發者使用Unity打造的虛擬人SUA已經吸引了全世界的關注。作為實時渲染的數字人類，SUA全身都基于實時渲染實現。實時渲染的渲染速度與交互性，讓SUA可以與觀眾實時互動，也就讓虛擬演播室成為可能。

另外，目前虛擬人在實際應用中，普遍缺乏真實的人物表情。但在影視制作領域，卻已能生成生動的面部表情。比如年前火熱的電影——《阿凡達2水之道》。該影片的CG技術提供方WētāFX，和此前已被Unity收購的Wētā Digital師出同門。

圖片來源：Unity供圖

Unity Wētā Tools對《每日經濟新聞》記者表示，制作中的最大突破是為影片中的數字角色制作創新地提出了APFS系統（Anatomically Plausible Facial System），這是一個基于肌肉纖維曲線的面部動畫參數化系統，同時Wētā也提供了一整套與之配合的特效畫面制作生產流程。

全新的APFS系統提供了一個更基于解剖學基礎、更以動畫師為中心的創作環境。在幫助動畫師通過肌肉曲線直接控制面部肌肉，生成高保真的面部表情的同時，也將復雜的非線性皮膚表現納入深度神經網絡（一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型），繼而通過大約7～10萬次的高質量面部掃描來訓練AI模型，旨在幫助電影創作者更高效地制作高逼真度畫面。

Unity在3D引擎和CG技術領域擁有的技術實力，能給中國的相關產業發展帶來哪些助力？

Unity中國表示，公司致力于打造中國本土的、適配各類國產軟硬件平臺的數字生產力工具，豐富由實時圖形渲染技術支撐的AR、VR、MR以及數字孿生體驗，賦能中國數字經濟安全、穩定、健康發展。

在Unity看來，中國擁有世界上最大的游戲市場和汽車市場，也是最大的制造業國家、基建國家。這意味著，中國擁有全球最大的數字孿生市場，也很可能誕生最大的元宇宙世界。

注：CLIP，Contrastive Language-Image Pre-training，是一種機器學習技術，它可以準確理解和分類圖像和自然語言文本，這對圖像和語言處理具有深遠的影響。

封面圖片來源：Unity供圖