驚動美國白宮、有公司被騙2億港元，AI “深度偽造”的罪與罰

生成式人工智能（GAI）時代，似乎沒有什么不能被顛覆，連人們一直堅信不疑的“眼見為實”“有圖有真相”也逐漸成為空話。 今年春節期間，OpenAI發布的文生視頻模型Sora橫空出世，被認為是“AGI（人工通用智能）的重要里程碑”，將顛覆視頻內容生成方式。Sora的出現，振奮科技圈的同時也衍生出了擔憂的情緒。有專家稱，這類技術可能會導致“深度偽造”視頻增多，讓人難以識別真偽。OpenAI自己也承認，無法預測人們使用Sora的所有有益方式，也無法預測人們濫用它的所有方式。 Sora根據提示詞生成的視頻畫面截圖 圖片來源：OpenAI官網 在Sora誕生之前，AI“深度偽造”技術已經在海內外引發擔憂，知名明星與跨國公司相繼成為AI“深度偽造”的受害者。今年1月底，明星泰勒·斯威夫特（Taylor Swift，中文綽號“霉霉”）大量虛假“不雅照片”在社交平臺上傳播。此事震動美國白宮，并掀起一波關于人工智能的擔憂。2月4日，據香港文匯報報道，有詐騙集團利用AI“深度偽造”技術向一家跨國公司的香港分公司實施詐騙，并成功騙走2億港元，這也是香港迄今為止損失最大的“換臉”案例。 諸如此類的案例越來越多，人工智能帶來的新型焦慮正在形成。瑞萊智慧Real AI聯合創始人&算法科學家蕭子豪在接受《每日經濟新聞》記者采訪時就表示，他們判斷，2024年這種利用AI“深度偽造”技術實施的詐騙案件會進一步增加，因為“深度偽造”技術工程化落地速度很快，“即使是不了解技術的普通人，也能夠制作‘深度偽造’的內容”。 娛樂還是犯罪？ “深度偽造”一詞譯自英文“Deepfake”（deep learning和fake的組合），現亦稱深度合成（Deep Synthesis）?！癉eepfake”誕生于美國。2017年，美國一名為Deepfake的用戶在社交網站Reddit上發布了一則與知名演員有關的偽造視頻，這項技術隨后被迅速應用到多個領域，包括色情、政治、廣告、娛樂等。 上海合合信息科技股份有限公司（以下簡稱“合合信息”）圖像算法研發總監郭豐俊告訴《每日經濟新聞》記者，在國內，“深度偽造”技術有積極應用，也有負面應用。 積極應用往往在于：一、個人娛樂。一些APP可為用戶提供藝術照模板，通過換臉形式生成用戶照片，用戶足不出戶也能“拍”出好看照片。此外，“深度偽造”技術也可用于制作搞笑視頻、模仿名人表演，但這可能涉及版權和道德等問題；二、教育。Deepfake技術合成的歷史人物講解視頻讓教學更有趣味性；三、影視制作。如電影、電視劇及綜藝節目中演員換臉，紀錄片中為保護參演者隱私和安全而換臉等；四、醫療。醫院描述或診斷患者面部肌肉疾病時，如果將患者人臉打馬賽克，就看不出面部癥狀，這時應用Deepfake技術，可把病人視頻里的臉，換成一張假臉，既可以保留人臉的運動信息，亦保護了病人隱私；五、藝術。比如有美術館利用Deepfake技術讓已故的藝術家“現身”講述自己的故事和作品等。 但現實生活中，“深度偽造”技術也被廣泛應用于詐騙、色情等非法場景。比如，一些不法分子借助“深度偽造”技術散布虛假視頻，甚至制造虛假新聞，危害社會；隨著視頻換臉技術門檻降低，別有用心之人利用“深度偽造”技術可以輕易盜用他人身份，實施商業詆毀、敲詐勒索、網絡攻擊和犯罪等。 記者注意到，目前，海內外均有大量由“深度偽造”技術引發的深度造假案例，這些案例普遍造成了不小的負面影響。 比如，近日被傳出大量虛假“不雅照”的泰勒·斯威夫特。據九派新聞報道，泰勒·斯威夫特正考慮對生成這些圖片的網站采取法律行動。1月26日的美國白宮記者會上，發言人讓-皮埃爾被問及此事時表示：“我們對此類圖像流傳感到擔憂，更確切地說，是虛假圖像，這令人擔憂?！睋炫刃侣剤蟮?，這不是泰勒·斯威夫特第一次被AI“造假”。在這次“不雅照”事件前不久，一則由人工智能生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上傳播。這則虛假廣告利用“深度偽造”技術，合成“霉霉”的聲音，并將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，以“霉霉”身份宣稱免費向粉絲贈送炊具，引導受害者點擊并支付9.96美元運費，但炊具不會真的送出去。 泰勒·斯威夫特深受“深度偽造”困擾的背后，女性正成為不法分子實施侵害的重要目標群體，他們利用“深度偽造”技術制造各種女性不雅視頻、圖片牟利。據網絡安全研究機構Sensity在2020年秋季發布的報告，在Telegram的應用中，至少有10.48萬名女性“被裸體”，而在分發這些照片的7個頻道中，累計用戶超過10萬。根據Sensity的追蹤調查，Telegram應用中超七成的使用者表示他們上傳的照片是通過社交平臺，或其他私人渠道取得的。 英國Wired雜志于2020年發布的一篇報道也曾指出，2020年7月以來，至少有10萬名女性被“深度偽造”應用DeepNude（深度偽造軟件，現已下架）創建了裸照，其中一些人不到18歲。 一些國家的政客也成為不法分子制造虛假視頻的對象。1月21日，美國新罕布什爾州一些選民稱接到了“拜登總統”的自動留言電話，告訴接聽者不要在該州初選中投票。美國白宮新聞秘書卡琳·讓-皮埃爾（Karine Jean-Pierre）次日回應稱：“那通電話確實是假的，（拜登）總統沒有錄音。我可以證實這一點?！? 更嚴重的還有，Deepfake甚至參與到了戰爭當中，成為“新型武器”。2022年3月，一條烏克蘭總統弗拉基米爾·澤連斯基（Volodymyr Zelensky）的“視頻”被廣泛傳播，在該視頻中，澤連斯基呼吁烏克蘭士兵放下武器投降。事件發生后，烏克蘭國防部在其海外社交媒體官方賬號發布了澤連斯基的視頻，并配文稱：“請注意，這是不可能的?！? 在國內，中國香港近期發生了一起規模龐大的AI“深度偽造”詐騙案。詐騙者通過搜集一家跨國公司英國高層在YouTube上的公開影像，再利用AI“深度偽造”技術，給詐騙者換上公司高層的面部和聲音，從而實施詐騙，并成功從香港分公司騙走2億港元。這起巨額詐騙案發生前，今年1月中下旬，香港特別行政區行政長官李家超也成為“深度偽造”的目標。網上出現了用人工智能偽造的電視節目片段，冒稱李家超向市民推介一項高回報的投資計劃。特區政府立即嚴正澄清，稱有關影片全屬偽造，行政長官從未作出相關言論。 去年5月初，內蒙古包頭市公安局電信網絡犯罪偵查局發布一起使用智能AI技術進行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通過微信視頻聯系他，聲稱自己的朋友在外地投標，需要430萬元保證金，想借用郭先生公司的賬戶走賬?；谝曨l聊天信任的前提，郭先生并未核實錢是否到賬，就陸續轉給對方共計430萬元，之后郭先生才發現被騙。 個人娛樂方面，北京市中聞（長沙）律師事務所律師劉凱告訴《每日經濟新聞》記者，2022年8月，成都鐵路運輸第一法院曾一審審理了一批使用“AI換臉”App程序侵害他人肖像權的案件。古風漢服網紅魏某起訴了4家運營AI換臉軟件的公司，認為對方在自己未授權的情況下上傳包含她肖像的視頻作品，生成AI換臉視頻，侵犯了其肖像權。記者了解到，國內之前涌現過一批換臉APP，但這些APP中有部分目前已經被下架，如ZAO、去演等。 大模型技術正降低“深度偽造”門檻 “深度偽造”是指利用深度學習技術生成合成圖像、音頻或視頻的技術。由于公眾人物的視頻、音頻、圖片資料的公開性，為AI訓練提供了大量素材，因此，這些名人頻繁成為AI造假的“受害者”。從技術原理上看，“深度偽造”的實現主要依賴于深度神經網絡，特別是生成對抗網絡（GAN）。通過訓練大量的面部圖像數據，“深度偽造”模型能夠學習面部特征之間的潛在關系，并生成與真實面部特征高度相似的虛假面部特征。 郭豐俊告訴記者，“深度偽造”與國內常見的“AI換臉”不能等同，后者只是前者的一種典型應用形式?！爱斦劦紻eepfake技術時，國內和國外的研究團隊都已經達到相當高的技術程度。相較于國內，國外擁有更多的應用程序和網站，這些平臺提供了更多Deepfake制作工具，使用戶能夠相對容易地生成和分享Deepfake內容?！? 運用Sora也可以生成高清圖像 圖片來源：OpenAI官網 浙江大學國際聯合商學院數字經濟與金融創新研究中心聯席主任、研究員盤和林也告訴記者，國外對此類“深度偽造”算法限制較少，應用工具較多。在工具豐富的背景下，這項技術的普及度就相對高?！皣鴥仁怯幸欢ㄊ褂孟拗频模覀冇斜O管?！北P和林表示。 蕭子豪則提到，其實國內通過“AI換臉”實施的詐騙還是很常見，只是大眾接觸到的案例較少。一方面，太多案例可能會造成大眾恐慌；另一方面，這些案例廣泛傳播可能會給犯罪分子以詐騙“靈感”。他透露，瑞萊智慧已經幫助很多銀行在金融場景抵御AI換臉詐騙的攻擊。 他認為，隨著AI技術的發展與普及，“深度偽造”技術在犯罪中的應用確實呈現出增加的趨勢，“而且我們判斷，在2024年這種利用深度偽造實施的詐騙案件會進一步增加”。蕭子豪給出的理由包括，隨著“深度偽造”相關軟件和工具的開發普及，即使是不了解技術的普通人，也能制作深度偽造的內容。此外，AI技術的進步也讓“深度偽造”內容產生的速度更快、更難被人眼識別。 “大模型技術能夠用更少的人臉數據來給特定人構造高逼真的人臉模型，降低了不法分子制作人臉視頻的成本?！笔捵雍勒f。 對于“深度偽造”技術應用不當可能帶來的社會危害，郭豐俊認為，虛假合成影像可能會沖擊社會信任、媒體信任，嚴重時還會威脅社會公共安全。此外，深度造假影像還可能會讓公司名譽、財產遭受損失，還能令個人名譽、財產、精神受到損害。 目前法律法規是否足夠完善？ 大量深度造假視頻或圖片的出現，讓海內外衍生出新一輪AI擔憂。 據央視新聞，今年1月“假拜登來電”引發美國社會關于人工智能“深度偽造”可能影響大選的討論，同時也延伸帶出美國相關的監管政策和立法跟進遲緩的質疑。美國政府監管組織“捍衛公眾利益組織”負責人羅伯特·韋斯曼批評稱，政治“深度偽造”時刻已經到來，政策制定者必須盡快采取保護措施，否則將面臨選舉混亂?！吧疃葌卧臁睍ハ禄靵y的種子，使欺詐行為永久化。美國消費者技術協會首席執行官夏皮羅認為，“政府需要在人工智能領域扮演重要角色，確保設置安全屏障和護欄，讓產業內人士知道，哪些能做，哪些不能做”。 泰勒·斯威夫特AI不雅照事件發生后，盤和林曾對外發布署名文章《用AI打敗AI“深度造假”》。該文章同樣提到，美國雖然已經在推動AI立法，但大部分提案還停留在紙面階段。 相對于美國，中國在“深度偽造”方面的立法走得相對靠前。記者獲悉，早在2019年11月，國家互聯網信息辦公室、文化和旅游部、國家廣播電視總局便聯合印發《網絡音視頻信息服務管理規定》，并于2020年1月1日起施行。該規定對網絡音視頻服務的使用者和提供者均提出要求，即利用基于深度學習、虛擬現實等的新技術新應用制作、發布、傳播非真實音視頻信息的，應當以顯著方式予以標識，不得利用基于深度學習、虛擬現實等的新技術新應用制作、發布、傳播虛假新聞信息。 圖片來源：每日經濟新聞 劉國梅 攝 2022年，國家互聯網信息辦公室、工信部和公安部制定的《互聯網信息服務深度合成管理規定》明確，深度合成服務者應采取技術或人工方式對使用者的輸入數據和合成結果進行審核。去年8月，國家互聯網信息辦公室還在《人臉識別技術應用安全管理規定（試行）（征求意見稿）》中明確，人臉識別技術使用者應每年對圖像采集設備、個人身份識別設備的安全性和可能存在的風險進行檢測評估，采取有效措施保護圖像采集設備、個人身份識別設備免受攻擊、侵入、干擾和破壞。 劉凱向《每日經濟新聞》記者表示，實際上，目前世界各國對于“人工智能/Artificial Intelligence”未有一個確定的最終定義，均是作為一類計算機應用的統稱。“就我了解到的情況，目前世界上也沒有國家制定一部專門針對人工智能的統一監管規則?！? 不過，我國在人工智能的立法方面緊跟行業前沿，這兩年陸續出臺《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理辦法》三部主要法規，加之此前出臺的《網絡安全法》等系列法律法規，可以說已經為人工智能打造了多元化監管格局，實現了多維譜系法律法規協同治理。 “對于泰勒·斯威夫特AI不雅照的深度偽造，在我國的法律規定中可適用的主要條文有：《民法典》第一千零一十九條第一款、《互聯網信息服務深度合成管理規定》第十四條第二款、《生成式人工智能服務管理暫行辦法》第四條第四款規定?！眲P說。 攻與防：AI打敗AI可行嗎？ 身處生成式AI時代，如何有效監管和減少“深度偽造”產生的虛假信息，成為全球關注的一項重要議題。盤和林在《用AI打敗AI“深度造假”》一文中曾提及一個觀點：“能夠監管生成式AI的，不是工業時代的法律條文，而是AI技術自身。我們不但要發展AI技術，更要讓正義力量盡可能多地掌握AI技術，這樣才能對不法分子形成技術壓制?！? 那么，用AI打敗AI造假可行嗎？ 對此，郭豐俊告訴記者，“國內做AI篡改鑒別的企業已有不少，既有如中國電信這樣的央企，又有如瑞萊智慧、中科睿鑒這類大學/科學院孵化的科技公司，還有網易、合合信息這樣深耕AI行業多年的企業?！彼€進一步指出，國內科研團隊在“深度偽造”鑒別方面已處于世界先進水平。不同的國內研究團隊多次在國際知名篡改檢測大賽中獲得冠亞軍的好名次。 以合合信息自身為例，郭豐俊透露，公司在文檔/證照圖像上有較多的AI篡改檢測技術積累。目前，合合信息研發的針對證件及票據圖片的AI篡改檢測與定位技術、AI甄別偽造人臉圖像的技術等已經在金融、保險行業得到廣泛應用。除了金融安全場景，郭豐俊認為，虛假新聞判斷、謠言識別與分析等公共安全、媒體內容安全場景也有大量的需求，合合信息正積極探索這些場景的技術應用。 蕭子豪表示，瑞萊智慧從2018年開始就持續關注“深度偽造”技術，并一直投入研發資源進行“深度偽造”的檢測與防御。“例如2023年，我們幫助某銀行在轉賬業務場景下防御了上千次深度偽造攻擊。” 圖片來源：公司官網 他告訴記者，瑞萊智慧一直在研發迭代更先進的算法，同時也研發了一整套深度偽造攻防靶場系統，通過自動化對抗來提升防御的能力。此外，公司也密切獲取不法分子最新的偽造方法，及時進行測試和防御能力增強。 “伴隨新型偽造方法的層出不窮、網絡傳播環境的日趨復雜，加上基于深度神經網絡的檢測算法存在結構性缺陷等，反深偽檢測技術也面臨‘強對抗性’，需要持續更新與迭代優化。類似于‘貓鼠游戲’，深度合成和檢測在不斷學習攻防過程中會自我進化，規避上一代的對抗技術。為了能在對抗攻防中掌握主動權，未來，反深偽檢測技術的發展需融合多模態內容的取證分析等多方面能力，實現偽造內容的精準識別，打造可信內容體系?！笔捵雍勒f。