每日經濟新聞 2023-02-01 18:53:49
◎一些批評者認為，生成式AI工具的廣泛使用可能會帶來一些潛在的有害影響。
每經記者 文巧 每經編輯 高涵
ChatGPT帶來的喧囂還未歸于平靜，北京時間2月1日，其背后的公司OpenAI又趁熱打鐵推出了一款檢測工具，試圖區分人工編寫的文本和AI生成的文本。
這款工具名為AI文本檢測器（AI Text Classifier），《每日經濟新聞》記者親測了其檢測效果，發現其能成功區別單獨的人工或AI文本，但當人工和AI文本混淆時，檢測效果并不樂觀。不過，OpenAI認為，當這個檢測工具與其他方法結合使用時，可能有助于防止 AI文本生成器被濫用。
“它仍然有一些局限性——因此它應該被用作其他確定文本來源方法的補充，而不是作為主要的決策工具，”OpenAI在一份官方文件中表示，“我們正在提供這個初始檢測器，以獲取有關此類工具是否有用的反饋，并希望在未來分享改進的方法。”
隨著ChatGPT的大熱，市場圍繞生成式 AI的熱情不斷增長。但以北密歇根大學“論文作弊”為代表的事件也引發了對于學術、倫理等方面的諸多擔憂。一些批評者認為，生成式AI工具的廣泛使用可能會帶來一些潛在的有害影響。
直接的后果是，美國一些最大的學區已禁止在其網絡和設備上使用 ChatGPT。自然而然地，對類似AI文本檢測器的工具的需求也開始涌現。
《每日經濟新聞》記者注意到，有趣的是，OpenAI新推出的這款檢測器在架構上和ChatGPT一樣，它也是一種AI語言模型，并且也是根據來自網絡的許多公開文本示例進行訓練的。
但與ChatGPT不同的是，它經過微調可以預測一段文本由AI生成的可能性——不僅來自ChatGPT，還來自任何文本生成AI模型。
具體來看，OpenAI在來自5個平臺（包括OpenAI本身）的34個文本生成系統的文本上訓練了這款AI文本檢測器，例如維基百科等。不過，這款AI文本檢測器至少需要1000個字符，即大約150 ~250 個單詞，才能進行檢測。
那么，這款檢測器的效果到底如何？是否真的能完美區別AI和人工生成的文本？每經記者對此進行了一番測試。
我們先讓ChatGPT寫了一篇主題為AI未來的文章，并用檢測器對其進行檢測，結果顯示，“檢測器認為文本很可能是AI生成的”。
圖片來源：AI Text Classifier
隨后，我們用了一篇人工寫作的文本再次進行檢測，結果顯示，“檢測器認為文本非常不可能是AI生成的”。
圖片來源：AI Text Classifier
從上述結果來看，OpenAI的這款AI文本檢測器的確成功區分了人工和AI生成的文本。然而，我們將兩個文本結合后（AI文本占比超90%）再進行檢測，它并不能檢測出AI生成的文本。
圖片來源：AI Text Classifier
從每經記者親身體驗來看，目前，要靠這個AI文本檢測器來抓作弊還有些困難。
據OpenAI的一份文件，該檢測器將文本標記為“非常不可能”由AI生成的可能性小于10%；“不太可能”由AI生成的可能性為10%~45%；“不清楚它是否是”AI生成的可能性為45%~90%；“可能”是AI生成的幾率為90%~98%。
在準確性上，OpenAI也承認，“鑒于AI生成的內容在互聯網上的激增，它可能無意中將一些AI編寫的文本錯誤分類為人類編寫的文本。”
1月中旬，北密歇根大學的論文作弊事件讓學術界著實震驚了一把。在這次事件之后，在美國，許多大學教授、系主任和管理人員都在對課堂進行大規模的調整，以應對ChatGPT對教學活動造成的巨大沖擊。很多教授在重新設計課程，更多地采用口試、小組合作和手寫文章作為評估方式。
紐約和西雅圖等最大的學區最近已禁止在其設備和網絡中使用 ChatGPT，許多大學也在考慮采取類似措施。
在更早之前，全球最大的編程技術問答網站Stack Overflow緊急宣布，ChatGPT在該站暫時封禁。Stack Overflow在官方通告中表示，做出這個規定的主要原因是，ChatGPT自動生成的答案質量太低，錯誤太多，而且看上去還挺像那么回事，即使是完全不懂的人也能隨便生成答案。
在“AI槍手”帶來的擔憂之下，一些其他的AI文本檢測器也如雨后春筍般涌現，以滿足當前的需求。
在OpenAI推出自己的檢測器之前，普林斯頓大學的一名學生Edward Tian開發了ChatZero，來檢測文本是否可能是AI生成。據報道，1月3日，該網站一經上線，一周內就有超過3萬人試用。
一名用戶展示GPTZero的檢測效果 圖片來源：推特
不過，一些用戶也報告了GPTZero檢測的錯誤結果。Edward Tian也承認，檢測并非百分之百準確，他仍在努力提高模型的準確性。
據此前報道，包括斯坦福大學在內的一些機構聯合提出一種名為DetectGPT的新方法，來區分AI生成的文章。
開源AI社區Hugging Face也推出了一種工具來檢測文本是否由 GPT-2 創建，GPT-2 是用于開發 ChatGPT 的 AI 模型的早期版本。據悉，南卡羅來納州的一位哲學教授用這個工具抓獲了一名提交了 AI 編寫的作業的學生。
除此之外，谷歌搜索以及檢測學術抄襲的Turnitin也正在開發自己的AI生成文本檢測器，谷歌搜索據悉至少會推出6個應用程序來對AI和人工文本進行區分。
科技媒體Techcrunch對此評論稱，這很可能會成為一場貓捉老鼠的游戲。隨著文本生成AI的改進，檢測器也會改進——這是一種永無止境的來回交流，類似于網絡犯罪分子和安全研究人員之間的交流。
正如OpenAI 所寫，雖然檢測器在某些情況下可能有所幫助，但它們永遠不會成為確定文本是否由AI生成的可靠唯一證據。“也就是說，目前還沒有靈丹妙藥可以解決AI生成的文本所帶來的問題，”Techcrunch這樣寫道。
封面圖片來源：攝圖網-307064405
如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權，嚴禁轉載或鏡像，違者必究。
讀者熱線：4008890008
特別提醒：如果我們使用了您的圖片，請作者與本站聯系索取稿酬。如您不希望作品出現在本站，可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP
