AI還可以相信嗎？ChatGPT給出6個案例并稱“千真萬確”，30年老律師用來打官司，結果全是假的！

每經編輯 程鵬 蓋源源    

ChatGPT，還可以信任嗎？

據央視新聞5月29日報道，近日，美國一名律師在一起訴訟案件中，幫原告打官司時，引用了ChatGPT搜集的6個案例，而法官卻發現那些信息全是子虛烏有。律師承認自己沒有核實信息并為此道歉，眼下面臨處罰。

讓ChatGPT協助辦案 美國30年資深律師被坑

據新華社援引美國有線電視新聞網28日報道，男乘客羅伯托·馬塔對哥倫比亞航空公司提起訴訟，稱自己2019年搭乘該公司航班飛往紐約市途中，乘務人員疏忽導致他膝蓋被客艙內推車撞傷。

馬塔的代理律師是已有30多年從業經歷的紐約市律師史蒂文·施瓦茨。為支持馬塔訴求，施瓦茨向法官凱文·卡斯特爾提交了多個所謂類似案例及其判決結果。

今年4月，哥倫比亞航空公司的律師致信法官，質疑施瓦茨所提交案例信息的真實性。據美國《紐約時報》報道，律師之一巴爾特·巴尼諾說，他的律所律師精通航空法律，看出那些信息不實。他說，他們當時隱約感覺那些信息來自ChatGPT。

法官卡斯特爾本月4日在一份書面文件中寫道，那6個案例的判決結果、引語等都是假的，“法庭從未遇到過這種情況”。他下令6月8日就處罰施瓦茨舉行聽證會。

施瓦茨承認那6個案例為ChatGPT提供。法庭文件顯示，他看到這些案例信息后追問ChatGPT信息是否屬實，機器人稱“千真萬確”，還給出了所謂的信息出處。

施瓦茨說，他這是第一次用ChatGPT協助辦案，“沒有意識到內容偽造的可能性”。

他在書面文件中“深表懊悔”，愿意承擔相關責任，承諾今后“沒有完全核實”就不會使用聊天機器人提供的信息。

研究發現ChatGPT并非可靠信源?

值得一提的是，今年3月14日，OpenAI宣布正式發布為ChatGPT提供支持的更強大的下一代技術GPT-4，稱其擁有圖像識別功能，高級推理技能，以及處理25000個單詞的能力，在某些測試中的表現“可與人類相媲美”，并在大學入學和法律及醫學等專業領域的許多模擬考試中優于其前身GPT-3.5。例如，GPT-4通過了律師資格模擬考試，分數超過90%的人類考生，而GPT-3.5此前的分數則低于90%的人類考生。

不過，目前最新的研究發現ChatGPT并非可靠信源?。

據科技日報5月18日的一篇報道，加拿大科學家在16日出版的《放射學》雜志上刊登新論文稱，最新版本的ChatGPT通過了美國放射學委員會的考試，突出了大型語言模型的潛力，但它也給出了一些錯誤答案，表明人們仍需對其提供的答案進行核查。

圖片來源：物理學家組織網

ChatGPT是一種人工智能（AI）聊天機器人，它使用深度學習模型在龐大的訓練數據中識別單詞之間的模式和關系，并根據提示生成類似人類的反應，類似的聊天機器人正被納入谷歌和必應等流行的搜索引擎中，醫生和患者們也會使用這些搜索引擎來搜索醫療信息。但由于數據來源并不一定真實可靠，該工具會給出與事實不符的答案。

為評估ChatGPT在美國放射學委員會考試問題上的表現并探索其優勢和局限性，多倫多大學的拉杰什·哈瓦那博士及其同事首先測試了基于GPT-3.5的ChatGPT的表現。研究團隊使用了150道選擇題，這些選擇題與加拿大皇家學院和美國放射學委員會考試的風格、內容和難度相當。這些問題不包括圖像，分為低階（知識回憶、基本理解）和高階（應用、分析、綜合）思維問題。高階思維問題可進一步細分為影像學表現描述、臨床管理、計算和分類、疾病關聯。

研究人員發現，基于GPT-3.5的ChatGPT的正確率為69%，接近70%的及格線。該模型在低階思維問題上表現相對較好，正確率為84%，但回答高級思維問題時表現不佳，正確率僅為60%。而性能更優異的GPT-4的正確率為81%，且在高階思維問題上的正確率為81%，遠好于GPT-3.5。但GPT-4在低階思維問題上的正確率僅為80%，答錯了12道題——GPT-3.5全部答對了這些題目，這引發了研究團隊對GPT-4收集信息的可靠性的擔憂。

這兩項研究都表明，ChatGPT會有提供不正確答案的傾向，如果僅僅依靠它獲取信息，非常危險，因為人們可能意識不到其給出的答案是不準確的，這是它目前面臨的最大的問題。當前，ChatGPT最適合用來激發想法，幫助撰寫數據摘要，而用于快速信息檢索，需要對其提供的事實性答案予以核查。

編輯|程鵬 蓋源源

校對|陳柯名

封面圖片來源：視覺中國

每日經濟新聞綜合自央視新聞、新華社、科技日報