新的AI謠言加劇“認知戰爭” 面對低質AI內容治理，今日頭條如何接招？

每經記者 楊昕怡    每經編輯 董興生    

AI技術飛速發展給每個領域帶來的，既是一次來自新時代的重塑，也是一場前所未有的挑戰。

“在AI技術的加持下，我們發現網絡謠言的發展呈現出了一些新的特征。”在2月24日舉辦的今日頭條“平臺治理開放日”活動上，清華大學新聞與傳播學院副教授陸洪磊表示，AI謠言在跨平臺影響力、傳播速度以及逼真性上都比傳統謠言更具破壞性。

作為國內一大內容平臺，面對“進化”中的虛假信息和低質內容，今日頭條的攔截措施也在與時俱進。

“人工審核的投入會越來越少，因為頭條上的發文量級巨大，純靠人去審核是不可能的，所以目前占比90%以上的審核通過機器來做。”今日頭條安全運營負責人閆夢茹在接受《每日經濟新聞》記者采訪時表示，“但機器審核的準確率還不是100%，沒有人工準確，需要人不斷去校準機器、給它投喂更準確的樣本去訓練它。”

圖片來源：每經記者 楊昕怡 攝

“除了謠言這一‘老課題’，低質AI（內容）的治理是我們的一個新命題。”今日頭條生態治理運營負責人韓雨桐表示，“在過去一年中，我們對于低質AI發文治理工作投入了大量的精力，包括但不限于不斷升級、迭代AI低質模型的識別能力，收嚴低質AI內容治理標準等。”

記者在活動現場了解到，2024年，今日頭條對超93萬條低質AI內容進行了識別和管控；對近3萬個利用AI批量發布虛假低質內容或惡意抄襲、洗稿他人的賬號進行了處罰；站內用戶對AI相關的負向反饋聲量，從年初的每天近28條降低至目前的每天1到2條。

“90%以上的審核通過機器”，今日頭條“用魔法打敗魔法”

AI時代的信息爆炸中，虛假信息和低質內容的泛濫為內容平臺治理設下了重重難關。

首先在低質量的同質化內容治理上，閆夢茹指出，近年來AI技術快速發展，大模型能力迭代快、效果好。雖然提高了創作者的寫作效率，但也降低了低質內容的洗稿成本。并且，現在市面上出現了很多專業化洗稿工具，可以支持綁定賬號批量提供AI文章，還可以招聘兼職人員批量復制發文。

她表示，相比其他平臺，今日頭條在時政、歷史等領域內容的用戶更多，“所以我們的治理難度也會更大”。

對于同質化內容的發現和識別方式，閆夢茹介紹，今日頭條內部有巡查團隊，實時巡查站內高風險的同質化內容。其次，內部會通過模型識別和人工評估相結合的方式，對同質化內容進行二次與綜合判定和評估，以確保準確性。

“在堅持AI低質內容治理層面，目前常用的手段其實就是在拿AI去對抗AI。”陸洪磊提出了三點治理建議，分別是迭代、加強機器識別能力，加強人工審核能力以及上線“AI創作標簽”來幫助用戶鑒別AI內容，保持理性思考。

對此，閆夢茹表示，目前今日頭條在人工審核的投入會越來越少，“占比90%以上的審核通過機器來做”。“但機器審核有弊端，準確率還不是100%，沒有人工準確，需要人不斷去校準機器、給它投喂更準確的樣本去訓練它。”

她向記者表示，內部在內容治理上運用了多個不同類別的模型。“比如在處理虛假內容問題上，可能有大大小小幾十個模型，每個效果都不太一樣，最好的（模型）在‘實錘’謠言上的準確率有100%。”

同時，韓雨桐介紹，對于虛假謠言，今日頭條早已建立起三大核心治理能力，包括謠言庫、權威信源庫以及專業審核團隊。

她還指出，今日頭條于2024年在發文下方增加權威媒體報道來源標簽，在保障資訊真實性的基礎上，為用戶提供了更多客觀視角。

記者了解到，2024年，今日頭條累計攔截不實信息超500萬條，封禁造謠、傳謠等違規賬號4.77萬個；平臺去年全年還攔截和處置涉嫌詐騙內容超200萬條，禁封涉嫌詐騙賬號17.85萬個，配合警方抓捕87人。

“認知戰爭”面前，內容平臺如何獲得主動權？

“我們正面臨一場前所未有的認知戰爭。”在陸洪磊看來，過去的謠言是一種隱蔽的、分散的公眾情緒，而網絡時代的謠言往往具備新聞性、說服性、非官方性和強傳播性。“新的AI謠言將越來越逼近真話，專業媒體人可能都要進行實時核查才能判斷這個消息是不是真的，它的破壞性將成倍增加。”

例如，今年1月西藏日喀則市定日縣突發6.8級地震后，一張廢墟中被埋兒童的照片在社交平臺熱傳，引發公眾關切。而后經查證，該圖實為2024年11月某創作者標注的AI生成作品，被部分自媒體盜用并打上地震相關標簽博取流量。

另外，清華大學新聞與傳播學院新媒體研究中心在2024年4月發布的一份研究報告顯示，近一年來，經濟與企業類AI謠言量增速達99.91%。

在開放日現場，北京師范大學法學院院長、教授梁迎修表示，對于AI虛假謠言，網絡平臺要積極承擔社會責任，重視內容整治，同時政府機構、媒體、公眾等更應加強協同，網絡謠言治理需要多方綜合施策。

“一方面我們要去打擊、消滅假的信息，另一方面也希望用平臺的力量去主動傳播真實的信息。”今日頭條內容策劃負責人劉姍姍在開放日現場談及了《頭條講真的》項目的創辦初衷。

記者了解到，自2023年以來，今日頭條推出了《頭條講真的》項目。該項目以“傳播真實信息”為理念，把“硬核科普”作為主要傳播方向，平臺聯合醫學、財經、法律等領域專業創作者，為用戶進行辟謠、反詐宣傳。截至2024年，《頭條講真的》發布科普、辟謠等主題視頻在全網話題討論量已超36億。

“在合作創作者的選擇上，我們肯定會選擇在今日頭條上有賬號、比較活躍、平臺數據也比較好的創作者。另外，跟作者溝通過程中，我們也會不斷傳達平臺對于治理的決心，讓創作者能夠在創作過程中融入更多今日頭條的信息內容，以及今日頭條如何做科普辟謠等。”劉姍姍向記者表示，“從調研的數據中發現，通過一系列合作，用戶會看到今日頭條官方‘下場了’，和科普創作者一起進行內容輸出，用戶能明顯認知到這個內容是今日頭條作為一個主體參與其中的。”