【IFCN Talks7】AI人工智慧助人腦查核 愛胡謅的政治人物小心接招

記者何蕙安／報導

當我們在看電視上總統大選辯論直播，如果有候選人說的內容、引用的數字是錯誤的，螢幕馬上彈出「不實」，並附上正確的資訊，供觀眾參考——這樣的場景有可能發生嗎？美國杜克大學記者實驗室（Duke Reporters‘ Lab）團隊開發的AI即時查核工具Squash，正在努力克服最終的幾項挑戰。

美國杜克記者實驗室共同創辦人兼總監比爾・亞德爾（Bill Adair）、首席技術專家克里斯多夫．古斯（Christopher Guess）與產品經理艾瑞卡．萊恩（Erica Ryan）日前在國際事實查核聯盟的線上座談會IFCN Talks上，分享Squash的最新進展。

亞德爾在2010年就提出即時事實查核的願景，他當時還合成了一張「示意圖」，呈現他的想法。

「我那時候想，如果可以把事實量表（Truth-O-Meter，美國政治查核組織《PolitiFact》的查核評比量表，如下圖）放在螢幕上感覺很酷… 實際做起來超級複雜。」亞德爾說。

圖1：美國杜克記者實驗室共同創辦人兼總監比爾・亞德爾在2010年製作的即時查核示意圖，當電視在播的大選廣告內容含有不實內容時，螢幕隨即跳出「錯誤」的量表／擷自IFCN 

什麼是Squash？

杜克記者實驗室2017年9月在奈特基金會（Knight Foundation）、Facebook新聞計畫（Facebook Journalism Project）與克雷格．紐馬克慈善基金會（Craig Newmark Philanthropies）的資助下，開始開發以AI輔助事實查核工具的工具，Squah是其中之一。  

Squash的原理主要是先將一段演講或辯論的音訊轉譯成文字，再利用德州大學開發的軟體ClaimBuster篩選出當中可以查核的內容，之後將文字與ClaimReview事實查核資料庫中的報告比對，判斷談話內容是否曾在過去被查證過。

在英文中，Squash意指一種南瓜，但同時也有「擠壓」、「壓扁」等意，記者實驗室團隊選擇了這個同時帶有營養食物與「打擊」不實訊息的意味的詞彙，作為查核工具的名稱。

圖2：美國杜克記者實驗室共同創辦人兼總監比爾・亞德爾（Bill Adair，中）、首席技術專家克里斯多夫．古斯（Christopher Guess，右）與產品經理艾瑞卡．萊恩（Erica Ryan）／擷自IFCN

Squash的成功離不開杜克大學開發的Claim Review。ClaimReview主要是一套整合事實查核格式的標記系統，由各查核組織標記出各自報告的查核對象（Speaker）與論述（Claim）、查核結果（rating）等。這些格式統一的資訊有助於搜尋引擎更快、更準確的與用戶的搜尋內容比對，目前已經廣泛用於包括Google、Facebook與YouTube的搜尋或是新聞頁面。

「ClaimReview是實現即時查核的『魔法原料』。」亞德爾說，目前全球有超過一半的查核組織使用ClaimReview（編按：台灣事實查核中心也有使用），使得資料庫累積有超過10萬篇事實查核報告。Squash可以直接比對ClaimReview收納的重點資料，不用一一搜尋比對整篇查核報告內容，大幅增加了搜尋準確度。

Squash需要更多「事實」

亞德爾指出，Squash目前主要面對了四大挑戰，包括可供比對的查核報告數量不足、音訊轉譯文字技術不純熟、比對不準確，以及最終介面該呈現哪些內容。

在IFCN Talks上，亞德爾認為最首當其衝的挑戰是，取決於發言人物過去被查核的頻率，資料庫裡的政治類查核報告仍遠遠不足，不時發生Squash無資料可比對的情況。

「我們（美國）是一個擁有最多事實查核的國家，但還是沒有辦法成功。」亞德爾舉例，其團隊稍早使用Squash查核美國總統拜登的記者會，超過一小時下來只比對了兩個發言，主要是過去查核組織較少查核拜登的發言，資料庫裡沒有足夠的資料。

他說，反觀川普，因為其言論常常夾帶誤導或錯誤資訊，四年任期累積了不少查核報告，使得日前Squash在查核共和黨黨代表大會的會議時，就成功比對了30多個不實論述。

「我們還需要更多事實查核報告、更多『事實』。」亞德爾說，「我們可能還需要雇用幾千個事實查核記者，一直一直查核，才有辦法充實我們的資料庫。」

他指出，如果將Squash用於查核地方性的政治人物，如州長、參眾議員等，因為其查核報告更少，比對上將為更困難。

AI技術用於事實查核仍挑戰重重

在Squash開發過程中，最令人意想不到的是，連「要在螢幕上放些什麼」，也變成了大哉問。

「我本來想說放個『正確』或『錯誤』就好了，但我們其實不能保證我們的報告可以完全對應到這個論述，只能說我們只是提供一個『相關的查核報告』。」亞德爾坦言，由於螢幕版面有限，需要考慮到觀眾的體驗，若Squash查核不夠快，查核結果出來後畫面已經換到另外一個候選人身上，或是觀眾來不及讀，都可能造成誤解與混淆。

除此之外，目前Squash的音訊轉文字的水準仍差強人意，有時結果甚至有些爆笑；在比對上，也仍然需要持續訓練Squash去了解與分析政治演講，做出更準確的決定。

亞德爾曾舉例，在2020年的民主黨黨代表大會上，前愛荷華州長威薩克（Tom Vilsack ）說：「強烈的風暴在上週席捲愛荷華州（The powerful storm that swept through Iowa last week），造成我們農人們的嚴重傷亡」，但Squash把文字轉譯成：「上週整週我們腋下的汗（Armpit sweat through the last week），造成農人們的嚴重傷亡）」。

「全球有很多人正在努力這個（以AI幫助事實查核），所以我不想說的太負面… 但我們真的努力了好一陣子，卻沒有看到太多進展。」亞德爾坦率地說，「這是好幾個博士學位等級的問題。」

仍需要人類「園丁」為「南瓜」去蕪存菁

值得注意的是，杜克實驗室的團隊強調AI即時查核仍需要「人類」的介入。

由於Squash的比對結果差強人意，為了改善Squash的準確度，古斯團隊開發出介面「園丁」（Gardener），由Squash建議三個最符合的比對結果，讓人類作最後決定，就像修剪雜草的園丁一樣，把錯誤的比對給去除掉。

「AI只是節省人類的時間，讓人類能專心做他們擅長的——做出最後決定。」亞德爾強調人類事實查核記者的重要性。

古斯也表示，在機器學習的世界，90%的比對精準度已經堪稱「完美」；但在政治不實訊息的世界中，就算10個事實查核中只有一個出錯，那唯一的錯誤也會將已經點燃的不實訊息大火燒得更旺。

「我總是說，Squash是一個為事實查核記者開發的工具，而不是將其取而代之的工具。」古斯說。

亞德爾也不排除舉辦一個「Squash對抗人類查核員」的競賽，看看Squash在理解政治人物言論與比對查核報告的速度上，是否可以打敗人類。這場競賽或許最快會在10月20日舉行的全球事實查核峰會（Global Fact 8）上演。

推薦閱讀

〈【新科技】Google新功能：圖像搜尋引擎加入事實查核報告〉2020.06.09

〈【新科技】打擊假影像 用MediaReview當利器〉2020.07.14

〈當AI加入事實查核 美國杜克記者實驗室：人工判斷仍是關鍵〉2020.08.08

參考資料

IFCN Talks #7 Lessons of Squash, Duke’s groundbreaking automated fact-checking platform, 2021.06.23

International Fact-Checking Network <’ We need more troops’- automated fact-checking needs more volume to succeed> 2021.06.23

International Fact-Checking Network <The lessons of Squash, Duke’s automated fact-checking platform> 2021.06.16