台灣團隊研究辨識Deep Fake影片 深偽技術的正邪之戰開打

台灣團隊研究辨識Deep Fake影片 深偽技術的正邪之戰開打

記者劉芮菁/報導

打開手機,下載最近流行的「FaceApp」AI修圖軟體,上傳自己的照片後應用程式就為你美化照片,還可以知道自己變換性別、變老後是什麼模樣。「FaceApp」雖然好玩,但短短幾個動作,你已經用AI技術生成了「Deep Fake」深偽影像。
 
YouTube影音平台流傳一段美國前總統歐巴馬的談話影片,歐巴馬竟然語出驚人地說:「川普總統完全是個笨蛋!」,影片裡的歐巴馬儘管臉部表情、肢體語言和語氣都像極了他,卻不是他本尊,影片隨後出現知名影星喬登.皮爾(Jordan Peele)。原來是皮爾模仿歐巴馬說話的影片,經過深偽技術加工,竟可以變成歐巴馬談話的片段。


圖說:歐巴馬批評川普的影片,事實上是假造而成的「深偽影片」。

事實上,這是美國媒體《Buzzfeed》2018年與知名影星喬登.皮爾(Jordan Peele)合作的深偽影片經典案例,目的在提醒社會大眾,透過AI技術製作、幾乎能以假亂真的「深偽影片」,可能會成為操縱輿論的利器。

不實訊息研究機構《First Draft》創辦人克萊爾.瓦杜(Claire Wardle)在2019年曾發表影片說明「深偽影片」的問題。瓦杜指出,「深偽影片」能將電影或節目中名人的臉換成其他人,或是讓名人在影片中說出他們沒說過的話。隨著科技進步,深偽影片的製作會越來越容易而且便宜。

瓦杜認為,當深偽影片趨向氾濫,散布者的罪惡感將會減少。而「深偽影片」最大的危機是造成民眾對所見所聞、以至於對整個社會產生不信任,一點一點地破壞民主制度。


圖說:不實訊息研究機構《First Draft》創辦人克萊爾.瓦杜介紹「深偽影片」問題。

Youtube上深偽影片多 阿湯哥成為被惡搞的苦主

成功大學數據科學研究所助理教授許志仲指出,常見的深偽影片是使用電影畫面,把演員的臉換成其他名人。在YouTube影片平台上,可以找到很多深偽影片,這類影片會去合成政治人物或明星的臉,它們有些是研究的目的,用名人來做生成模型的範例,也有很多是惡搞的性質,如果沒有造成危害,其實問題不大。然而,如果有人利用合成的假影像操弄資訊,這就比較嚴重。

有趣的是,許志仲發現美國電影明星湯姆克魯斯很常出現在深偽影片裡,他說:「不知道為什麼,很多人都拿湯姆克魯斯的臉來合成,可能大家都很喜歡他吧?」


圖說:深偽影片案例:阿湯哥變成鋼鐵人/許志仲提供

深偽技術能製作的不只是影像,也包括文字與聲音。中研院資訊科技創新研究中心研究員兼副主任曹昱指出,現在一般民眾常說的「AI(artificial intelligence)」是一個很大的架構,其中一個領域是「機器學習(machine learning)」。而現在很紅的深偽技術,屬於「機器學習」裡的「深度學習(deep learning)」,它是以深度神經網路(deep neural network)為架構、對資料表徵進行學習的演算法。


圖說:應用在深偽技術上的「深度學習」,只是AI裡的一小部分領域。

曹昱說:「人工智慧就是模仿人類,希望讓『fake』和『real』越來越像。」深度學習技術在偽造影像的生成與辨識,則是運用「生成對抗網路(Generative Adversarial Network,簡稱GAN)」,這是由「生成器(Generator)」和「辨識器(Discriminator)」兩個神經網路組成。

他解釋,生成器(Generator)就像是,演算法透過大量資料去學習狗的模樣,直到可以畫出狗;辨識器(Discriminator)的一端則是可以分辨畫的狗和照片的狗。這兩個模型結合後,就像是一邊有一個人畫狗,另一邊有一個「老師」說,這跟真的狗差很多,所以畫的人要再改。直到有一天他畫的狗能騙過老師,而「老師」在一次次判斷中也越來越厲害。

深偽影片的正邪之戰

偽造影像的生成與辨識,就是「生成器(Generator)」和「辨識器(Discriminator)」之間的競賽。中研院資訊科技創新研究中心助研究員陳駿丞指出,現在很多團隊在研究怎麼精進生成技術,也有團隊在研究偵測技術。這就像是駭客和防毒軟體的關係,當有新的防毒軟體推出,就有駭客去嘗試破解,也會不斷有新的防毒軟體去阻擋駭客。

陳駿丞說,深偽技術生成的假影像,與傳統後製照片有很大的不同。舉例來說,傳統圖片pixel值呈現常態分佈,傳統的後製技術雖然可以做到肉眼看不出破綻,但參數的分布可能就沒辦法做到很自然。而用電腦產生的假影像,可以去分析光源、紋理等參數分布,讓產生的圖像在參數分布上與真實的照片更接近。

全球投入辨識深偽影片技術 台灣團隊致力突破

深偽影片的辨識,近年成為AI研究中的新領域。許志仲指出,「偽造影像辨識」在2018年開始有比較多相關的研究發表,2019年後才開始受到全世界關注。其中最大的突破是2020年臉書、微軟等科技公司共同蒐集了偽造影像的資料庫,舉辦「Deep Fake Detection Challenge」,提供高額獎金,吸引全世界大約2000個來自學界、業界的科研團隊參加。

許志仲說,隨著這些大公司投入資金,越來越多人研究透過自動化的方法來辨識偽造影像。在台灣方面,科技部去年一項特案計畫中,有包含一部分辨識偽造資訊的科技,科技部算是開始重視此領域。不過,台灣目前的研究團隊仍然不多。

許志仲指出,偽造影像的辨識,看起來設計架構很簡單,也是透過深度學習技術,讓機器去從生成模型製造的假影像資料中,學習辨識假影像的破綻。但是生成模型會一直製造假影像,如果等到有假影像後才去搜集資料會很慢,沒辦法即時作防禦。研究團隊目前的嘗試,去分析這些生成影像裡的共同偽造瑕疵,用少量資料就能學習辨識技術。

偽造影像有破綻 五官交界處、眼神方向是觀察重點

許志仲分享用肉眼辨識深偽影片的秘訣。他說,這些生成影像的人臉都很漂亮,通常會出現瑕疵的是臉的邊緣,例如頭髮跟背景的交界處,或是臉和耳朵的交界處,因此,可以去觀察邊界陰影的變化,若光線變化不自然,或是臉的邊線、髮絲與背景模糊不清,這個影像可能就有問題。

他也引述研究指出,偽造影像生成的人臉不會正常地眨眼睛。因此,去觀察人的眨眼頻率不自然,或眼睛都看同一個方向,都是破解生成影像的線索。


圖說:社交媒體研究機構《Graphika》與大西洋委員會數位鑑識實驗室(DFRLab)在2019年的報告中指出,生成影像的瑕疵出現在邊界處。

陳駿丞提醒,要運用深偽技術來製作假訊息,有可能不需要以高難度的技術來做到完美影像,例如生成的人臉雖然很粗糙,但若把影片解析度降低,用手機瀏覽時難辨真假,如果民眾沒有警覺性,就可能中招。又比如,用模擬變聲來詐騙,要做到擬真也許很難,但如果混入街道上嘈雜的聲音,就會提升判斷真假的難度。

深偽技術提供更多科技可能性 但也是假訊息另一戰場

陳駿丞說,現在深度學習技術已經廣泛運用,包括前陣子流行的「去演」APP,讓用戶把自己的臉合成在經典戲劇上,或是可以讓用戶照片變年輕、變老、變換性別的「FaceApp」等,其實都是一種深偽技術。陳駿丞指出:「Deep Fake無所不在,你的手機上就可玩Deep Fake。」

曹昱強調:「深偽只是AI的一部分,AI有很多正面的應用,它本來是要幫人類解決事情,只是有些人拿來做不好的事,例如拿來騙人。有人騙人,就有人想要破解,這裡就變成一個戰場。」

當科技樂觀論者認為深偽技術可以帶來科技更多可能性,另一群學者投入的是辨識深偽假影片的技術,開啟生成與破解偽造影像的正邪之戰,大力推動深偽技術的前進,卻也讓假訊息的另一個新戰場悄悄開啟。

推薦閱讀

【資訊戰新手法】 「垃圾郵件龍」AI生成大頭照 親中假帳號成反美怪獸

你看到的人不是人:AI假臉入侵社群網站

參考資料

BuzzFeedVideo〈You Won’t Believe What Obama Says In This Video!〉

The New York Times〈Deepfakes: Is This Video Even Real? | NYT Opinion〉

Tom Cruise is Iron Man [DeepFake]

In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking

〈首圖來源:Pixabay;作者:Gerd Altmann〉