📻國立教育廣播電臺【新聞真假掰】解密NVIDIA亞太唯一研發團隊-市值破兆美元的輝達如何站穩全球十大企業?台灣AI人才如何育成?專訪王鈺強(NVIDIA輝達 AI研究總監)

📻國立教育廣播電臺【新聞真假掰】解密NVIDIA亞太唯一研發團隊-市值破兆美元的輝達如何站穩全球十大企業?台灣AI人才如何育成?專訪王鈺強(NVIDIA輝達 AI研究總監)

📻國立教育廣播電臺【新聞真假掰】節目資訊

播出時間:每周日 17:05-18:00 全台皆可收聽(查閱各地收聽頻率)
收聽方式:國立教育廣播電臺 官網 60 天隨選收聽

📌邀訪來賓

王鈺強(NVIDIA輝達 AI研究總監)

📌完整訪談內容Podcast

📌節目介紹

AI 對我們的生活產生不可逆的改變,各大科技公司在虛擬世界攻城掠地,但他們背後的「軍火商」、供應晶片的 NVIDIA(輝達),或許才是最大的推手。而他的創辦人名字、勁裝皮衣的形象——黃仁勳,更在這波生成式 AI 浪潮下席捲全球。

NVIDIA 透過專業的「GPU」技術(繪圖處理晶片),躋身全球十大企業、市值也突破一兆美元,而輝達在亞太區唯一的研發團隊就選在台灣,從台大電機系借調的教授王鈺強便是該團隊的領導者,目前擔任 NVIDIA 亞太區 AI 研究總監。

橫跨產業界及教育現場,王鈺強教授除了對新興科技有最敏銳、第一手的觀察,他更深知產學合作的重要性,也看到不同科系學生面對科技時代有不同的優勢和可能。

本集節目邀請王鈺強,從產業及校園的角度分享,AI 發展的最新趨勢、輝達如何透過GPU 被世界看見、台灣的 AI 產學又該如何合作?請收聽「新聞真假掰 」,假訊息 Bye Bye。

王鈺強 (NVIDIA 輝達 AI 研究總監,以下簡稱「王」)

黃兆徽(台灣事實查核教育基金會董事/台大新聞所兼任助理教授,以下簡稱「黃」)

🌐最新精彩內容
為什麼要對抖音提高警覺 ?中國社群平台都是黨的宣傳工具?台灣如何因應中共認知戰?

------------------------------------------------------------------------------------------------------------------------

黃:哈囉大家好,我是兆徽,歡迎來到新聞真假掰,今天來到現場要陪伴我們一起提升科技資訊與媒體素養的好朋友,是 NVIDIA 輝達的 AI 研究總監,同時也是台大電機系的教授王鈺強。

黃:鈺強老師好。

王:兆徽好,大家好。

黃:鈺強老師非常特別喔,您目前在 NVIDIA 在全球最紅的 AI 公司,他馬上就已經跳到全球前十大公司了,對不對?因為這一年 ChatGPT 的大爆發,那您現在在 NVIDIA 的台灣擔任 AI 研究總監,但同時也是台大電機系的教授,想要跟您聊聊,為什麼會從台大電機系這樣的一個學術單位到了一個全球最火紅的 AI 晶片 NVIDIA 的公司擔任 AI 研究總監喔,我們也來聊聊,在全球這一年喔,這個 AI 大爆發到底有哪些最新的突破?您有哪些的驚喜?又有哪些的憂心?還有 NVIDIA 這樣的發展,黃仁勳跟台灣的關聯很深喔,所以也讓全球更注意到台灣,除了台積電之外更注意到台灣的 AI 方面的能量喔,那台灣在發展 AI 上就您看來有哪些優勢、哪些競爭力?哪些挑戰?那還有接下來,我們台灣的 AI 的人才要怎麼樣可以繼續?那 AI 又會怎麼樣改變我們的教育?也想聽聽王鈺強王教授的介紹,鈺強老師先跟我們談一下您自己的背景喔,您現在在 NVIDIA 輝達擔任 AI 研究總監,同時也是台大電機系的教授,是借調過去嗎?

王:對,我是從去年 8 月借調到 NVIDIA ,那我大學是台大電機系,然後研究所的碩士跟博士是零二年到零九年我是到美國的 CMU,Carnegie Mellon 那畢業之後呢,我回來是先到中央研究院,所以在中央研究院的資訊科技創新研究中心其實已經服務了八年的時間,那我是到一七年才回到母校、母系,這個台大電機系服務,對,那其實不管是在當初念書的時間到後來回國服務的時間,其實我的本身的研究就是比較偏電腦視覺影像處理影像辨識,那裡頭當然用到了大量的這一種跟機器學習、深度學習, AI 相關的技術,所以我本身的話就是研究領域,本來就是一直跟這些 AI 相關,所以其實對我來講,我一直知道,就是說我們在做研究,或者說甚至在選題目的時候,其實就是要很契合這一些實際的應用,對啊,因為我常常跟同學開完笑說我自己數學不好,所以我們不是那種關起門來寫寫數學就可以發 paper 的實驗室。

黃:數學不好恐怕是太客氣。

王:常跟大家講,說我當初工程數學都差點被當掉,但是其實後來因為這個興趣啦,其實很多知識很多的技術都還是可以慢慢 pick up 回來的。

黃:這個還蠻勵志的。

王:我都是用這樣來鼓勵修課的同學就是。

黃:所以大家對 AI 有興趣的聽眾朋友也不用擔心自己數學不好,仍然可以在 AI 方面有很強的。

王:對,我還記得我的現代線性代數是六十二分,差點被當掉,我永遠記得那個數字就是,對啊那就是說我們的這個研究是跟電腦視覺,就是它是比較應用型的研究,所以在借調到 NVIDIA 之前的話,其實我跟很多的業界都有很多的互動,譬如說有產學的合作,也有這個顧問的關係,譬如說之前有跟華碩有跟英業達等等,那在去年的八月開始剛好有這個機會,那 NVIDIA 他們在台灣成立的研究的單位,所以需要找一位可以去 lit 這個 AI 的研究團,那我覺得剛好是個蠻契合的這個時機,當初就選擇借調到 NVIDIA。

黃:是,所以您借調到 NVIDIA 但是還是會回來台大開課。

王:是沒錯,因為在台大而言的話,就是雖然鼓勵老師們的借調,尤其現在在台灣這個對於學術界的鬆綁包括以前可能教授不能去開公司啦,等等,大家漸漸認知到就是說他對於他是一個正面的循環就是了。

黃:產學必須要能夠湊合在一起。

王:對對對,那當然他當然後面有一些程序,有一些法規需要去徵詢,但是至少他是一個很正面的循環,所以這些的這些規定漸漸的鬆綁,所以包括了借調,包括了這些開公司等等,那就是從去年開始,就是如果剛剛講的,NVIDIA 在台灣,他有擴大投資,然後成立了亞太地區的第一個的研究團隊,我覺得也很榮幸,有這個機會可以進去,可以去帶領、建立起的一個研究的團隊這樣子。

黃:是,我們知道 NVIDIA 輝達,是一個晶片公司,賣 GPU ,為什麼這樣的 GPU 的公司必須要成立一個研究團隊?

王:我覺得這個也是 NVIDIA 蠻特別的一個點,因為就如同剛剛兆徽所提到的,我們是 GPU 晶片的公司,或者是大家白話開玩笑就是說,我們是賣鋤頭的而不是,而不是那個那個直接賣給大家產品的這樣子,所以以NVIDIA 而言的話呢,就是說,只要在 AI 在各個產業上、在各個領域上,有他的突破、有他的需求,其實都是好事,不管是在生技、醫療,對,不管是這些電腦視覺等等,或者是在現在這個大家很流行、很重視這種對話機器人等等,其實這些的應用需求的發展,其實最終都會需要很好的武器、很好的這個工具,那所以 NVIDIA 而言他就是希望說,除了還是會顧好本身硬體的研發之外,也是很希望說靠軟體的團隊、研究的團隊幫大家繼續去對這個各個 AI 的應用的層面去做突破,我覺得這也是為什麼 NVIDIA 會願意成立一個研究的團隊讓這個不同應用的觸角,可以展現得更廣這樣子。

黃:所以 NVIDIA 除了做 GPU 之外,現在也在亞太地區,在台灣成立亞太第一個研究 AI 的軟體方面的團隊。

王:對,沒錯,因為其實 NVIDIA 的研究團隊其實在國際上一直很知名,不管是在研究的場域,或者是在一些應用產品的場域,那以往的話,當然最大的團隊是在總部,在北加的 Santa Clara ,對,那在其他地方,譬如說在以色列、在歐洲都有一些 team ,那不過之前一直在亞太地區是沒有研究團隊的,對啊,所以我就覺得很特別,在去年他們在亞太地區也也選定了台灣,請你的研究團隊所以像我們自己的 SVP Bill Dally 他就開玩笑,就是說,現在 NVIDIA 的研究團隊是一個日不落的一個研究的 team。

黃:24 小時世界各地都有人在研究。

王:陽光永遠照得到 NVIDIA 研究團隊跟科技這樣子。

黃:那您覺得像 NVIDIA 這樣,在台灣設立亞太第一個 AI 的研究軟體的這樣的研究團隊,他代表什麼意義?對您來說。

王:我覺得一個很大的意思是是他看到亞太地區 AI 軟體的人才的這個潛力跟實力,才會願意在原本的團隊之外,在亞太地區額外設了這樣子的一個整個團隊,然後也在繼續的擴大招募當中,對所以我覺得這個是看重人才這一塊,當然以實務層面而言,這個大家模擬圖上也是心知肚明,亞太地區的營運成本,當然會比較低一點對啊,所以我覺得這件事情來講,對我來說我還是在研究,或者是以教學相關的背景出身,成本啦等等與否,那個跟我其實距離有點遠可是我覺得對我來講,本身來講,我看到還是亞太地區的研究人才的這個實力跟潛力。

黃:是,因為人才的價接跟吸引人才投入這個領域,跟人才畢業以後的就業就比較可以接得起來,對不對?

王:對沒有錯,因為在過去的話,台灣當然在硬體這一塊發展的非常的好,就業機會也非常的好,那在軟體的部分的話,當然我知道這幾年漸漸,國內啦相關的廠商也漸漸的看重 AI 這一塊,所以其實就業機會也越來越多,那但是呢,我覺得以研究的這個團隊而言,我相信 NVIDIA 是在台灣第一個,以 AI 的研究為出發點所成立的團隊,那相對於大部分之前的工作機會,可能是以工程的為主啦,或者要跟產品的對接落地為主,那我覺得走在稍微前端一點的研究團隊這個工作機會是真的是比較少見,對,那有這樣的需求出來的話,也會促進整個在教學跟這個學生願意投入 AI 相關的領域,那不管是念碩士甚至念到博士,他們知道說就是說,很多重點的技術需要高階人才進去研發,那這一塊不容易,因為譬如說碩士要花兩年時間,博士可能花到四到不知到幾年的時間這樣子。

黃:四到八年以上。

王:對對對,希望不會花這麼久啦,那大家都會希望說,那我花了這麼辛苦投入了在這種這種頂尖技術的研發,那我出來就業之後,有沒有一個適合我發揮的舞台,對,那我覺得在以這一塊而言,成立的研究團隊提供了這樣子的工作環境跟發展的舞台,我覺得對台灣對於整個亞太地區的這個年輕學子來講,我覺得是一個非常難得、非常好的機會這樣子。

黃:是,而且就像您說的碩士兩年,博士可能四到八年,他其實很需要跟產業對接對不對?如果關在實驗室裡面研究四到八年博士論文出來,以 AI 科技現在日新月異的程度,等到拿到博士學位那個科技恐怕也已經舊了。

王:對沒有錯,那所以這個也是呼應到我相信不只是我的實驗室的團隊,我相信很多在這個領域,做得很快做、得很好的這些研究室的團隊一定都是會去看當下的趨勢、當下的技術的發展,然後同時也會很樂於跟產業界保持一個很密切的互動的關係,因為這樣的話就會知道說目前需求是什麼目前產業的這個痛點是什麼,那這樣子的話會激發在學術的團隊去提出更好的想法,而不是只是用一些現成的技術去解,因為這樣子的話呢,技術就沒有他的 barrier 在,對那這樣的話對於公司對於這個技術本身的含量而言,就會不夠高,就比較容易被取代,總言之有這樣的研究的機會,對於人才的培養,我覺得是一個非常好的事情。

黃:是,因為您說,其實您在進入 NVIDIA 之前,也在國內滿多 AI 的研發單位,包括您說英業達,包括台灣 AI Labs 這些單位,有做顧問或者是有各種的產學合作所以經由這些學合作的經驗呢,您看到產學合作的價值到底在哪裡?以及經過了這些產學合作台灣的 AI 人才這幾年是不是能夠越吸引更多優秀的學生投入這樣的目的?

王:對,我覺得第一個價值的話,知道真正的需求在哪裡你知道真正的痛點在哪裡,這個是第一個最重要的價值,第二個價值的話呢,我覺得對於學生來講,他們不見得當下會感受到,我覺得第二個價值很重要的是怎麼跟工程怎麼跟其他人溝通、對話,那把你的技術可以講得讓對方懂或者對方的痛點、對方的需求可以重新詮釋成一個以工程技術的角度而言,要怎麼去解決它,所以我覺得這個在雙向在溝通上再把這個技術白話,或者把這個這個需求技術化。

黃:我覺得這個很重要。

王:對啊,因為我覺得對於大部分的同學而言,可能就是修課、考試啦,等等,那他比較少這一種對話溝通的這個訓練,我相信我自己的同學應該應該是蠻有深刻的感受,他們都會說,從進我的實驗室的第一天開始,我就會很注重大家在上台怎麼樣 present ,怎麼樣去跟各種同學的問題去做 QA ,去做問答,很多同學後來到畢業之後,開始在跟公司 interview 等等,然後就會發覺說,其實這個技術其實很重要,他並不亞於本身這個 AI 的技術含量。

黃:是,因為你有的這些技能要怎麼樣讓大家說的聽說讓大家聽得懂然後大家說的東西你怎麼樣把它把它歸納為你可以改善你的產品,然後改善你的研究的方向。

王:這是一個化繁為簡的一種功力,所以剛剛講第一個重要的價值是知道實際的需求,這個對於我們在研究上的選題,然後第二個價值是在對話這一塊,那第三個的話呢,我覺得這個這個會比較因團隊合作而異,因為我知道說有一些學校研究團隊跟業界的合作是比較以這個實作為主,那有一些是比較在這種 AI 技術的發展演算法為主,對那所以這一塊的話,我覺得也是提供學校跟學生不同的舞台,因為有些學生他可能數理底子很好,他的腦筋動很快,所以他對於這個 AI 技術的研發,他適合走那一塊的這種產學的應用,那有一些學生,他可能實作很強,可能數學跟我們一樣比較沒有那麼好,所以他可能就是比較適合做實作型的的這種這種產學的工作,那這樣也會提早讓他接觸到實際上一個東西,在業界要進到一個產品,他要負責哪些階段?要做哪些事情?那這個也是跟平常修課只是做個小小題目、解個小東西不大一樣的,所以我覺得這些產學的合作的話,對於學校、對於同學的訓練、我們的培養上,我覺得都是蠻好的。

黃:所以您去年開始到 NVIDIA 工作,那也在台大繼續教書,所以您的工作上應該跟 NVIDIA 的這個 superstar 黃仁勳也有蠻多接觸的,對不對?

王:我在這個 Jensen 回台灣的幾次都有見到面,因為 Jensen 回台灣的時候,其實也會蠻樂於跟員工們會辦一個 all-hands 員工的大會,對,然後或者也是會跟主管們一起見面,因為他想要知道說大家有沒有遇到什麼樣的問題,大家對於公司這些發展啦,或者是這個正在進行中,有沒有什麼樣的建議或是什麼樣的 concern ,所以他一直是很開誠布公的面對底下的員工,對所以也包括在這個他在回台灣訪問的期間,當然我沒有跟他一起逛夜市啦,所以沒有吃到他請的那些糖葫蘆之類的,對,但是在譬如說中國啦。然後晚上其實都還是有一些跟他用餐的機會、跟他互動,所以其實它就如同大家在這個電視畫面上看到的一直是很親民,我覺得他是一直很照顧員工的一個大老闆這樣子。

黃:就是他在工作的時候跟他在逛夜市的時候,看起來不會差別太多。

王:不會差別太多。

黃:那這樣子的 all-hands 的全員的大會都是用在台灣的話是用中文還是英文進行?

王:其實他們都還是用英文,對,他當然英文一定是他的幾乎母語了,他第二用得多的,其實是台語,然後最後會蹦出一點中文這樣子,對對對,所以當然他中文都還是聽得懂。

黃:NVIDIA 口試,一定要有英文?

王:基本上大部分都還是英文來進行就是了,對啊,那當然不一定啦,所以今天假設今天申請者跟面試官假設都是台灣人,假設都會說中文,那或許會切換成說中文模式,可是畢竟我相信不只是 NVIDIA ,大部分的外商都是面試都會好幾關。

黃:一定要有英文書寫的能力,對不對?大家溝通的時候 ?

王:對,所以就是英文的 present 那可能如果跟工程相關的職位的話,可能還會有一些 coding 啦,等等的這樣的面試的過程,那我覺得對於研究研發的團隊而言,那我們比較看重的就是大家在 AI 技術這一塊,不管是電腦視覺的,不管是這種自然語言處理、音樂啦等等,在這些 AI 的技術的一些研究的經歷研究的背景,這個是我們比較重視的。

黃:所以現在在 NVIDIA 亞太的研發中心,他主要的研究領域大概是哪幾塊?

王:比較 general 講的話,當然是軟硬體都有,因為硬體這個電路設計、這個 GPU 的設計,然後包括裡頭一些元件之間的這個溝通通訊等等,這個當然就是 NVIDIA 本身硬體最重要的部分,因為我們都是一直希望說在NVIDIA 是以這個加速運算為出發點所以不管是硬體本身或者是在軟體技術本身的加速運算一直是非常重要的點,對啊,然後再包括譬如說,目前我們也一直對於這種數位孿生的這樣的概念,也就是說,很多在智慧製造在很多場域裡頭,它可能需要靠,原本是要把真的工廠建起來,真的產線建起來才有辦法開始去運作,才有辦法去蒐集資料,可是這些東西的成本會非常的高,那我們其實希望說透過一個數位、一個這個 omniverse 的概念,讓大家可以在數位虛擬的環境之下,把他的場域建起來可以做各式各樣的科技化的調整、做各式各樣的資料的建置,跟模型的訓練那這個都會大幅減少這個營運的成本,所以這一種在這種數位孿生這種 omniverse 這一塊,其實也是 NVIDIA 一直蠻重要的領域,那當然很多就是到比較進階一點,包括最近的生成式 AI 啦等等等等,譬如說本來大家在生成式 AI 是說可以長出很厲害、很栩栩如生的影像,那下一塊再大家就會想到,那如果可以長 3D ,那從 2D 到 3D 再下一塊,大家可能就會想到我可不可以長到 4D,就是我希望是長影片,所以這個東西都要是一直往前推,所以在剛剛提到這些硬體的部分、軟體的部分,跟這些產業結合的部分,也包括各種 AI 技術的往前推展的部分,其實這個都是在 NVIDIA 會會蠻有興趣的部分。

黃:是聽起來,從硬體到軟體各個方面,AI 的突破都是 NVIDIA 亞太研究中心,就想要,您這裡也會想要都嘗試看看的。

王:應該是說不一定會把某一項技術,單放在某個 branch 或某個 team 對啊,應該是說剛剛的,這些技術都是整個公司很希望繼續往前對啊,然後他們知道在亞太地區的人才,他們知道在各地有人才,那就會讓各地的團隊一起去 involve 在這樣的一個大型的計劃裡頭,這個應該也是沒有什麼商業機密可以透露,就是基本上 NVIDIA 還是一個蠻扁平的單位,所以既然今天一個單位比較扁平,一個公司比較扁平的話,那他就會更希望是團隊跟團隊之間要多一點合作、多一點互動,例如當這個 high ranking 比較長的時候呢,這種管理階層太多的時候呢,就會讓營運的成本當然就會比較高一點,對,溝通成本也會高的管理的成本也會高,對啊,所以其實話說回來我覺得 NVIDIA 它是一個比較扁平的組織對那他就會希望是各個團隊之間多一點合作對那這樣子的話就不會讓一個技術就獨非讓某個地方做不可這樣子。

黃:所以就是每個團隊其實都可以想出自己想要研發的方向。

王:對就是說,像剛剛提到的,數位孿生啦,剛剛提到的一些,不管是硬體的設計、AI 的技術,其實這個東西只要大家看到有這樣的需求,各個單位有人才或者說有技術可以可以配合的,那大家就可以一起去 joining這樣的 project ,對啊,所以其實它也是蠻樂於共同的合作,因為我們是希望說創造一個要嘛大家一起成功,那如果大家做的不好,大家就一起承擔,所以也是大家一起這個這個分工合作的概念這樣子。

黃:剛剛您提到,從軟體到硬體都是現在 NVIDIA 的這個研究中心,也希望能夠都能夠有所突破然後研發的,哪一些領域,您看來覺得是台灣的優勢呢?

王:我是覺得台灣在數理的培養的這一塊,其實是做得蠻好蠻紮實的,所以我覺得相對於,因為畢竟我當初研究所也是在美國念嘛,對,然後在加州啦、矽谷也認識非常多的人,也看到非常多的工程師,其實你會發覺裡頭,亞太地區的人才其實還是非常的多、比例非常的高,所以我覺得從這一點可以看出,亞太地區的人才在數理的培養其實是很紮實,然後再加上大家在這些 coding 的能力,這些對新的技術的熟悉適應得都非常的快,所以我覺得這個都是讓亞太地區的人才可以進到這些產業的一個很大的優勢這樣子。所以一個回到台灣或者說比較這種使用者的市場資料沒有這麼多,沒有這麼大型的地區來講的話那他的挑戰,第一個就是在資料的蒐集上會是一個挑戰,那我覺得另外一個在發展 AI 技術的挑戰或隱憂的話,我相信這個不只是台灣遇到,我覺得這個其實是全球,譬如說在學術界,大家開會老師們遇到都會在抱怨這件事情,小小的抱怨這件事情,就是說 AI 需要算力,雖然講 AI 需要的算力,這點對我來講是一個,剛好是兩個不同的面向來講,以這個做 GPU 出生的公司,當然很高興,很樂於大家有這樣的需求,可是如果以學術單位、以研究單位,或者是說一般新創公司而言的話,那如果他本身的研究的資源沒有這麼多,那他可能沒有辦法負擔去採購、使用這麼大量的這個運算的資源,那這樣子的話會對於 AI 的技術的發展,也是會有一定的門檻就是,對所以這個是我看到一些發展上面的一些隱憂跟挑戰。

黃:是,待會兒我們想要來跟您聊聊喔,繁體中文,台灣版的 LLM 到底有沒有需要?還有剛剛提到算力,算力當然就是 GPU 也是NVIDIA 為什麼可以一飛沖天,股價一飛沖天,成為這個全世界前十大公司最主要的原因,也想請您幫我們解釋一下,什麼叫做 GPU ,我們先休息一下,幫我們點一首歌。

王:OK 那,我這邊想到的是,剛好前陣子Coldplay 有來台灣有來高雄演唱嘛,雖然我不算是死忠的歌迷啦,但是對於他們很多首歌都非常的熟悉,那最近尤其是對他的一首 Fix You 會特別有感覺,那當然這首歌的話,它是一個比較溫暖的歌,他是給一些遇到困境、遇到一些比較低潮帶來一個比較正面的、鼓勵的一首歌曲,那另外一個會選到這首歌曲的原因,是因為我本身高中的時候就是參加樂旗隊出生的是建中樂旗隊,然後他們剛好今年的其中一首也用了這首 Fix You ,那我非常喜歡裡面的這個歌曲意境跟和聲,所以我會選了這一首 Fix You。

黃:我們來聽聽這首 Coldplay - Fix You。

黃:鈺強老師剛剛跟我們分享了,他在台大以及在做在 NVIDIA 做的相關的研究,也跟我們談到了,說像是 NVIDIA 這樣,全球大型的 AI 公司在台灣設置了亞太第一個AI 研究中心產學合作可以為產業跟學界跟台灣帶來哪些的好處?以及它的必要性那剛剛我們談到 llm 這個大型語言模型,現有假設我們看到 ChatGPT 好了,他的繁體中文的資料量好像不到 1%,對不對?這樣他可能產生了蠻多的問題喔。您看到的大概有哪些問題還?還有您覺得到底台灣是不是需要建立一個台灣自己的體中文的台灣版的 LLM ?

王:上一段有聊到,就是說 AI 的模型,其實第一個門檻是要有資料,對那所以這個就會遇到,就是說,當我們台灣想要發展自己的繁中版的大型語言模型的時候,這樣的繁體中文,或者是台式的繁體中文的資料量可能比不上簡中啦,或者是不同地區的中文的資料,那這樣子的話,訓練起來的模型、可能效果就不會這麼好,回答就不會這麼精準對,所以如果先回答這個需求的話,我覺得當然有需要去發展繁中版的這個大型語言模型或者需要發展出一個符合台灣需求的這個大型語言模型,那當然我相信裡頭的作法會有很多啦。我知道現在這個國科會,有集合這個政府的力量跟學界的力量進去發展叫 TAIDE 嘛是不是這個台式的繁體中文的大型語言模型,那那我剛剛提到的是說,其實我相信可以做的方式會有很多,所以還是有可能用現有的大型語言模型,然後把它微調用手上的繁中的資料去微調成繁中版的,這個有點像我們剛剛在前一段,或者說我們在休息之間,有聊到的目前大部分的這些 lm 他都是比較 for gernal purpose 他是一般用途型的這種這種 AI 的模型那今天我希望把這些,不管是聊天機器人不管是問答機器人,或者說可以幫我們做一些摘要做一些翻譯啦。等等的這樣子的如果要進到各個產業的話,其實都會遇到一模一樣的問題,我今天要把這樣的模型導入到法律的產業,我今天需要把這樣的模型導入到醫學醫療的的這個領域。

黃:對尤其法律非常明顯喔,因為你問他的法律,他可能回答的是美國法律,他沒有辦法告訴你台灣的狀況,因為各國的法律其實都是因地制宜。

王:沒錯沒錯,對,所以這個話就是會遇到,就是說我相信一定有需求,就如同我們需要法律版本的 GPT 我們需要醫療版本的 GPT 我們也需要繁中版本的 llm 對我覺得這個是沒有問題的,那裡頭的作法有很多,所以我知道當然政府是很努力在推這一塊對然後希望重新蒐集重新自己去 train 一個繁中版的語言模型,對那我剛剛只是提醒說其實做法還有很多啦。其實可以用微調的方式等等等等所以我至少我覺得大家在往這一塊路的方向走,我覺得這個正確的方向這樣子。

黃:是您剛剛另外提到算力,算力其實要扣回到這個 NVIDIA 的核心 GPU,到底什麼是 GPU 那什麼又是傳統的 CPU 這個可不可以以跟聽眾朋友來解釋一下這個為什麼 NVIDIA 這麼紅然後大家都說 NVIDIA 的 GPU 靠一個產品打片天下,但是這個 GPU 到底是什麼?

王:OK 如果是 CPU 的話呢?是大家一般比較熟悉大家的個人電腦裡頭的那些

黃:CPU 的英文是哪 3 個字?

王:如果沒記錯的話,因為我是做軟體的,應該是 computer 或是 computing 的processing unit ,GPU 的話是 graphic 他特別針對繪圖,對特別針對繪圖,針對圖形的對所以大家能想像就是說如果原本是個人電腦,你平常只是在做文書處理啦。你只是在瀏覽網頁啦等等,他其實就是說你有一條指令他處理一件事情,一條指令處理一件事情所以他就是可以把序列型的需求序列型的指令可以把它執行的好執行的快,這樣就夠好了,可是如果今天是要處理圖形,這些這種資料的話,跟大家可以想看,以前圖 600 x 800 就不得了,現在都是 4K 8K 這麼大張的資料對這麼大張的一張圖那當我們要看懂一張圖,我們要對一張圖做處理的時候,我們不可能是一個一個像素慢慢做,你這樣有好幾百萬個千萬個相素都要慢慢做你一定是希望一張圖同時就處理掉了,所以你會需要把這張圖你可以想像你可能要把它切成 10 x 10 切成很多的小塊小塊然後一次把它處理掉,你不能處理完第一個像素之後才移到第二個像素第二個相素之後才處理第三個像素,你希望把這個百萬千萬一個相素一次就處理掉,所以換句話說它需要一個平行運算的能力,對所以 GPU 我覺得他比較特別的是它裡面的設計裡面的算法,讓這樣的硬體可以平行的對於資料做處理,所以我覺得這個是GPU 跟 CPU 一個很大不同的地方,那這件事情會尤其在這種圖像這種很大張的二體的資料會看到他的需求,所以這也是為什麼它本身是出自於用在原本的遊戲產業,除理這些影像影片的需求,然後到現在,因為這些 AI 的模型,它也是需要大量的平行運算,所以就是 GPU 它就,你要說他找到第二春嗎?或是他就找到另外一個更好的用途,他不只是可以把這些繪圖圖像處理的能力做得好,他還可以加速這些 AI 模型的訓練跟處理,所以這個是一個 GPU 的概念。

黃:是,NVIDIA 擁有這樣的核心能力,大家都覺得他應該是這一波 AI 浪潮最大的受益者,就是 NVIDIA 的 GPU 所以剛剛您提到算力,那這個部分是台灣相對於比較弱勢的地方。

王:對就是說 AI 算力這一塊的話,我相信不只是對於是台灣,對於可能像剛剛提到的學術研究單位,對於新創公司對一些對於一些比較。

黃:他們搶不到 GPU。

王:他們他們買不起 GPU 他們搶不到 GPU ,所以這個算力上的確又是另外一個隱憂、另外一個挑戰,對對對對。

黃:對所以在 AI 的發展上,因為你一定要用到有的 GPU 來算嘛。不過我們現在知道,其實很多大型科技公司,他也想辦法要發展自己 AI 晶片,這個當然都還在發展中啦。

黃:不過目前 NVIDIA 還是一支獨秀。

王:所以像剛剛有提到,就是說大型公司,所以我所知的台積電聯發科,我相信這些這些我們國內很優秀的大廠,我們護國神山等等,也都是希望在他們用他們自己的資料,因為他們可能對於電路設計,對於一些製程有他們獨特的知識,他們也希望說訓練自己的版本的 GPT 然後可以讓他們工程師有問題的時候可以很快的找到答案,在設計上可以加速他們的晶片的設計所以這個就我所知,這個都是國內的很多大廠他們正在往這個方向走,對對對對。

黃:所以 AI 也可以回過來協助晶片的設計是那談到這個喔,現在全世界的 AI 的發展,尤其在這一年 ChatGPT 出來之後,這個生成式 AI 大爆發,有非常多重要的突破,就您看來,全球的視野那些 AI 的重要的突破是讓您覺得很驚喜的,那哪些又讓您有點優心的?

王:我覺得比較驚喜的話,那就從我本身是做電腦視覺的人出身來說好了,我覺得比較驚喜的是,以前我們希望 AI 的模型去長出一張,比如說人臉的照片能長出一張糊糊的灰階的人臉照片就不錯了,對啊

黃:而且五官還畫得歪歪斜斜的。

王:然後可能也沒有辦法去把一些皺紋,皺紋畫出來好像不見得是好事,但是就是說沒有辦法把一些五官畫的這麼的精細沒有那麼的銳利這樣子,那過去這幾年的發展,前幾年有一個模型叫做 GAN 那這個大概目前已經有點落伍了,現在都已經用到 diffusion model 等等等等,但是 anyway 就是說這個 AI 的技術發展太快了,現在的大家去用這些 Midjourney 用這些 Stable Diffusion 去生出來的影像都是非常高的畫質栩栩如生,而且你甚至可以叫他長一些你沒看過的圖形,你可以下一些指令,你希望這個要長出春天的風格、夏天的風格、畢卡索的風格、梵谷的風格,這個都是可以讓它長出來的,所以我覺得在生影像這一塊,而且可以客製化生影像這一塊的發展,我覺得是非常的讓人驚喜,那接下來大家就會就會預期,就是說,那我影像生得好,那我可以對 3D 的模型也可以生得好,那再來就是我可不可以長影片?等等等等,這個都是大家很興奮,會往這個方向去走。那這邊就會附在提到說那這一塊做的好話,誰會受惠?誰會有一點擔心工作會受影響呢?我覺得可能在一些藝術創作,或者是就是說,在一些影音製片相關的領域,應該說會幫他們減輕很多工作的負擔啦。對啦。那在這一塊的話,當然那邊就是可能一些這種這種 AI 會影響工作等等等的延伸就是了。

黃:因為現在 texts to video、text to 照片當然就更容易就成圖像文字生成照片,現在甚至像您說文字生成影片,也都變得越來越可行,然後越來越容易了,所以他衝擊到,當然,比如說攝影師

王:一些 AI 一些數位繪圖師。

黃:然後甚至是影像工作者。

王:對沒錯,那另外一個的話,可能就是這些知識的更新不夠即時,對像舉例來講   ChatGPT 好了,他當初是 2022、2021 對對對 11 月之前的,對,所以你問他新的東西,他已經會回答不出來,對啊。所以你用現在的 GPT 模型,你假設到一月十四號,問他現在總統是誰,他一定會答錯,對,所以這個模型要怎麼去更新,要怎麼去更新裡頭的知識,所以就是 knowledge 的 editing 這個也非常的重要對啊,那 editing 這一塊的話,就是說一樣又遇到剛剛的問題但是我資料就是不夠多,我今天需要更新的就只有這個手上的譬如說,新的總統是誰這樣的資料的時候我要怎麼去更新模型而且更新他的時候他就不能去動到其他已知他明明會回答對的事情,對,所以這個 editing 是一塊,那另外一個是 unlearning 也是,一般來講我們在講 AI 模型,都希望他學會什麼東西嘛可是 unlearning 顧名思義,我們是希望他要忘掉一些事情,這個議題也非常的重要在美國,在現在很多的研究都很重要,因為我們很怕這些 AI 模型,他當初學的資料裡頭有一些個人的隱私的資料有大家的身分證字號、出生年月日等等,所以為我們要怎麼樣設計一個技術,可以讓他忘掉一些,有隱私一些機密的資料,對那這個其實也是蠻重要的事情就是了,對,而且這個難就難在說,好你就算說,譬如說你要忘記我的生日是譬如說九月二十七號好了,那你不能用換句話的方式又突破,他你就會他說,那請問你的生日隔天是幾號,那如果他答九月二十八的話,那你就知道生日是幾號了,所以那邊其實有很多很複雜的技術,還在研發當中。

黃:人類是那個腦筋是很厲害的,會用各種方法繞過去。逼 AI 回答我們原本希望他不要回答的問題。

王:對對對對對,所以剛剛一開始講的資料的偏誤、資料的偏見,然後剛剛講到的資料的更新更迭,然後剛剛第三個,譬如說提到的資料的模型要怎麼去遺忘一些隱私的資料,而且一方面可能是隱私,一方面可能是有版權的資料,因為對於這些大公司的人都很怕用到有版權的資料,像最近。

黃:最近紐約時報有在控告。

王:控告 OpenAI。

黃:說很多資料是來自紐約時報的資料。

王:他的新聞資料。

黃:但這些新聞資料,其實都是紐約時報花了很大量的人力跟物力、金錢才產制的,那為什麼你可以 AI 就是這樣學走了?

黃:而且他們也擔心說,甚至有的時候,問ChatGPT 紐約時報的資料出來還是錯的,那也會影響到他們的聲譽這樣子。

王:這個要怎麼樣對資料、對模型做遺忘這個不只是對於個人的隱私,這個對於一般企業的有版權的資料,也是非常的重要的。

黃:但是這個其實還蠻困難的,對不對?因為訓練 AI 的時候,收集的是大量的網路上的資料,各個新聞媒體的資料,應該都會是 AI 學習的對象也是相對網路其他資料上,我們會覺得是一個比較品質比較好,比較真實的資料可是他就會有對於新聞媒體侵權的問題發生。

王:或是一些,是 A 媒體去引述B 媒體的東西,那這樣子是不是間接的用到 B 媒體的資料這樣子,對對對。

黃:所以這個中間還有非常多的法律問題。

王:對啊,所以剛才是提到說,雖然生成式 AI 在這一波讓大家看到的這種爆炸性的發展,大家可能感覺好像有很多

黃:很興奮的。

王:對對對,但是其實裡頭的隱憂跟挑戰還是非常多就是。

黃:甚至您剛剛提到的生成式 AI 喔他很擬真,他可以有栩栩如生的 avatar 聲音、影像,但是他對於人格權的侵害也蠻有危險的,對不對?他可以用任何一個人的照片,任何一個人的幾秒鐘的聲音就可以生成出他的一個栩栩如生的影像,用一個人的臉講出他沒有講過的話來。

王:對,所以這個話,就是剛好是之前 deepfake 的 issue 當然很怕說這些 AI 模型被用在不好的地方,對你把它你把一些人。

黃:去演色情片。

黃:政治人物在他的嘴裡塞出他沒有講過,的話來影響選舉。

王:對沒有錯,那這個話,剛好可以扣合到剛剛的第三個遺忘,對啊,所以我除了遺忘隱私的資料,身分證字號啦等等,我除了遺忘一些有版權的資料,我是不是可以遺忘特定身份的人臉,尤其是在歐洲對於這些身分、隱私權非常的重視,對,所以我可不可以讓 AI 模型,如果你不小心在網路上拉到我的資料,我沒有答應我的人臉,可以讓你當作你的訓練資料,所以我希望你要遺忘掉特定人臉的資訊。

黃:就是說我沒有答應這個好像蠻重要的,可是 AI 學習的資料裡面是千千萬萬的人,他好像也很難一一取得授權,說你要不要給我用?

王:或者說我們當初在同意要用 Facebook 的時候,同意要用 Google 的時候,裡面有那麼多的條款我們也很難一個一個去確認然後裡頭可能就會夾帶了這樣的條款,所以這個就是對於這些大公司等等他們的人比較技巧性的優勢的地方,那這個就是對於一般,如果是比較小型的單位拿不到大量的資料對於研究的單位沒有這麼多資源的話,這個都是在 AI 的技術發展上會比較不公平的地方。

黃:是是,這即使是 NVIDIA 這麼大的公司啊,可是你手上握有的數據,其實並沒有,像 Google 還有 Facebook 這麼多,對不對?

王:對沒有錯,所以像我們在跟合作的對象在談的時候,他們能不能提供資料這個是非常重要的一點對阿,如果今天我們對合作的對象舉例來說,有 Disney、Adobe 啦等等,他們本身就有大量的圖庫,那這樣非常好,我們就可以幫他用他的資料去設計來訓練,對那如果今天我們要做的這個應用公司可能沒有資料的話,那可能就要透過第三方的 vendor 去幫我們蒐集去幫我們做標記,我相信不只是 NVIDIA 相信對大部分,所有的公司的人一定都要很確認自己的資料是沒有版權 issue 的,是以可以確定商用的,對所以這個的確是在公司的是非常重視的一個點。

黃:是我們剛剛提到AI 啊,就是偏見啊,人權啊,這些議題,我們叫做被遺忘權之外呢,其實我自己還蠻關心,一個是弱勢文化會消失的問題,然後會助長文化霸權的問題,您覺得會不會有這樣子的風險?

黃:所以當我們的訓練資料,大部分都來自於英文,而且是比較精英階層的資料的時候,弱勢文化會不會就逐漸消失了?

黃:尤其是當我們的下一代,如果越來越習慣,問 ChatGPT 用它來學習我覺得現在要讀書的年輕人越來越少了。

黃:他問你的 GPT 好像什麼都都有了,但是我們如果用這樣的方式來學習的話,很多弱勢文化其實就消失了,然後弱勢的價值觀,其實也就會慢慢消失了。

王:對沒錯,這個的確是一個很重要而且很迫切的問題,大家最有感覺的,應該就是之前繁中的 llm 會遇到,他沒有正確回答國慶啦等等的這種政治性。

黃:國慶是哪一天?十月一號還是十月十號 ?

王:在這種比較,你要說比較符合政治的領域會遇到的問題,那您剛剛提到,在文化上,當然會或者是說在一些少數的語言、民族等等,他們的文化上會受到很大的衝擊沒有錯,就我所知像之前在台灣經濟部在工業局都會推一些 AI 的競賽,那其中有一塊很重要的就是會鼓勵是要針對方言、原住民語會針對這一塊,他們希望大家可以去有出題跟解題,他們會去鼓勵這一塊,對那這個當然不容易就是一樣資料的蒐集資料的標註,這個會花很大的功夫,但我相信在政府等等,大家都會看到這一塊會意識到說,在 AI 上很容易因為資料的不完整不公平,會造成模型的偏見跟偏誤,所以這一塊的確是很迫切的問題。

黃:是,反過來說,其實 AI 對於像是弱勢語言的保存,其實也還會有蠻大的價值,對不對?像原住民語,很多人已經快要消失了,只要我們去收集足夠多的這個耆老的資料,那他比較不怕他消失,我就可以延續下來嗎?

王:對就是說很多,尤其是很多原住民語啦。或是方言,他不一定有文字,對,所以要怎麼樣利用它的語音的資料然後有譬如說語音版本的語言模型,他會懂得這句話是什麼意思這個話是大概怎麼樣的情境語意,在說在唱的,對所以其實這個都是有機會,不只是針對有具體形象化文字的這種語言可以做保存,更重要的是,希望可以對一些沒有文字的語言也可以做保存。

黃:另外,我們剛剛提到哪些職業會被取代,還有一個我們覺得滿關心的就是 AI 現在在全球都非常熱門,所以會吸引非常多的年輕人都投入 AI 領域的研究。人文學科的背景,或者是說他對人文有興趣的學生,他也有辦法參與這個 AI 的發展?            

王:如果回答第一個問題的話,什麼樣的工作會被取代雖然我覺得應該不會有百分之百被取代的工作可是一定會有會受到影響,只是程度大或是程度小基本上只要是比較 routing 型的工作一定就會大幅度的被取代,譬如說現在本來可能有一些公司是在幫忙大家怎麼樣去撰寫、認識履歷,對那這個東西大概現在就不需要了。

黃:還有我們這個翻譯社。

王:對對對對對,可能員工就只需要原本的百分之十百分之一就好,因為他。

黃:去看 AI 做出來的結果對不對就好了。

王:對對對對對,那頂多就是確認一下,裡頭,到底那個專業的 term 對不對啦,有沒有符合這個對方的需求這樣子。

黃:剛剛提到翻譯,所以翻譯社,我覺得還蠻容易被取代的,以前我們要把一本書翻譯成英文翻譯成法文,現在可以用 ChatGPT 先翻完之後,像你說再找一個人去最後校稿就好了,但是口譯的工作呢?還有接下來延伸,大家還要不要學很多外語呢?

王:我覺得口譯的工作他門檻會比較高,對我會說這樣並不是因為我有口譯的朋友,我才這樣講我覺得尤其是會有即席口譯,在很多的口譯的情況之下,它會很吃當下的情境,會吃當下的一些 context 的資訊,也包括在口譯的當下,有沒有一些比較在地化的 term 等等,然後這個都是都不是一個比較 general purpose 的 GPT 可以達到的,而且在說口譯的時候呢?就我所知啦通常我們口譯會需要去事先蒐集,還是要做一點課,他要對於他要口譯的,這是哪一個性質的會議講者的內容有投影片等等,他會希望事先知道要一點功課。

黃:才能夠更信、達、雅。

王:沒錯沒錯,然後對於一些專業的 term要不要翻譯或是怎麼翻譯也會拿捏的更到位一點,那這個都我相信不是一般 general purpose 的GPT 可以做到的事情,對然後再包括剛剛講的當下一定會有一些情境啦,一些一些感情上或者是情緒上的一些高低起伏,這個也不見得是單純用一個口譯軟體、口譯的 AI 模型就可以做到的事情。

黃:是,因為這裡牽扯另外一個之前大家一直在討論,到底還需要雙語教學嗎?甚至我們還要需要學很多這種外國語言嗎?

王:我覺得在語言的學習訓練上,我覺得是必備的對啊,因為語言的學習上雖然看似只是一個表達方式,可是我覺得他裡面帶了一些邏輯、理解、思考的模式。

黃:不同的思考模式。

王:對對對對對對,然後包括不同的語言,你會需要知道他的文法結構啦等等,那我是覺得說語言的學習上還是我們針對英文就好了,畢竟目前在這種國際上面,不管是你在一般的生活上,尤其是在工作上很多還是用英文來當作一個,最主要的溝通的語言,對啊,所以一定還是要有一定的英文的能力你才有辦法。

黃:但是現在 ChatGPT 的英文翻譯翻得非常好,所以我們就可以把一個中文的信寫完送給 ChatGPT 說請幫我翻譯成英文就寫得很好了。

王:書寫的部分沒有問題,但是一定會有需要人跟人面對面對,不管是線上的面對面,或者是實體的面對面對,還是會需要看你當下的反應、當下的表達能力,譬如說你在面對面跟你的客戶溝通的時候,你不可能還放著翻譯軟體在旁邊你這樣會讓對方感受不到那個那個溫度,對所以很多時候這些工具在可是很多時候你跟你的老闆溝通、你跟你的客戶溝通、你跟你底下的團隊溝通,你還是需要一個很即時、很實體,而且有溫度,也是一個讓人理解的思考方式。

黃:但我覺得想像中應該不久之後,每個人都可以隨身帶一個 avatar 是你的口譯員,他就在你的手機裡,你就打開它,它他就可以隨時幫你口譯成各種語言了,對不對?

黃:但是只是在於您說的溫度,就是我講完,然後這個口譯員再講然後再讓對方聽,對方講完再讓他的口譯員講給我聽,可能還是缺乏那個人跟人直接的這樣的。

王:就算我知道在做翻譯的人,他們也會很重視,要怎麼樣把一些正向負向的情緒也可以帶到翻譯裡面去,可是那個畢竟還是僅止於在文字的層面,當你表達出來畢竟是一個語言的表達,會有陰陽頓挫會有情緒高低的起伏,我相信未來是一定會往這邊走,對啊。但是我覺得再怎麼樣,再怎麼樣遇到人的實體面對面我覺得這個才是最直接最有能讓人家感受到實際溫度的。

黃:那接下來呢我們看到全球最夯的這個新的科技產業,當然就是 AI,人才都往 AI 產業集中,可是是不是一定要學電腦科學、學資訊、學電機的人才能進入 AI 領域,好像也不盡然對不對?一個成功的 AI 的企業裡面,他也需要很多人文方面的背景的人才加入,那 AI 產業裡面,人文背景的人進入可以發揮哪些功能扮演哪些角色?

王:OK 那我想到的是一個,譬如說我們以以音樂領域來當作例子來說好了,我們知道音樂他其實是一個,其實也是一個蠻深厚的技術他裡面有很深厚的這些樂理啦。各種的和弦各種的風格這些,移調轉調大調小調等等等等然後助理上也有一定的結構,有各式各樣的結構所以這個都是音樂 domain 的專業的知識,那這個的東西的話,我們其實如果需要做請 AI 去生音樂去 AI 做一些編曲、作曲等等的話,其實會很需要這樣子的,domain knowledge,所以如果今天是音樂相關背景的人才要進到 AI 領域的話,那我相信他當然還是要具備一定的 AI 的這些認識或有一點 coding 的門檻,可是他更重要的是,他要怎麼去把他的音樂方面的樂理,相關的值是可以進到模型的設計模型的訓練,而不是單純去蒐集大量的音樂的資料,然後想辦法去 train 一個 model 就希望他可以憑空做曲,所以我個人是站在不只是單純技術方面的 AI 這些各個領域的 AI 它會需要搭配相關領域的知識,才能進來才能讓那個 AI 才能做得更好,所以我剛剛想到得是音樂的這個例子。

黃:是所以其實聽眾朋友如果對於人文學科有興趣,也不要覺得 AI 跟你沒有關係對不對?仍然可以所以可以考慮進入 AI 產業裡面來發展。

王:我覺得大家就是應該可以很樂觀的看待 AI 的這一波的發展,把它當作一個很有善的工具他可以幫你減輕工作上的負擔,同時他又會可以帶給你一些生活上的便利、一些樂趣,基本上從譬如說照片的修圖等等這個就可以讓你感受到了很多在日常生活上面的用途這樣,所以我是蠻樂觀的看待 AI 這一波,那所以希望如果今天是還在就學的同學的話,其實不管你是要進到這一塊,你本身已經有這樣的知識,或者是你本身是人文啦一些非 AI 領域的話,其實我覺得最重要最重要就是大家掌握說你自己的領域的專業知識,那永遠是最有價值的東西,你要進來或沒有進來這個都沒有關係,因為專業知識一定是跟著你一輩子的。

黃:好非常謝謝王老師今天的分享。

王:謝謝大家,謝謝兆徽。

(校對:魏君道,2024/1/31)