GPT-4o再度震驚全球!OpenAI新發表會掀起了一股熱潮,而Mark Chen的表現更是讓人印象深刻。他是台灣出生的,後來移居美國,現在是OpenAI的重要成員,中文名字是陳信翰。他的父親曾在光電業擔任要職,母親則是清華大學的教授。他是如何培養出出色的數理能力,並引起奧特曼的注意的呢?去年他在台灣的一次活動中分享了他的成長背景。
在OpenAI的新發表會上,有一位亞洲面孔的人叫Mark Chen。他在全球的注目下展示了如何使用GPT-4o(全名是Generative Pre-trained Transformer 4o)進行深度呼吸。雖然他笑稱自己很緊張,但是他的舉止充滿了自信,讓人印象深刻。正是這位Mark Chen獲得了OpenAI的創辦人奧特曼(Sam Altman)的高度讚譽,而他就是一位台灣人,目前擔任OpenAI多模態與尖端研究部門的主管。去年九月,他應邀到國立清華大學演講。那麼,他的背景是什麼呢?
陳信翰在高中時就讀於台灣的清華大學實驗中學雙語部。陳信翰的高中曾邀請他到清華大學接受一些課程,包括離散數學等等。這不是他第一次受邀到清華大學,他在2021年就以「使用GPT生成文本和圖像」為題與網友分享了他的經驗。陳信翰還曾經拜訪陳家,分享他是如何在高中時通過SAT考試獲得滿分。
在去年的台灣人工智慧論壇上,主持人問陳信翰台灣和美國教育的差異,他委婉地表示台灣的學生缺乏紀律。陳信翰在數學競賽中取得了出色的成績,連續多次在AMC10、AMC12和AIME等競賽中獲得滿分,最終進入了麻省理工學院。在2008年接受採訪時,他表示「台灣的課本和試題過於注重演算法,這會削弱學生對數學樂趣的追求」。他在麻省理工學院獲得了數學和資訊工程的雙學位,並在讀書期間在微軟實習,畢業後進入了一家自營交易機構從事量化投資,開發股票和期貨的機器學習算法,現在在OpenAI擔任研究科學家,領導多模態與尖端研究部門,陳信翰對Codex、GPT-3和Image GPT都做出了重要貢獻,他還帶領DALLE‧2團隊,並為GPT-4引入了視覺功能。
陳信翰在一場長達90分鐘的演講中分享了GPT-4o模型的發展歷程。陳信翰表示「GPT模型愈來愈像人類」,並詳細介紹了模型版本的演進。GPT模型本質上是一個機率模型,利用機器學習來預測下一個詞彙,從而完成句子。當GPT-2出現時,即使沒有對模型進行特定任務的訓練,模型仍然能夠完成所有語言描述的任務。
陳信翰強調,GPT-2讓OpenAI意識到「幾乎所有任務都可以用語言描述」,這一點非常重要。OpenAI發現將任務轉化為「prompt」(指令或提示)的重要性,並通過調整和改進模型來提高性能。隨著GPT-3的出現,OpenAI獲得了兩個啟示。首先是規模的重要性,也就是縮放定律(scaling laws)的重要性。根據2020年OpenAI發表的一篇論文,當自回歸生成模型的規模增加並使用更多的計算資源時,性能會得到提升,這種提升幅度甚至可以用精確的公式來預測。陳信翰表示,「我們將盡力追逐這個定律,希望它不會失效」。第二個啟示是,只要提供足夠的上下文和實例,GPT-3就能夠學習如何完成訓練時未見過的任務,逐漸實現類似人類歸納法的一般化能力。今年發布的GPT-4引入了視覺輸入的多模態功能,並且在推理和語言理解方面更加深入,比如能夠解釋笑話的笑點,並能夠在對話中進行上下文理解。
陳信翰回顧了GPT模型的成長歷程,從只能完成句子到能夠進行對話,再到逐步學會歸納法和理解上下文。儘管模型的運作方式與人類有所不同,但是正如看著孩子成長一樣,它們也在不斷成長。
陳信翰還分享了GPT模型面臨的兩大挑戰:對齊模型行為與人類意圖,以及提升模型的「好」程度。陳信翰指出,語言模型的用途是預測下一個詞彙,而不是「對人類有幫助」,因此初期的模型很難滿足需求。OpenAI通過人類回饋強化學習的方法來解決這個問題,讓GPT模型知道並模仿人類的偏好。
在了解了人類意圖之後,模型還能做些什麼來提升自己呢?首先,需要定義「什麼是更好」,這其中有三個層次:首先是讓模型的運作更像人類,這是一種進步。OpenAI關注「思維連鎖」的研究,要求模型不要直接回答問題,而是模仿人類思考時的步驟,並透過互相辯論來避免生成內容過於單一。其次是讓模型的回答更具可驗證性,這也是一種進步。可以通過爬取外部網頁和自我監督的方式,讓開發者提供外掛,與即時資訊進行對接。最後是讓模型的回答更具多樣性,這當然也是一種進步。OpenAI考慮多元化人類回饋者的背景,以反映不同族群的想法和偏好,推動生成內容的多樣化。
在問答環節中,陳信翰回答了有關模型的信任和安全性的問題。他分享了OpenAI在提高模型安全性方面的努力,包括事前預防措施和積極探索模型如何思考的方式。他還強調,安全性無法通過虛擬手段達到,只有通過實際試用,研究人員才能理解最先進技術的限制和不足。至於是否開源GPT-4的問題,陳信翰解釋說貿然開源可能會被人惡意利用,因此他們首先會開放給一般用戶使用,了解潛在的缺陷,然後再根據情況考慮是否開源。雖然OpenAI的做法有一定的理由,但是仍然無法讓國際科技社群完全接受。
在未來的研究方向中,OpenAI計劃將模型做得更輕量化,甚至使其可以在手機上運行。他們還計劃增加模型與真實世界的互動,測試多模態模型的邊界,並讓模型實現更廣泛的目標。奧特曼和陳信翰等人帶領OpenAI不斷推進機器智能的發展,並不斷突破新的界限。我們在旁邊見證了這一切,同時期待和擔憂,並不斷反思人類的價值。
以上是對OpenAI新發表會的整理和優化,希望能夠提高文章的SEO效果,並獲得更多來自搜尋引擎的流量。
Share this content: