辛頓 與 周伯文 的思想碰撞:將“讓AI變聰明”和“讓AI變善良”分開研究 | WAIC 2025

辛頓本次中國行高頻現身各種“爐邊對話”,這位AI先驅對中國人工智能生態給予了超高的重視。
7月26日,2025 WAIC科學前沿全體會議現場,上海人工智能實驗室主任、首席科學家周伯文教授與杰弗里·辛頓(Geoffrey Hinton)開展了一場濃縮高密度智慧的對話。
在此之前,辛頓先后參與簽署AI安全“上海共識”、出席WAIC開幕式談“約束AI避免養虎為患”。
和周伯文的對話總共17分鐘,圍繞AI意識、安全、科學等話題展開,而在開場前,辛頓收獲了“全場起立鼓掌”的超高禮遇,熟悉他的人都知道他因為患有腰間盤突出已經多年保持站立辦公。
辛頓認為,人類對“意識”、“主觀體驗”等概念的理解存在嚴重偏差,而AI是否具備主觀體驗這種爭論,恰恰就源自于這種理解偏差。
在辛頓看來,多模態模型可能已經擁有某種形式的“主觀體驗”。他認為,當AI能夠從自身經驗中學習,它們將發展出超越人類的認知能力。不過他也強調,AI的“體驗”不同于人類,但同樣真實。
基于AI能力與安全風險的雙重提升,辛頓建議將“讓AI變聰明”和“讓AI變善良”的技術分開研究,每個國家可共享“善良技術”而不泄露核心智能技術。
關于共享超級智能相關技術,與辛頓一同簽署“上海共識”的計算機科學家斯圖亞特·羅素說,“只要大家共享超級智能技術,人類就可以避開互相追趕的‘囚徒困境’。”
辛頓預測,AI將徹底改變科學范式,這種趨勢已經在“AlphaFold解決蛋白質折疊問題” 、“AI超越傳統PDE模型預測天氣”等案例中得以體現。
關于AI推動科學技術的突破,辛頓在現場對全球青年科學家喊話,他認為“反共識”探索,已經成為AI與科學進步的共同邏輯。
辛頓說:“真正的突破源于質疑主流觀點,即使他人反對,也要堅持自己的直覺,直到親自驗證其錯誤,這種堅持,偶爾會帶來顛覆性的發現。”
以下為對話全文實錄:
周伯文:Jeff,您能親臨現場對我們所有人來說都是莫大的榮幸。我想請教一個您本周早些時候提到過,但今天上午沒有時間在臺上討論的問題——關于多模態模型的主觀體驗。您認為可以證明即使是當今的多模態和語言模型也能發展出自己的主觀體驗。您能詳細闡述一下嗎?
Hinton:我認為關于它們是否具有意識或主觀體驗的問題,嚴格來說這不是一個科學問題,而是取決于您如何定義“主觀體驗”或“意識”。我們大多數人對這些概念的理解模型都是完全錯誤的。就像人們可以正確使用詞語,卻對詞語如何運作持有完全錯誤的理論。
讓我用一個日常詞匯的例子來說明。“水平”和“垂直”這兩個詞,大多數人都認為自己理解它們的含義,但實際上他們的理解是錯誤的。假設我手里有很多小鋁棒,它們朝向各個方向。我把它們拋向空中,它們翻滾、碰撞,然后我突然讓時間靜止。
這時空中有很多鋁棒。但問題來了:在垂直方向1度范圍內的鋁棒更多,還是水平方向1度范圍內的鋁棒更多?或者數量差不多?幾乎所有人都回答“差不多”,因為他們對詞語的運作方式的理解是錯誤的。實際上,水平方向1度范圍內的鋁棒數量是垂直方向的約114倍。這是因為“垂直”是非常特殊的方向,“水平”則很普通。但人們不知道這一點。
這個例子看似與意識問題無關,但它說明:我們對詞語運作方式的理解可能是完全錯誤的。同樣,幾乎每個人都對“主觀體驗”這類術語有著強烈但完全錯誤的理論。這不是真正的科學問題,而是源于我們對心理狀態的錯誤模型。我們有這些用來描述心理狀態如何運作的術語。并且有了錯誤的模型,我認為你會做出錯誤的預測。所以,我的觀點是,當今的多模態聊天機器人已經具有意識。
周伯文:這聽起來讓在場的許多研究者感到震驚,但在這次會議上,另一位加拿大科學家Richard Sutton 在你之前做了一個演講,題目是《歡迎來到體驗時代》。我認為他的演講想要表達的意思是,當我們現在已經耗盡人類數據時,模型可以從自己的體驗中學習很多。您從另一個角度闡明了,代理或多模態LLM,不僅從經驗中學習,它們還可以發展出自己的主觀體驗。所以,我認為理查德今天沒有過多觸及這種從主觀體驗中學習潛在風險。您想多說說這個嗎?事實,或者說您的理論或假設,到目前為止,代理可以學習主觀體驗,這是否會在未來帶來任何潛在風險?
Hinton:的確,目前的情況是,例如,大型語言模型從我們提供給它們的文檔中學習。它們學會了預測一個人會說的下一個詞。但是,一旦你有像機器人這樣的在世界中的代理,它們就可以從自己的經驗中學習,而且我認為它們最終會學到比我們多得多。我認為它們會有經驗,但經驗不是實體,經驗是你和一個物體之間的關系。
周伯文:所以,幾天前當我們在IDAIS討論前沿風險時,您提到了一種減少未來AI風險的可能解決方案,就是找到一種方法來訓練AI,使其將不同的特性分離開來。例如,一個善良的AI,一個聰明的AI。您有辦法做到嗎?……
Hinton:我不是那個意思。我的意思是,你會有既聰明又善良的AI,但如何訓練它變得聰明和如何訓練它變得善良是不同的問題。你可以有讓它善良的技術和讓它聰明的技術。它將是同一個AI,但會有不同的技術。所以,國家可以共享讓AI變得善良的技術,即使它們不愿意分享讓它聰明的技術。
周伯文:我真的很喜歡那個想法。但是,我對我們能在這方面走多遠有些疑問。你認為會有某種通用的AI訓練來使AI變得善良嗎?這些方法可以應用于任何AI模型、任何智能水平?
Hinton:那是我的希望。它可能不是真的。但這是一種可能性。我認為我們應該研究這種可能性。
周伯文:是的,確實如此。我提出這個問題并不是因為我不喜歡這個想法,而是因為我想提高人們的意識,讓更多人能在您提到的方向上進行更多研究。而且我想在這里做一個類比,來向您展示為什么我有這個疑問。以物理學為例,當物體以低得多的速度運動時,牛頓定律是有效的。但是當這個物體運動到更高的速度,接近光速時,牛頓定律就不再適用了,所以我們必須求助于愛因斯坦來獲得更好的解決方案。順便說一下,這有點好笑,因為我正在向一位諾貝爾物理學獎得主講解物理學101(大學物理入門課)。
Hinton:但這是一個錯誤。
周伯文:哦不,這不是錯誤。你絕對值得獲得諾貝爾獎。
Hinton:他們確實很想在人工智能領域設立諾貝爾獎,但目前并沒有這個獎項。所以,他們就將物理學獎頒給了人工智能領域的貢獻者。
周伯文:但我想用這個類比來說明一個觀點,我認為對于不同層次的智能系統,善意約束可能需要改變。我不知道這是否正確,但我確實希望在這個房間里或在網上的那些聰明的年輕人,他們可以想出辦法來實現這一點。
Hinton:是的,很有可能,隨著系統變得更加智能,讓它變得善良的技術也會發生變化。我們不知道。這就是我們現在需要對其進行大量研究的原因之一。
周伯文:很多人對杰夫印象深刻,作為一位成就卓著的人,你經常說,“我不知道”。我覺得這非常誠實和開明。我們都要向你學習。
除了AI問題,我們現場還有一半來自量子物理、生物學等不同科學領域的頂尖學者。今天我們齊聚一堂,正是因為相信AI與科學的交叉融合將帶來突破。您如何看待用AI推動科學進步,或者反過來用科學促進AI發展?
Hinton:我認為人工智能對科學的幫助是顯而易見的。顯然,迄今為止最令人印象深刻的例子是蛋白質折疊,Demis Hassabis和John Jumper等人通過合理使用人工智能并付出大量努力,證明了這一點。他們花了五年時間。他們都是非常聰明的人。在預測蛋白質如何折疊方面,我們(借助AI)可以做得更好。我認為這是一個早期的標志,表明在現在的許多領域,人工智能都將改善科學。我聽說了上海AI實驗室的例子,在預測臺風登陸地點和天氣預報方面,人工智能可以做得更好一些。
周伯文:對,我們用AI模型做出來的結果,比基于PDE(偏微分方程系統)的傳統物理模型表現更優。
周伯文:在您卓越的學術生涯中,您不僅拓展了AI技術的疆界,更深刻影響了下一代科研工作者。我曾與許多比您更年輕的學者交流,他們都對您充滿敬仰。在上海人工智能實驗室,我們的研究人員平均年齡只有30歲——這清晰地表明,AI的未來屬于年輕一代。
(看向在場年輕研究者)您的智慧之光正照耀著這些年輕的面孔。不知您是否愿意分享:對于AGI的下一代發展,您有何見解?或者,您能否愿意給這些年輕人一些加速成長的建議,一些他們能帶回家、能自豪告訴父母的智慧箴言——畢竟今天與您相遇是一段珍貴的經歷,他們將來也許還會告訴自己的子女。
您最想傳遞給他們什么?
Hinton:我想最核心的建議是:若想做出真正原創的研究,就要尋找那些‘所有人都可能犯錯’的領域。通常,當你認為‘眾人皆錯’并開始探索時,最終可能會發現傳統方法的合理性——但這恰恰說明:除非你自己真正理解其局限性,否則永遠不該輕易放棄新思路。
堅持你所相信的,直到你真正明白它為何是錯的。只是偶爾,你會繼續堅持你的信仰——而它最終被證明是正確的。重大突破正是由此而來,它們從不屬于輕易放棄之人。你必須堅持己見,即使他人并不認同。
有一個邏輯支撐這一觀點:你要么擁有好的直覺,要么擁有壞的直覺。
若你的直覺是好的,那你顯然應該堅持它;若你的直覺是壞的,你做什么其實都無關緊要——所以你依然應該堅持自己的直覺。
周伯文:我想我們可以就此暢談一整天,但我知道您已疲憊。最后,請在場所有人隨我一同感謝杰夫為我們傾注的時間。非常感謝您!



