來源：互聯(lián)網(wǎng)

《AI未來指北》欄目由騰訊新聞推出，邀約全球業(yè)內專家、創(chuàng)業(yè)者、投資人，探討AI領域的技術發(fā)展、商業(yè)模式、應用場景、及治理挑戰(zhàn)。

【資料圖】

文/騰訊科技 郭曉靜

Stuart Russell（斯圖爾特·羅素）是加州大學伯克利分校人類兼容人工智能中心（Center for Human-Compatible AI）創(chuàng)始人兼計算機科學專業(yè)教授，同時也是人工智能領域「標準教科書」《人工智能：一種現(xiàn)代方法》的作者。這本書的第一版早在1994年已經(jīng)完成，當時就有一個章節(jié)，標題是《如果我們成功了呢》，主要討論“如果我們制造出比人類更強大的人工智能系統(tǒng)，我們如何永遠掌握它們的控制權？”，標題中所說的成功，就是制造出和人類一樣聰明的機器。

這個問題并不是危言聳聽，計算機每秒可以執(zhí)行的基本操作數(shù)量大約是100億次，而人類大腦基本上每秒只能執(zhí)行大約100次操作。計算機之間的通信速度比人類快了10億倍。如果某一天，我們真的能探索出人類認知的奧秘，疊加計算機的超速度，人類的文明岌岌可危。

最可怕的是，GPT-4確實讓我們看到了“智能”的火花，而我們人類，還沒有做任何嚴肅的準備，如果這一天突然到來，羅素教授認為“這可能將比核戰(zhàn)爭更嚴重”。

人工智能領域有影響力的人正在聯(lián)合起來，呼吁更為理性、對人類有益的人工智能的研發(fā)，三周前，Stuart Russell、被稱為人工智能三巨頭的Geoffrey Hinton、Yoshua Bengio、OpenAI CEO Sam Altman等人聯(lián)合簽署了《關于人工智能風險的聲明》，建議“減輕人工智能滅絕風險應成為全球優(yōu)先事項”。幾個月前，Stuart Russell也與Elon Musk等，共同簽署了《暫停超過GPT-4巨型人工智能研發(fā)6個月》的公開信。

為何這些全世界最了解人工智能的人，多次集體預警人工智能的風險？科幻中的人類與機器人大戰(zhàn)的場景，真的會變成現(xiàn)實嗎？騰訊科技對話了Stuart Russell教授，和他討論了人工智能領域最近備受關注的幾件事情，他有如下觀點：

●未來兩種風險可能毀滅人類文明：一種是對人類具有致命性的流行病，另一個就是我們無法控制的人工智能系統(tǒng)。

●我不同意僅僅暫停超越GPT-4的巨型人工智能研發(fā)僅六個月，如果我們無法確保GPT-4等系統(tǒng)的安全性，那么就永遠不應該發(fā)布。如果行業(yè)需要20年時間來找出如何制造安全的系統(tǒng)，那么沒問題，我們可以等20年。

●我們無法使用GPT-4這種使用大量語言文本訓練的方法構建安全且對人類有益的 AI 系統(tǒng)，我們必須嘗試一些不同的方法。

以下為對話內容：

騰訊科技：你是什么時候開始對人工智能感興趣的呢？

羅素：我小時候看了很多科幻小說，小說中經(jīng)?？吹街悄軝C器人。我12歲的時候得到了一個可以編程的計算器，我試著給它編程，不幸的是，這個計算器只有很小的內存，我只能編寫36個字母長度的程序，這和能實現(xiàn)“智能”的程序相差太遠。但開始我對這件事著迷。后來我在高中學習了計算機科學，也從那時候開始嘗試編寫“象棋程序”。然而大學的時候，我學了神經(jīng)科學，還好后面我又找到了機會，重新研究人工智能。

騰訊科技：你后來編寫了被很多知名大學使用的教科書《人工智能：一種現(xiàn)代方法》。但是早在2016年，你就開始研究如何研發(fā)對人類無害的人工智能，那時人工智能還在發(fā)展早期，你這么早就看到了人工智能的風險了嗎？

羅素：這本書的第一版是在1994年完成的，在結尾有一節(jié)，標題是《如果我們成功了呢》。因為人工智能的目標一直是制造與人類一樣聰明或比人類更聰明的機器。我認為重要的是要問如果我們成功了會發(fā)生什么？

因此，即使在1994年，我也曾討論過可能的風險。我們如何能夠既獲得人工智能的成功，又不讓人類毀滅呢？就如同你剛剛提到的，2016年，“人類兼容人工智能中心（The Center For Human Compatible AI）”就在伯克利成立了。從那時候開始，我就開始探索，如何能夠創(chuàng)造出對人類有益的AGI（通用人工智能）。

這是一個看起來非常簡單的問題：“如果我們制造出比人類更強大的人工智能系統(tǒng)，我們如何永遠掌握它們的控制權？”我一直在尋找答案，我認為我們已經(jīng)有了一些初步答案。正如第四版書中所解釋的那樣，這個答案意味著在新的基礎上重新構建我們對人工智能的理解，并重新構建我們創(chuàng)造的所有技術。所以這就是我們現(xiàn)在所做的事情。

騰訊科技：大約兩周前，您簽署了關于人工智能風險的聲明，其中建議“減輕人工智能滅絕風險應成為全球優(yōu)先事項，與流行病和核戰(zhàn)爭等其他社會規(guī)模風險并列?！蹦鸀槭裁匆炇疬@份聲明？

羅素：我簽字是因為我認為這件事真的可能會發(fā)生。

騰訊科技：和GPT-4有關嗎？

羅素：不是因為GPT-4，聲明沒有提到GPT-4，聲明只是說我們需要關注這個風險，即我們將失去對我們文明的控制。人類能夠控制地球上許多其他物種，因為人類更聰明。

如果機器比我們更聰明，為什么我們認為我們能夠在未來保持對我們文明的控制？所以這就是風險。根據(jù)許多哲學家、未來學家、研究我們文明長期未來的專家分析，他們認為這個風險實際上是我們面臨的最大風險。

核戰(zhàn)爭可能會是一場巨大的災難，但大多數(shù)人認為人類將在其中幸存；大規(guī)模氣候變化也將是一場災難，但大多數(shù)人認為人類將在其中幸存。但我們可能無法幸存的兩個風險：一種是對人類具有嚴重傳染性和致命性的流行病。另一個就是我們無法控制的人工智能系統(tǒng)。

騰訊科技：幾個月前，您與Max Tegmark、Elon Musk等人一起呼吁暫停訓練比GPT-4更強大的人工智能系統(tǒng)至少6個月。為什么您支持這封公開信？

羅素：這是一個非常有趣的問題。正如你所說，這封信呼吁暫停開發(fā)比 GPT-4 更強大的大型語言模型的開發(fā)。因此，它并不是對人工智能研究的禁令，許多人將其描述為禁令。它實際上是說，像GPT-4或更強大的系統(tǒng)已經(jīng)對我們的社會產(chǎn)生了重大風險，而我們沒有有效的治理辦法。

我的一個朋友在英國政府和食品標準方面工作。她指出，關于三明治的規(guī)定都比關于人工智能的規(guī)定更多。

因此，這封信其實是要求我們定義系統(tǒng)在發(fā)布之前應滿足什么樣的安全標準，這與三明治是一樣的。如果你不符合這些安全標準，就不能賣三明治，這很簡單。而我們還沒有為人工智能系統(tǒng)制定這些安全標準，我們需要時間來做到這一點。

當你去對照一些關于人工智能安全性的提議時，例如中國提議系統(tǒng)應輸出真實信息，或歐洲提議系統(tǒng)不應操縱人類行為，就我們所知。

大型語言模型都將無法滿足這些標準，因此它們不安全。我認為人工智能社區(qū)的正確反應不是抱怨“這是不公平的。即使它們不安全，我們也應該能夠發(fā)布我們的系統(tǒng)?！闭_且負責任的反應應該是說，“好吧，讓我們努力使它們安全。這樣就可以發(fā)布它們了”。這就是公開信的目的。

騰訊科技：“暫停超過GPT-4的人工智能研發(fā)公開信”這件事目前有進展嗎？

羅素：在我寫的另一本書《AI新生：破解人機共存密碼——人類最后一個大問題》中，有一段虛構的電子郵件對話，是一種高級外星文明與人類之間的想象對話。他們給人類聯(lián)合國寫了一封電子郵件，警告說我們將在30到50年后到達地球。人類聯(lián)合國回復說，“人類不在辦公室，我們會在回來后回復您”。這個例子的重點是，在我舉這個例子的時候，也就是2015年，世界各國政府完全沒有關注人工智能的風險。

而公開信的結果是，“人類現(xiàn)在回到了辦公室”。他們看到了這封電子郵件，不是來自高級外星文明的電子郵件，而是來自未來人工智能系統(tǒng)的電子郵件，警告說他們很快就會到來。世界各國政府現(xiàn)在正在關注這個問題。

這實際上與收到外星文明的電子郵件的后果非常相似。歐洲正在呼吁召開緊急全球峰會。中國正在發(fā)布非常嚴格的法規(guī)，限制這些系統(tǒng)的開發(fā)和部署。美國現(xiàn)在正在討論制定法規(guī)，以保護人們免受不安全的人工智能系統(tǒng)的傷害。各國政府正在與世界各地的科學家交談，詢問科學家們應該怎么做？我認為這是一件好事。

因此，公開信的結果是，人類現(xiàn)在回到了辦公室，并正在思考如何應對這一挑戰(zhàn)。

騰訊科技：公開信和后來發(fā)布的聲明之間有沒有關系？你為什么都簽名支持了？但是OpenAI的CEO Sam Altman并沒有簽署第一封信？

羅素：公開信和后來發(fā)布的聲明之間的區(qū)別在于，公開信相當長。它提出了一個具體要求，要求正在開發(fā)這些系統(tǒng)的AI實驗室暫停研發(fā)和政府應該監(jiān)管這些系統(tǒng)。

它還談到了這些系統(tǒng)已經(jīng)存在的許多風險，包括虛假信息、失業(yè)等。這引起了很多爭議。有人沒有簽署，因為即使他們認為AI系統(tǒng)存在風險，也覺得6個月的延遲不是正確的政策回應。第二份聲明的目的實際上是避免所有這些爭議，只是對風險做出非常干凈、簡單的陳述。有趣的是，OpenAI的CEO Sam Altman沒有簽署第一封信，但他簽署了第二份聲明。

但是至于為什么，你得問問他?？赡苁且驗樗J為第二份聲明只是真實而重要的，人們應該會贊同。而公開信是一個政策建議，不同于真理陳述。也許他不同意政策建議，或者他認為這應該是一個稍微不同的政策回應。至于6個月的延遲，我也有不同意見，我的觀點是應該有一個無限期的延遲。如果它們不安全，那么就永遠不應該發(fā)布。如果行業(yè)需要20年時間來找出如何制造安全的系統(tǒng)，那么沒問題，我們可以等20年。

騰訊科技：外界仍然對這封公開信存在一些質疑，比如有人認為它沒有實際的效果，還有人簽名是處于政治或商業(yè)的某些動機，你會有同樣的擔憂嗎？比如馬斯克，在簽署完公開信之后，馬上就開始了相關的項目。

羅素：對于第一個問題，有人沒有簽署這封信，因為他們認為它不會產(chǎn)生任何影響。我認為事實上它產(chǎn)生了巨大的影響。自從公開信發(fā)出以來，這幾乎每天都在幾乎所有報紙的頭版上，這導致了大量政治層面的實際效果。所以它實際上比我預期的更有效。這是第一件事。

第二個關于簽署者動機的論點。在許多立法機構和許多其他組織中遵循的議會辯論規(guī)則中，當你討論一個話題時，質疑提出論點的人的動機是不合適的。你要處理論點的實質，而不是這個人的動機。這是辯論的基本規(guī)則。

其中一些是針對埃隆·馬斯克的，因為他決定資助一個人工智能研究項目，所以說他動機有問題，可能也不太符合邏輯。如果政府因為這封公開信，從而有動力制定法規(guī)，那么這些法規(guī)將同樣適用于他的公司，也同樣適用于其他所有人。所以我認為這些關于動機的論點是無效的。

騰訊科技：下面讓我們繼續(xù)談一下GPT-4吧，你認為它真的已經(jīng)擁有智能了嗎？多久才能達到人類的智能水平？

羅素：智能？我同意GPT-4似乎很聰明。但是我認為這有點欺騙性。舉個例子，如果我拿一張紙，這里有一張。如果我要把這個讀給你聽，它會聽起來非常聰明。但是沒有人認為這張紙是聰明的。紙張只是攜帶了別人寫的文字。智慧屬于文字的作者，而不屬于紙張。

所以當GPT-4用非常聰明的文字回答你時，它是一張紙嗎，還是文字的作者？我覺得答案是居于兩者之間。我們不知道它離紙張有多近，離真正的文字作者有多近。

而且這個答案很難知道，用于訓練GPT-4的文本數(shù)量大約相當于人類歷史上的所有書籍、報紙檔案、電視臺檔案、法律組織檔案、立法機構檔案。

沒有一個人類讀過那么多信息，甚至連這些信息的1%都沒獲得過。所以我們不知道讀那么多信息是什么感覺。

對于任何給定的問題，我們都很難弄清楚它所依賴的信息來源是什么。比如算數(shù)，訓練數(shù)據(jù)中有很多算術例子，比如我們告訴系統(tǒng)：46+92等于138，你會期望系統(tǒng)從數(shù)千個數(shù)學例子中學習算術規(guī)則，然后能夠做新的算術題，但事實證明行不通。

它假裝得很好。但是當你給它更困難的例子時，它總是得到錯誤的答案。所以它可能沒有學會算術規(guī)則。它只是在假裝，它并沒有真正學會算數(shù)。在這種情況下，它似乎更像一張紙，而不像一個人類。

所以我們仍在進行很多有趣的研究，試圖弄清楚它是否能夠推理，甚至是否正在構建內部世界模型？

問題是它是否真正能夠形成一個內部的世界模型？我認為有一些證據(jù)表明它并沒有這樣做。

當你向一個人類提問時，有時我們會以不智能的方式回答，而不參考內部世界模型。例如，如果我說，嗨，你今天好嗎（Hi！How are you today）？你會說,很好,謝謝,你呢（I’m fine.Thank you，and you？)這是一種機械式的回答。在這個意義上，我沒有檢查我的內部世界模型來看看我真實感覺如何，然后給出答案，我只是以例行的方式回答。

如果我說，“嗨，你今天銀行賬戶里有多少錢”？那么你就必須檢查一個內部的世界模型，或者甚至拿出手機查看你的銀行余額。但你是根據(jù)某種真理模型來回答問題的。如果我說，你的車停在哪里了？你會參考一個內部世界模型：“它停在那邊的停車場里”。這對人類來說很正常。

但是我認為有很多證據(jù)表明這些大型語言模型并沒有在回答問題，我認為這一點非常重要，它們似乎回答了問題，但實際上它們并沒有回答問題，因為它們實際上沒有一個內部的真實模型可以參考來回答問題。它們更像是“我很好。謝謝。你呢？”只是在例行公事。

我們從哪里可以得知這點呢？GPT系統(tǒng)可以對同一個問題給出矛盾的答案。如果你參考一個真實的內部模型，你不能對同一個問題給出矛盾的答案。一個我朋友發(fā)給我的例子是，你問，“大象和貓哪個更大”。它說“大象比貓大”。所以你認為它知道大象比貓大。然后你問，“哪個不是更大的，大象還是貓”。它說，“大象和貓都不比另一個更大”。它在兩個句子中自相矛盾。它沒有關于物體相對大小的內部真實模型，因為如果有，它會給你一個一致的答案來回答那個問題。

GPT-4只有幾周時間向外部研究人員開放，所以現(xiàn)在下定論還為時過早。但我認為我們會發(fā)現(xiàn)，實際上這些系統(tǒng)并沒有像我們認為人類那樣具有一致的內部真實模型。

回到最初的問題，GPT-4是否正在創(chuàng)造通用智能？我認為答案可能是否定的。它做得很好，創(chuàng)造了一些能夠進行非常有效的對話的東西，語法非常正確，無論是英語還是中文。它很少犯語言錯誤，因為它的答案連貫，并且似乎是邏輯順序，并且它們似乎有意響應你的輸入。

“真正的智能正在發(fā)展中。真正的智能不會“為了正確”而回答。當我們對GPT的原理了解更多，可能我們能夠揭開它的一些弱點究竟是因為什么。我認為，創(chuàng)造通用智能是一個非常復雜的謎題。人工智能研究已經(jīng)進行了大約75年左右。它已經(jīng)產(chǎn)生了許多突破，這些突破將構成這個謎題的一部分。對我來說，大型語言模型也是謎題的一部分。

但我們也應該意識到，現(xiàn)在我們看到的那種興奮，其實在1950年代也同樣經(jīng)歷過。當時我們建造了可以自己學習并擊敗其人類創(chuàng)造者的系統(tǒng)。我認為在1957年電視上演示過，這引起了全球驚嘆，“哇！機器可以做到這一點”。與1950年代不同的是，你現(xiàn)在可以在互聯(lián)網(wǎng)上使用它。

過去幾個月中發(fā)生的公眾感知上的巨大變化，是因為這是歷史上首次，每個擁有互聯(lián)網(wǎng)訪問權限的人都可以與這些系統(tǒng)進行交互并親身體驗。因此，他們正在品嘗通用智能可用的世界可能會是什么樣子。這只是一個味道，一種感覺，不是真正的東西。但僅僅那種感覺就足以讓我認為“世界會醒來”。

騰訊科技：我們知道我們不能信任 GPT-4，但是大眾還是會相信它，這也會造成一些風險，我們應該如何提示大家，不要去輕信 GPT-4 呢？

羅素：這個問題與我們所謂的“人工智能幻覺”有關。有些人不喜歡這個詞，但我認為這是一個合理的詞。這意味著系統(tǒng)在不知道的情況下生成虛假信息。所以它并不是故意撒謊。它只是輸出實際上并不準確的信息。這是因為它沒有根據(jù)內部真實模型回答問題。它不相信它所說的所有虛假事情。“相信”這個詞不適用于GPT-4，它只是一種語言生成器。在生成描述完全錯誤的語言的情況下，它并沒有撒謊。

我們信任它，因為通常情況下，當我們與人類交談時，他們會給我們自信、詳細的答案，并附有參考文獻、引用、報紙文章的參考文獻、法律案例的參考文獻。

所以當有人類這樣做時，你會相信他們，因為以那種方式撒謊是愚蠢的。但這些系統(tǒng)沒有概念他們在撒謊。所以整個信任的概念，你必須把它扔掉。

這種通過系統(tǒng)對話性傳達的概念就像另一個人一樣。我認為大多數(shù)普通人誤以為它就像另一個人一樣，只不過是一個知識淵博、讀遍全世界的書籍，并能回答任何問題的人。

騰訊科技：那你如何定義AGI 呢？如果有一天，我們達到了 AGI，它和人類的智慧是否還會有本質不同？

羅素：我認為通用人工智能將能夠快速學習并超越人類在任何領域中的能力，只要這些領域是人類大腦可以處理的，例如下棋、開車、拉小提琴、教孩子騎自行車或者其他任何人類可以用大腦做到的事情，人工智能都將能夠做到，而且可能做得更好。

計算機作為物理對象和人類大腦之間存在巨大的差異。人類大腦是一個了不起的東西，它能夠從比我們目前使用的人工智能系統(tǒng)少得多的數(shù)據(jù)中學習技能、學會語言等。因此，人類大腦實際上更擅長發(fā)現(xiàn)數(shù)據(jù)中的潛在模式，并成功地應用在現(xiàn)實世界中。我認為，在我們理解了人類大腦如何做到這一點之前，AGI是不可能實現(xiàn)的。

我認為當前的技術正在彌補對大腦的學習方式不了解的缺陷。它通過使用比我們目前使用的數(shù)據(jù)多100萬倍來彌補這種缺陷。

當我們真正理解了學習方式時，我們應該看到這些系統(tǒng)能夠從與人類使用相似數(shù)量的數(shù)據(jù)中學習。當我想教我的孩子什么是長頸鹿時，我會拿出一本圖片書。這本圖片書有一頁是“G”代表長頸鹿，上面有一張長頸鹿的小卡通圖片，黃色和棕色相間，有一個長長的脖子。孩子看到那張小小的長頸鹿圖片就知道什么是長頸鹿了。現(xiàn)在我可以給孩子看一張真正長頸鹿的照片，或者一個長頸鹿的骨架，或者倒著放著的長頸鹿，他們都會認出這是長頸鹿。

人類孩子只需要一個例子就能學會。創(chuàng)造出具有這種能力的AGI，我們還需要很長的路要走。

計算機每秒可以執(zhí)行的基本操作數(shù)量大約是100億次。而人類大腦基本上每秒只能執(zhí)行大約100次操作。這是一個巨大的差異。

如果這是基本速度的一億倍，那么計算機內存呢？正如我們所知道的，因為我們可以通過搜索引擎看到這一點，它們可以輕松地記住整個互聯(lián)網(wǎng)。沒有人類能記住那么多。它們在速度、內存、信息共享能力方面具有巨大的優(yōu)勢。

它們可以以每秒100億比特的速度相互發(fā)送信息，而我們只能互相交談，大約每秒只有10比特左右。所以計算機之間的通信速度比人類快了10億倍。

這些優(yōu)勢意味著，當我們理解了作為人類認知基礎的算法，并能夠在機器中重新創(chuàng)建這些能力時，然后再加上計算、速度、內存、通信帶寬等方面的優(yōu)勢，它們將遠遠超過人類。所以我們應該想象，在我們理解如何正確地做到這一點之前，我們可以通過使用大量數(shù)據(jù)來假裝彌補我們不真正了解智能應該如何工作的事實。當我們理解了智能應該如何工作時，AI系統(tǒng)將在每個維度上迅速超越人類能力。

所以這就是為什么我們在還沒弄清人類大腦的情況下，可以通過使用大量數(shù)據(jù)來假裝彌補“我們還沒有真正了解智能”的事實。當我們真正弄清了“智能究竟如何產(chǎn)生的”，AI系統(tǒng)將在每個維度上迅速超越人類能力。

所以這就是為什么我們必須先解決控制問題。如果我們在沒有解決控制問題的情況下開發(fā)出AGI，那么我們將失去控制，到那個時候才去想這個問題的時候，為時已晚。這也是我簽署聲明的原因之一，就是試圖向人們傳達這一點有多么重要。這與人類面臨的任何其他問題一樣重要，甚至可能更重要。

騰訊科技：這樣說來，目前包括 GPT-4 在內的大部分人工智能技術，其實還是“技術黑盒”。當科學家都沒真正弄懂它的原理的時候，就讓它去接觸這么多普通人，這是不是很不負責任？

羅素：什么是黑盒子呢？這并不是說我們看不到里面，我們可以看到里面。事實上，有GPT-4的開源版本，所以這并不是一個秘密。事實上，即使你可以看到所有的東西，你所能看到的只是一萬億個參數(shù)。

我來舉例，試著讓你感受一下這是什么樣子：你想象一下一個鏈環(huán)構造的圍欄，就像一個鉆石形狀的圍欄，我們用這種圍欄來圍住建筑工地和公園等地方。

你想象一下那個鏈環(huán)圍欄，每個環(huán)都是電路中的一個連接，那么GPT-4系統(tǒng)基本上是一個有一萬億個連接的巨大電路。

如果那是一個鏈環(huán)圍欄，它將是大約50千米乘以50千米的面積，2500平方千米，它將覆蓋多大面積的城市?，F(xiàn)在想象一下，有人說它就在那里，每一個鏈接上都有一個數(shù)字，表示電路中這個鏈接的連接強度。我們完全無法理解發(fā)生了什么。如果有人說，在電路中，它認為有1.07億人口在某個地方，但是你找不到它。它只是一堆數(shù)字，我們無法理解信息存儲在哪里，是否發(fā)生了推理，推理又發(fā)生在哪里，它有目標嗎？我們都不知道。

我詢問了微軟研究團隊的負責人，他們的工作是探索GPT-4的能力。所以在發(fā)布之前，他們已經(jīng)使用GPT-4進行了幾個月的實驗。他們寫了一篇名為《通用人工智能的火花》的論文。他們說這個系統(tǒng)展示了AGI的火花，我問那個小組的首席研究員，GPT-4是否學會了建立自己的內部目標。如果是這樣，那么它們是什么？他說，我們不知道。所以現(xiàn)在我們有了一個系統(tǒng)，但是它的內部運作的我們并不理解，它有可能已經(jīng)有了自己的內部世界目標。

我們還什么都不知道，在這種情況下，就把這個人工智能的黑盒子發(fā)布給數(shù)億人。對我來說，這似乎是不負責任的。

我還爭論過兩件事情。首先是我們訓練這些系統(tǒng)的方式。當我們訓練它們時，我們只是訓練它們模仿人類語言。其實當人類寫作和演講時，他們是有自己的內部世界目標的，而這些目標指導著他們說出來的內容。如果我想和某個人結婚，那么我會在談話中說一些話來說服她和我結婚，或者至少試圖說服她喜歡我。如果我競選公職，我是一名政治家。我會說一些話來試圖說服人們投票給我。因此，所有人類語言都是由有目標，并根據(jù)目標行動的人創(chuàng)造出來的。

如果你想模仿人類的語言行為，那么這個訓練過程的自然結果就是系統(tǒng)將獲得與撰寫所有這些文本的人類類似的目標。

現(xiàn)在你實際上要求它模仿的不是一個人，而是成千上萬寫下所有這些文本的人，他們都有不同的動機。所以你實際上正在創(chuàng)建一個具有多個人格的系統(tǒng)，有時它會像一個人一樣行事，有時它會像一個不同的人一樣行事，具有不同的目標。

在《紐約時報》中有一次非常廣泛的對話，對話雙方是《紐約時報》記者和必應搜索引擎中運行的 GPT-4 的一個版本，名為 Sydney。

這位記者名叫凱文，在某個時候，凱文說了一些話，導致 GPT-4 中激活了特定的個性?，F(xiàn)在激活的目標是 GPT-4想要嫁給凱文。

于是它開始試圖說服凱文離開他的妻子，說他的妻子并不真正愛他。凱文真正愛的是Sydney 這個聊天機器人。這一過程持續(xù)了很多頁。凱文一直試圖改變話題，而 Sydney 一直在說不，我真的愛你，你也真的愛我，你不愛你的妻子，這更重要。我們應該永遠在一起等等。這似乎是一個例子，激活了系統(tǒng)學習到的目標之一，并指導了系統(tǒng)的行為。

這真的很糟糕，對吧？一是，我們不知道系統(tǒng)的目標是什么，我們沒有辦法找出來，除非可能通過詢問，但你可能得不到正確的答案。

但是，我們不希望 AI 系統(tǒng)具有與人類相同的目標。這一點非常重要。有些人想成為世界總統(tǒng)或宇宙統(tǒng)治者，我們不希望 AI 系統(tǒng)有這個目標。

我們唯一希望 AI 系統(tǒng)具有的目標是對人類有價值，對人類有益。很少有人有這個目標?？傮w而言，人類的目標都是與自己相關的，人類想活下去，想擁有一個家庭，想相對富裕，想受歡迎，想成功。他們想在自己選擇的工作上表現(xiàn)出色。這些都是人類具有非常合理的目標。至少到目前為止，沒有辦法通過從人類生成的文本中訓練大型語言模型來使其具有這個目標——僅對人類有益。

我認為，如果我們要構建安全且對人類有益的 AI 系統(tǒng)，我們就不能使用這種方法。這是錯誤的方法，會產(chǎn)生由于錯誤原因而做錯事情的系統(tǒng)，我們必須嘗試一些不同的方法。

騰訊科技：這是不是也是將《人工智能：一種現(xiàn)代方法》的第四版做了一個重要更新的原因？（在之前的版本人工智能的目的被定義為“創(chuàng)建試圖最大化預期效用并由人類設定目標的系統(tǒng)”，第四版不再假定AI系統(tǒng)或代理具有固定的目標）

羅素：我想我應該坦白，因為在這本教科書的前三版，我認為我們只是試圖提供一個關于人工智能的統(tǒng)一理解。

我們發(fā)現(xiàn)這個智能體的概念，它追求的目標是由人類定義的，實際上捕捉了我們對人工智能研究的所有理解。而且這個理解是，AI 系統(tǒng)應該被賦予目標。然后他們應該以理性的方式追求這些目標。這是從哲學、經(jīng)濟學中借鑒來的。什么是理性行為？在1940s，這在哲學、經(jīng)濟學中已經(jīng)是一個非常成熟的理論了。它意味著最大化預期效用。在 AI 中，最初的版本比這更受限制。它們完全追求固定的目標，假設世界是確定性的。你不必擔心不確定性。你有一個固定的目標，不涉及權衡。所以你只需要想出一個實現(xiàn)目標的計劃就可以了。即存在目標并創(chuàng)建機器來以最佳方式實現(xiàn)目標。這個想法可以追溯到至少兩千五百年前的亞里士多德時期。

大約在 2013 年左右，我意識到那是一個錯誤。因為在現(xiàn)實世界中，在實驗室之外，不可能正確地指定目標。如果你在下棋，那么目標應該是將對手將死，而贏得比賽。如果你正在導航，你應該找到最短的路徑到達目的地。我們提出了解決這些問題的算法。

但在現(xiàn)實世界中，情況并非如此。在古希臘時期，有一個關于國王米達斯的傳說。米達斯是一個傳奇國王，據(jù)說非常非常富有。但在故事中，他請求神靈讓他所觸碰的一切都變成黃金，他認為這是正確的目標。但后來事實證明，在現(xiàn)實世界中，他的食物變成了黃金，所以他不能吃；他的水變成了黃金，所以他不能喝；他的家人變成了黃金，所以他不再有家人，最終在痛苦和饑餓中死去。

因此，我們很長時間以來就已經(jīng)明白，在現(xiàn)實世界中無法正確地指定目標。你總會忘記一些重要的東西，或者你會錯誤地陳述事情。這意味著 AI 的這種基本方法——即人類指定目標，機器實現(xiàn)目標——在現(xiàn)實世界中是不可行的。我們無法正確地做到這一點。

如果我們指定錯了，而 AI 系統(tǒng)比你更聰明，但是AI 系統(tǒng)正在追求錯誤的目標，你無能為力，因為為時已晚。一旦你設定了目標，AI 系統(tǒng)就會實現(xiàn)它。這就是國王米達斯發(fā)現(xiàn)的問題，太晚了。因此，解決方案似乎是構建 AI 系統(tǒng)，它們希望對人類有益，并希望追求人類想要的未來。

但在一般情況下，它將不確定人類想要什么。這實際上會導致非常不同的技術路線，例如，一個不確定人們想要什么的系統(tǒng)可能會提出一個計劃，但如果該計劃涉及到我們偏好不確定的世界的某個部分，它可能需要征得許可。

例如，我們可能會說我們真的想解決氣候變化，我們真的需要將二氧化碳水平降回到工業(yè)革命之前的水平。

因此，如果系統(tǒng)提出了一種解決方案，其中涉及某種化學反應來從大氣中去除二氧化碳，但它會使海洋變成酸性。它會說，我不確定人類是否想要這樣做。他們想解決大氣問題。我不知道他們對海洋有什么要求。

因此，在執(zhí)行此操作之前，AI系統(tǒng)應該詢問人類，你們關心海洋嗎？我們會說，是的，我們關心海洋，我們不希望海洋變成酸性。該系統(tǒng)現(xiàn)在已經(jīng)了解了我們的偏好。在傳統(tǒng)版本中，系統(tǒng)從未請求許可，因為它認為自己已經(jīng)知道你想要什么。而在新版本中，系統(tǒng)現(xiàn)在有理由請求許可。在極端情況下，如果我們想關閉它，則它希望被關閉，因為它希望避免執(zhí)行任何可能導致我們想關閉它的操作。再次強調，在傳統(tǒng)情況下，它將避免被關閉，因為它希望實現(xiàn)目標。它實際上會抵制人類任何試圖關閉或以任何方式干擾其實現(xiàn)目標的嘗試。

因此，我認為這種新型 AI 實際上是更加智能和更加安全的。但正如我在書開頭所說，我們還沒有在這個新基礎上開發(fā)出所有技術。仍有大量研究需要進行，因此，也許在第五版中，我們將解釋如何構建這些行為正確的新型 AI 系統(tǒng)。我相信，如果我們能做到這一點，即使系統(tǒng)比人類更聰明，我們也有可能永遠保持控制。

(行業(yè)交流，請?zhí)砑幼髡呶⑿舋race_guoxj，煩請備注公司、職位)

騰訊科技整理推出大佬AI演講珍藏合集，精選OpenAI CEO奧特曼，以及蓋茨、馬斯克、圖靈獎得主辛頓等頂尖科技大佬過去半年來對AI技術革命、倫理爭議等話題的演講、專訪和對話。歡迎點擊閱讀原文，訪問騰訊新聞客戶端，收藏閱讀。

標簽：