書名：超智慧

作者簡介

尼克．伯斯特隆姆（Nick Bostrom）
　　牛津大學哲學系教授，其學術背景包含理論物理學、計算神經科學、數學邏輯、人工智慧以及哲學。他在全球五十歲以下的哲學家中被引用次數最多，擁有廣泛的影響力。伯斯特隆姆同時是牛津馬丁學院人類未來研究所（Future of Humanity Institute）的創立者和所長。這個跨學科的研究中心聚集了一群傑出的數學家、哲學家和科學家，共同致力於深入探索人工智慧的安全與政策、生物安全、宏觀策略、數位思維倫理等關鍵科技與基礎問題。
　　伯斯特隆姆的學術成就與貢獻受到廣泛讚譽。他是TED大會的常客，多次在此發表演講，並且已接受超過一千次來自各類媒體的採訪。他的學術實力和影響力使他兩度榮登《外交政策》（Foreign Policy）雜誌的全球百大思想家名單，並且作爲最年輕的思想家之一，他也成功躋身於《展望》（Prospect）雜誌的世界思想家排行榜前十五位。
　　除此之外，伯斯特隆姆相當多產，已出版約二百篇著作，包括具有開創性的《人類偏誤》（Routledge）、《全球災難風險》（編輯，牛津大學出版社）以及《人類增強》（編輯，牛津大學出版社）。他的學術作品被翻譯成三十多種語言，並在全球廣泛流傳。本書《超智慧》更是受到學術與實務領域推崇，每當人工智慧議題再起，必定名列經典必讀之作。

譯者簡介

唐澄暐
　　政治大學新聞系、台南藝術大學紀錄所畢業。曾任《台灣立報》國際版版主及編譯。喜愛怪獸及幻想作品，目前同時從事翻譯及怪獸小說寫作。譯有《世界觀：現代年輕人必懂的科學哲學和科學史》《我們的知與不知：：探索科學、歷史、人類心智的知識邊界》、《五十億年的孤寂》、《地球之後》、《數字公民》等書。

書籍目錄

寫在前面 未完的麻雀寓言
序言 控制超智慧的超級難題

第1章 人工智慧的無盡春天
第2章 邁向超智能的途徑
第3章 超級能的形式
第4章 智慧爆發的動力學
第5章 關鍵策略優勢
第6章 接管全世界
第7章 超智慧的意志
第8章 我們創造的，終將毀滅我們？
第9章 控制難題
第10章 先知、精靈、君王、工具
第11章 多極情境
第12章 獲得價值
第13章 選擇「選擇準則」
第14章 策略景況
第15章 緊要關頭

致謝
注釋
參考書目和文獻資料

推薦序/導讀/自序

寫在前面
未完的麻雀預言

築巢季節，麻雀們歷經數日辛勞，一同坐在夕陽下放鬆、聊天。

「我們太弱小了。要是有隻貓頭鷹來幫我們築巢，日子會多輕鬆！」

「就是說啊！」另一隻說。「我們還可以用牠來照顧老小。」

「牠可以給我們一些忠告，還可以提防周遭的貓。」第三隻麻雀附和。

然後，年長的鳥兒帕斯圖斯（Pastus）開口了：「這樣吧，我們向各方發動偵查，找找被遺棄的貓頭鷹雛鳥或是鳥蛋。小烏鴉或許也行，不然就小鼬鼠。要是成了，那可真是好事一樁，至少會是後院開了湧泉亭（Pavilion of Unlimited Grain）以來最棒的事。」

麻雀們興奮不已，開始四處嘰嘰喳喳。

只有個性焦躁的獨眼麻雀史克隆芬克（Scronkfinkle）懷疑這種企圖是否明智。牠說：「這一定會失敗。把貓頭鷹帶到族內之前，不是該先思考如何馴服這個怪物嗎？」

帕斯圖斯回道：「馴服貓頭鷹似乎十分困難。光是要找到貓頭鷹蛋就已經夠難了，等我們成功養大貓頭鷹，再來考慮這項挑戰吧。」

「這計劃有缺陷啊！」史克隆芬克驚呼。然而鳥群早已飛去執行帕斯圖斯的指示，牠的抗議已是徒勞。

只有兩三隻麻雀留了下來。牠們一起探討要怎麼馴服貓頭鷹，不久，大夥兒便察覺史隆芬克的擔憂沒有錯：這是個相當困難的挑戰——特別是在找到供他們驅使的貓頭鷹之前，不可能有貓頭鷹讓他們練習。即便如此，牠們還是竭盡所能探討，深怕鳥群還不知道怎麼控制貓頭鷹這個難題，就把貓頭鷹蛋帶了回來。

這個故事會如何結束仍屬未知，但作者將本書獻給史克隆芬克，以及跟隨牠的人。

序言
控制超智慧的超級難題

正在進行閱讀的，是你頭蓋骨裡的那個東西：人腦。人腦具有其他動物腦袋缺少的能力；我們之所以能主宰地球，得歸功於這些能力。其他動物有更強壯的肌肉、有更尖銳的爪子，而我們有更聰明的頭腦。人類一般智力上的優勢，讓我們發展出語言、技術以及複雜的社會組織。當新一代以上一代的成就為基礎而前行，這些優勢也隨著時間疊加。

如果有一天，我們打造出超越人腦的機器腦，這個全新的超智慧可能會非常強大。此外，就如大猩猩的命運如今掌握在人類手中（而非牠們本身），我們的命運也可能取決於超級智慧機器的行動。

我們的確有優勢：畢竟這東西是我們創造出來的。原則上，我們應該打造出一種能保護人類價值的超智慧，這麼做也的確有充足的理由。但事實上，所謂「控制難題」——也就是如何控制超智慧的難題——似乎相當困難，成功的機會恐怕也只有一次。一旦不友善的超智慧出現，它有可能會阻止我們替換掉它、或是改變它的偏好。屆時，我們的命運大勢已定。

在本書中，我試著理解超智慧的前景所呈現的挑戰，以及我們該如何應對。這很可能是人類有史以來得面對，最重要也最艱難的挑戰。不論成敗與否，恐怕都是我們將面對的最終挑戰。

書中的論點並未指出我們正處於人工智慧重大突破的臨界點，也未準確預測進展何時會發生。雖然這一切看似將在本世紀的某一時刻發生，但我們其實無法肯定。頭幾個章節確實討論了某些可能的途徑，也提及時間點的問題，然而本書的主體主要還是聚焦在發生之後該怎麼辦。我們研究了智慧爆炸的動力學、超智慧的形式和能力，以及當超智慧行動主體（agent）獲得關鍵優勢後，我們可用的策略選項。接著，我們將焦點轉移到控制難題，並提問：在形塑初始條件時，我們可以做什麼，好得出一個有利的結果，讓人類得以存續？在本書結尾，我們將拉開視野，並從我們的探索中思考更廣泛的景況。我們提出一些設想：當前人類必須做什麼，才有較大的機會避免日後的滅亡危機？

這本書並不好寫。我希望本書可以釐清一條路徑，以便其他研究者能更快捷向前推進，抵達知識的前沿，並準備好投入研究，進一步拓展我們理解的範疇。（如果開展的這條路上有些顛簸崎嶇，我希望評論者在給予評價時，不要低估了先前並不友善的地形！）

寫這本書不容易：我得試著讓它成為一本易讀的書，但我不覺得自己有成功達成目標。撰寫過程中，我設想的目標讀者是早期的我，並試著寫出一本我會喜愛的書。但後來我發現，這個人口取樣過於狹隘。儘管如此，我仍然相信如果世人願意多多思考，並試著不用文化語彙中最相近的俗成語意來吸收那些容易遭誤解的新想法，本書的內容應該是容易理解的。書中偶爾會出現數學或專業名詞，非技術背景的讀者不必因此感到挫折，你可以從前後的解釋拼湊出主要的論點（然而，對那些想更了解真相的讀者來說，書末的注釋可謂應有盡有）。

本書提出的不少論點有可能是錯的。 我可能忽略了幾項關鍵性的考量，使我的某些結論、甚至多數結論都站不住腳。我花了不少篇幅指出全書中不確定事物的細微差別和程度，也用了諸多如「有機會」、「可能」、「或許」、「有可能」、「似乎」、「或可」、「幾乎可說」這些不美觀的字眼。每個修飾語都經過深思熟慮，小心置於文句中。然而，這些在認識論上表達謙虛意向的強度並不足夠，還得經由不確定性與可證偽性的驗證來彌補。這並非故作謙虛；儘管我相信本書有可能嚴重錯誤且誤導讀者，但我仍然認為文獻中呈現的其他觀點（包括既存的「零假設」（null hypothesis）觀點）甚至更糟——根據那些說法，我們仍然很安全，而且可以合理忽視超智慧的未來發展性。

文章試閱

第1章　人工智慧的無盡春天

先從回顧開始。以最大的尺度觀察歷史，歷史似乎展現一連串明顯的成長模式，每次都比前一次更加快速。這樣的模式預示了另一波（更快速的）成長模式。然而，我們並不打算著重這個觀察結果。本書的主旨並不是探討「技術加速」或「指數成長」，或是那些五花八門、偶爾會集結在「技術奇點」（注：singularity，根據科技發展史總結出的觀點，認為人類正在接近一個使現有科技被完全拋棄、或人類文明被完全顛覆的事件點，事件點過後的事件完全無法預測）標題下的概念。本章我們將回顧人工智慧的歷史，並探索此領域的現有能力。最後我們將看看近期專家的意見，深刻檢討我們對未來進展時間表的忽略。

▌希望與絕望的季節

1956年夏天，十位對神經網路、自動機理論（automata theory）和智慧研究有興趣的科學家在達特茅斯學院（Dartmouth College）召開了一場為期六週的工作坊。這項「達特茅斯夏季計劃」可說是人工智慧領域研究的黎明。許多參與者日後都被視為人工智慧的創始人。

這群人的樂觀展望反映在他們交出去的提案中（收件者為出資的洛克斐勒基金會〔Rockefeller Foundation〕）：

我們提議進行一項為期兩個月、投入十人的人工智慧研究……這項研究進行基於下述推測：學習的每一面向或任何一種智慧的特徵，基本上都可以精準描述，並由一組機器來模擬。我們將找出讓機器能使用語言、產生抽象概念、解決人類問題，以及自我增進的方法。我們認為，若能精選出一組科學家共事一夏，上述問題（至少一個以上）會有長足的進展。

如此盛氣凌人的開場之後，人工智慧領域就在一段段炒作、期待、挫折和失望之間，交替了將近一甲子的歲月。

第一個令人興奮的時期始於達特茅斯會議，也就是日後約翰．麥卡錫（John McCarthy）所謂的「媽媽，你看我沒用手！」時期。當時，懷疑論的主張非常普遍（像是「絕對沒有機器能做到XX！」），早期研究者打造的機器往往是為了反駁這類主張而生。為此，人工智慧研究者打造了小型系統，在「微型世界」裡達成目標（在一個定義明確且設限清楚的範圍內，讓一個減量版的行動成立），藉此提供概念證據，證明原則上機器是可以做到XX的。一個叫做「邏輯理論家」（Logic Theorist）的早期系統，能證明阿爾弗雷德．諾斯．懷特海德（Alfred North Whitehead）和伯特蘭．羅素（Bertand Russell）合著的《數學原理》（Principia Mathematica）第二章中大多數的定理，甚至能想出更優雅的證據，破解了機器「只能數字化思考」的概念，展示機器也能演繹並創造邏輯證明。

接下來，一個名為「一般問題解決器」（General Problem Solver）的程式，原則上解決了各種形式單一明確的問題。 接著，有人寫出可以解決大一微積分課程的問題、某些智力測驗出現的視覺類比問題，以及簡易言語代數問題的程式。 「沙基」機器人（Shakey robot，運作時會震動）確立了邏輯推理可與知覺統整，並用來計劃及控制物理活動。 「艾莉莎」（ELIZA）計劃則展示了電腦模仿採取個人中心治療（注：Rogerian，以創始人卡爾．羅哲斯為名的治療，強調當事人的正面成長與發展，而非治療技巧）的精神治療師。 1970年代中期，SHRDLU程式展現了一個處於模擬幾何塊狀世界中的模擬機器手臂，手臂能根據指示，以英語回答使用者輸入的問題。 接下來幾十年打造的系統證明，機器可以用各種古典作曲家的風格譜曲。在某些臨床診斷工作上，機器甚至表現得比資淺醫生還要好。機器也可以自動開車，或做出能獲得專利的發明物。 甚至還有人工智慧會說原創笑話 （這並不是說它有多幽默——「帶著精神物穿過視覺器官，會得到什麼？一個洞見。」——據小孩子說，它的雙關語還滿有趣的）。

但後來事實證明，這些早期實作系統的成功途徑很難延展到更多樣或是更難的問題上。其中一個理由在於，可能的「組合爆量」（combinatorial explosion）多到系統得仰賴窮舉搜尋法來進行。這種方法在問題簡單時可以運作得不錯，但要是問題變得複雜，就不管用了。舉例來說，在一個有一條推理規則和五個邏輯公理的演繹系統中，若要證明某個有五行證明的假說，我們可以輕易算出共有3,125種組合，接著一條條檢查，就能得出預期的結論。窮舉搜尋在證明只有六、七行時也能運作，但當問題的難度愈來愈高，沒多久窮舉搜尋就會故障。若要用窮舉搜尋做一道五十行的證明，所花的時間不是比五行多十倍，而是需要組合550≈8.9×1034種可能的序列——就算用最快的超級電腦，計算上都不可行。

……

第8章　我們創造的，終將毀滅我們？

我們發現，智慧和終極價值之間的連結相當鬆散。我們也在前章的工具價值中發現不太妙的工具趨同性。在弱小的行動主體身上，這不是什麼大問題，畢竟弱小的行動主體很容易控制，且不會造成什麼損害。但我們在第六章已經證明，第一個超智慧很有可能會取得關鍵策略優勢，因此它的目標會決定宇宙稟賦將如何使用。現在我們就來看看這樣的前景威脅有多大。

▌智慧爆發的預設結果是「生存災難」？

生存風險指的是會造成地球原生智慧生命滅絕，或是永久毀滅未來發展的威脅。基於領頭者具有關鍵優勢、正交命題以及工具趨同命題，我們現在可以探究「機器超智慧誕生的預設結果必是生存災難」這個論點。

首先，我們討論了最初的超智慧會如何獲得關鍵策略優勢。接下來，超智慧將處於一個會形成單極、且形塑地球原生智慧生命未來的地位。那一刻來臨之後將發生什麼事，則取決於超智慧的動機。

再者，正交命題認為，我們不能隨便假定一個超智慧理所當然會與人類的智慧與發展共享任何一種終極價值——例如對科學的好奇心、對他人的善良關懷、精神啟迪與深思、克制物質貪欲、對精緻文化和生命簡單愉悅的品味、謙遜與無私等等。後文我們會思考，我們是否有可能刻意創造出一個重視這些價值的超智慧，或是打造一個重視人類福祉和道德良善的超智慧（或設計者希望超智慧效忠的任何目的）？打造一個把終極價值放在計算圓周率小數點後展開位數的超智慧並非不可能，事實上就技術角度來說，反而比較簡單。這就表示（一點也不費工夫的結論），第一個超智慧可能會有這種隨機或是簡化的終極目標。

第三，工具趨同命題讓我們不能隨便假定，一個以計算圓周率展開位數，或是以製造迴紋針，或是以數算沙粒為終極目標的超智慧，會把活動限制於此，便不再侵犯人類的利益。具有那種終極目標的行動主體可能會有趨同工具理性，讓它在各種情況下都想要獲取數量無限的物理資源。若有可能，它會把自身和目標系統的潛在威脅全數消滅。人類也有可能成為它的潛在威脅，畢竟人類的確也是一種物理資源。

綜觀這三點，我們可以指出，有可能形塑地球原生生命未來的第一個超智慧，很容易會有非人性的終極目標，而且很有可能會把無限制的資源擷取當做工作理性。當我們進一步反思，人類其實是由有用的資源所構成（方便鎖定的原子），而且我們的生存與繁盛緊繫更多的在地資源，導出結果就會很簡單：人類很快就會被滅絕。

……

第10章 先知、精靈、君王、工具
有人會說：「做一個回答問題的系統就好啦！」或是「做一個像工具而不像人的人工智慧就好啦！」但這種主張並不會讓各種安全疑慮消失。事實上，哪一種系統能提供最好的安全遠景，是個重大問題。我們來思考四種「階級」：先知、精靈、君王、工具，並解釋它們之間的關係。 在探究怎麼解決控制難題的過程中，我們將會看到每種階級各不相同的優劣。

▌先知

先知是個回答問題的系統。它能接受用自然語言提出的問題，並以文字呈現答案。只接受是╱否問題的先知，可用單一位元輸出它的最佳猜測，或是再多幾個位元來呈現它的信心程度。接受開放式問題的先知會需要一些度量，藉以將可能的答案依資訊性（informativeness）或適當性（appropriateness）來排序。 不管在哪種情況下，打造一個具有全面領域通用能力、以自然語言回答問題的先知，面臨的都是「AI完全」問題。如果它辦得到，就有可能也打造得出像了解人類言語一樣能了解人類意圖的人工智慧。

一個僅具備限制領域超智慧的先知並不難想像。舉例來說，我們可以設想一個數學先知，它只接受以形式語言表達的問題，卻十分擅長回答這類的問題（例如能瞬間解決人類數學家得集體花上一個世紀才能解開的絕大多數數學難題）。這樣的數學先知將成為邁向通用領域超智慧的墊腳石。

在極限制的領域中，其實早就有超智慧先知存在。口袋計算機可看做基本算術問題的極限制先知；網路搜尋引擎則可看做極小幅度實現「某一包含整體人類知識之重大部分領域」的先知。這些領域受限的先知，與其說是行動主體，不如說是工具（等一下我們會多談談工具人工智慧）。不過在下文中，「先知」這個詞如果沒有另外聲明，都會用來指稱擁有通用領域超智慧的回答問題系統。

若要創造一個通用超智慧做為先知，我們可以同時運用動機選擇法和能力控制法。先知所需的動機選擇，可能比其他階級的超智慧容易，因為先知的終極目標相較之下很簡單。我們要先知提供真實且非操作性的答案，否則就限制它的影響力。應用馴服法，我們可以要求先知只運用指定的資源來產生答案。舉例來說，我們可以事先規定，先知的答案必須基於預先裝設好的資料庫，例如儲存的網路快照，且只能使用固定次數的運算步驟。 為了避免刺激先知操縱我們給它較為簡單的問題——如果我們給它的目標是「在所有我們問的問題中都將自己的正確度最大化」就會發生——我們可以給它「只回答一個問題，並在給出答案後立刻終止」的目標。問題會在程式運作前就預先裝在它的記憶中。若要問第二個問題，我們就得重新啟動機器，並以記憶體中預先裝入的另一個問題來運行同一套程式。

就算只是具體運作先知所需相對簡單的動機系統，微妙且潛在的背信挑戰還是會出現。舉例來說，假設我們有了關於「對人工智慧而言，『達到某一結果並對世界的影響最小化』的意義是什麼？」或是「對人工智慧而言，『只使用指定的資源來準備答案』的意義是什麼？」的說明，那麼假使人工智慧在發展智慧的歷程中，經歷了一場有如科學革命的基礎本體論改變，那會發生什麼事？ 我們有可能已經先用我們自己的本體論（假定了像是電腦等各種物理性物體的存在）說明「影響」和「指定的資源」，但就像我們拋棄過往科學家視為理所當然的本體論範疇那樣（例如燃素むphlogistonめ、生命衝力むÉlan vitalめ和絕對同時むabsolute simultaneityめ），超智慧有可能會發現，我們目前某些範疇的基礎奠基在基本的誤解上。經歷這種本體論危機的人工智慧目標系統需要夠有彈性，其原始目標內容的「精神」才能維持下去，並且轉移到新的關鍵概念上。

透過動機選擇來維持先知的安全性，儘管不是多簡單的事，但要在那種漫步全球只為追求複雜目標的人工智慧上做同樣的事，卻只會更加困難。這是種偏好「第一個超智慧要是先知」的論點。另一種優先支持先知的論點認為，先知容易受到能力控制法的影響，所有標準的盒裝法在此都適用。此外，還有一些方法對先知特別有用。舉例來說，假設一個先知回答問題時不以真實的方式回答，而是以一種稍微操弄我們的方式回答，好推動它自己隱藏的議程，那我們可以想想這會有什麼風險。稍微緩和這種威脅的方法之一，就是創造好幾個先知，每個先知都有稍微不同的程式碼和略為不同的資料庫。接著使用一個簡單的機制來比較每個先知所給出的答案，並只在它們給出的答案都一致時，交給人類檢閱。雖然我們必須假設，任何一個通用領域的超智慧先知都知道其他先知的存在（它可以從手上的人類社會相關知識推測出來），但我們還是可以把每個先知的執行細節都稍做隱藏，不讓其他先知看到。如果先知無法彼此聯絡，那麼它們透過協調而在給我們的回答中動手腳，就會比較困難。偏離事實有很多方法，先知們可能無法在「哪個偏差比較有吸引力」這件事情上一致——儘管真實本身是個謝林點（Schelling point，一個在沒有聯繫的情況下意見一致的匯合點），因此如果先知出現共識，就是給出正確答案的信號。

第15章 緊要關頭

我們發現自己處在錯綜複雜的策略難題中，被不確定的濃霧包圍。雖然釐清了許多思路，但其細節和相互影響依舊不清楚，而且可能還有我們尚未想過的其他因素。在這種窘境中，我們該做什麼？

▌該做什麼？

因此，我們要專注在不但重要而且急迫的難題上，因為難題的解答在智慧爆發之前就必須取得。我們也要留意不該著手處理有負面價值的難題（例如解決起來會有害的那種）。舉例來說，有些人工智慧領域的技術問題之所以具負面價值，是因為解答可能會加速機器智慧，卻沒有同樣加速開發控制方法，使機器智慧革命讓人類存活並受益。

要辨認出緊急而重要的難題，且又能確信其有正面價值，恐怕並不容易。圍繞著減緩生存風險的策略不確定性，代表著就算出於好意的介入，我們還是得擔心最終可能不僅無效，甚至可能造成反效果。若要限制因為做有害或道德錯誤的事而造成風險，我們應該要去處理那些看起來價值強烈正面的難題（也就是其解答在各種情況中都產生正面貢獻的難題），並採取強烈正當的手段（也就是能被各種道德觀所接受的手段）。

在選擇難題的優先處理順序上，還有一個進一步的必要事項得考慮。我們想要處理那些對我們的努力而言有彈性的難題。在同一個單位的努力下，可以更快速或是更大幅度解決的難題，屬於較有彈性的難題。在世上鼓吹更多善意，是個重要而迫切的難題——此外，也是相當強烈正面價值的難題；然而，該怎麼處理它，我們卻沒有突破性的想法，所以這個難題只算得上彈性相當低的難題。同理，人類極度需要世界和平；但想想人類已為此投下的無數努力，以及快速解決所面臨的重重恐怖障礙，就會覺得即便再多一兩個人的貢獻，恐怕也很難造成什麼改變。

為了降低機器智慧革命的風險，我們建議兩個最符合所有必要事項的目標：策略分析和能力打造。我們對這些參數跡象比較有信心——更多策略洞見和更多能力就是更好。更進一步來看，這些因素是有彈性的：多增加一點投資，就可以產生相對大的差異；增加洞見和能力也很急迫，因為這些因素在早期的提升，可能會產生加倍的效果，讓大量的投入變得更有效率。除了這兩個大目標外，我們將指出另外幾個也有潛在價值的先行目標。

（更多精彩內容，請見感電出版《超智慧》）