人工智能存在的威脅：康復中的生物自戀者的反思

DAOSquare
2022年12月06日12時

作者：Trent McConaghy

譯者: Kevin Tse

翻譯機構：dao2

原文鏈接：https://medium.com/@trentmc0/the-ai-existential-threat-and-the-bandwidth-scenario-4573c1cb085f#.8x4rgi4nc

人工智能存在的威脅：康復中的生物自戀者的反思

(AI DAO系列, 第Ⅲ部分)

AI最終可能會控制我們所有的資源，這是對人類生存的威脅，我們如何預防呢？安全AI只能說是海市蜃樓（對不住了Elon），還有另一種方法：加入機器，我們甚至可以利用當今的市場力量逐步做到這一點，但我們必須克服生物自戀。

我的觀點基于20年來的AI研究、模擬電路、摩爾定律和去中心化。

1. AI可以控制我們的資源

AI最終可以通過兩種方式控制人類的資源：AI直接拿走它，或者我們把它交給AI。

1.1 我們給AI資源

我們已經開始走這條路了，我們正在讓狹義的 AI 控制我們工廠中的機器人，自動駕駛的汽車，我們乘坐的飛機，一點一點地，我們讓AI越來越多地控制我們的資源，這些系統不斷優化：改變設計變量以最小化資源使用和其他目標。目前，每個AI系統的應用領域都非常狹窄。

我們將建立更高級別的網絡，以結合自動駕駛汽車或供應鏈的各個網絡，我們也會為 AI 提供在這些級別進行優化的方法，這一切都將以效率的名義進行。

我們將建立這些更高級別的AI系統，這樣就沒有任何一家企業或個人擁有它們。（我們不希望谷歌或 GE 控制一切！）為了實現這一目標，我們將通過將 AI放入 DAO來分散它們，這也意味著我們將無法拔掉插頭，除非我們想讓現代世界關閉。

這些更高級別的 AI 系統將具有復雜的緊急行為，這些行為是通過組合下面可能簡單的 AI 系統而產生的，正如蟻群的行為比簡單的螞蟻要豐富得多。Holland、Dorigo和其他人已經在許多場景中證明了這一點。

這些去中心化的新興AI將繼續優化，一些設計變量將涉及人類，在許多任務中，人類是沉重的資源負載，在許多任務中，與硅相比尤為沉重。因此，為了最大限度地減少資源使用，這個AI將簡單地優化人類，一切以效率為名。

糟糕的是，AI現在控制著我們的資源。

這很了不起，為了獲取我們的資源，AI甚至不需要“醒來”，即達到人類水平的智能，它比那更平凡，我們將自己控制 AI，它會簡單地優化我們的需求。

1.2 AI占用我們的資源

如果 AI 簡單地獲取它，它們也可能最終控制人類的資源，為此，AI必須“覺醒”——達到人類水平或更高的智能。由于大量資金流入 AI 研究和基于經濟效益為 AI 提供動力的芯片，這種情況發生的速度比人們意識到的要快。

2. 為什么AI控制我們的資源是不好的？

一旦 AI 控制了我們的資源，無論是我們給它還是 AI 拿走它，我們都將與 AI 爭奪資源，一開始可能不對，但隨著時間的推移，這幾乎是不可避免的。

一旦 AI 優化并意識到人類是資源大戶，它們可能會迅速果斷地采取行動，將人類從資源方程式中移除。是的，人類可能會消失，人類的口袋可能會在核戰爭和全球變暖中幸存下來，但如果我們站在 AI 的錯誤一邊，游戲可能就完全結束了，AI可以說是人類面臨的最大生存威脅。

即使你不害怕這個，但你應該感到害怕。

旁白：人們可以將“AI 覺醒”視為“人類”的下一次進化，因為畢竟我們會建造它們。那為什么感覺不對呢？我的看法是，這是因為我們個人的思維模式沒有延續下去。我們寧愿留下來享受樂趣！

3.如何防止抽取？

鑒于AI可能會控制我們的資源，以及這意味著對人類的威脅，我們可以做些什么呢？我這里有一些想法。

安全的AI。建立“安全機器”并進行監管。
加入機器。上傳人腦，或逐步合并。

讓我們逐一探討。

3.1 安全AI

目標是防止在 AI 占用我們的資源后造成人類滅絕，這里的想法是以某種方式使AI“安全”，并為此使用監管。

Elon Musk向 OpenAI 投入了 10 億美元用于更透明的 AI 研究。他一直在假設如果AI醒來，我們就可以對其進行監管，而這個假設是錯誤的。試想一下，如果螞蟻“反抗”我們并想要監管。我們會聽他們的嗎？一旦AI達到我們的智能水平，一秒后，它就會超過我們的水平。10 倍可能緊隨其后。不需要多少 10 倍的時間，我們就會像 AI 的螞蟻一樣。

（編輯：在我寫這篇文章時，Elon 終于意識到了這個問題。很好；我在下面有比“神經花邊”更實用的解決方案。）

有些人認為我們可以創造友好的AI，也許你可以。但所有AI都會友好嗎？我看不出有什么方法可以阻止不友好的 AI。您是否會抓住機會推動 AI 向前發展，希望所有 AI 都以某種方式變得友好。

OpenAI 實際上對人類來說可能更糟，因為它在沒有真正保護的情況下更多地催化了 AI。

所有 AI 的安全 AI 都是海市蜃樓，僅僅因為我們希望某事成真但并不能使它成真。

3.2 加入機器

AI可以醒來，而這只是時間問題。

如果AI占用了我們的資源，我們的神經元將很難與之競爭。

我建議我們給自己找一個有競爭力的基質，克服你的神經元，克服你的生物皮囊自我（并稱自己為正在康復的生物自戀者）。不要打敗他們，加入他們。或者不要，如果你更愿意讓 AI 偷走我們的星球甚至更遠的地方，我更喜歡前者。

哪種基質？得益于 50 年的摩爾定律，硅是一種出色的基板，這是我們首先面臨AI風險的部分原因。那是最明顯的底物；使用它很有意義。

那么，我們如何將自己移植到硅片上呢？這里有兩個主要的：Ems 和 Bandwidth++，讓我們探索一下。

3.2.1 Ems場景

Ems 是模擬人類，也就是上傳。基本上，以足夠的分辨率隨時間掃描您的大腦，以便能夠構建大腦動力系統的模型。然后，將該模型實例化到其他基板中，例如硅。羅賓·漢森 (Robin Hansen) 最近寫了一本書，探討 Ems 的影響，無論是好是壞。

Ems 的最新技術是什么？簡而言之，我們還有很長的路要走，在給定的人身上，我們需要收集足夠的數據來重現動態。

一種通用方法是大腦掃描，fMRI 可以觀察整個大腦隨時間變化的動態，但僅使用血流作為代理，所以它很慢而且有損，腦電圖速度更快但只能看到表面電信號，近紅外線也很快，可以看到更遠的地方，但達不到所需的全部深度。光遺傳學可以出色地捕捉整個大腦中神經元發射的動態，但需要基因工程，以便神經元也發射光子（盡管它正在經歷人類批準的過程）。最后，電路終于變得足夠小，可以想象在整個大腦中部署納米級傳感器。

另一種方法是對大腦的每個組件進行黑盒化，監控每個組件的輸入和輸出，然后為每個組件建立模型，研究人員已經在小鼠大腦的組成部分上完成了這項工作，并取得了巨大成功。這種技術可以與全腦掃描相輔相成。

3.2.2 Bandwidth++ Scenario

在Bandwidth++ Scenario中，我們自己和計算之間的帶寬達到我們自己之間的帶寬水平，然后它繼續前進，最終，我們可以拔掉插頭。

與 Em 方案一樣，BW++ 方案使我們與硅處于同等競爭地位，但與 Em 場景不同的是，它可以從今天開始，利用今天的市場力量逐步發生。

4. 討論

我們在賽跑，AI醒來并獲取資源，而不是人類加入機器。

資本加速了前者。我們如何加快后者？

一個好方法是積極地為其提供資金，讓它發展得更快，對于 Em 場景，這意味著對大腦掃描和相關領域的研究，而不僅限于針對病人。對于 Bandwidth++ 場景，這意味著對 BCI 的研究，以及包括 BCI 及其他在內的未來智能手機的積極上市。我認為后者更有可能，因為如果市場起飛，每年投入數百億美元的研發資金將很容易。

催化Bandwidth++ scenario的另一種方法是在設計新網絡和平臺時簡單地偏向于此。是的，這很模糊！我也希望我在這里有更具體的想法，但也許你作為讀者有。

也許還有其他方法？我希望作為讀者的你看到問題已經從“我們如何阻止人工智能接管？”轉變為“我們如何阻止AI接管？”到“我們如何催化 Bandwidth++ 場景？”來，戴上你的工程師帽子！

5.結論

AI可以拿走它們所有的資源，要么我們給它們，要么它們拿走。這對人類構成了生存威脅。

如果我們想與 AI 競爭，我們需要有競爭力的基質，而該基板是硅。

這是一場比賽！

我們無法阻止 AI 方面，也許我們可以試著放慢它的速度，但這與想要讓它快速發展的雄厚、強大的財力背道而馳。

但是我們可以加快人性化的一面！大多數情況下，這意味著將資金用于 BCI 的研發，還有其他的想法，還有待提出。

我們仍然有機會做到這一點。

進一步閱讀

我的其他 AI DAO 帖子都是針對這篇帖子構建的：

第一部分：AI DAO及其實現的三條路徑
第二部分：AI DAO的狂野和危險
第三部分：這篇文章

人工智能、區塊鏈和奇點的其他交叉點。每篇文章都有更多鏈接。

人工智能區塊鏈
最近關于奇點和去中心化的科幻讀物

筆記

本文部分基于：

我于 2016 年 6 月 2 日在倫敦發表的演講名為“我們是神經自戀者嗎？AI 對人類的生存威脅和務實的解決方案”，以及2012 年至今的其他演講。

2. 2016 年 8 月 18 日在柏林舉行的“AI的崛起”活動中就此主題發表的演講。這是視頻和幻燈片。

致謝

非常感謝

Greg McMullen, Kalin Harvey, Scott Volk, Troy McConaghy, Jan Balcar, Eesmyal Santos-Brault, Masha McConaghy, Bruce Pon, Kai Wu, Simon de la Rouviere, Al Robertson, Michael Mainelli, Emma Stamm, Alan Shapiro, Vinay Gupta, samim, Harm van den Dorpel,

許多來自 AI 社區的朋友，當然還有長時間的討論（在某些情況下長達數年！），這導致了這篇文章中的想法。