是啊，好的，讓我們拿 COVID 當例子。因為妳聽起來很樂觀，妳說，「嘿，我們從 COVID 學到了教訓，」但如果你看美國，例如，2020 年一直到 2025 年，比起 2020 年，我們對大流行病有更準備好嗎？
人類在接下來的七年裡必須變得好得多，才能演繹出妳的願景，因為之後要演繹妳的願景就太晚了，對吧？
但我提出這一點的原因，我認為值得關注時間表的原因，是因為妳有所有這些樂觀主義，認為人類將會振作起來並協調，並實行關懷六力。所有這些原則都將被灌輸，但根據 Metaculus，妳的截止日期是七年後。
妳可能像 Yann LeCun。Yann LeCun 最近說：「不，不，不，不，AI 可能要很久才會來。AI 可能要十年才會來。」所以妳可能會說：「好，它比 2032 年更晚來，它更晚來。」
嗯，我之所以提出這一點，是因為我確實認為獲得一個更準確的心智模型是有啟發性的。我覺得這是一個有點顯著的維度。即使不是百分之百，去看看 Metaculus（預測平台）… 共識是 2032 年左右… 這仍然是顯著的，而妳可能是個例外。
但他還說的是，我想妳關於這不是承重結構（load-bearing）的部分是對的。所以即使是，對，還有百分之幾的機率它發生在五十八年後，我們還是應該進行非常類似的對話，即使它要發生在五十八年後。
我也聽過 Eliezer 說，即使我在我的 YouTube 頻道跟他談話時，他確實說過鑑於目前的軌跡，二十年對於這種進展來說聽起來確實很長，我同意他這一點。
所以 Eliezer 在書裡說的是，假設我沒記錯的話，我想我沒記錯，他說的是：「看，我們不應該聲稱知道。」對於這類事情，時間表很難預測，所以如果它明年來，我們不應該太驚訝。如果它三十年後來，我們也不應該太驚訝。
如果妳不得不猜測最可能的時間表是什麼… 顯然，妳我都不真的知道… 但如果妳只是不得不猜測，妳認為是在五年、十年、五十年內來臨？妳對這種情境何時會變得現實的大致估計是多少？
試著把這放在一個具體的時間表上，我描述了這個特定的 Foom 情境，妳知道，我們到達 RSI（遞迴自我改進）的點，這個瘋狂的奇點… 這就是那意味著什麼，智慧爆炸。
好的，所以我的下一個問題是：妳同意如果它被指向錯誤，它可以對地球造成這種瘋狂的破壞。所以我的下一個問題是，看，在這個情境中，妳在一週內得到 Claude 90，我想妳同意我，我們需要做的指向，我們最好在那特定的一週之前就做好。那唯一的一週，那有點像是遊戲結束。無論那一週發生什麼，最好都已經準備好了。
好的，好的，所以我們正在往那邊努力。所以這有點像妳我對於「能」（can）的問題是在同一頁面上。我們都非常看好 AI 在正確引導下能做什麼，然後我們開始分歧的地方只是關於它「將會」（will）做什麼的問題。我們在「能」上一致，然後我們對「將會」有不同的預測。
所以澄清一下，認為理想程式、智慧程式可以製造這些超強大奈米機器人的想法，妳認為那是一個很可能的可能性，對吧？
很多人會那樣說，但妳是說，「不，不，不，那完全合理。唯一的問題只是 AI 具體會選擇…」
我聽到了。我只是想結束這個關於它能做什麼的話題。因為重點是，很多人不像妳說的那樣。很多人會在這裡反駁，他們會說：「不，Liron，沒有 1Gb 的程式。即使上帝親自給妳程式，也沒有程式可以讓妳製造奈米機器人吃掉世界。那只是 Yudkowsky 的科幻小說。他是個白痴。」
聽起來妳可能確實有一個跟我在這方面很像的世界模型，僅就什麼是可能的而言。如果你只是把理想的演算法放入資料中心，如果我們只是知道確切要翻轉哪些位元（bits）來獲得 1GB 的位元或什麼的，然後我們說，「好，運行這個程式」，難道理想的程式… 像 Claude 90 類型的程式… 不就是那種如果被指示，就能製造這些超強大吞噬世界奈米機器人的程式嗎？
是啊，是啊，是啊。所以我應該澄清，我仍然只是在問妳關於智慧光譜有多高的問題，這實際上不是關於地球上可能發生什麼的問題，因為我試圖把對話抽離出來，抽離妳的世界模型。
我剛剛描述的那個特定情境，包括奈米機器人，妳對此有重大反對意見嗎，還是妳同意我，就像是，「不，那相當合理」？
如果那種遞迴自我改進迴圈正在發生，妳認為在迴圈結束時，Claude 90 會告訴妳：「嘿，還記得我們在談論奈米科技嗎？我有一些設計給妳。妳知道，妳可以直接… 這裡是啟動它們的方法，三週內，妳就可以擁有噬氣蟲。」妳知道，這些使用太陽能板並啃食地球的未來生物。
所以這就是我認為最有趣的問題。所以妳認為如果真的有這種遞迴自我改進系統… 妳知道，Claude 4.5 生成了 Claude 5.5、6.5，隨便什麼，它們來得越來越快，甚至快到人類沒料到，可能像是一週一個。「搞什麼？我們已經在 Claude 90 了。我們已經擁有與我們開始時截然不同的能力了。」
妳不認為人類種族會委託大量資料中心去做大量有用的任務，隨著時間推移越來越多嗎？
嗯，所以妳特定的科幻故事… 妳只是說服我說妳在講一個合理的情境。找到一種化學物質沒什麼不合理的。但對我來說，它是這樣… 我的情境只是收斂的預設情境（convergent default scenario）。我不需要這種「噢，對，我們找到一種化學物質」的假設。那部分有點奇怪。這對科幻故事來說很棒，但不是明顯的收斂結果。明顯的收斂結果是地球被鋪滿了「運算元素」（computronium）或，妳知道，運算的基質。妳同意嗎？
我只是好奇，妳到底認為是什麼在加熱地球？我有點困惑，因為我認為地球變熱是因為…
對，對，對。是的。所以在妳的情境中，當妳用很少的字，只說烤熟地球的超熱資料中心時，妳是在暗示發生了很多事情才到達那一點，因為妳需要相當多的資料中心才能烤熟地球，對吧？
所以無論如何，只是稍微揮揮手，但這個 Yudkowsky 式的科幻奈米科技、生物學的新科技樹、所有這些都在幾年、幾個月內出現… 我不知道是不是幾天… 但在短時間內。這在妳看來也是一個合理的情境嗎？
他提到了「噬氣蟲」（aerovores）。它們可以飛來飛去，是太陽能昆蟲，但比昆蟲更強大，它們可以非常快速地繁殖並接管地球，做生物生命因為沒有足夠強健的程式設計而無法完成的事情。因為，我是說，即使只是在程式碼行數上，就有空間將比生物學設法做到的多得多的程式碼放入一個有機體中，因為生物學有所有這些資訊速限。
讓我問妳這個：Yudkowsky 著名的 AI 級科技例子，當妳有遞迴自我改進時可能會很快降臨到我們身上。他提到了這個概念，例如，「類鑽奈米機器人」（diamondoid nanobots）。所以妳可以想像微小的昆蟲，但它們是用鑽石而不是蛋白質製成的，基本上鍵結更強，它們基本上擁有這些超能力。
所以關於這個問題，就是我們有多少時間從小火中學習… 回到這個問題… 我們談到了遞迴自我改進和在一週內 Foom 到 Claude 9。
回到我說的 Claude 在七天內變成 Claude 9，聽起來妳其實認為可能會有一個 Foom，但妳樂觀地認為無論有什麼 Foom，我們反正都會駕馭它，對吧？
我同意如果我們有幾十年或一個世紀來解決它，我們會做到的，因為如果妳有很多次嘗試機會，這不是史上最難的問題。所以再次強調，關鍵還是會歸結到… 好的，但我認為… 妳知道「Foom」（極速爆發）這個詞嗎？我認為會有一個 Foom。
是啊，所以妳說的一切對我來說，在一個我們保證有一百年不會滅絕的世界裡是有道理的。所以如果我們有試誤法，我們可以做些什麼，然後它搞砸了，但沒關係，我們還有一次機會。在那種世界裡，我確實感到有些樂觀，政府會說：「好啦，各位，讓我們做些互操作性。好啦，各位，讓我們做些開放標準。不要讓人們太陷入回饋迴圈。調低一點。這太過分了。太多人發瘋或浪費整天了。」
比如說：「噢，對，OpenAI 剛剛推出了這個代理 AI，妳可以叫代理做任何事，但即使那個代理也會有所有這些它必須遵守的準則，讓它不會太過於成為一個優化器。」全面來看，任何種類 AI 做任何事，妳都樂觀地認為它會有所有這些它必須遵守的原則？
所以我可以看到它的吸引力，我甚至可以給妳 15% 的機率。我跟妳妥協。我將我的機率提高到 15%，妳的運動贏了，甚至馬克·祖克柏和未來幾年控制 TikTok 的人，所有人都跟進，妳稍微解決了社交媒體的這個問題。但即使那樣，即使在那種超級樂觀的社交媒體情境下，妳真的樂觀地認為那會推廣開來嗎？
就像，以我為例，哇，我可以上 Bluesky，我可以控制我一天被激怒幾次。好吧，也許我會從 X 跳槽。
再次強調，這是妳的一個提案，也許，如果我感覺非常樂觀，也許我可以想像一個世界，Bluesky 變得更受歡迎，因為每個人都喜歡這種對動態的新控制權。
但是，你知道，關於伊隆，他絕對有能力帶來那種程度的驚喜。我不會說，「噢，我可以預測伊隆會做什麼。」但是祖克柏（Zuck）會跟隨他的腳步嗎？TikTok 的控制者會跟隨他的腳步嗎？我不知道。我認為總是會有一個高度吸引人的 App。
嗯，首先，這花了很長時間，不是嗎，對吧？我是說，他承諾這個已經好幾年了。它還沒出來。我眼見為憑。
對。沒錯，對。所以聽起來即使是妳的樂觀主義也依賴於這樣一個主張，即我們將要做一個 180 度大轉變，對吧？妳是說，「是的，我知道過去公司只會製作 AI 來最大化妳的參與度，但我們即將進入這個未來，我們就是不會那樣做。我們不會做那種大家至今都在做的優化。它就是會不同。我對此感到樂觀，」對吧？這基本上是妳的主張。
妳懂我的意思嗎？它們不會是這些模糊的、「噢，讓我們只滿足…」就像，妳不覺得很可能會有某種 AI 風味，如果不是世界上所有的 AI？有些公司會銷售只給妳目標指標的 AI，不是嗎？
存活更久。對，沒錯，但我認為這將是我們之間的一個分歧關鍵，因為我認為這些 AI 很可能只是非常擅長優化結果的引擎。
然後妳說，「嗯，只要，如果蘋果能確保我們不要為了味道和美觀優化得太厲害，如果我們能為了更多東西優化，」實際上意味著不要在我們目前關心的任何特定維度上優化得太厲害，那麼…
飛機，妳知道，人類認知，它比蘋果快得多、強大得多。蘋果是怎麼掛住的？我的回答基本上是，它們正處於被甩掉的過程中，對吧？我不認為這是樂觀的好理由。
是啊，我的意思是，這就是我對蘋果論點的看法。我認為就蘋果成功掛在人類這架飛機上的程度而言，對吧？因為那基本上是妳的比喻，像是，「看，蘋果是怎麼掛在飛機上的？」
所以如果你從蘋果樹的 DNA 在 2025 年仍然依附著這一點獲得樂觀，那似乎不是我們應該預期蘋果具有的穩健屬性。
DNA，如果蘋果在乎它自己的 DNA，那就太糟了，因為 2100 年的蘋果，即使在一個沒有 AI 的世界裡，我看不到它有… DNA 有什麼貢獻？它只是一個我們仍然依賴的引導程式（bootstrapper），但從人類的角度來看，它不是理想蘋果的一部分。
所以關於蘋果的另一件事是，如果你繼續外推沒有 AI 的人類文明，對吧？對我來說，現代蘋果的繼承者，我會猜它只是一個細胞接一個細胞的 3D 列印，妳知道，也許不是字面上的 3D 列印，但我們真的是像：「好，沒錯，不再有種子，不再有…」
但那些作物跟它們的祖先非常不同，對吧？所以妳可以說，「噢，對，蘋果馴化了我們，因為我們在所有的雜貨店製造所有這些蘋果。我們在種植所有這些蘋果。」好的，但比起那些開始試圖馴化我們的蘋果，它們肯定是非常不同的蘋果，對吧？它們在過程中對其本質造成了很大的損害。
讓我們深入探討那個論點，對吧？我們還在吃的特定作物確實很好地馴化了我們，這是真的。
問題是我們的大腦很難跟上那個速度，對吧？所以如果 Claude 90 在七天後出來，就像我們坐在那裡作為人類，現在我們面對一個超級天才。妳真的認為我們能在短短幾天內掛在那架起飛的飛機上嗎？妳不覺得這對我們來說太快了嗎？
所以我同意妳，我明白妳說的，是的，如果倍增時間總是越來越快，為什麼它不應該在一週內在單個資料中心倍增呢，對吧？那不就是延續指數曲線嗎？
