所以我只是想感謝，妳知道，當妳來做這件事時，真的支持了這個節目的使命之一，即提高辯論的品質。妳知道，給予辯論這份禮物，讓社會運作得更好，謝謝妳這樣做。我真的很感激。
我有點不停地挑戰妳的觀點。這就是我們在《末日辯論》做的事，而妳真的像冠軍一樣應對自如。妳沒有迴避任何問題。妳只是以誠信參與。妳沒有給我罐頭答案。
好的，唐鳳，我必須在這裡對妳的名字表示極大的敬意，因為妳不必這樣做。妳不必參與辯論。很多人只是堅持上那些只重複自己觀點而不讓它受到挑戰的 Podcast，而妳絕對讓它受到挑戰了。
所以那是… 我認為那是討論的精華，就是，妳知道，那合理嗎？那是主線情境嗎，我們將會振作起來並及時對齊？而妳就像是，「是啊，我們會有足夠的時間。這不會是一個超級緊急情況。如果我們需要更多時間，我們會騰出更多時間。」所以我猜妳對時間表銜接得宜這件事有更多的樂觀。這樣的總結如何？
然後當我指出，「時間表不是很短嗎？」妳似乎認為，「嗯，無論多短，它就只是… 它將是正確的速度，妳知道，來完成對齊。」
妳已經接受了超智慧是真實的，所以是的，沒錯。然後我們一談到對齊就開始分歧，因為妳覺得：「是啊，妳知道，我們會有時間。人類就像是可以搭飛機的蘋果。飛機比蘋果快得多。」這是在混合隱喻，但沒關係，因為它仍然會照顧蘋果，它會把蘋果放在飛機裡。一切都會好起來的。
所以我嘗試總結妳的觀點是，首先，非常有意思的是妳有點像是在 Foom 列車上。妳是說，「噢，是的，Foom 非常可能是真的。智慧是一個相當高的光譜，」我很感激妳在我所謂的末日列車上坐了這麼遠。
好的。聽起來不錯。這是一次很棒的對話。最後，我基本上總結分歧，總結來賓表達的觀點，以及為什麼它不只是等同於我自己的觀點。
而任何 P(Doom) 為，我不知道，30% 以上的人，妳會說：「該死，是的，我們需要一個關閉按鈕，因為有 30% 的機會這東西會這麼快毀滅我們。當然，我們需要關閉它的能力。」所以這就是為什麼我把妳建模為擁有低 P(Doom)，但…
好的，我的意思是，我得到的只是妳的 P(Doom)，我知道妳不會說出來或認為它有意義，但我將妳建模為實際上擁有一個 P(Doom)，比如說，10%，在 10% 左右。因為那樣，妳會覺得：「呃，所以如果我們做這個關閉按鈕干預，成本太高了，而 P(Doom) 只有 10%。」
我覺得大多數人會說，「好，我們都得癌症… 是的，我會以幾十年來衡量。」而在 AI 的情況下，專家們說… 很多人說，我不知道，五年？少於五年，也許。甚至可能是明年。所以我確實認為這裡緊急情況的範圍實際上存在非常顯著的定量差異，僅根據專家所說的。
但在那個特定的類比中，如果你只問一群專家，即使他們都在揮手含糊其辭，像是：「看，我們不知道臭氧何時會耗盡。」像是，「好，只要給我一個模糊的分佈。如果我們按這個速度，多久我們都會得癌症？」
所以它不是一個優先事項嗎？妳認為這是一個政策優先事項嗎？在眾多… 妳在談論紅線，我們是否也應該潛在地架構一個關閉按鈕，讓幾個在 AI 領域最強大的國家可以投票說：「好，關掉它。現在已經超過了妳的樂觀主義應該轉為悲觀主義的門檻。讓我們為那種可能性做準備。希望我們永遠不需要按下按鈕，但我們現在應該建立一個按鈕嗎，進到 GPU 裡，像是一個關閉按鈕，一個無線電控制的回傳式關閉按鈕進到 GPU 裡？妳贊成還是反對那種政策？
是啊，如果妳贊成劃定這些紅線，讓我非常具體地問妳，因為我最喜歡的政策提案，感覺像是最大勝利的事情，就是準備潛在暫停的想法。「嘿，我們都看著這個事件，奇點。我們都認為有末日的機會。」顯然，妳很不喜歡定義那個機會是多少，但有一個機會。這是減輕，它應該是一個優先事項。
關於中國經常被提起的另一件事是國際條約的想法。這可能不是妳想太多的事情，因為妳似乎對 Foom 進展順利相當樂觀。妳對「暫停 AI」（pause AI）運動，然後，妳知道，準備一個「關閉按鈕」（off button）以防事情變糟，讓所有不同的國家可以像：「好，啟動關閉按鈕。我們來協調做一個關閉按鈕」有什麼看法？妳認為現在規劃這個有價值嗎，還是沒有？
對。好的。妳知道，如果你讀一些最新的東西，像《態勢感知》（Situational Awareness），還有一篇我忘了叫什麼名字的論文說：「是的，國家真的會去爭奪彼此的 AI 力量，這是一個如此關鍵的節點。」妳知道，臺灣在未來經濟中是一個相當關鍵的部分，在我們知道之前，這個經濟規模將會擴大十倍。但是是的，我是說，我猜我不知道。我們兩人都不能在那裡做出具體的預測，而妳只是增加更多韌性的方法不會有壞處。
所以妳的各種努力增強了臺灣，減少了它與更大世界的隔離。所以妳策略性地做了那些努力，我認為這很棒。妳在某些方面減少了對中國的依賴。我把發言權交給妳。妳對這個主題有什麼看法？
如果他們那樣做，也許中國可以阻止美國獲得比他們更多的 TSMC 晶片。隨著 AI 公司變得價值呈指數級增長，這將會加劇。我認為 AI 公司很快就會價值數十兆。所以如果有人想在奇點之前賺點錢，我會做多 Google。妳知道，全面揭露，我的投資組合中 Google 的權重很高。這在奇點之前似乎是個好賭注。
但如我們所知，最有價值的實體晶片製造商，臺灣積體電路製造公司，市值 1.6 兆美元，TSMC，對於觀眾來說，它採用 Nvidia 的藍圖，並使用先進的微影機實際構建晶片。TSMC 擁有晶圓廠，而世界上最熱門的地緣政治問題之一就是中國併吞臺灣的慾望。
好的，但是沒錯，進入總結階段，讓我簡短地問妳關於第三條紅線，中國地緣政治，顯然請隨意說妳能說的，別說妳不能說的。這跟 AI 辯論有點切線關係，因為我認為全人類實際上都在同一條船上。所以我真的不認為這是一個那麼大的地緣政治問題。
好的。是啊，公道。我的反對意見只是我認為在我們能夠校準那種動態之前，它將會失控。我們就是沒有足夠的迭代。我們沒有足夠的試誤機會。我們只是失去控制，而且為時已晚。那是我的主要情境。
對。所以妳只是說，是的，Hinton 談論 AI 是我們的母親時有點道理，但說 AI 將是我們的狗媽媽或番茄媽媽更貼切一點。
但妳實際上，我想，不同意那個。妳不認為讓 AI 具有母性是合理的，取而代之地，妳更喜歡將 AI 比作我們的園丁？好，解釋一下。
Hinton，在過去幾個月裡，曾經感到非常悲觀，但現在他說：「嘿，我意識到我們只需要在 AI 中編程某種母性本能，就像人類母親與她們的孩子對齊一樣，因為她們有這種母性本能。她們在那種意義上關心她們的孩子。如果我們能讓 AI 關心我們，像我們的父母一樣，感受到那種愛或其他什麼。」
好的，我是說，如果我們有所有這些時間… 如果我們有足夠的時間，那我不強烈同意或不同意妳。如果我們有復原鍵（undos），如果我們不會都死掉，我們應該努力讓對齊自上而下，還是我們應該努力讓它漸進？我沒有強烈意見。我覺得這兩者都行得通。
當我思考理想的對齊時，我確實會想到，像「融貫外推意志」。它有點像是自上而下的，一旦妳充分理解了人類真正的效用函數，直接自上而下安裝它並沒有什麼根本性的錯誤，是嗎？
這就涉及到了我都同意的整件事… 是的，這很複雜。對齊本身是一個複雜的問題。但我不會將其描述為自上而下對齊的失敗。我只會將其描述為未能指定足夠微妙的效用函數（utility function），但它仍然可以是自上而下的。
是啊，我是說，那是真的。妳可以想像，妳知道，如果是像妳可能想賭 0.01% 的人類滅絕增加來換取科學的快速進步或其他什麼。所以我完全同意當百分比夠低時，當然。
好的。所以回到妳說的 AI 對齊不能是自上而下的論點，如果我們只是向 AI 投入一些自上而下的指令，例如，試著不要讓人類滅絕？那不是一個相當好的自上而下指令嗎？
對。所以如果我理解正確的話，妳會更希望 OpenAI 提供這種開放式、開源的… 妳甚至說妳喜歡他們的開源模型。所以妳基本上是說他們應該增加更多使用者可調整的參數，以便每個人都能更有力地將其對齊到他們的口味？
是啊。我們能不能舉一個具體例子，說明為什麼 GPT 5.2 的自上而下對齊是壞的？
好的，讓我們拿 GPT 5.2 來說。如果我理解正確的話，妳覺得 AI 對齊不能是自上而下的，但妳認為今天，OpenAI 對面向消費者的 ChatGPT 5.2 的對齊是自上而下的，而那是壞的，對吧？
好的。所以看看今天的頂尖 AI 公司。比如說 OpenAI。妳認為他們做對齊做錯了嗎？
好的，公道。所以讓我們繼續談談 AI 對齊這個話題。上個月，妳在 sixpack.care 上寫了一篇文章說 AI 對齊不能是自上而下的（top-down）。解釋一下妳的意思。
只是戳一下妳自己的心智模型… 妳的立場是也有非常顯著的機會它不會那樣發生，對吧？如果它明天發生，仍有非常顯著的機會它只是變壞，對吧？
嗯，為了釐清妳的心智模型，如果它真的明天發生呢？妳不覺得那是時間不夠嗎？妳不覺得如果明天發生我們就完蛋了嗎？
是的，但它們正在建立的 AI 並沒有，對吧？特別是在幾次遞迴迭代之後。
但是當妳看今天的 AI 公司，它們有符合妳的對齊標準嗎？因為我認為我們要談到那個了。我認為妳是說它們沒有。我們今天沒有在通往那種美好 Foom 的軌道上。
而且妳也同意我，我們對 Foom 不會在六個月後來臨這件事並沒有那麼有信心。所以如果你把所有這些命題結合在一起，妳不覺得會有種「噢，該死」的時刻嗎？有一個很大的 P(Doom)。有一個非常顯著的 P(Doom)。
我們將得到比今天的 SpaceX 公司強大得多的 AI。所以妳在這點上同意我，妳也同意我在對齊技術正確、解決對齊問題上還有一段路要走。我們還有一段路要走。
不，我聽到了，但我只是在推論妳告訴我的一些東西。妳告訴我妳同意 Foom 情境是合理的。妳我都在這一點上一致，智慧天花板真的很高，我們無論如何都會得到 AI，無論是一百年後，還是六個月後。
如果妳我兩人都確切知道它是六個月後來臨，比如 2026 年 6 月，如果那是它來臨的時間，妳對於控制奇點的所有部分都已就位這件事，會不會變得不那麼樂觀？如果它是那麼快的話？
公道。讓我用這種方式問時間表的問題。妳同意我們都在一個對於奇點確切何時來臨非常模糊的心理空間中。我同意這一點。我同意我有一個機率分佈，其中沒有哪一年超過我 20% 的機率。所以在這個意義上它是一個模糊的機率分佈。
所以如果我們能在明年解決社交媒體策展或動態演算法，那就太好了，那會給我們爭取整整六年，也許，在奇點之前解決其他所有問題。
不，我們那方面很爛，但在五年內，我們突然會在擁有所有這些東西方面變得很棒… 妳知道，在五年內，我們可能仍然會有 Facebook 動態、Instagram 動態，仍然是參與度誘餌。我認為甚至光是修復那個都要花超過五年的時間。
妳是對的，這是一個比較容易提出的論點，然而美國甚至還沒有加入。所以我之所以提出這個我們如何處理 COVID 後果的滑稽秀，是因為我們在該死的奇點之前只剩下七年來振作起來，而我們剛剛過了五年，卻無法在「讓我們做人體挑戰試驗，讓我們稍微正式化 mRNA 疫苗管道」這樣的事情上振作起來。
對，而且它可以。對吧？
我們下次要怎麼反應還是很不清楚。我們還沒有出來發表聲明，例如關於「人體挑戰試驗」（challenge trials）… 這個想法是妳可以測試新疫苗，妳可以讓人們感染病毒。妳還是不能讓人們感染病毒並在他們身上測試。人們還是太過神經質。妳同意人體挑戰試驗會有很大幫助，對吧？
是啊，是啊。嗯，我說看美國從 2020 年到 2025 年的意思是… 是的，我們有多幾個人在研究如何讓 mRNA 疫苗上線，但這不像我們真的大幅改善了 CDC。這不像我們真的投資了那麼多在，「嘿，這是官方的新 mRNA 管道。下次我們會反應得這麼快。」
我同意我們有，因為我們知道 mRNA 管道，但我們真的應用了很多我們在過去五年學到的教訓嗎，還是沒有？
