歡迎來到《末日辯論》。唐鳳是臺灣的政治人物及自由軟體程式設計師，目前擔任臺灣的「數位治理無任所大使」（Ambassador at large for cyberspace governance）。她是一位自學成才的程式天才，高中輟學後成為全球開源社群的頂尖貢獻者。
2016 年，三十五歲的她成為臺灣的數位政委，是臺灣歷史上最年輕的政務委員。在 COVID-19 疫情期間，她帶領團隊迅速開發了口罩配給和接觸者追蹤的數位工具，協助臺灣在無需嚴格封城的情況下，取得了全球最成功的初期防疫成果之一。
2024 年，她與衛谷倫（Glen Weyl）合著了《多元宇宙：協作技術與民主的未來》（Plurality: The Future of Collaborative Technology and Democracy）一書，以臺灣的成功故事為藍本，提出了一種名為「多元宇宙」（Plurality）的新全球政治哲學。
我邀請她來到《末日辯論》，是因為她是一位原創思想家，對於如何引導 AI 的未來有著獨特且廣受讚譽的觀點。我很期待與唐鳳探討超智慧 AI 導致人類即將滅絕的風險，以及如果我們沒有死於非命，並能實現她所描繪的「多元宇宙」願景，世界將會是什麼樣子。唐鳳，歡迎來到《末日辯論》。
唐鳳，妳一直擔任臺灣的數位治理無任所大使，簡稱數位大使。在這個職位上，妳的關注點是什麼？
妳在臺灣政府擔任這個職位，這讓我想到了台積電（TSMC），這家全球第一的半導體製造公司，上次我確認時估值已達 1.6 兆美元；我也想到了輝達（NVIDIA）的創辦人黃仁勳（Jensen Huang），儘管那是家美國公司。當我思考作為臺灣政府一員來引導 AI 的未來時，我還應該想到什麼？
為了讓觀眾百分之百清楚，雖然地震是真實存在的，但妳是用地震來比喻資安挑戰，對吧？
了解。我很好奇，你們是否曾經發生過那種核心系統癱瘓數週的重大自然災害，還是這只是為了未來可能發生的大型自然災害做準備？
這其實是我感興趣的領域，就是這種從長達數週的災害中恢復的概念，這在我來自的美國幾乎很少發生。我個人不記得上次停電超過八小時是什麼時候了，那肯定超過十年了，所以在美國我的生活過得很安逸。
我認為人們很容易忽視這些更大規模災害發生的可能性。所以一方面，這些地震讓你們保持警惕是件好事，對吧？至少你們知道「停擺一週」是很有可能頻繁發生的現實。
我們也看到… 萬斯（J.D. Vance）實際上在 2024 年大選前，就在喬·羅根（Joe Rogan）的節目上談到了從某種電磁脈衝（EMP）攻擊中恢復的可能性。
太好了。很高興有人真的在為此做準備，因為如果是因為「噢，每百年一次的太陽閃焰，我們沒準備好」，那樣導致人類滅絕實在太可悲了。所以，妳是告訴我這方面沒問題，對吧？
好的，很有道理。我們肯定會更深入探討這一點。
讓我們稍微回顧一下。妳擁有這個很棒的職位，數位大使，之前妳是臺灣首任數位發展部長。讓我們談談妳在那裡開創的數位治理。我想早期的例子之一是妳圍繞 Uber、COVID 或 AI 的政策。也許挑選其中一個給我們一些細節，因為我認為它們都相當創新。
有趣。所以如果有外國詐騙者試圖發簡訊假裝是黃仁勳，因為你們有了這些新規範，他們基本上就被攔截了？具體是什麼阻止了他們？
對。是啊，因為他們要怎麼偽造身份？這是相當好的驗證。也許需要公證，或者需要相當安全的 ID，像是晶片加密 ID。臺灣有相當先進的數位身分證，是吧？
這對我來說很合理，取得 ID 驗證這一步。但把你把所有不同的人聚集在一起，讓他們作為一個群體思考，提出這些提案並整合提案，這種創新的演算法中介民主，我認為非常有趣。但妳會不會覺得這可能有點大材小用？這些想法一旦聽過之後，不是顯得有點顯而易見嗎？
是啊，這很有趣。我是說，我很高興妳在做這件事。我完全支持這種實驗，我也分享妳做這些事情的熱情。我是說，我分享妳一部分的熱情，我也理解為什麼妳跟 Vitalik Buterin（以太坊創辦人，本節目之友）和衛谷倫是這麼好的朋友，因為我總是看到這些人在思考、寫作和談論這類概念。
我覺得很神奇的是，妳真的在政府內部，大規模地實施這些提案。我真的不記得還有誰處於這麼好的位置，可以不斷地大規模實施這些東西，所以對我來說，妳是他們與政府的連結，這太神奇了。
不過我要說，我覺得我必須反駁一下，因為儘管這些東西聽起來很酷，我還是懷疑它能否幫助超過，比如說，20%？我覺得政府所有的困難、達成共識和政治極化，如果讓我猜，在所知甚少的情況下，我會說：「好，也許妳改善了事情 20%」，但妳難道不會還是被同樣的問題拖累，即使有這些系統，要讓任何事情運作仍然很難嗎？
懂了。好的，我尊重妳嘗試這種做法。這讓我更尊敬臺灣。我想妳可能不方便多評論，但妳對臺灣整體治理的看法是什麼？
好，讓我們進入對話的核心。我們顯然要談論人工智慧。在妳目前的職位上，妳正在積極推動哪種 AI 發展？
是啊，聽起來是個好主意。我承認這一點。我不直接反對妳說的任何事情，但讓我引入我的觀點，也就是尤德考斯基式（Yudkowskian）的觀點，以 Eliezer Yudkowsky 命名，那就是對超智慧（superintelligence）即將帶來的後果感到極度擔憂，對吧？先把我的底牌亮出來，妳熟悉 Eliezer Yudkowsky 的著作嗎？
好吧，那妳準備好讓我問妳《末日辯論》中排名第一最重要的問題了嗎？
唐鳳，妳的 P(Doom)（末日機率）是多少？
好吧，讓我看看能不能試著說服妳一點，除了 NaN 之外，應該還有一些關於 P(Doom) 的說法。
讓我們假設有人，對我來說，我認為是非常荒謬且明顯錯誤的，比如有人進來說：「我認為 P(Doom) 小於百萬分之一。我們甚至不應該給它百萬分之一，更不用說 10%、20% 了。它小於百萬分之一。」妳不覺得這個人明顯錯了嗎？
這是一個更簡單的問題，如果有人說百萬分之一的機率是正面，我會說他好像在抽… 妳知道的，為什麼妳會說百萬分之一？這顯然是錯的。
我知道它在旋轉，但我的重點是，我同意有很多我們不知道的事情，我們應該有很寬的區間。只是當妳開始以數量級思考時，如果你幾何級數地切分範圍，妳實際上可以將 10% 到 90% 的機率視為一個完整的範圍。
著名的例子是 Jan Leike，OpenAI 的前安全負責人，他是我聽到第一個說「我的 P(Doom) 是 10% 到 90%」的人。我當時想，這實際上是一個比聽起來聰明得多的說法。
人們嘲笑他這句話毫無意義。我說：「不，這不是毫無意義，」因為從幾何級數來說，10% 到 90%，那是一個切片。90% 到 99%，那是另一個切片。99% 到 99.9%，那是另一個切片。
當妳把它想成賠率比（odds ratio）時，就像是一賠一對十賠一對一百賠一。我無法真的告訴妳是不是二十賠一、二十五賠一，但我非常確定 P(Doom) 不會是百萬分之一。我認為有… 我們至少是百萬分之一吧，老兄。我是說，一旦到了千億分之一，妳就是在談論年度小行星撞擊了，對吧？顯然有一個大致範圍。我覺得 10% 到 90% 就是那個大致範圍。所以妳的大致範圍是多少？
妳對核戰的 P(Doom) 也有同樣的看法嗎？妳的 P(核戰末日) 是多少？
大致是多少，給一個數字範圍？
對，就非常粗略地說，到 2100 年發生核戰導致人口減半，這要歸功於核武。
哇！
好的，我不認為我們需要糾結於此。我想我們可以繼續，但在我看來，妳願意說核武有 50% 的機率將全人類人口減半，這有點瘋狂…
對。沒錯。高變異數，但仍然是 50%，大概 50%，對吧？我甚至… 我們甚至可以稱之為 10% 到 90%，對吧？
但妳不願意說，「好，顯然 AI 末日機率超過 1%。」妳不願意說這個？
好吧。
好的。我們就先這樣。
別擔心，還有更多問題。我可以問妳更多。這其實非常有趣，妳是「AI 安全中心」（Center for AI Safety）關於 AI 風險聲明的首批簽署人。我在節目中經常提到這個。這是一個著名的聲明。
聲明說：「減輕 AI 帶來的滅絕風險應成為全球優先事項，與其他社會規模的風險（如大流行病和核戰）並列。」他們是如何接觸妳的？妳為什麼如此渴望簽署？
所以即使到了即將邁入 2026 年的今天，妳仍然認為 AI 滅絕風險應成為全球優先事項，與大流行病、核戰和其他社會規模風險並列？妳堅持這一聲明，對吧？
好的。那太好了。我認為妳簽署那份聲明是有建設性的。我想有相當多出乎意料的人簽署了，對吧？Sam Altman、Dario Amodei、Demis Hassabis，所有頂尖 AI 公司領導人都簽了，除了 Yann LeCun 和 Mark Zuckerberg，所以我很高興看到這一點。
是啊，妳對該聲明的價值或妳希望看到誰簽署有什麼想法嗎？
是啊，好吧。我明白妳的意思。我同意，有正面的副作用。一個正面的副作用是，即使假設末日風險很低，能夠盡可能控制妳正在建立的 AI 仍然是件好事，對吧？
好的，好的。我們絕對會再多談這個。我想問妳，妳曾將「AI 末日論」（AI doomerism）稱為一種「超信念」（hyperstition），對吧？解釋一下。
好的。對我來說，這似乎有點太過聰明了，因為妳也可以爭辯說，如果一群人關注 AI 末日，那會讓人們奮力阻止它，然後降低機率，對吧？很難說是正回饋還是負回饋。我會聲稱這完全是負回饋。
好的，如果我理解正確的話，關於人們有多悲觀這個單一參數，有一個最佳水準。如果你超過那個水準，就會適得其反。但妳認為我們現在是低於還是高於那個水準？
