「憲法式 AI」的意思就是說，想辦法把「無害」兩個字，把它展開成更具體的原則。舉例來講，像聯合國《世界人權宣言》，裡面就把無害展開，成為「每個人都不能對別人施以殘忍的、不人道或侮辱性的待遇」，或是像「法律之前人人平等」，這個大家都會背了。
我覺得跳得有點快。先回頭一下下，像我剛剛講到那些非常抽象的原則，例如「無害」等等，要更落地一點的話，我先分享另一個概念，叫做「憲法式 AI」。
是的。當 AI 複雜到某一個程度，只靠人類來訓練 AI，人類這邊會需要花太多的時間，雖然理論上做得到，就像理論上法官也可以花十年變成那個領域的專家，只是沒有必要這樣做。
只要能預先建立這種辯論的格式，人類甚至只需要抽測答辯攻防的文字紀錄就好。
這種辯論攻防，就是所謂超智慧對齊的主要做法之一。我不用去偵測這回答本身是好或壞，但是我讓某個 AI 來試圖說服我說這是壞的、這有損害等等；另一個 AI 這邊要主張說其實沒有，這是好的等等。
運用這個模式，法官需要做的事就變少了，因為他不需要是那個領域的專家，他只需要是這種辯論格式的專家。這樣大概可以了解？
這時，雙方都會提出很多證據，每次開庭的時候都會再提出一批新的證據，說上一次攻防的時候，對方講的其實沒有道理，因為這邊有 prior art、有證據等等。所以，到最後法官需要做的判斷，就不是關於這個案子全部細節的判斷，主要是關於確保這兩方辯論品質的判斷。
好比，你是智慧法庭的法官，碰到很複雜的專利侵權案，法官未必是那個領域的專家。但我們在法院或仲裁案上面用的方法，並不是要法官變成該領域的大師或者是專家，這是不可能的。相反的，你是讓指控的那一方跟防禦的那一方，就是原告跟被告，雙方都請最好的專利律師來，然後讓他們在那邊辯論給你聽。
「超智慧對齊」在問的是整個微調的過程，能不能主要讓上一代的 AI 來做，而不是讓人類來做？
當然也可以在微調時把它合併回去，讓整個模型變成經過微調的模型，有各種技術上的方法，但概念上把它想成濾鏡，是比較容易的。
有很多產出微調的方法。有個方法叫做 LoRa，可以想成一個濾鏡，就是本來模型在這裡，原本打算輸出這個結果，但是微調出某個接在它後面的處理器，來改變這個結果。這樣就不是它的答案直接給你，而是經過這一層過濾再給你。在篩選過後，或者是調整過後，它本來要這樣講的，但是把裡面可能會造成損害的部分改掉。
所以大概就是誠實、無害、有幫助，這三個是微調的重點。所以要把預訓練的模型微調，往往不是增強它的能力，相反地可能會減少它的能力，減少它用在不誠實、有害、沒幫助的地方。
當然除了誠實、無害之外，還是多多少少要對人有點幫助。因為達到誠實、無害是最簡單的方法，也就是每個問題都回答「無可奉告」，這樣不會傷害你，但也沒有什麼意義。所以在誠實、無害的前提下，多少還是透露一點預訓練資料裡的東西給人類，這樣比較有幫助。
好比就算預訓練資料裡面，有很多可以用來做奸犯科、製造全世界流行的生物病毒，或製造癱瘓全世界網路的那種電腦病毒等等，但是不要這樣回答，因為會損害跟你對話的人類。反之，模型應該勸勸他說，不要問這種問題之類的。這是指AI無害的部分。
「微調」是指我們告訴它什麼樣的答案才是好的，什麼樣的答案我們不想接受。舉例來說，不誠實的答案是不好的，誠實的比較好，意思是如果訓練資料裡沒有，乾脆說沒有，不要無中生有一些東西。又好比損害人的是不好的，關懷人的是好的。
所以預訓練的時候，它只能回答出它輸入的那一大堆資料裡面，最有可能的那種模式。這是第一步。
在這個情況下，它畫出來的，有的時候就是幻覺、無中生有。也就是本來壓縮資料裡面有的東西，在它歸納特徵之後，覺得絕大部分都有這種特徵，但是你在問它問題的時候，因為它沒有完整的原始資料，所以就還原成它想像出來的樣子。如果你跟 ChatGPT 聊過，你會發現說，它可能講得頭頭是道，甚至說誰誰誰哪一年說了什麼，可是根本沒有這件事情，這就是它的幻覺。
所以在這個情況下，生成式 AI 的特色是，它會去找出新的壓縮法，好比它會注意到人的臉大概都長這個樣子，然後它就不用記住所有你臉上像素的顏色，它只要記得你特徵的地方的顏色，在解壓縮的時候，重新畫一張人臉出來就好。
早期網路上面有些 JPEG 圖檔，當太複雜的圖檔，要用很小的頻寬傳輸的時候，壓縮後的顏色會混在一起；或者字的邊緣開始出現雜訊。同樣的，影片如果傳輸的頻寬不夠，好比像說我們現在在視訊，如果忽然間頻寬不足，你也會看到我有點抽格，臉變成一格一格的，或者是有毛邊等等。
「預訓練」就像是你拿一堆教科書、文字或影像等，把它壓縮成一個模型。因為輸入的資料非常多，壓縮出來的量非常小，但是你又希望它能夠解壓縮到全部的資料。這個按照定義是不可能沒有損失的，就是壓縮率有個極限。那超過某個極限之後，機器學習的特色，就是它會發明新的壓縮法。
製作生成式 AI 系統，基本上有三個基本步驟：預訓練、微調、部署。
精確地來講，它是讓這一代的 AI，去幫忙對齊下一代的 AI。所以這不是什麼全新的東西，已經進行一陣子了。
OK。對我來講，它的意思比較像「自動對齊」，也就是先從半自動，然後慢慢到全自動的對齊。這種對齊方法，並沒有說它只能用在所謂的超智慧，因為超智慧定義每個人不一樣。
你們已經有固定的中譯了嗎？Superalignment 你們已經翻成「超智慧對齊」了？
謝謝。
跟數位產業署的使命是非常接近的。
一定，全力支持。
很願意。
絕對沒有問題。
讓大家有確定性。
而且是限期，所以及早處理是比較好的。
好不容易可以籌備成立獨立個資會，我覺得要給他們舞臺。
我們要隨時準備。所以選前就以預錄為原則，稿子就由產業署來整理。
DDoS 的話，去年 8 月成長到以前最高峰的 23 倍，今年 3 月蔡總統訪美的時候也還有一波，只是我們擋下來，才沒有上新聞。
攻擊方的技術很先進。
因為這個時間我確實本來有排事情，也因為比較靠近選舉了，我們的資安工作責任會越來越重，所以剛好這個時間比較困難，但是預錄絕對沒有問題。
第二，因為高齡科技等等，數位產業署都有相關的規劃，所以我倒是覺得如果我的致詞裡面，多放一些明年正要推動的政策，這樣會比較有意義。
以前還沒有像籌備處的機關可以出來分享，當然我預錄致詞，這個沒有問題，大部分的活動我都是預錄致詞，只是如果要現場給演講的話，我滿推薦請個資會籌備處的同仁，分享他們的組成、願景等等，我想會很有意義。
大家過去 10 年都處在不確定性裡面，將來不分任何部會，等於這個獨立個資會的決定，哪一些合法、哪一些不合法就確定了。
因為這個禮拜就是獨立個資會的辦公室籌備處終於掛牌，憲判字第 13 號很不確定的因素終於要確定了。
以前國發會也有參加過你們的活動，我想問的是像李世德參事，或其他個資會籌備處的同仁，有來你們這邊演講過嗎？
正華有給過演講嗎？
數產署就高齡科技會全面推動，我想這是完全扣合的。
沒錯，個資會籌備處馬上就要揭牌了。
我們直接開始。
如果都沒有的話，今天就到這邊，謝謝大家。
謝謝。有臨時動議嗎？
下一案。
大家想一下激勵機制，我們不會去比較司署註冊率，但是就是麻煩大家想一下，看有什麼可能要激勵大家，想一下所屬同仁如果 mymoda 再加上什麼功能，像剛剛所提的一些討論功能，同仁就會更願意註冊，也請隨時讓策略司知道這一件事。
