基本上我們對 AI 的要求,也就是我們對教育單位的要求、學校的華語文教什麼,我們就同樣來這邊要求 AI。所以,如果我們的上游定義有錯誤,就表示我們整個語文教學都有錯誤,這個機率是比較小的。
好的。特別是在講用詞的部分,因為有權威的機構,像是國家教育研究院,不管是樂詞網或其他的,對於各個學術的名詞,或者有一些相關詞、書的資訊,也會把字典詞典都收進來,這部分的問題倒比較小。
一個是考題本身就出錯了,大考中心這題應該送分,另外一個是它當初看的參考書、教科書就是錯的。這是在問哪一個?
這裡在講的是說我們評測時候的那些題目,我們評測題目就是有問題的?還是機器學習它訓練的原始資料是有問題?這是兩回事。
所以你最多只能說,他重要性也許略微下降,但是你很難說準確性對於創作有害,好像不是這樣。
對,所以我會覺得最多可以說當它在做創作的時候,準確性未必是最重要的要求,這樣是可以的。如果你現在寫首詩,裡面有些文法或者字義不規範,那就這樣吧!我們還可以說這是詩人的特權;那如果今天是翻譯,那就沒有什麼特權可言。
所以很難說對於字的意思的準確性的掌握,好像在創作上面不重要;相反的,如果有寫文學作品的話,對字的意思要掌握得很精確,那是創作的前提。
對,但你可以想像它如果現在是要寫一個故事,就是要把「窩心」的兩個不同的意思當作故事的核心,它想要講這件事情等等,這會很有創意。但當然,它還是得掌握「窩心」在我們臺灣這邊是 very touched, warms my heart 的意思。如果它沒有掌握這個準確的先備知識,它後面也沒有辦法用這個當素材去創作出東西來。
它可能想法比較創意、比較自由,也沒有什麼太大的問題。但是翻譯或者是摘要的話,當然就會特別要求準確性,所以我覺得我們評測,是給出一個綜合的評估、一份報告。但是這份報告裡面,哪個測項比較重要,要看它的任務而定;當然翻譯是特別需要準確性的任務。
這要看用在什麼事情上。也就是說,像剛剛講五大功能,中翻英、英翻中,是特別需要準確性的。但如果現在是寫文章,而且寫的都是像你之前題面裡有問到的,如果都是幻想、童話故事之類的,這時候它的準確性的重要性,還會不會排第一就難講了。
我們不做要求,當然人家就覺得隨便,反正都是漢字,簡繁轉換一下就好了,我們不做要求,就會導致這樣的結果。我也不覺得那些用了其他的語言模型的,好萊塢或者是其他的 AI 開發公司,這些社群大型平台,好像一定是故意用文化入侵我們。很明確地應該是說:我們如果沒有做這樣的要求、評測的話,對方一定都是用最便宜的方式應付。
也不是完全都這樣講,入侵應該是指其中故意的成份。實際上,我們如果沒有一個我們自己的語言模型,或者是我們沒有辦法對國外的語言模型,要進入我們市場的時候,有準確性的評測能力,應該是講說我們自己不做要求吧?
所以就會變成是,從小小孩看到這些,他聽到英語然後看到這些字幕的時候,這個字幕就是不準確的。當然無論你剛剛講的兒少,或者是其實對成人教育都有影響,因為當我們在隨時看影集的時候,如果反覆看到的字雖然是繁體,但他的字幕用法都是不準確的,久而久之大家也就習慣這些不準確的用法了,就會造成溝通上很多的誤解。
但是現在,因為這個工作已經越來越自動化了,也越來越多交給語言模型。不管是先語音轉簡體、然後簡轉繁,或者是他一開始是語音轉繁體、然後繁轉簡,這都會變成對後面的那一個語言來講,像剛剛講到的「窩心」、「感冒」、「土豆」,這在簡繁轉換的時候,通常是不會代換的。
當然,因為其實像我們常常看一些外國的影集,以前可能是不同的字幕組,簡體跟繁體,分別是找兩組人去翻譯。
像這些都是繁簡轉換無法解決的問題,它真的就是這個字,只是有沒有準確的反映它所使用的文化環境。
當然除了「窩心」之外,還有像「我對他很感冒」,也有「很不喜歡」跟「很喜歡」的兩個反義。在臺灣這裡是很不喜歡,但是在北京話是很喜歡的意思。或者「土豆」,也是很常舉的例子。「我今天吃了土豆」,到底講的是花生還是馬鈴薯呢?
所以像如果本來寫「我覺得很窩心」是「很高興」的意思,你不會說把它翻成 nervous 是有創意,這不可能,因為這樣它就是不準確,所以特別是在中翻英、英翻中這兩個用途上面,我們對準確性的要求特別高。
其他的時候你還可以說「這是它的創意」、「說個笑話來聽聽」之類的,但是在翻譯上面,當然不會希望翻譯者自己在裡面,插入本來沒有的意思。
其實像 TAIDE 當時訓練的時候,就很公開説它的目的是要能夠做五個任務:自動摘要、寫信、寫文章、中翻英、英翻中。在這五件事情上面,特別以翻譯來說,包括中翻英、英翻中,特別需要準確性。
一個是 nervous,一個是 touched。因為「窩心」是 touched,這是臺灣的用法,而「窝心」是 nervous 或者不舒服,是北京話的用法。
但如果是 TAIDE,就會翻成 “He made me feel very touched” 或者 “He really warms my heart.” 但那這兩個其實是反義的。
像我剛才用 Llama,就是 TAIDE 的基礎模型,我說請翻譯成英文「他讓我很窩心」。Llama 2 就算是最大的 70b instruct code,它都翻成 “He made me feel very nervous.”
有沒有要分享的?如果沒有的話,今天會議到這邊,謝謝。
那就是併行辦理。沒有別的話,我們就往下。
如同剛剛大家所說的,這個部分今天只是原則通過,法制處還有一些調修的部分。完成文字整理後,就來辦理重大法案的報院通報,希望大家儘快完成後續報院的相關事宜,讓《電子簽章法》跟《資通安全法》都可以順利報院。
我想接下來資安署在進行公眾溝通的時候,可能有兩個要注意的。首先是我們框限在危害產品的情資分享,後面有一個概念是,不可能完全在私部門,特別是「特定非公務機關」以外的私部門,無法明天就全部禁用;但是,大家充分瞭解危害的情況之下,也可以透過好比像專區專人、離線使用等等措施來降低危害,相關風險值的概念、管控方式的這部分仍然可以多多分享。
選後有一些訪團來,不管是國際媒體的訪問,或者找我去錄 podcast,第 11 條都是必問的題目,尤其是關於資訊完整性會不會受到危害產品的干預。現在在國際上,特別是美國十一月要選舉了,這是非常熱門的題目。我想折衷這麼久端出的方案,不只是國內關心,國際上大家也都非常關心,因為我們確實就是在前線。
看大家有沒有其他補充?
調修說明的文字要怎麼調整,這個部分有沒有什麼意見?
所以等於八大各指定各的?我想這樣確實比較有彈性,但是這裡面有個實作上的情況,如果有需要指定限制或者是禁止使用,針對公務機關的情資分享,想必一定要收到,那還是要分享到這些特非,也就是有限制或者是禁止的特非。這在我們訂審查程序或是情資分享辦法的時候,可能要考慮進去。
我想問一下,現在的特非,有些禁止使用危害產品、有些是限制使用危害產品,有些則根本無法介接到資通系統。這個判斷,是由每個特非的中央目的事業主管機關來做嗎?
還有沒有其他要分享?我們這邊有許多司署長,都是《資安法》的使用者。
謝謝。因為這個簡報也會提供出來,是不是把簡報就把「類一條鞭」適度調修,直接寫「調度支援」就好了,因為不管是條文或者是說明欄,都是寫「調度支援」,適用在重大,誠然是緊急重大,但是好幾個月前我們就知道有重大事件,像特定的事件,前面一定會有一波網攻的情況下,那就不一定這麼緊急,但是很重大,我們不特別區分緊急、不緊急,我們就寫資安人力的「調度支援」,簡報就請配合調修。
瞭解,這個部分資安署事前應該有收到,我聽起來滿合理的,看資安署覺得?
謝謝。本來的版本第三個是「受第 17 條」,應該是「收受」?
謝謝,有要補充的嗎?
我額外補充一下,公文系統整合 TW FidO 的批次補簽功能已經上線,我覺得滿好的,一次補簽 20 份公文,可以省很多時間。
有沒有其他要補充的?
謝謝。還有沒有其他要更新的?線上有沒有人要發言?
這個部分如果沒有意見的話,我們就洽悉。
看有沒有其他要詢問或者是補充的?
Code 是軟體 Code 先行,但是法規的 Code,還有一些程序要走。
這個主秘有一些策略。我們要全部向上集中嗎?
節省其他廠商開發成本,但並不是一下子就把整套系統 Public Code 出來。
至於其他的部分看民主司,如果在線上的話,要不要補充一下?
剛剛所提到有一些是元件型的,但是各個部會、機關,甚至地方政府要做經費結報,或者是做密件線簽,不可能繞過電子簽章相關的某些特定應用,單一登入相關的一些特定應用,既有卡式的,也有手機上自然人憑證的時候,這兩個互相備援等等,這個部分不管是找哪個系統整合商,到最後都要寫的東西,民主司會針對這一些優先當作公共程式。
今天部務會議原本要討論公共程式指引,但是好像延到下一次,沒關係,我先簡單說一下。
我們在進行這一方面的測試跟規劃過程中,我們也找到很多我們覺得可能可以改善的部分,但是主總部分可能是比較後面改善的事項。這些事項很感謝不只我剛剛提到民主司的公建,也有包含數產署的公建,都有包含一些相關的項目可以協助。當然我們公建建置給民間的廠商或者是跨國介接使用時,主總訂有明文的法律規範或者是法規規範如何銜接,這確實滿需要磨合,這部分之前主計處有提出來,我們也有統計到底需要哪一些部分,但不管是主計或者是統計跟公建介接相關的人力需求,近日就會送到人總,至少在接下來的四年裡面,人總可以支持我們。
如果沒有別的要補充的話,我們就非常謝謝主計處,真的很辛苦。目前看起來除了跨平台的登入元件還要麻煩資安院幫忙,當然資訊處也幫了很多忙,其他的部分大概都是我們的廠商覺得在能力範圍裡可以處理的。