不好意思，「缺口」這件事很難，因為沒有願景（笑）。

因為這一次也有評議專家適合，其實這一個部分都有納入在裡面考量，不會有另外一個團隊來做，這個是我在資訊網裡面沒有辦法提出來的，因為那等於是審完以後發生的事情。

另外一個，對於某一些計畫事後的績效追蹤，這個機制比較適合用個案的研究方式，有就是挑重要的政策或重要的計畫來作個案的評估。

因此我今天報告的是，政府科技計畫資訊網其實有關績效的部分我都沒有提，其實我們今年想要嘗試先做各類型計畫的績效群組評等系統，我們也許不看個別，但是是看群組，當然這到底要怎麼看、如何採用哪一些指標，還要找一些專家來討論。

至於事後追蹤的部分，其實就像GRB一樣，我們讓人家填KPI的最早設計，希望老師執行的這一個計畫、產出什麼，過後可能還會有更多的效益，但是說一句老實話，沒有人要理我們，因為已經結案了，絕對不會願意再回頭來填，這個有一點困擾。

我回應一下，因為各部會在填寫KPI的時候，說句老實話，他們通常會寫產出，不太會寫過程效益，所以有時有的計畫會覺得因為每一年都要做績效評估，會覺得這個才第一年，哪裡會有什麼成果，會不會審查委員就評得很低，因此我們一直想要推的是，教部會如何去解構效益。

綱要計畫的部分，我們希望11月就要出來，因為10月不出來，108年就來不及了，所以今年底綱要計畫就會出來了，出來的時候，就會同時向經濟部技術處也期待他們自己系統建完以後，這個綱要計畫就可以列入，所以我們那時說我們今年會把它做出來，因此是在今年年底，為了108年就要上線。

GRB本來就有這一個功能，我們再改變一下，再多一個Key。

對。

這個我覺得是有可能的，我相信資料庫裡面每一筆資料都有自己的unique ID，也許就是將來請他們再多提供一個Primary Key就可以了。

我知道。

就像工業局的系統，非常複雜，裡面包括所有這一些預算的東西會科都有，其實對於科技會報或科技部是不需要這樣的資料，如果都要放進來的話……

現在GRB就是這樣的做法，我們公布我們要的欄位是這一些，部會自己有系統的話，那麼就會轉出，他們就會把Excel給我們。

我們在開發的過程當中也會去找他們，他們有一些欄位相同，也就是他們特殊原來資訊網，我們也會去follow他們的格式，到時候就可以整批轉給國發會，這個是去年底曾經有過的協商。

我們那一次的共識是國發會是說以後有關於科技的這一個部分就全部由科技部來管理，所以變成是為統一在政府科技計畫資訊網填好了以後，我們會依照國發會的需求轉給國發會。

另外一個有關於GPMnet介接的部分，其實我們在去年底的時候，科技部有邀請國發會，因為國發會的GPMnet今年要全部重建，當初有一個共識……因為兩個部會在管制某些項目是不太一樣，而且那個計畫的層次是不太一樣的，因此沒有辦法合併在一起。

如果部會自己有自己的系統要餵進綱要計畫，也就是我們平台這一塊，經濟部之前有跟我提過，我說因為今年系統很滿，所以我們想說今年最後開發完成的東西，會有一個固定的模式，我們會提供固定的格式，讓他將來可以直接轉出來寄給我們。

我補充一下，針對剛才衛福部講到綱要計畫承接，因為衛福部剛設計好，還沒有跟我要求要我導歷史資料給他，他如果要求，我們就會給。

我們建議在修正版綱要計畫書的時候，部會可能要提出一些修正說明，我們也會新增一些查看最終審查的意見，委員可能要看看之前的審查，因為很多計畫多半是三、四年一直執行下來，我們會一些小的細節功能，讓審查委員可以看到更多的資料，一身是我們的報告，後面的附錄供參考。

另外，葉副有提到希望各部會在執行綱要計畫或在審查過程中的改變都能夠追蹤。

其實原來的評估就可以看到前期的綱要計畫、審查意見、前期績效評估及負評意見。另外，因為我們又增加這一些功能，又可以直接查找過去的情形。

另外，有關於基礎分析資料，像過去執行的績效及編列的情形，其實審查委員在審查單筆計畫的時候，其實可以看到過去的前期相關計畫，因為我們在事前都會作整理，因此都會知道這筆計畫前期是哪幾筆。

另外，希望建立關鍵詞的分析部分，其實有關於人、執行機構、計畫、議題的串聯，我們認為莊主任就指示這個是我們今年作重點，因此我們會把它做起來。

葉副有指示要將AI及機器學習導入，我們覺得這個在計畫相似度的部分，這個能夠執行，這個部分我們會持續追蹤，也會找學界的老師，看是否熟悉這一塊並開發。

當然這個是今年非常匆忙的做法，我們後續還會陸續找有無更合適的工具，能夠讓這一件事做得更精進。

這部分的資料正在跑當中，據說可能會讓委員看到的是，當下這一筆計畫是哪一筆計畫，跟哪一筆計畫的相似度是多少，點進去之後就可以看到底有什麼地方相似，我們希望在今年的審查之前，也就是現在正在跑的那一些分析資料可以跑完並連上線。

這個是第一個部分，也就是查找綱要計畫與查找執行計畫，委員找到以後，可以直接再點進去看詳細的內容。

最後我們針對科技計畫相似度比對的部分，我們今年會增加三個功能，第一個功能是可以用文找文的外面非常成熟的一些技術，去查找一些相關的綱要計畫。G第二個是去查找相關的執行計畫。另外我們也會針對比對的方式，希望能夠把各年度，從最近這幾年的綱要計畫書去作抽取分析，然後提供一些相似度的接軌估算。

科技預算站也是一樣的，也就是針對每一個部會所提的綱要計畫及施政目標的關聯，然後去做一些統計。

如果是高齡化議題的話，可能主要部會所投入的綱要計畫、高齡化議題，可能都是討論或健康照護或輔具開發，看看有沒有什麼計畫功能在執行的。

後來因為審查委員看一本很厚的報告，他們還是覺得非常吃力，所以後來才會有視覺化的系統，操作非常簡單，這個是委員可以在線上看到的畫面，如果五大產業創新的話，像「亞洲‧矽谷」大概有哪一些計畫，這個都是計畫名稱，一點進去就可以看到計畫的檢索及哪一些部會參與，這個是原來的系統，也可以一路展開下去看其他的議題。

我們主要的分析項目包括量化分析，就是有這一些。內容的部分會針對這一些研究的性質或重大政策、議題，因為重大政策與議題非常多，我們不可能全做，所以我們只挑科技部跟科技會報辦在這一年的推動重點，我們會針對這幾個重點及現在社會上熱門的議題，針對這一些議題來作分析。

這是我們分析的材料，也就是概述表的內容，綱要計畫書其實是非常厚的一本，委員一開始在看的時候還沒有要看到那麼細，所以我們會摘錄一些重點，然後來作一些研究主題議題的分類。

有關於計畫內容盤點分析，我們去年有提供基本資料的概述表，有提供一些量化分析及質化分析，也有把這一些內容的計畫、各部會在國發會所填的科技施政目標來作一些串聯。我們今年會增加的是就計畫書的本文作相似性的比對。

這一些東西除了國際的發展趨勢以外，到底國內已經累積何能量，我們就會介接到其他的地方看國內已經有投入哪一些技術，甚至可以再把我們的人力資料庫串在一起，也就是到底有哪一些人在執行這一些計畫，可以看到國內這一些研發的能量。

接下來這個只是範例，也就是會分析有什麼樣的核心技術及何國家。

這其實是很大的工程，所以我們也不敢保證在審查之前我們就會完成多少，反正我們就是陸續一直把它補起來。

我們會針對這樣的資訊來彙整額外的資訊，我們產出的報告是，如果審查委員在審查時，若長篇大論，審查委員也沒有時間看，因此我們這一些東西大致會歸納成4月左右的簡報檔，簡報檔接下來若有興趣的話，再看報告，也不會太長。

就國際趨勢的部分，因為現在政府推動「5＋2」的幾大產業，我們嘗試要從這一些政策裡面，我們會往上看哪一些標竿的國家有推動何方案與此有關，往下看有何技術架構及現行的成熟度如何，也就是哪一些可以讓我們參考哪一些可以投入，哪一些可能已經兩年後要商品化很成熟的，而不需要再投入的部分。

就審查工具的部分，我剛剛有提到一開始的時候，我們有針對科技計畫內容盤點，我們會針對國際趨勢執行及計畫來提供一些工具。

我不知道國發會是不是有接，如果國發會有接的話，我們就不用重複做，如果沒有的話，是不是針對跟科技計畫比較有關的，應該要有這樣的機制來建立此系統。

現在國家科學技術發展計畫，當成立了、行政院核定以後，是有將措施稍微分辦，也會定期追蹤，我們會填報，也會送到行政院核定，但是比較沒有再作更進一步的分析，因此我們當初曾經建議過像現在「5＋2」成案以後，是不是應該要有一個管理機制去追蹤這一件事。

在政策分案這一塊，這個是我們的建議事項，這好多年前提出來，我也沒有改，所以就把圖片放上來。

我們希望在11月完成，這一個部分一定會完成，另外一個部分我們會儘量，因為這裡面的功能非常地多。

GRB的部分是當部會拿到這一些預算以後，開始推動以後，可能對學校或對研究機構copy proposal以後，會有一些各個因此計畫，也就是現在的GRB。這中間只會串聯，但我們這一次的精進案是不含GRB這一塊。

細部計畫這一塊是指部會自己執行管控的那一個部分，我們也會同時考量進來、同時開發，對部會來說是選項的部分，除非是政府有強制要如何做，不然原來預估是選項。

政策資訊管理及年度綱要計畫審議績效評估，這是原來資訊網有的功能。因為這一次會導入以前沒有的角色之民意專家，因此民意專家會從審議績效評估報告中間的一些監測會去touch，評議專家會有自己的評鑑管理。 虛線的部分是原來沒有的，我們現在準備把這一些都串起來。

這三塊我說明一下，如果從建案一直到後面的結案追蹤，黃色的部分主要是比較能夠著力的地方，最上面黑色的部分是部會自己執行層面的那一塊，因此我們是針對比較能夠著力的地方（處理）。

另外，讓審查委員看更豐富資訊的這一塊，也就是除了我們原來針對綱要計畫書第一部分概述表所做的量化統計及內容分析以外，我們也會再新增一些其他的國際資訊分析，還有提供計畫比對的工具，這個是主要的三大塊。

如果要講整個從建案到結束，對於政策方案的部分，現在目前來說，以我現在來看，大概只有國家科學技術發展計畫有此追蹤，像以前早年的追蹤機制，好像最近這幾年比較沒有看到，原來國發會有對總統政見有追蹤，因此這一次我們會對政策方案提出追蹤的建議。