自主性系所品保後設評鑑結果分析

【文．池俊吉／高教評鑑中心研究員兼主任、林佳宜／高教評鑑中心專員、邱奕綺／高教評鑑中心專員】

高教評鑑中心已於107-110年間完成17所公私立一般校院及技專校院之「自辦品質保證認定」，及42所公私立一般校院及技專校院「委辦系所品保認可」。為了解各系所品保互動關係人對於此次系所品保的實施與相關意見，高教評鑑中心依據不同互動關係人在「自辦品質保證認定」編製6份問卷，在「委辦系所品保認可」編製5份問卷，問卷係採李克特式五點量表填答，並在每個分向度的最後加入開放性問答題，以蒐集學校／系所單位對本次系所品保及下次辦理之回饋意見，作為後續品保作業精進之參酌。

問卷調查係以線上問卷進行問卷填答，問卷對象之抽樣數視各學校組織規模而定，而填寫問卷之對象須為有實際參與系所品保工作之承辦人員或受訪人員。在「自辦品質保證認定」規劃之應抽樣數有1,627份，實際回收836份，其回收率為51.38%；在「委辦系所品保認可」規劃應抽樣數有7,046份，實際回收3,535份，其回收率為50.17%。詳細之樣本分布如表一、二。

「自辦品質保證認定」問卷分析結果

一、校級自辦系所品保結果認定審查的項目獲高度肯定，自辦系所品保認定制度的規劃與設計多有建議

表三為「自辦品質保證認定」問卷中6個向度之描述統計摘要，從表可知，問卷各向度平均數介於4.11至4.38間，顯示受評者對於問卷各向度的看法係持中高度的肯定或認同，且對於學校在「校級自辦系所品保結果認定審查的項目」之同意程度最高，惟對於「自辦系所品保認定制度的規劃與設計」之態度較為保留，但平均數仍有4.11。若參考質性意見，也有不少意見與「自辦系所品保認定制度的規劃與設計」有關，包括：（1）自辦品保過程中，系級皆須遵從校級機制辦理，在資料準備方面會有部分內容會與校級有重疊之處；（2）自辦品保認定分兩階段審查，造成學校與系所在程序與人力上的耗時與費力；（3）自辦品保認定結果除了「認定」與「未獲認定」外，可考慮再增加一項認定結果「待觀察／有條件認定」。上述意見將作為日後自辦系所品保認定制度修正之參考依據。為了解不同身分別之受訪對象在「自辦品質保證認定」問卷各向度之差異性，本研究亦進行變異數分析與t檢定，其分析摘要如表四、五。從表四、五中可發現，不同身分別在「自辦系所品保認定制度的規劃與設計」向度上均達統計顯著水準，進一步使用Scheffé進行事後多重比較，發現在「自辦系所品保認定制度的規劃與設計」部分，學校指導委員與系級工作小組兩組間有達顯著差異，又以學校指導委員的同意程度高於系級工作小組，原因可能來自於系級工作小組為自辦系所品保的第一線執行人員，需承擔較多資料蒐集與準備等行政事務。

「自辦品質保證認定」問卷各向度與不同學校別之變異數分析（詳如表六）發現「自辦系所品保認定制度的規劃與設計」有顯著差異，其餘兩項未達顯著差異，以Scheffé進行事後多重比較發現，公立一般校院的認同分數普遍較低，其中又以私立技專校院的同意程度高於公立一般大學。

二、不同互動關係人對「自辦系所品保機制／結果認定審查的進行對學校影響」之看法略有差異

為了解自辦系所品保機制／結果認定審查的進行對學校影響，問卷設計以複選題方式請填答者進行勾選，再以不同身分別與學校類型進行交叉分析，如表七、八。不同身分別皆認為自辦系所品保機制／結果認定審查的進行對學校最大的影響是「了解自辦系所品保實施程序的適切性」；不同學校類型中的公、私立一般校院認為自辦系所品保結果認定審查對學校最大的影響是「了解自辦系所品保實施程序的適切性」，公立技專校院則認為是「健全自辦系所品保組織的完整性」，私立技專校院則認為是「了解自辦系所品保實施程序的適切性」與「檢視自辦系所品保過程中的缺失」。

三、大多數互動關係人認同自辦品保結果獲認定將使學校自辦系所品保結果更具有說服力

為了解自辦系所品保結果認定審查結果獲認定對學校影響，問卷設計以複選題方式請填答者進行勾選，再以不同身分別與學校類型進行交叉分析，如表九及表十。不同身分別中的除了認定委員認為自辦系所品保結果認定審查結果獲認定對學校最大的影響是「彰顯學校辦學的自主性」外，其餘填答者皆認為是「提升學校自辦系所品保結果的說服力」；不同學校類型中的公立一般校院認為自辦系所品保結果認定審查結果獲認定學校最大的影響是「彰顯學校辦學的自主性」，私立一般校院、公立技專校院及私立技專校院則皆認為是「提升學校自辦系所品保結果的說服力」。

「委辦系所品保認可」問卷分析結果

一、視訊訪視的實施獲高度肯定，委辦系所品保認可的核心指標設計多有建議

表十一為「委辦系所品保認可」問卷中5個向度之描述統計摘要，從中可知，問卷各向度平均數介於4.01至4.19間，受評者對於問卷各向度的看法係持中高度的肯定或認同，且對於學校在「視訊訪視的實施」之同意程度最高，惟對於「委辦系所品保認可的核心指標設計」之態度較為保留，但平均數仍有4.01。其中「核心指標的設計有助於單位展現特色」是「委辦系所品保認可的核心指標設計」該向度中分數最低之題目，平均數為3.99，若再參考質性意見，填答者多認為學校類型（公立及私立大學與一般校院及技專校院）的相異，對所有單位均採相同之品保項目與指標，不易展現系所的特色。故此項之結果，將作為日後委辦系所品保認可制度修正之參考依據。

為了解不同身分別之受測對象在「委辦系所品保認可」問卷各向度之差異性，本研究亦進行變異數分析與t檢定，其分析摘要如表十二、十三。從表十二、十三中可發現，不同身分別在「委辦系所品保認可制度的規劃與設計」、「委辦系所品保認可的項目」、「委辦系所品保認可的核心指標設計」及「實地訪視的實施」向度上呈現顯著差異，僅「視訊訪視的實施」未達顯著差異，事後比較發現訪視委員及認可委員的同意程度皆高於系科所人員。

二、不同互動關係人對「委辦系所品保認可的進行對學校影響」看法一致

為了解自委辦系所品保認可的進行對學校影響，問卷設計以複選題方式請受訪者進行勾選，再以不同身分別與學校類型進行交叉分析，如表十四、十五。不同身分別與學校類型受訪者皆認為委辦系所品保認可的進行對學校最重要的兩項影響分別為「促使各單位重視學生的學習」及「促使各單位重視教師之教學」。

三、學生對「委辦系所品保認可」滿意程度高達八成以上

此次「委辦系所品保認可」重視學生學習與成效，獲取學生對於「委辦系所品保認可」實施之意見能給予評鑑機構提升評鑑作業信效度的參酌。故針對「此次認可結果」、「此次認可結果進行改進的規劃與成果」及「委辦系所品保的進行」等題項進行滿意度調查，皆獲致八成以上學生表達滿意的答覆（圖一）。整體而言，學生對此次委辦系所品保認可進行可說是持高度正向看法。

四、持續精進系所品保規劃與執行，確保大學校院系所品質

高教評鑑中心規劃與執行的兩項系所品保計畫，皆獲得多數互動關係人的肯定，但受訪者也提出一些可精進的實務建議。在自辦系所品保認定部分，受訪者針對認定結果不要二元化、線上書審上傳檔案之限制放寬，以及給予報告初核的補正與待釐清問題回覆時間延長等項給予建議；在委辦系所品保認可部分，受訪者提出評鑑項目指標應能依據學校系所特性調整、座晤談的方式可彈性化、委員的評鑑專業強化，以及線上書審系統的便利性等項精進意見，高教評鑑中心將會納入下週期系所品保規劃之參據。

此外，本次後設評鑑為週期結束前才辦理，期間涵蓋107至110年四個年度的11類互動關係人，因人員的職務調動、學生畢業、教師退休、及記憶不復在等因素影響回收率與意見的精確性，未來將規劃每年進行後設評鑑以確保意見回應的即時性與正確性。