【換日線教育】國際名校教授:老師必須比學生更懂 AI

作者:任恩儀/N1 的田野筆記

上(1)月中旬,為了因應任教大學的國際證書學程期末考,我測試了 ChatGPT,原意是想看看是否能預防學生藉此 AI 軟體作弊。

經過測試,我必須承認,自己並沒有能力輕易抓出學員是否用 AI 輔助答題。

實際測試!用 AI 回答自己出的考題

開放式的申論問題,雖然主要問的是觀點,但仍會有些邏輯可循,因此大家的答案會有點相像,本來就是自然的,就算閱卷者敏銳覺察學員可能有使用 AI,但要確定是否真有使用 AI,恐怕也得花上不少時間比對。身為閱卷者,一班有幾十位學生,每位被分配到的閱卷時間有限,實在很難花大把時間一一細查。

我試玩了一下 ChatGPT,的確很快就能產生乍看之下相當厲害的答案。實測的結果發現,提問很重要,如果不要把老師給的問題直接全部複製丟上去,而是稍微換句話說、條件設定更動一下,那麼基本上,就不太可能產出一模一樣的答案。

秉持實驗精神,我甚至把同一題、條件不變,反覆測試了好幾次,但 ChatGPT 還是會產出邏輯很像、句型或用字卻不一樣的答案。要強調,這些測試我都是以英文作為溝通語言。

早在我測試之前,ChatGPT 的話題已經紅了好幾週了。不少大學科目,長期仰賴開放式、沒有標準答案的申論題為評量方式,甚至為了讓學生能夠好好開卷、有時間思考,因此採用報告形式繳交,任教的老師們也都紛紛開始擔憂 AI 對評量公平性的影響。

ChatGPT 足以在法學院取得 JD 學位

在開放取用的社會科學領域線上預印社群 SSRN 發表的一篇文章中,一群美國明尼蘇達大學的法學院教授,讓 AI 參加了四科期末考的測試,題目包括選擇題和申論題。改考卷的時候,所有的答案混在一起,改卷的老師並不知道哪一份是 AI 的答案,只能用統一的標準去評分。結果發現,AI 的表現雖然不出色,甚至可以說是墊底的後段班,但四科也分別拿到 B, B-, C-, C-,最後平均為 C+。

該文章的結論是,雖然 ChatGPT 只能算是位平庸的法學院學生,但它的期末考整體表現已經足以在法學院取得 JD 學位了。

在該篇文章出稿的同一天,由史丹佛學生獨立經營的《史丹佛日報》(The Stanford Daily),也刊登了 1 月中進行的非正式問卷調查結果,回收的 4,497 份的回應中,大約有 17% 的史丹佛學生表示有使用 ChatGPT 來協助自己的秋季作業和考試。多數人使用 AI 生成的材料作為期末作業或報告的發想;其中僅有 5% 的人,承認他們直接繳交 AI 生成的文稿。

哇!即使只有填答者的 5%(約 225 人),人數也相當可觀。由於並沒有進一步消息指出,史丹佛大學有大量學生被抓到使用 AI 生成的文本完成考試,因此我們或許可以假設,絕大多數都平安過關,沒有被抓到。

不僅如此,法國、印度、美國部分大學和大型學區,已經禁止在校內網路和電腦上使用 AI。批評這項措施的人指出,難道學生都不會帶手機嗎?教育技術專家則敦促學校應對教師和學生進行培訓,讓他們了解如何使用 ChatGPT 和人工智慧,而不是直接禁止它。

1 月 31 日,擁有 ChatGPT 的新創公司 OpenAI 發布新聞表示,它們又新推出了一款工具,可以用於識別 AI 生成的文本。評論者指出,這是一場「AI 獵殺 AI 的戰爭」。

教授們怎麼看 AI 的影響?

ChatGPT 不僅引起話題風暴,關心這個議題的大眾也親眼見證 AI 的一日數變,但當然,高教圈對於 AI 的關注並不是現在才開始,我自己的高教同溫層,對於 AI 教學世代的來臨,算是採取相對正向的態度。

我認識一位澳洲專門研究創造力的教授,他長期在個人臉書分享 AI 使用心得。之前,這位教授以 GPT-3 為測試的對象,他並不認為 GPT-3 具有「創造力」,對於 ChatGPT 的測試,他也繼續維持原來的主張:在面對創造力的測試上,這些透過演算法湊出來的排列組合,並不具備創造力的許多條件。換言之,只能勉強達平均值。這也和明尼蘇達大學法學院教授們的測試結果相似——AI 的表現平庸。

但他同時也肯定,AI 在教學或研究上可以產生的輔助作用。舉例來說,善用 AI 進行過往需要非常耗時、耗錢的創造力表現評分工作,AI 雖然沒有什麼太大的創意,但只要條件設定妥當,在它廣大的資料庫中,透過比對,AI 可以很快地辨認出哪些繪畫表現是非尋常的、罕見的、創新的。

在這波 ChatGPT 的閱卷討論中,這位教授的觀點是大學教師應該要設計更好的評量方式、問更優質的問題,而非一味禁止學生使用 AI。

我在社群上分享個人使用心得時,任教國際名校商學院的教授朋友留言指出,既然 AI 產生的答案不夠優秀,正好可以作為作業範本,也就是先讓 AI 答題,然後學生接著提出批評、修改的方向,並標註編修的地方和理由。她進一步分享,面對未來發展,她與同事的共識是老師們也得掌握如何運用 AI,而且要用得比任何人都還好,當作一種必備技能。

不僅如此,非英語母語者可以使用 built-in AI 來幫忙草擬郵件或回信,減少文法錯誤。朋友也嘗試請 AI 協助安排適合家庭出遊、以大眾運輸為主的旅遊行程,結果來看規劃得也相當不錯。

我們又要進階到下一個階段了

回憶自己的大學時代,已經只有極少部分同學還會繳交手寫作業;而我現在擔任大學老師,作業繳交、批改都是線上操作;職場上,雲端的協作改變了專案管理方式,傳統的紙筆文書歸檔模式,更可以說已經被淘汰或大幅簡化了。而在這波 AI 的浪潮之下,透過各種嘗試,相信大家都會同意,數位化又有了嶄新的定義。

世界的不變道理,應該就是它的瞬息萬變。

3、4 年前談線上教學,不少人還很陌生,現在這叫基本必備技能,幾乎每台個人電腦都安裝了好幾個線上會議的軟體。AI 輔助考試的議題也是,短短幾個月就有很多不同的挑戰和轉折。

對於從事教育工作的人來說,雖然不容易,但樂觀地想:這也表示我們又要再努力進階到下一個更厲害的階段了。

※本文由換日線網站授權刊載,原標題為《ChatGPT 對教育的挑戰,你準備好了嗎?國際名校教授:老師必須比學生更懂運用 AI》,未經同意禁止轉載

更多換日線文章

選擇題下的教育,造就了台灣人的「無知」

ChatGPT 之亂:學生用 AI 軟體寫作業,教育局祭禁令有用嗎?

作者簡介:

任恩儀,自己最重要的身分認同現在是寫作者。在學術寫作與公眾寫作外,也寫隨筆,散文和小說,偶爾發表,偶爾自己欣賞,繼續醞釀。因為做的是和人以及場域高度相關的教育研究,所以,凡事都會先想到在事件裡的人是什麼感受,為什麼這個場域會形成這個文化。自己客居異鄉的身分更像一個業餘的人類學家,在做出結論前,通常會慢慢觀察。