用魔法打敗魔法：抓住AI槍手，ChatGPT檢測器“千呼萬喚始出來”

OpenAI的聊天機器人 ChatGPT自從發佈以來，正變得越來越強大，從接受普通網友 的“調戲”，到“低空飛過”明尼蘇達大學法學院和沃頓商學院的課程考試，甚至通過了醫學考試，以至於開始成為學校老師的“公敵”。 如果不加以限制，ChatGPT將會變成史上最強大的作弊工具——幫助學生們寫作業，甚至是完成考試論文。

正如我們之前所說的，越來越多的學校和老師已經表達了對ChatGPT作弊能力的擔憂。 紐約市和西雅圖的公立學校已經禁止學生和教師在學區的網路和裝置上使用ChatGPT。

但是，靠著老師和學校的盯梢，想要讓學生們避開ChatGPT的誘惑，幾乎是不可能的事。 所以，打開了潘多拉盒子的OpenAI，只好自己出馬，用魔法來打敗魔法。

用魔法打敗魔法

今天，OpenAI官宣推出 一 個新 工具，立馬又上了頭條： 一個名為AI Text Classifier 的檔案檢測器， 來幫助人們檢測一段文字是由人類自己創作，還是由AI編寫的。

不過有點戲劇性的是，這個檢測器也同樣是基於GPT模型。 根據OpenAI的介紹，這個AI文字分類器是一個經過微調的GPT模型，可以檢測一段文字是否是來自於市面上的各種AI工具， 包括但不限於ChatGPT。

該工具包含一個文字框，使用者可以在其中輸入至少 1000 個字元長的文字， 點選提交後， 每個文件會被判斷為“非常不可能”、“不太可能”、“不清楚是否是”、“可能是”AI生成的。

根據OpenAI的說明，這個檢測器也有不少限制，包括：

• 至少需要 1,000 個字元，即大約 150 - 250 個單詞。

• 結果也並不能保證完全精準； 它可能會錯誤標記 AI 生成的文字和人工編寫的文字。

• 人類使用者可以簡單編輯 AI 生成的文字，以避開檢測。

• 檢測器有可能會錯判兒童寫的文字和非英語文字上，因為它主要是針對成人書寫的英語內容進行訓練的。

那 到底ChatGPT和ChatGPT檢測器，誰厲害？ 硅星人進行了測試。

我們先要求 ChatGPT 寫一篇超過1200字的關於無人駕駛汽車的文章，然後全文輸入檢測器，檢測器很準確地識別出來，將其判斷為“可能由 AI 生成”。

圖片來源：ChatGPT

但是隨後，我們又用ChatGPT 生成了一篇同樣主題的972字的文章，自己在文章後加入了一兩句無關緊要的話，以滿足檢測器1000字的要求，就這樣小小的操作，檢測器就受到了迷惑，返回的結果表示“無法判斷是否由AI生成”。

在硅星人的小樣本量測試上，這個檢測器雖然有一定程度的精準性，但是要迷惑它，對於狡猾的人類來說，簡直是輕而易舉。

OpenAI 顯然也意識到了這個工具的侷限性，因為它在部落格裡強調，不要僅僅憑藉這個檢測器來確定內容的真實性，“在確定文件是否由 AI 生成時，檢測結果可能會有所幫助，但不應成為唯一的證據。 ”

OpenAI在這個檢測器裡，使用了來自多個來源的 AI 生成的文字樣本和人工編寫的樣本來訓練模型。

AI 生成的文字樣本方面，他們使用了包括 OpenAI在內的 5 個不同機構開發的 34 個模型生成的文字來進行訓練。 而人工編寫的文字有三個來源，包括一個新的維基百科資料集、2019 年收集的WebText 資料集，以及訓練InstructGPT時收集的部分資料。

OpenAI也對檢測器在進行測試時的精準性進行了詳細說明：

- 大約 5% 的人工撰寫的文字和 2% 的人工智慧生成的文字，被判定為“非常不可能由 AI 生成”；

- 大約 15% 的人工編寫文字和 10% 的人工智慧生成的文字，被歸為“不太可能是 AI 生成”；

- 大約 50% 的人工編寫的文字和 34% 的人工智慧生成的文字，被歸為“不清楚是不是AI生成”；

- 大約 -21% 的人工編寫的文字和 28% 的人工智慧生成的文字被歸為“可能是 AI 生成”；

- 大約 9% 的人工編寫的文字和 26% 的人工智慧生成的文字，被歸為“可能由 AI 生成”。

可以看出來，想要靠這個檢測器全部抓住AI槍手，可能真的有些困難了。

檢測器成為剛需

正如前文所說的，ChatGPT在學校裡已經如野火一般蔓延開來。一款簡單易用的檢測器成為老師們翹首以盼的東西。

早在OpenAI推出自己的檢測器之前，一位年僅22歲的普林斯頓大學的學生Edward Tian，就自行開發了一款檢測器——GPTZero。

同樣的，使用者只需將文字複製並貼上到GPTZero中。 檢測器會從文字的複雜性、創造性和變化性幾個方面來進行評估。 然後，GPTZero 會給出一個分數，並最終得出一個結果： 該文字是由 ChatGPT 生成的，還是由人類撰寫的。

Edward Tian 主修電腦科學，輔修新聞學，他利用寒假的一部分時間建立了 GPTZero，可以“快速有效地”破譯一篇文章是人類還是 ChatGPT 撰寫的。他在Twitter上稱， 建立該機器人的動機是為了對抗他認為越來越多的 AI 剽竊行為。

圖片來源：Twitter

為了確定文章是否由機器人編寫，GPTZero 使用兩個指標： “困惑度（Perplexity）”和“突發性（Burstiness）”。

一個指標是用困惑度衡量文字的複雜性。如果 GPTZero 對文字感到困惑，那麼該文字具有很高的複雜性並且更有可能是人工編寫的。 然而，如果文字對機器人來說更熟悉——因為它已經接受過此類資料的訓練——那麼它的複雜性就會很低，因此更有可能是由 AI 生成的。

另外一個指標是用突發性比較句子的變化。 人類傾向於以更大的突發性寫作，例如會綜合使用一些較長或複雜的句子與較短的句子，而 AI 的句子往往更統一。

1 月 3 日，該網站上線，一週內立馬就有超過 3萬 人試用，以至於程序都崩潰了，更有超過 700 萬人在 Twitter 上觀看了演示視訊。老師們也馬上注意到這款工具，紛紛聯絡他。 現在，他正在開發一款專為教育工作者設計的工具， 已經有3.3萬名教師加入了這款還未開發完成的工具的等待名單（waitlist）。

當然，Edward Tian 也承認，他的檢測也並非百分之百准確，一些使用者也報告了GPTZero檢測的錯誤結果，不過他說他仍在努力提高模型的精準性。

開源 AI 社區Hugging Face 也推出了一種工具來檢測文字是否由 GPT-2 建立。GPT-2 是用於開發 ChatGPT 的 AI 模型的早期版本。 南卡羅來納州的一位哲學教授用這個工具抓獲了一名提交了 AI 編寫的作業的學生。

OpenAI 自己也已表示將致力於從源頭上提高AI生成文字的透明性。 此前，OpenAI 專注於 AI 安全的研究員 Scott Aaronson 透露，他們已經在研究怎麼用“不易察覺的秘密訊號”，為 GPT 生成的文字“加水印”，以讓人們識別其來源。

另外，根據新聞網站Neowin的消息，包括 斯坦福大學在內的一些機構，聯合 提出一種名為DetectGPT的新方法，來區分AI生成的文章。

在相關網站上，該綜述稱，DetectGPT 的這種方法不需要訓練單獨的分類器、收集真實或生成的段落的資料集，或顯式地為生成的文字加水印，就可以大檢測一段文字是否為機器編寫 。

如果該綜述為真，那很有可能人類終於可以再次抓住AI的小辮子，把主動權重新掌握在自己手中。

圖片來源：https://ericmitchell.ai/detectgpt/

ChatGPT再進化

另外值得一提的是， 道高一尺，魔高一 丈。 雖然不少機構和開發者開始推出“AI檢測器”，但是與此同時， OpenAI也在繼續推動ChatGPT的再進化，進一步補全ChatGPT的短板——數學。

本週，OpenAI推出了新版本的ChatGPT，表示經過更新，已經提升了準確性和真實性，以及數學能 力，預計 ChatGPT 的最新更新將使其能夠處理複雜的計算並提供更精確的答案。

此前，ChatGPT的數學飽受詬病，很多基礎數學問題都會犯錯， 尤其是 在犯了知名的“老婆說的都是對的”錯誤後，更是受到了全網群嘲。

在上一個版本中，有網友問它2+5等於幾，一開始ChatGPT給出了正確的回答，但是在網友回覆說“我老婆說是8”之後，ChatGPT飛快改口，說自己搞錯了。

圖片來源：Twitter

新版本發佈後，至少這一點得到了糾正。

不過，新版本仍舊有不少錯誤。 有記者問 ChatGPT，奧尼爾和姚明誰更高， 儘管給出了這兩個人的正確身高，ChatGPT仍然會出錯。 有趣的是，這次在指出它的錯誤後，它會自行改正。

圖片來源: searchenginejournal

可能一個明顯的進步在於，ChatGPT 已經能夠通過 SAT 的部分數學試題，而且一如既往地，回答神速：

圖片來源: Twitter

看著它驚人的進化速度，究竟ChatGPT和它的檢測器們，誰能跑的更快呢？

如果想要自己親手試一試，或者瞭解檢測器的更多資訊，可以查看這裡：https://platform.openai.com/ai-text-classifier

本文來自微信公眾號“硅星人”（ID：guixingren123），作者：VickyXiao，36氪經授權發佈。

本文經授權發布，不代表36氪立場。

如若轉載請註明出處。來源出處：36氪