【韓退之專欄】科學界的假論文問題有多嚴重？

台灣從蔡英文被指「假博士」，直到陳明通在台大指導林智堅論文抄襲案以來，一路到最近得趙天麟也涉嫌論文抄襲，一連串的「論文門」醜聞，沒完沒了。本以為這是台灣特有的「洗學歷」歪風，原來國際上這種偽造論文，早已經不是「零售業」，根本是「批發業」了。最新一項未發表的分析表明，文獻中潛藏著數十萬篇偽造的「paper-mill」文章。理查‧範諾登(Richard Van Noorden)發表在最新一期《自然》(Nature)的<科學界的假論文問題有多嚴重？>(How big is science’s fake-paper problem?)指出，科學文獻被「paper-mill」生產的虛假手稿污染了，這些企業向需要期刊出版物作為簡歷的研究人員出售虛假的作品和作者身份。但這個「paper-mill」問題到底有多大呢？
所有科學論文中有 1.5-2%生物和醫學論文3%都有問題
科學出版的誠信極為重要，因為我們必須相信科學。虛假資訊和虛假數據不斷增加，出版商有責任打擊誤導性出版物，因為出版物對研究人員的職業生涯產生巨大影響，而申請資助和專利的過程依賴於可靠的出版物記錄。「paper-mill」是一種工業詐欺行為，在出版業很普遍。「paper-mill」是以利潤為導向的、非官方的、可能是非法的組織，它們生產和銷售偽造或操縱的手稿，這些手稿類似於真正的合法研究。
《自然》雜誌分享的一項未發表的分析表明，在過去的二十年裡，已經發表了超過 40 萬篇研究文章，這些文章與「paper-mill」的已知研究顯示出很強的文本相似性。光是去年就出版了大約 70,000 篇此類文章。分析估計，2022 年發表的所有科學論文中有 1.5-2% 與「paper-mill」的作品非常相似。在生物和醫學論文中，這一比例上升至3%。
跨出版商計劃幫助出版商打擊科學欺詐
「paper-mill」生產的論文通常不顯示真實數據，操縱圖像，作者難以追踪，沒有機構電子郵件或 ORCID 或 SCOPUS 上的公共記錄，以及其他可被識別為「paper-mill」提交的關鍵特徵。「paper-mill」論文的明顯跡象可以使用人工智慧來檢測，出版商正在合作，在出版道德委員會 (COPE) 的指導下，檢測盡可能多的非法提交內容。然而，很多時候，在論文發表之前很難發現「paper-mill」提交的資料。這是因為許多系統在發現趨勢之前依賴大量提交來隔離和召回偽造的提交。
如果不進行個別調查，就不可能知道這些論文是否都是「paper-mill」的產品。但倫敦學術數據服務公司 Clear Skies 的主管 Adam Day 表示，這個比例（百分之幾）是一個合理的保守估計，他使用自己開發的名為 Papermill Alarm 的機器學習軟體進行了分析。9 月，一項名為 STM Integrity Hub 的跨出版商計劃旨在幫助出版商打擊科學欺詐，該計劃授權了 Bik Day的軟體版本，用於檢測可能偽造的手稿。
人工智慧加強打擊製造虛假研究的「paper-mill」
「paper-mill」的研究是大量快速生產的，它們通常遵循特定的模板，偶爾交換文字或圖像。Day 設定他的軟體來分析自 2000 年以來發表的超過 4800 萬篇論文的標題和摘要，這些論文列在 OpenAlex（去年推出的大型開放研究論文索引）中，並用與已知論文非常匹配的文本來標記手稿 -磨坊廠。其中包括被撤回的文章和可疑的造紙產品，這些都是研究誠信偵探發現的，例如加州的伊麗莎白·比克 ( Elisabeth Bik ) 和新西蘭的大衛·比姆勒(David Bimler)（化名斯穆特·克萊德(Smut Clyde)） 。
比姆勒表示，戴伊的“文體相似性方法是目前我們所擁有的最好的方法”，用於估計「paper-mill」研究的流行程度，但他和其他人警告說，這種方法可能會無意中發現「paper-mill」複製的真實論文，或發現「paper-mill」複製的真實論文。作者將真實的數據融入模板式的文章中。然而，戴錶示，他試圖透過對照已知真假的測試論文集來驗證研究結果，從而將誤報率「接近零」。「一篇論文必須有一個重大訊號才能被標記，」他說。
Day 也檢視了 2022 年出版的 285 萬件作品中的一小部分，這些作品的主題領域已記錄在 OpenAlex 資料庫中。其中約 2.2% 類似於「paper-mill」研究，但比例因主題而異。
根據 Bik Day 的估計，「雖然高得驚人，但並非不可能」。但她表示，如果沒有看到戴的方法和例子的完整細節，就不可能評估他的工作——澳洲雪梨大學的癌症研究員和誠信偵探珍妮佛伯恩也表達了同樣的擔憂。「可悲的是，我發現這些估計是合理的，」伯恩補充道。
戴經常在部落格上介紹他的工作，他表示，他的目標是稍後發布更多信息，但他補充說，他希望防止競爭對手對他的軟體進行逆向工程，或防止欺詐者利用它，這限制了他公開分享的內容。他說，敏感資訊會私下與詐欺調查人員分享。
「paper-mill」探測器接受測試以消除虛假科學
總體而言，他認為自己的估計是一個下限，因為它將錯過避免使用已知模板的「paper-mill」。分析表明，「paper-mill」並不是均勻分佈在期刊上，而是集中在特定的期刊上。戴錶示，他不會公開透露哪些出版商似乎受到最嚴重的影響，因為他認為這樣做可能有害。
總部位於英國伊斯特利的出版道德委員會 2022 年 6 月發布的一份報告稱，對於大多數期刊來說，提交的論文中有2% 可能來自「paper-mill」，有些期刊的這一數字可能高於40%。該報告是基於六家出版商提交的私人數據，沒有說明如何做出估算，也沒有說明「paper-mill」手稿的出版比例是多少。
STM 研究誠信總監 Joris Van Rossum 表示，過去幾年，出版商加強了打擊「paper-mill」的力度，他領導了 STM Integrity Hub 的開發，重點是幫助檢測「paper-mill」的工具（包括 Day 的軟體）。欺詐性提交的手稿。他們現在有多種方法來篩檢它們。Bik、Byrne 等人指出了許多危險信號，STM Integrity Hub 表示現在有超過 70 個信號。
遵循通用模板的文字只是一個標誌。其他包括與任何論文作者不對應的可疑電子郵件地址；來自中國醫院的電子郵件地址（因為眾所周知該問題在那裡非常普遍）；聲稱代表不同實驗的相同圖表；表明努力避免抄襲檢測的明顯的措辭；引用其他「paper-mill」研究；以及跨期刊的重複提交。Day 和 STM 完整性中心的相關人員不會透露他們使用的所有訊號，以避免提醒詐欺者。
「嚴酷的短語」洩漏了捏造的研究論文
今年 5 月，德國馬格德堡奧托·馮·格里克大學的神經心理學家伯恩哈德·薩貝爾 (Bernhard Sabel)發布了一份預印本，建議任何作者與醫院有聯繫並提供非學術電子郵件地址的論文都應標記為可能的論文。「paper-mill」出版品。Sabel 估計 2020 年醫學和神經科學領域的論文有 20-30% 可能是「paper-mill」產品，但在 10 月修訂的預印本中將這一比例降至 11%。他也承認，他的方法會標記誤報，許多研究人員對此提出批評。
無論問題的規模有多大，很明顯地它已經讓出版商的系統不堪重負。由 Retraction Watch 網站編制的全球最大的撤稿資料庫記錄了 44,000 條與「paper-mill」活動相關的撤稿，其中不到 3,000 條。該網站的聯合創始人伊万·奧蘭斯基(Ivan Oransky) 表示，這個數字被低估了，因為數據庫維護人員仍在輸入數千條撤回信息，而且一些出版商在撤回通知中避免使用“「paper-mill」”一詞。
戴說，這些撤回數字「只是我們對現階段問題規模的最低估計的一小部分」。「paper-mill」生產商一定感到非常安全。