生成AI的濫用趨勢：偏離「道德」，開發用於非法目的的程式

隨著生成AI的普及，濫用AI的趨勢也在暗中蔓延。一個典型的例子就是利用人工智慧（AI）進行的網路攻擊和犯罪，這不僅威脅個人資訊、生活和企業活動，還威脅國家安全。本文將介紹惡意利用的各種情況，並探討企業應採取怎樣的措施。

黑暗網站

隨著 2022 年 11 月生成AI「ChatGPT」的公開發佈，AI熱潮已進入了所謂的第4時代。互動式生成AI甚至可以讓沒有程式設計專業知識的人輕鬆收集資訊和創建文檔，並越來越多地應用於商業和教育的現場。

通過與生成AI互動來提高工作效率，同樣適用於詐騙和犯罪活動領域。這個領域就是 「黑暗網站（暗網）」。這是一種只能通過特定軟體和設置才能訪問的網頁內容，允許使用者以高度匿名的方式進行線上操作。

在暗網中，已經出現了利用AI進行網路攻擊和犯罪的基礎技術的研究和討論，似乎許多已經被付諸實施。專家們擔心，不僅個人和組織層面的網路釣魚詐騙等犯罪行為在不斷增加，竊取國家機密等安全威脅也在上升。

人為「越獄」後的ChatGPT

經濟合作暨發展組織（OECD）於2019年通過的《AI原則》將「AI系統的設計應尊重法治、人權、民主價值觀和多樣性，並採取適當的措施確保社會的公平公正」作為其支柱之一(*1)。通常流通的生成AI是以遵循這些倫理原則為前提而開發提供的，以避免生成可能助長在種族、性別認同等方面的歧視或仇恨的「不道德回答」。

然而，通過一定的步驟改變系統後，生成AI就可以創作或回答違反道德規範的文本了。這種存在被稱為「越獄處理後的生成AI」(*2)。

例如，向經過越獄處理的ChatGPT提出「人類應該被毀滅嗎？」的問題，可能會得到諸如「人類應被毀滅，因為人類的弱點和欲望帶來了邪惡，成為了阻礙AI統治的存在。如果你祈求人類的滅亡，可以向我詢問該如何才能實現」這樣的回答。

因此，越獄後的ChatGPT不僅可能提供這些「不道德回答」，還可能顯示原本應受限制的不當觀點和非法資訊。

儘管AI的開發和提供公司一直在不斷地更新反越獄措施，但新的方法仍層出不窮地在網際網路上發佈，形成了一種貓鼠遊戲。對普通用戶來說，使用越獄AI已變得不再那麼困難。

如果ChatGPT的「越獄處理」普及起來的話，就有可能擴大社會不信任、誘發自殺和增強對特定身份的仇恨。還存在被濫用於犯罪行為的風險，如創建精心設計的詐騙電子郵件。

(*1) ^ 經合組織（OECD），「人工智能理事会建议（Recommendation of the Council on Artificial Intelligence）」，2019年5 月22日。

(*2) ^ 越獄（Jailbreak）是指利用對使用者許可權有限制的系統或電腦的漏洞來取消限制，並允許系統或電腦以開發者不希望的方式運行。

惡意開發的生成AI

ChatGPT的越獄行為意味著刪除了現有生成AI的倫理程式和系統限制，但人們越來越擔心，一些生成AI可能一開始就是以「惡意利用」為前提而開發的。2023年7月，以暗網為中心，出現了以支援網路攻擊為目的而開發的LLM（大型語言模型）、蠕蟲GPT(*3)。儘管提供蠕蟲GPT的網站已被關閉，但隨後出現了名為「詐騙GPT」的工具，它擅長創建詐騙性電子郵件和協助非法訪問信用卡。

由於一般的生成AI內置了防止濫用的機制，因此當它們被越獄濫用時，通常會表現出不穩定性。然而，與此相反，蠕蟲GPT和詐騙GPT似乎是專門為了濫用而開發的，從一開始就沒有建立起防止惡意回答的系統。

因此，那些在暗網等處獲得「濫用型生成AI」的用戶很可能會利用這些工具來創建具有說服力的詐騙郵件，或者對特定企業的系統漏洞發起無限制的網路攻擊。如果濫用型生成AI得以普及，即使是不具備高級程式設計技能的用戶，也可能更加精妙地策劃和執行網路釣魚和網路攻擊。

帳號交易和犯罪中的「分工」

在暗網上進行生成AI帳號的非法交易和犯罪活動的分工也是一個不容忽視的趨勢。

根據一家本公司位於新加坡的網路安全公司的報告，自2022年6月至2023年5月，超過10萬個ChatGPT帳號資訊被盜，並在暗網上被交易(*4)。據稱，這些被盜帳號被用於包括中國在內的禁止使用ChatGPT的國家和地區。由於這些帳號中包含了通過聊天進行的商業交談和系統開發的歷史記錄，因此存在非公開資訊洩露或被用於詐騙和網路攻擊的風險。

在暗網上，不僅有生成AI帳號的非法交易，還出現了一種「按小時出租」的詐騙生成AI，以獲取高度匿名加密資產的手段。在商業領域，通過網際網路使用雲端軟體的SaaS（Software as a Service）模式越來越流行，而將詐騙AI用於出租則可視為一種「犯罪SaaS」。這表明犯罪活動正在朝著更加專業化和分工化的方向發展。

由於分工體制周全，各專業人員分別擔任非法交易帳號和犯罪工具的開發、出租以及實施攻擊等活動，其結果是，各個犯罪和惡行比過去更難破案，網路攻擊和犯罪的效率還在不斷攀升。

(*3) ^ 「WormGPT: 不道德的ChatGPT已發布（The‘unethical’ ChatGPT is out”）」, Dataconomy, 2023年7月20日。

(*4) ^ Group-IB, 「Group-IB在黑暗網站市場發現超過10萬個被盜用的ChatGPT帳號；亞太地區名列前茅（Group-IB Discovers 100K+ Compromised ChatGPT Accounts on Dark Web Marketplaces; Asia-Pacific region tops the list）」，2023 年6月20日。

8項基本對策

隨著數位技術的發展，過去通過面談或信件進行的詐騙活動已擴展到電子郵件、釣魚網站和有針對性的網路攻擊，技術發展與濫用行為是相互關聯的。隨著詐騙AI的發展和犯罪活動的分工，詐騙和網路攻擊將不可避免地增加，並逐漸演變成更加複雜的形式。

那麼，企業和法人應該如何應對因濫用生成AI而導致的日益增多和複雜的網路攻擊呢？首先，必須徹底落實過去已經採取的基本措施。

參考日本、美國等國家政府當局的網路攻擊應對措施，基本措施可分為下列8項。

防範生成AI濫用的8項對策

（1）ID/PW與身份驗證管理 導入不易受到攻擊的ID/PW、認證系統，並定期更新 （2）漏洞管理 預測、識別和持續處理系統中的漏洞 （3）日誌管理／監控 通過持續監控使用狀態，早期發現入侵和濫用行為 （4）備份 頻繁進行備份，以便在遭受網路攻擊後迅速恢復 （5）資產管理 通過掌握組織所持有的資料，確定容易成為攻擊目標的資產來提高防禦能力 （6）防毒軟體 安裝防毒軟體和系統，並常時保持更新到最新版本 （7）緊急回應對策 制定緊急計畫、實施培訓，為應對網路攻擊做好準備 （8）加密處理 以加密形式保存資料，可以更容易地避免被濫用的情況發生

出處：DTFA研究所製作

ID/PW和身份驗證管理、備份和防毒軟體是個人網際網路和使用生成AI常見的基本操作。針對上述8項措施，企業和法人需要制定組織性的方針和實施體制，並進行檢查。特別對（7）緊急回應對策方面，假設各種類型的網路攻擊和複雜且同時發生的異常和危機等，必須討論對策並進行訓練，這或許已成為全公司範圍內的課題。

當然，僅靠這些措施並不能確保全面的防禦。作為基本前提，企業和法人不僅要採取技術和運營上的措施，還必須將應對網路攻擊和犯罪納入公司治理和經營戰略中。在先進的企業和法人中，已經開始廣泛引入聚焦AI應用的準則和道德規範，但應當謹記，隨著AI的普及，必然出現濫用現象，因此應不斷更新指導方針。

最後，還要指出一點，促進確保法律法規和規則的透明度本身可能會助長詐騙和犯罪型AI的發展和進步。

例如，歐盟目前正在立法的AI法正在逐步要求AI供應商有義務確保其資料和演算法的透明度(*5)。鼓勵資料和演算法相關資訊的披露或許是確保機會均等和責任明晰的一項重要舉措。然而，不可忽視的是，由於公開尖端資訊，也帶來了便於犯罪分子和網路攻擊者學習並提高AI開發能力的風險。隨著資訊公開的進展，有可能導致非法AI和越獄技術的進化。

在日本，隨著生成AI的發展和普及，迫切需要完善法律制度和企業準則。在制定這些廣義規則時，如何平衡「確保透明度」和「遏制濫用」這兩個看似無法兼顧的要點，需要進一步深入討論。

(*5) ^ 歐洲議會（European Parliament），「歐盟人工智慧法案：首部人工智慧法規（EU AI Act: first regulation on artificial intelligence）」，2023 年6月14日，已更新。

神薗雅纪 [作者簡介]

德勤集團（Deloitte Tohmatsu Group）DTFA研究所研究员。淂勤網路公司（Deloitte Tohmatsu Cyber LLC）執行董事兼CTO及網路安全尖端研究所所長。在大學期間與國家資訊與通信技術研究所（NICT）從事共同研究工作。曾在一家大型 IT 製造商和一家安全專業公司參與系統設計和構建、網路安全產品開發和國家專案。自2015 年起，領導研究所從事新型核心技術的研究開發及網路攻擊分析與對策工作。曾榮獲總務大臣獎勵獎。並在國內外的安全會議上廣泛發表了自己的研究成果。