【稽叔夜特稿】人工智慧發展出意識，這不是科幻小說

人工智慧（AI）系統能否變得有意識？三位意識科學家表示，目前沒有人知道這一點，他們對缺乏對這個問題的調查表示擔憂。瑪麗安娜·倫哈羅 Mariana Lenharo發表在最新一期《自然》(Nature)的<人工智慧意識：科學家稱我們迫切需要答案>( AI consciousness: scientists say we urgently need answers)指出，研究人員呼籲提供更多資金來研究有意識和無意識系統之間的界線。(Researchers call for more funding to study the boundary between conscious and unconscious systems.)
人工智慧發展了意識，是否應該將其關閉？
數學意識科學協會（AMCS）的三位領導人在向聯合國發表的評論中呼籲提供更多資金來支持意識和人工智慧的研究。他們表示，迫切需要對意識和無意識系統之間的界線進行科學研究，並列舉了倫理、法律和安全問題，這些問題使得理解人工智慧意識至關重要。例如，如果人工智慧發展了意識，是否應該允許人們在使用後簡單地將其關閉？
AMCS 董事會成員、英國牛津數學家、該評論的作者之一 Jonathan Mason 表示，最近有關人工智慧安全的討論（例如在英國舉行的備受矚目的人工智慧安全峰會）大多沒有提及此類擔憂。。梅森指出，美國總統拜登尋求負責任地開發人工智慧技術的行政命令也沒有解決有意識的人工智慧系統所提出的問題。「隨著人工智慧領域發生的一切，不可避免地會有其他鄰近的科學領域需要迎頭趕上，」梅森說。意識就是其中之一。
不是科幻小說
其他評論的作者包括 AMCS 主席 Lenore Blum（賓州匹茲堡卡內基美隆大學的理論計算機科學家）和董事會主席 Johannes Kleiner（德國慕尼黑路德維希馬克西米利安大學研究意識的數學家）。
科學尚不清楚是否存在或將來是否存在有意識的人工智慧系統。梅森說，即使知道是否已經開發出來也是一個挑戰，因為研究人員尚未創建經過科學驗證的方法來評估機器的意識。「考慮到人工智慧的進步速度，我們對人工智慧意識的不確定性是值得我們擔心的眾多問題之一，」加州舊金山非營利研究組織人工智慧安全中心的哲學家羅伯特朗（Robert Long）說道。
世界人工智慧安全週：啟動強大的運算工作以促進研究
這樣的擔憂不再只是科幻小說。OpenAI（創建聊天機器人 ChatGPT 的公司）等公司的目標是開發通用人工智慧，這是一種深度學習系統，經過訓練可以執行與人類類似的各種智力任務。一些研究人員預測這將在 5 至 20 年內成為可能。梅森表示，即便如此，意識研究領域「支持非常不足」。他指出，據他所知，2023 年尚未收到任何研究該主題的資助。
AMCS 領導人向聯合國人工智慧高階諮詢機構提交的文件中概述了由此產生的資訊差距，該機構於 10 月啟動，計劃於 2024 年中期發布一份關於世界應如何管理人工智慧技術的報告。AMCS 領導人提交的意見尚未公開發布，但該機構向作者證實，該組織的評論將成為其「基礎材料」的一部分——這些文件為其有關人工智慧系統全球監督的建議提供了資訊。
我們需要什麼機器？
AMCS 研究人員表示，了解什麼可以使人工智慧具有意識，對於評估有意識的人工智慧系統對社會的影響（包括其可能的危險）是必要的。人類需要評估這些系統是否具有人類的價值觀和利益；如果不這樣做，它們可能會給人們帶來風險。
但研究人員表示，人類也應該考慮有意識的人工智慧系統的可能需求。這樣的系統會受到影響嗎？如果我們不認識到人工智慧系統已經變得有意識，我們可能會給有意識的實體帶來痛苦，朗說：「我們在將道德考慮擴展到那些看起來和行動都沒有的實體方面並沒有很好的記錄。像我們。” 他說，錯誤地歸因意識也會產生問題，因為人類不應該花費資源來保護不需要保護的系統。
如果人工智慧變得有意識：透過以下方式知道
AMCS 評論中提出的一些強調意識問題重要性的問題是法律問題：有意識的人工智慧系統是否應該對故意的不當行為負責？是否應該被賦予與人同等的權利？該聯盟寫道，答案可能需要修改法規和法律。
然後科學家需要教育他人。梅森說，隨著公司設計出功能越來越強大的人工智慧系統，大眾會想知道這些系統是否有意識，科學家需要足夠的知識來提供指導。
其他意識研究人員也表達了同樣的擔憂。博卡拉頓佛羅裡達大西洋大學未來思維中心主任、哲學家蘇珊·施奈德 (Susan Schneider) 表示，ChatGPT 等聊天機器人的行為看起來非常像人類，以至於人們有理由對它們感到困惑。如果沒有科學家的深入分析，有些人可能會得出這些系統是有意識的結論，而其他公眾可能會忽視甚至嘲笑對人工智慧意識的擔憂。
為了降低風險，AMCS 的評論呼籲政府和私營部門資助更多關於人工智慧意識的研究。推進該領域不需要太多資金：儘管迄今為止支持有限，但相關工作已經在進行中。例如，Long 和其他 18 名研究人員制定了一份標準清單，用於評估一個系統是否有很高的機會具有意識。論文1於 8 月在 arXiv 預印本儲存庫中發表，尚未經過同行評審，其標準源自於解釋意識的生物學基礎的六種著名理論。