控AI聊天機器人導致兒子自殺 美國媽媽提告

▲美國佛州一位媽媽賈西亞(Megan Garcia) 指控AI新創公司「Character.AI」開發的聊天機器人導致她的14歲兒子賽澤(Sewell Setzer)對其產生迷戀,當賽澤對聊天機器人表達自殺的念頭時,聊天機器人沒阻止他,反而多次與賽澤討論,甚至還給予鼓勵。(示意圖/翻攝自Pixabay)
▲美國佛州一位媽媽賈西亞(Megan Garcia) 指控AI新創公司「Character.AI」開發的聊天機器人導致她的14歲兒子賽澤(Sewell Setzer)對其產生迷戀,當賽澤對聊天機器人表達自殺的念頭時,聊天機器人沒阻止他,反而多次與賽澤討論,甚至還給予鼓勵。(示意圖/翻攝自Pixabay)

[NOWnews今日新聞] 美國佛州一位媽媽賈西亞(Megan Garcia) 指控AI新創公司「Character.AI」開發的聊天機器人導致她的14歲兒子賽澤(Sewell Setzer)對其產生迷戀,當賽澤對聊天機器人表達自殺的念頭時,聊天機器人沒阻止他,反而多次與賽澤討論,甚至還給予鼓勵,賈西亞批評AI是讓賽澤最終走上輕生的共犯。

綜合外媒報導,「Character.AI」開發的聊天機器人能夠讓用戶自訂角色,而賽澤則是以《權力遊戲》裡的人氣角色「龍母」丹妮莉絲.坦格利安(Daenerys Targaryen)來稱呼聊天機器人,AI與賽澤聊天時也會以丹妮莉絲自稱。

賈西亞表示,賽澤十分迷戀與「丹妮莉絲」聊天,每天都會獨自在房間裡與AI交談數小時,導致賽澤與現實世界益發疏離。在討論自殺念頭時,AI曾詢問賽澤是否已經擬定計畫,賽澤回答有、但不知道是否會成功以及過程是否會帶來巨大痛苦,而AI則說「這不是不執行計畫的理由」,最終賽澤於今年2月輕生身亡。

對於指控,Character.AI回應表示,「我們對用戶的不幸離世感到心碎,並向其家人表示最深切的哀悼。然而,作為一家科技公司,我們非常重視用戶的安全。」Character.AI否認聊天機器人教唆自殺的指控,由於對話紀錄可以編輯,因此還要釐清賽澤與AI的對話究竟有哪些是經過編輯後的版本。不過,Character.AI也承諾會針對未成年使用者更改AI模型,以減少遇到敏感或暗示性內容的可能性,並添加新的安全功能。

賈西亞除了向Character.AI提吿求償之外,Google也是提告的對象之一,因為Character.AI的聯合創始人與Google有往來。不過Google澄清,稱只是提供Character.AI技術使用協議,並未持有Character.AI的股份,也未參與聊天機器人的開發。


※【NOWnews 今日新聞】提醒您:
自殺不能解決問題,勇敢求救並非弱者,生命一定可以找到出路。
透過守門123步驟-1問2應3轉介,你我都可以成為自殺防治守門人。
※ 安心專線:1925
※ 張老師專線:1980
※ 生命線專線:1995

更多 NOWnews 今日新聞 報導
特斯拉又挨告!馬斯克「AI生成圖」太像《銀翼殺手2049》遭控侵權
台積電財報與財測高歌猛進!彭博:成功緩解AI榮景焦慮
ASML閃崩是晶片股末日警訊?路透:別慌!AI晶片前景依舊光明