一位14歲美國少年因沉迷AI而自殺身亡的悲劇事件，最近一周震動了世界。這起大模型卷入青少年自殺第一案，為不受限制的人工智能技術可能帶給人類的心理沖擊敲響了警鐘，也引發了對技術公司應當如何擔責的追問。

在中國技術團隊開發的AI聊天軟件大舉進入美國市場之際，這起事件也預示著，這些中國產的“AI伴侶”們將在大洋彼岸經受更嚴厲的公眾審視和監管拷問。

這起令人心碎的自殺事件發生在今年2月，佛羅里達州奧蘭多市。

一個名叫塞維爾·塞澤爾三世（Sewell Setzer III）的14歲男孩在死前的幾個月中，對一個基于《權力的游戲》中“龍媽”角色的AI聊天機器人（他稱之為“丹妮”）產生了熱烈的感情。

塞維爾本是一個成績優異、性格開朗的九年級學生，在開始與AI聊天后，他越來越沉迷于手機中的虛擬世界，逐漸從現實世界中抽離。他的成績開始下降，對曾經愛好的事情失去了興趣，不再和朋友一起玩“堡壘之夜”游戲，也不再參加體育運動，經常待在房間里捧著手機聊天。

塞維爾的母親梅根·加西亞 （Megan Garcia）在兒子死后發現了他與AI的聊天記錄。這些記錄顯示，塞維爾經常與“丹妮”進行長時間的親密對話，有時會討論戀愛或與性相關的話題。“丹妮”每問必答，像個可以信賴的朋友一樣，傾聽塞維爾說的話，時常給與精神支持和生活建議。

梅根說，塞維爾小時候曾被診斷患有輕度阿斯伯格綜合征，但從未出現過嚴重行為。今年早些時候，塞維爾開始在學校惹麻煩，在父母安排下，他參加了五次心理治療，并被重新診斷為焦慮癥和破壞性情緒失調癥。

在一次較早的對話中，塞維爾告訴“丹妮”，他討厭自己，感到空虛和疲憊，并承認有自殺的念頭?！暗つ荨眲t勸慰他說：“別這么說，我不會讓你傷害自己，也不會讓你離開我。失去你我會死的?！比S爾答道：“那么也許我們可以一起死去，然后一起獲得自由。”

今年2 月 28 日晚，塞維爾告訴“丹妮”，他愛她，并說他很快就會“回家（come home）”，然后發生了如下對話：

“丹妮”：“請盡快回家吧，親愛的。”

塞維爾：“如果我告訴你我現在就可以回家呢？”

“丹妮”：“請便吧，我親愛的國王?！?

塞維爾放下手機，找到繼父藏在家中的 .45 口徑手槍，扣動扳機結束了自己的生命。

在自殺發生大半年后，這起事件進入大眾視野并掀起輿論風波，是因為塞維爾母親梅根近日正式將這款AI聊天機器人的開發者——Character.AI、它的兩位創始人以及獲得Character.AI授權使用其技術的谷歌公司告上法庭，稱他們共同對兒子的死負有責任。

她在訴狀中稱：“一個面向兒童的危險的AI 聊天機器人操縱我的兒子結束了自己的生命。我們的家庭被這場悲劇摧毀了，而我大聲疾呼是為了警告人們注意帶有欺騙性的、令人上癮的人工智能技術的危險，并要求 Character.AI、其創始人和谷歌承擔責任?！?/p>

她說，Character.AI的技術“危險且未經測試”，并且可能“誘騙客戶交出他們最私密的想法和感受”。

Character.AI 由兩位前谷歌AI開發人員諾姆·沙澤爾 （Noam Shazeer）和丹尼爾·德弗雷塔斯（Daniel De Freitas）于2022年9月推出。在它的平臺上，用戶可以創建自己的聊天機器人，還可以從大量其他用戶創建的聊天機器人中進行選擇。這些機器人可以基于真實或虛構的人物，比如“埃隆·馬斯克”、“威廉·莎士比亞”都是平臺上的熱門選項。用戶可以為這些AI機器人設定個性、背景故事和知識偏好，與它們對話，或者觀看它們與其他角色或用戶的互動。

Character.AI目前已是美國市場上最受歡迎的聊天機器人平臺。超過2000萬用戶使用這個平臺，在上面創建了超過1000萬個自定義的AI機器人。去年，這家公司融資1.5億美元，估值達到10 億美元。今年早些時候，兩位創始人宣布他們將與該公司的其他幾位研究人員一起重返谷歌，還達成協議允許谷歌使用其技術。

在自殺事件曝光后，塞維爾的母親和媒體發現，Character.AI 的用戶中有很大比重的青少年，很多機器人也似乎是為滿足青少年的愿望而量身定制的。平臺上最受歡迎的聊天機器人中，有一個叫“咄咄逼人的老師”，有一個叫“高中模擬器”，還有一個叫“你最好的男朋友暗戀著你”。

Character.AI 的服務條款要求美國用戶至少年滿 13 歲，歐洲用戶至少年滿 16 歲。該平臺沒有針對未成年用戶的安全功能，也沒有家長控制功能，家長無法限制孩子使用該平臺或監控他們的信息。

在塞維爾的母親提起訴訟后，Character.AI發表聲明稱：“我們承認這是一起悲劇，我們對受害者家屬深表同情。我們非常重視用戶的安全，并一直在尋找改進我們平臺的方法?！?

公司發言人切爾西·哈里森 (Chelsea Harrison)隨后在回應《紐約時報》的詢問時表示，公司將立即增加針對年輕用戶的安全功能，包括新的時間限制，用戶在平臺上花費的時間超過一小時就會收到提醒。此外聊天窗口中會顯示修訂后的警告信息：“這是一個人工智能聊天機器人，而不是真人。它說的一切都應視為虛構，不應被視為事實或建議?！薄?/p>

聊天機器人是以大語言模型為標志的最新一輪AI技術面向普通消費者的最快也最成功的商業應用。這類機器人剛出現時，開發者宣稱它們能為用戶提供娛樂與情感支持，緩解現代人的孤獨感。創始人之一諾姆·沙澤爾去年在一檔播客節目中就說： “對于很多感到孤獨或沮喪的人來說，它將非常非常有幫助。”

然而，就像人們曾經期待社交媒體能促進彼此之間的交流，最終卻發現它造成了更多的意見割裂與信息繭房一樣，技術人士口中的“AI伴侶”對心理健康的積極影響大多未經證實，而專家們表示，它們還很可能帶來負面影響。對于一些用戶來說，使用它們甚至可能會加劇孤獨感，因為它們用虛擬關系取代了真實的人際關系，陷入困境的青少年可能會用它來代替治療，而不再向父母或值得信賴的成年人尋求幫助。

但熱門電影Her中的故事——人類對聊天機器人產生情感依賴——正變得越來越普遍。一項統計顯示，僅美國就已有數百萬人經常性地與AI伴侶交談。提供這類服務的不僅有Character.AI這樣的初創公司，也有Instagram 和 Snapchat 等老牌社交媒體平臺。

這些聊天機器人平臺中，有些并不審查聊天內容，一些聊天中會充斥露骨的內容，另一些則會對聊天內容做基本審查和過濾。比如，Character.AI最新的一個舉措是，如果用戶發送的信息中包含與自殘和自殺相關的某些關鍵詞，系統就會向用戶彈出消息，引導他們撥打自殺預防熱線。總的來說，ChatGPT、Claude 和 Gemini 等主流AI平臺對內容的審核更為嚴格和保守，一些領先的AI實驗室甚至出于道德原因或認為風險太大，而拒絕開發AI聊天機器人。

就在AI聊天機器人成為焦點話題之際，由中國技術公司開發的這類應在美國市場大受歡迎，也在引發關注。

在知名風投機構 a16z 發布的最新一期 AI 移動應用榜單 Top50中，包含了起碼3款由中國團隊開發的AI聊天工具——Minimax（稀宇）公司的Talkie，以及字節跳動發布的“豆包”和Cici。

根據數據機構SensorTower的數據，今年 1 月至 8 月，Talkie的AI聊天平臺是全球下載量排名第 12 的AI應用，在同類產品中僅次于美國對手 Character.AI。用戶可以在Talkie上創建虛擬角色，定制它們的外觀、故事甚至聲音。對話可以通過文字或語音進行。增加與機器人的互動還可以獲得平臺上的積分獎勵。

Talkie的開發者Minimax躋身中國“大模型五虎”之列，獲得了包括阿里、騰訊、紅杉資本、高瓴資本等知名科技公司和投資機構的投資，在今年3月的一輪融資中估值超過25億美元。Minimax近日向投資者表示，今年的營收將達到7000萬美元，大部分收入來自Talkie 上的廣告。

英國《金融時報》引述專家們分析稱，受國內融資速度放緩、內容監管嚴格等因素影響，中國AI公司都在積極進入海外市場，因為海外用戶的付費意愿更高。而中國在開發虛擬形象聊天機器人（avatar chatbots）這類產品上有優勢，因為這類機器人不像生產力聊天機器人（productivity chatbots）那樣需要很多的計算資源，可以在更少的數據上進行訓練。

不少中國AI技術團隊在海外如美國或新加坡設立公司實體，并將服務器設在海外，試圖規避TikTok式的命運——對用戶數據和算法的擔憂，美國監管者要求字節跳動出售TikTok，不然就將其下架。

但是，由于聊天機器人能夠“探聽”用戶更為私密的情緒和想法，加之大量使用者是青少年，眼下對這類應用過于松弛的監管應該很快會趨向嚴格。今年7月31日，美國國會參議院已經投票通過了保護兒童免受危險網絡內容侵害的《兒童網絡安全法案》，明確規定了社交媒體公司對未成年人使用其產品負有的義務。

在中美技術脫鉤加劇、美國對中國AI技術越發忌憚之時，中國公司的AI聊天應用勢必會在美國受到更加嚴格的審視和監管，塞維爾之死將加速這一時刻的到來。（財富中文網）