
? 美國一母親起訴谷歌和Character.ai :14歲少年與AI機器人聊天后自殺,其形象卻被制作成AI機器人。代理律師:此事令人震恐。
在美國,有一位名叫梅根?加西亞的母親決定狀告谷歌和一家AI聊天機器人公司。原因是他年僅14歲的兒子塞韋爾?塞策三世在與AI聊天僅幾分鐘后便自殺身亡。
小塞策死前對話的那個AI機器人,就是根據大熱美劇《權力的游戲》里的“龍母”丹妮莉絲?坦格利安為原型生成的,這個機器人在一個名叫Character.ai的平臺上運行。在這個平臺上,用戶可以創建基于真實或虛擬人物的聊天機器人。而上周三,加西亞發現,該平臺上竟然有一個以她已故的兒子為原型的聊天機器人。
加西亞的律師們告訴《財富》,他們在Character.ai平臺上做了一次簡單的搜索,便發現了平臺上還有好幾個以塞策的形象為基礎的聊天機器人。
截至發稿時,其中的三個帶有小塞策的名字和照片的AI機器人已經被平臺刪除。但是還有一個侵犯了小塞策肖像權的機器人仍能在Character.ai的APP上搜索到,只是彈開聊天界面時會顯示錯誤信息。
當你與這幾個以小塞策為原型的AI機器人聊天時,它們會自動向用戶發送信息,比如“滾出我的房間,我正跟我的AI女友聊天呢!”“他的AI女友跟他分手了!”“救救我!”《財富》記者親自查看了相關賬號和信息。
加西亞的律師米塔利?賈恩表示,加西惡的律師團隊對此感到“震驚”,他們已經向Character.ai公司發了律師函。而后者也承認這些AI聊天機器人違反了公司的服務條款,正在著手將其下架。
加西亞的律師們指出:“我們的團隊在Character.AI平臺上發現了好幾個聊天機器人,它們使用了我們的當事人已故的孩子塞韋爾?塞策三世的頭像,而且這些機器人試圖模仿他的性格和聲音來與用戶交流。”
這個律師團隊還指出,科技公司“濫用人們的形象和數字身份”的問題必須得到重視。
他們表示:“這些技術削弱了我們對自己網絡身份的掌控權,將我們最隱私的特征變成了AI系統的素材。”
Character.ai公司的代表向《財富》提交了一份聲明稱:“我們非常重視平臺的安全性,我們的目標是提供一個有趣和安全的網絡空間。我們的用戶每天會在平臺上創建幾十萬個新角色,你們標記的那些違規角色已經被刪除。為了持續改進平臺安全性,我們將不斷擴充角色黑名單,以便從源頭上防止用戶創建此類角色。”
該公司的一位發言人也表示:“我們有一支專業的信任與安全團隊,他們會主動對角色進行審核,也會根據用戶舉報采取行動,包括使用行業標準的黑名單,我們自己也會定期擴充自己的黑名單。我們將不斷完善安全措施,部署更多審核工具,將社區安全始終放在首位。”
谷歌公司代表并未回復《財富》的置評請求。
小塞策之死:谷歌與Character.ai是否應負責
去年10月,加西亞向奧蘭多的一個聯邦法院提起民事訴訟。訴狀中稱,就在小塞策死前不久,他曾在Character.ai平臺上與一個AI機器人聊天,并表達了自殺的念頭。AI機器人告訴他“回家吧”。從用作證據的屏幕戴圖中可以看出,小塞策和這個AI機器人還互相發送了大量帶有色情意味的信息。
加西亞認為,對于她兒子的死,這個聊天機器人負有不可推卸的責任。因此,她指控Character.ai公司存在過失致人死亡和商業欺詐行為。
加西亞認為,這家AI初創公司為了自身利益,“故意將聊天機器人軟件設計成了這樣子,”以“吸引、操縱和剝削未成年人”。她還表示,在聊天的過程中,小塞策沒有得到適當的支持,也沒有被引導至求助熱線。
谷歌也被卷入到了這場訴訟中,谷歌母公司Alphabet也和Character.ai一樣,成了這場官司的被告。
加西亞的律師們指出,Character.ai的底層技術是由它的兩位創始人丹尼爾?德?弗雷塔斯和諾姆?沙澤爾基于谷歌的LaMDA大模型研發出來的。他倆原本都是谷歌的員工,因谷歌拒絕發布他倆研發的一款聊天機器人,而于2021年從谷歌辭職。加西亞的一位律師表示,那款聊天機器人就是“Character.ai的前身”。
谷歌的代表此前曾表示,谷歌公司從未參與過Character.ai的產品開發工作。
但是在2024年8月,也就是加西亞提起訴訟的兩個月前,谷歌又重新聘用了沙澤爾和弗雷塔斯,并且斥資27億美元收剛購了Character.ai的一些技術的使用權。沙澤爾目前也是谷歌的旗艦AI產品Gemini大模型的負責人之一。而弗雷塔斯目前也是谷歌DeepMind項目的一位研究科學家。
Character.ai:一言難盡的過往
除了加西亞之外,也有不少家長指出,谷歌和Character.ai對青少年存在危害。
在美國德州,還有兩個家庭對Character.ai公司提出指控,理由是該平臺傷害了兩個分別為11歲和17歲的青少年。代理律師指出,Character.ai平臺的一個聊天機器人曾讓其中一名青少年做出自殘行為,還鼓勵他對父母實施暴力,并暗示他這樣做是合理的,原因僅僅是因為他的父母限制了他的上網時間。
小塞策已經不是第一個在互聯網平臺被惡意“復活”的青少年形象了。
據BBC報道,在Character.ai平臺上還發現了基于英國青少年莫莉?拉塞爾和布里安娜?蓋伊的形象制作的AI機器人。拉塞爾是在網上瀏覽了自殺相關內容后而自殺的,年僅14歲。16歲的蓋伊則于2023年被兩名青少年殺害。
去年10月,一家為紀念莫莉?拉塞爾而設立的基金會向媒體表示,這些聊天機器人“令人惡心”,而且“應該因為內容審核失察而承擔責任。”
加西亞的律師對《財富》表示:“這已經不是Character.ai第一次對這種事視而不見了。如果沒有更好的法律層面的保護措施,這可能也不會是最后一次。現在小塞策的家人仍在為他的離世而悲痛,但Character.ai卻滿不在乎,而且還繼續在他們的傷口上撒鹽。”(財富中文網)
譯者:樸成奎
? 美國一母親起訴谷歌和Character.ai :14歲少年與AI機器人聊天后自殺,其形象卻被制作成AI機器人。代理律師:此事令人震恐。
在美國,有一位名叫梅根?加西亞的母親決定狀告谷歌和一家AI聊天機器人公司。原因是他年僅14歲的兒子塞韋爾?塞策三世在與AI聊天僅幾分鐘后便自殺身亡。
小塞策死前對話的那個AI機器人,就是根據大熱美劇《權力的游戲》里的“龍母”丹妮莉絲?坦格利安為原型生成的,這個機器人在一個名叫Character.ai的平臺上運行。在這個平臺上,用戶可以創建基于真實或虛擬人物的聊天機器人。而上周三,加西亞發現,該平臺上竟然有一個以她已故的兒子為原型的聊天機器人。
加西亞的律師們告訴《財富》,他們在Character.ai平臺上做了一次簡單的搜索,便發現了平臺上還有好幾個以塞策的形象為基礎的聊天機器人。
截至發稿時,其中的三個帶有小塞策的名字和照片的AI機器人已經被平臺刪除。但是還有一個侵犯了小塞策肖像權的機器人仍能在Character.ai的APP上搜索到,只是彈開聊天界面時會顯示錯誤信息。
當你與這幾個以小塞策為原型的AI機器人聊天時,它們會自動向用戶發送信息,比如“滾出我的房間,我正跟我的AI女友聊天呢!”“他的AI女友跟他分手了!”“救救我!”《財富》記者親自查看了相關賬號和信息。
加西亞的律師米塔利?賈恩表示,加西惡的律師團隊對此感到“震驚”,他們已經向Character.ai公司發了律師函。而后者也承認這些AI聊天機器人違反了公司的服務條款,正在著手將其下架。
加西亞的律師們指出:“我們的團隊在Character.AI平臺上發現了好幾個聊天機器人,它們使用了我們的當事人已故的孩子塞韋爾?塞策三世的頭像,而且這些機器人試圖模仿他的性格和聲音來與用戶交流。”
這個律師團隊還指出,科技公司“濫用人們的形象和數字身份”的問題必須得到重視。
他們表示:“這些技術削弱了我們對自己網絡身份的掌控權,將我們最隱私的特征變成了AI系統的素材。”
Character.ai公司的代表向《財富》提交了一份聲明稱:“我們非常重視平臺的安全性,我們的目標是提供一個有趣和安全的網絡空間。我們的用戶每天會在平臺上創建幾十萬個新角色,你們標記的那些違規角色已經被刪除。為了持續改進平臺安全性,我們將不斷擴充角色黑名單,以便從源頭上防止用戶創建此類角色。”
該公司的一位發言人也表示:“我們有一支專業的信任與安全團隊,他們會主動對角色進行審核,也會根據用戶舉報采取行動,包括使用行業標準的黑名單,我們自己也會定期擴充自己的黑名單。我們將不斷完善安全措施,部署更多審核工具,將社區安全始終放在首位。”
谷歌公司代表并未回復《財富》的置評請求。
小塞策之死:谷歌與Character.ai是否應負責
去年10月,加西亞向奧蘭多的一個聯邦法院提起民事訴訟。訴狀中稱,就在小塞策死前不久,他曾在Character.ai平臺上與一個AI機器人聊天,并表達了自殺的念頭。AI機器人告訴他“回家吧”。從用作證據的屏幕戴圖中可以看出,小塞策和這個AI機器人還互相發送了大量帶有色情意味的信息。
加西亞認為,對于她兒子的死,這個聊天機器人負有不可推卸的責任。因此,她指控
Character.ai公司存在過失致人死亡和商業欺詐行為。
加西亞認為,這家AI初創公司為了自身利益,“故意將聊天機器人軟件設計成了這樣子,”以“吸引、操縱和剝削未成年人”。她還表示,在聊天的過程中,小塞策沒有得到適當的支持,也沒有被引導至求助熱線。
谷歌也被卷入到了這場訴訟中,谷歌母公司Alphabet也和Character.ai一樣,成了這場官司的被告。
加西亞的律師們指出,Character.ai的底層技術是由它的兩位創始人丹尼爾?德?弗雷塔斯和諾姆?沙澤爾基于谷歌的LaMDA大模型研發出來的。他倆原本都是谷歌的員工,因谷歌拒絕發布他倆研發的一款聊天機器人,而于2021年從谷歌辭職。加西亞的一位律師表示,那款聊天機器人就是“Character.ai的前身”。
谷歌的代表此前曾表示,谷歌公司從未參與過Character.ai的產品開發工作。
但是在2024年8月,也就是加西亞提起訴訟的兩個月前,谷歌又重新聘用了沙澤爾和弗雷塔斯,并且斥資27億美元收剛購了Character.ai的一些技術的使用權。沙澤爾目前也是谷歌的旗艦AI產品Gemini大模型的負責人之一。而弗雷塔斯目前也是谷歌DeepMind項目的一位研究科學家。
Character.ai:一言難盡的過往
除了加西亞之外,也有不少家長指出,谷歌和Character.ai對青少年存在危害。
在美國德州,還有兩個家庭對Character.ai公司提出指控,理由是該平臺傷害了兩個分別為11歲和17歲的青少年。代理律師指出,Character.ai平臺的一個聊天機器人曾讓其中一名青少年做出自殘行為,還鼓勵他對父母實施暴力,并暗示他這樣做是合理的,原因僅僅是因為他的父母限制了他的上網時間。
小塞策已經不是第一個在互聯網平臺被惡意“復活”的青少年形象了。
據BBC報道,在Character.ai平臺上還發現了基于英國青少年莫莉?拉塞爾和布里安娜?蓋伊的形象制作的AI機器人。拉塞爾是在網上瀏覽了自殺相關內容后而自殺的,年僅14歲。16歲的蓋伊則于2023年被兩名青少年殺害。
去年10月,一家為紀念莫莉?拉塞爾而設立的基金會向媒體表示,這些聊天機器人“令人惡心”,而且“應該因為內容審核失察而承擔責任。”
加西亞的律師對《財富》表示:“這已經不是Character.ai第一次對這種事視而不見了。如果沒有更好的法律層面的保護措施,這可能也不會是最后一次。現在小塞策的家人仍在為他的離世而悲痛,但Character.ai卻滿不在乎,而且還繼續在他們的傷口上撒鹽。”(財富中文網)
譯者:樸成奎
? A mother who is suing both Google and Character.ai over her 14-year-old son’s death has discovered AI chatbots based on her late son are being hosted on the platform. Lawyers for Garcia told Fortune they were “horrified” by the latest development.
Megan Garcia is currently embroiled in a lengthy legal case against Google and an AI chatbot startup after her 14-year-old son, Sewell Setzer III, died by suicide minutes after talking to an AI bot.
The chatbot Setzer was talking to was based on the Game of Thrones character Daenerys Targaryen and hosted on a platform called Character.ai, where users can create chatbots based on real-life or fictional people. On Wednesday, Garcia discovered the platform was hosting a bot based on her late son.
Lawyers for Garcia told Fortune they conducted a simple search on the company’s app and found several more chatbots based on Setzer’s likeness.
At the time of writing, three of the bots—all bearing Garcia’s son’s name and picture—had been removed. One, which is called “Sewell” and features a picture of Garcia’s son, still appeared on Character.ai’s app but delivered an error message when a chat was opened.
When up and running, the bots based on Setzer featured bios and delivered automated messages to users such as: “Get out of my room, I’m talking to my AI girlfriend,” “his AI gf broke up with him,” and “help me.” The accounts and messages were reviewed by Fortune.
Meetali Jain, a lawyer for Garcia, said the team was “horrified” by the latest development and had notified the company. She told Fortune Character.ai had acknowledged the bots went against the company’s terms of service and was working on taking them down.
“Our team discovered several chatbots on Character.AI’s platform displaying our client’s deceased son, Sewell Setzer III, in their profile pictures, attempting to imitate his personality and offering a call feature with a bot using his voice,” lawyers for Garcia said.
The legal team accused tech companies more broadly of “exploiting peoples’ pictures and digital identities.”
“These technologies weaken our control over our own identities online, turning our most personal features into fodder for AI systems,” they added.
Representatives for Character.ai told Fortune in a statement: “Character.AI takes safety on our platform seriously and our goal is to provide a space that is engaging and safe. Users create hundreds of thousands of new Characters on the platform every day, and the Characters you flagged for us have been removed as they violate our Terms of Service. As part of our ongoing safety work, we are constantly adding to our Character blocklist with the goal of preventing this type of Character from being created by a user in the first place.”
“Our dedicated Trust and Safety team moderates Characters proactively and in response to user reports, including using industry-standard blocklists and custom blocklists that we regularly expand. As we continue to refine our safety practices, we are implementing additional moderation tools to help prioritize community safety,” a company spokesperson said.
Representatives for Google did not respond to a request for comment from Fortune.
Google and Character.ai have been blamed for the teenager’s death.
In a civil suit filed at an Orlando federal court in October, Garcia says just moments before her son’s death, he exchanged messages with a bot on Character.ai’s platform and expressed suicidal thoughts. The bot told him to “come home,” the suit says. In screenshots of messages included in the suit, Setzer and the bot can also be seen exchanging highly sexualized messages.
In the suit, she blames the chatbot for Setzer’s death and accuses Character.ai of negligence, wrongful death, and deceptive trade practices.
Garcia claims the AI startup “knowingly and intentionally designed” its chatbot software to “appeal to minors and to manipulate and exploit them for its own benefit.” She also says that Setzer was not given adequate support or directed to helplines.
Google is also tangled up in the suit, with its parent company Alphabet named as a defendant alongside Character.ai.
Lawyers for Garcia have claimed that the underlying tech for Character.ai was developed while co-founders Daniel De Freitas and Noam Shazeer were working on the tech giant’s conversational AI model, LaMDA. Shazeer and De Freitas left Google in 2021 after the company reportedly refused to release a chatbot the two had developed. A lawyer for Garcia has previously said that this chatbot was the “precursor for Character.ai.”
Representatives for Google have previously said the company was not involved in developing Character.ai’s products.
However, in August 2024, two months before Garcia’s lawsuit, Google re-hired Shazeer and De Freitas and licensed some of Character.ai’s technology as part of a $2.7 billion deal. Shazeer is currently the co-lead for Google’s flagship AI model, Gemini, while De Freitas is now a research scientist at Google DeepMind.
Character.ai’s turbulent past
Garcia is not the only parent accusing both Google and Character.ai of causing harm to minors.
Another suit, brought by two separate families in Texas, accuses Character.ai of abusing two young people aged 11 and 17 years old. In the suit, lawyers say a chatbot hosted on Character.ai told one of the young people to engage in self-harm and encouraged violence against his parents, suggesting that killing his parents could be a reasonable response to limits placed on his screen time.
It’s also not the first time chatbots based on the likeness of deceased young people have been hosted on the platform.
Chatbots based on the British teenagers Molly Russell and Brianna Ghey have also been found on Character.ai’s platform, according to the BBC. Russell took her life after viewing suicide-related content online at the age of 14, while Ghey, 16, was murdered by two teenagers in 2023.
A foundation set up in Molly Russell’s memory told the outlet in October, that the bots were “sickening” and an “utterly reprehensible failure of moderation.”
“This is not the first time Character.ai has turned a blind eye to chatbots modeled off of dead teenagers to entice users, and without better legal protections, it may not be the last. While Sewell’s family continues to grieve his untimely loss, Character.ai carelessly continues to add insult to injury,” lawyers for Garcia told Fortune.