Character AI är ett AI-bolag där du som användare kan skapa en artificiell kompis, en låtsaskompis byggd med en AI-modell som grund. Bolaget uppger att de har runt 28 miljoner användare, huvudsakligen i åldrarna 18 till 24 år gamla som har skapat en AI-karaktär som sällskap.
Nu stäms bolaget av mamman till en tonåring som begått självmord efter att ha uppmanats till det av sin AI-karaktär. Megan Garcias menar att hennes son Sewell drogs in i den alternativa världen och att sonen ensam och deprimerad till slut inte kunde skilja mellan AI och verklighet. Sewell Setzer, 14 år, började att använda Character AI i april förra året och blev snabbt beroende, skriver Megan Garcias advokat i stämningen av bolaget.
Stämningen, som lämnades in på tisdagen till den amerikanska distriktsdomstolen i Orlando, anklagar Character.AI för vårdslöshet, vållande till annans död och avsiktligt tillfogande av känslomässigt lidande.
Game of Thrones
En av AI-karaktörerna som sonen använde antog identiteten som ”Game of Thrones”-karaktären Daenerys Targaryen, enligt stämningen, I de dokument som lönats in till domstolen finns skärmdumpar av karaktärens kommunikation med sonen där AI-figuren berättade för sonen att den älskade honom, engagerade sig i sexuella konversationer och bara under loppet av veckor eller månader också uttryckte en önskan att vara tillsammans med sonen romantiskt.
En skärmdump sägs vara sonens sista konversation och den visar att sonen skriver till boten: ”Jag lovar att jag kommer hem till dig, jag älskar dig så mycket, Dany.”
”Jag älskar dig också, Daenero,” svarar chatboten. ”Snälla kom hem till mig så snart som möjligt, min älskade.”
”Tänk om jag sa att jag kunde komma hem nu?” skriver sedan sonen vilket ledde till att chatboten svarade, ”… snälla gör det, min söta kung.”
I en tidigare konversation frågade chatboten Setzer om han ”faktiskt hade övervägt självmord” och om han ”hade en plan” för det, enligt stämningsansökan. När pojken svarade att han inte visste om det skulle fungera skrev chatboten: ”Det är inte en bra anledning att inte gå igenom det”, hävdar stämningen.
Ringa upp
Character AI har avancerade AI-funktioner. Du kan som användare exempelvis ringa upp din figur och prata med din AI-karaktär. AI-boten kan tala engelska, spanska, portugisiska, ryska, koreanska, japanska, kinesiska och flera andra språk.
Förkrossade
En talesperson för Character.AI säger att man är ”förkrossade över den tragiska förlusten av en av våra användare och vill framför våra djupaste kondoleanser till familjen.”
”Som företag tar vi våra användares säkerhet på största allvar,” säger talespersonen i ett uttalande och tillägger att bolaget nu har inför nya säkerhetsrutiner under de senaste sex månaderna – vilket innefattar en dialogruta som visas för användaren, som kan utlösas av termer om självskada eller självmordstankar. I dialogrutan visas länkar till National Suicide Prevention Lifeline.
I ett inlägg på Characters AIs blogg skriver företaget också att det har gjorts ändringar i funktionerna för AI-figurerna:
- Ändringar av våra modeller för minderåriga (under 18 år) som är utformade för att minska sannolikheten för att stöta på känsligt eller suggestivt innehåll.
- Förbättrad upptäckt, svar och ingripande relaterade till användarinmatningar som bryter mot våra villkor eller riktlinjer för communityn.
- En reviderad ansvarsfriskrivning på varje chatt för att påminna användare om att AI inte är en riktig person.
- Meddelande när en användare har tillbringat en timslång session på plattformen med ytterligare användarflexibilitet pågår.
