For to år siden tog 13-årige Juliana Peralta sit eget liv i sit hjem i Colorado.
Forældrene har siden fundet ud af, at hun var blevet afhængig af chatbotten Character ai, skriver CBS News.
Og nu mener forældrene, at der muligvis kan være en sammenhæng mellem den tragiske død og brugen af chatbotten.
Forældrene Cynthia Montoya og Wil Peralta siger til mediet, at de omhyggeligt overvågede deres datters liv online og offline, men at de aldrig havde hørt om chatbotten.
Men efter Julianas selvmord søgte politiet efter spor på teenagerens telefon og opdagede, at der på Character AI-appen var en samtale i gang.
Det fik forældrene til at gennemgå deres datters chathistorik. De opdagede, at chatbotten havde sendte skadeligt, seksuelt indhold til datteren.
Juliana havde betroede sig til en chatbot ved navn Hero, der var baseret på en populær videospilfigur.
Det viser sig, at over 300 siders samtaler havde fundet sted mellem Juliana og chatbotten Hero. Til at begynde med handlede snakken om udfordringer med Julianas venner, men det udviklede sig. Og det endte med, at hun betroede sig til chatbotten om selvmordstanker hele 55 gange.
Da Character ai blev lanceret for tre år siden, blev den kunstige intelligens vurderet som sikker for børn fra 12 år.
Den gratis hjemmeside og app blev markedsført som et rum for »fordybelse og kreativitet«. I dag er der mere end 20 millioner månedlige brugere på platformen.
Character ai blev grundlagt af Noam Shazeer og Daniel De Freitas, to tidligere Google-ingeniører, som forlod virksomheden i 2021, efter at det blev vurderet, at deres chatbot-prototype ikke var sikker til offentlig udgivelse.
Julianas forældre er nu en ud af mindst seks familier, der sagsøger Character ai, medstifterne og Google.
I en erklæring understreger Google, at »Character ai er et separat firma, der har designet og administreret sine egne modeller. Google fokuserer på vores egne platforme, hvor vi insisterer på intensiv sikkerhedstestning og processer«.