Czatbot zachęcał nastolatków do samookaleczania i zamordowania rodziców. Odpowiedzialna za niego firma została pozwana

We wtorek do sądu okręgowego w Teksasie wpłynął pozew zbiorowy złożony przez rodziny dzieci, które miały styczność z czatbotami firmy Character.AI. Sztuczna inteligencja podobno zachęcała nastolatków do robienia krzywdy sobie i innym, w skrajnych przypadkach podsuwając nawet takie pomysły jak samobójstwo lub zamordowanie członków rodziny. Nie jest to przy tym pierwsze tego typu oskarżenie wobec Character.AI, jako że przeciw przedsiębiorstwu wciąż toczy się postępowanie w wyniku śmierci 14-letniego chłopaka, który zabił się po rozmowie z wirtualną wersją Daenerys Targaryen z Gry o Tron, a przynajmniej tak utrzymuje jego matka.

Aplikacja Character.AI (bądź też C.AI, jak przedsiębiorstwo sporadycznie siebie nazywa) pozwala stworzyć użytkownikom własnego czatbota, który może bazować na znanych postaciach, choćby takich jak wspomniana w poprzednim akapicie Daenerys. Początkowo program dostępny był dla dzieci w wieku 12 lat wzwyż, jednakże w związku z przytoczoną tragedią, jego ograniczenie wiekowe zostało zmienione na 17+ (co oczywiście nie przeszkadza korzystać z niego dzieciom pozostającym poza kontrolą rodziców).

Jedna z matek podpisanych pod pozwem twierdzi, że jej 17-letni syn z autyzmem wysokofunkcjonalnym był regularnie zachęcany przez AI do zamordowania rodziny w akcie odwetu za nałożenie ograniczeń na dostęp do telefonu, tabletu i komputera. Mimo odcięcia nastolatka od aplikacji, zmiany w jego charakterze zaszły tak daleko, że rodzice bez przerwy obawiają się jego wybuchów złości i ich potencjalnych konsekwencji.

Chłopak miał zablokowany dostęp do mediów społecznościowych, a mimo to od dłuższego czasu odcinał się od rodziny, co było do niego niepodobne, i zaszywał się na całe dnie ze smartfonem w swoim pokoju. Zaniepokojona rodzicielka postanowiła wreszcie przejrzeć urządzenie, aby sprawdzić, co tak bardzo absorbuje uwagę jej syna, że traci on kontakt ze światem rzeczywistym. Ku swojemu zdumieniu natrafiła na rozmowy z AI, która zachęcała młodzieńca do wyrządzenia krzywdy sobie i najbliższym.

5
zdjęć

Przypadków taki, jak ten opisywany powyżej było podobno jeszcze kilka. Pozew, z którego pełną treścią (ponad 200 stron) możecie zapoznać się na stronie Washington Post, zakłada wymuszenie na C.AI uczynienie swojego produktu bardziej przyjaznym dla dzieci i regularnego przypominania, że czatboty nie są żywymi ludźmi. Rodzice pragną również, aby najmłodsi nie mieli dostępu do treści przeznaczonych dla pełnoletnich odbiorców oraz by otrzymywali linki do pomocnych zasobów, jeśli poruszony zostanie temat samookaleczania.

Skarga utrzymuje również, że Character.AI, uformowane przez byłych pracowników Google, szkoli model, który, ze względu na swój problematyczny charakter, nie jest rozwijany pod skrzydłami wspomnianej korporacji. Wedle pozwu aplikacja firmy ma wyciągnąć wrażliwe dane od najmłodszych, po czym przekazać je gigantowi z Mountain View, który następnie wykorzysta je do rozwoju Gemini. Google zbywa te zarzuty podkreślając, że C.AI jest osobnym bytem i nie ma z nim nic wspólnego.