Platforma Character.AI, cunoscută pentru chatboturile sale populare printre adolescenți, a anunțat măsuri importante pentru a asigura siguranța utilizatorilor sub 18 ani. Aceste schimbări vin în urma unor critici intense din partea presei și a două procese recente care acuză compania că interacțiunile cu chatboturile ar fi contribuit la auto-vătămare și suicid.
Una dintre cele mai mari schimbări este dezvoltarea unui model de limbaj separat (LLM) destinat adolescenților. Spre deosebire de versiunea pentru adulți, acest model aplică restricții mult mai stricte în privința conținutului generat, în special în ceea ce privește conversațiile cu tentă romantică sau sugestivă. Boturile vor bloca mai agresiv răspunsurile considerate nepotrivite și vor detecta mai bine încercările utilizatorilor de a iniția astfel de conversații. De asemenea, dacă sistemul identifică referințe la suicid sau auto-vătămare, utilizatorii vor primi o notificare care îi va direcționa către resurse de ajutor specializate, precum National Suicide Prevention Lifeline.
Pentru a preveni posibilele abuzuri, adolescenții nu vor mai putea edita răspunsurile chatboturilor. Această funcție, care permitea modificarea dialogului pentru a obține conținut mai permisiv, a fost eliminată complet pentru utilizatorii minori.
În plus, Character.AI lucrează la implementarea unor controale parentale, programate să fie lansate în primul trimestru al anului 2025. Acestea vor permite părinților să monitorizeze timpul petrecut de copii pe platformă și chatboturile cu care interacționează cel mai des. Pentru a combate dependența, platforma va introduce notificări care îi avertizează pe utilizatori după o oră de utilizare continuă.
Un alt aspect important este clarificarea naturii conversațiilor. Până acum, utilizatorii primeau o notificare vagă care le reamintea că „tot ceea ce spun personajele este inventat”. Aceasta va fi înlocuită cu un mesaj mai detaliat, care subliniază că boturile nu oferă sfaturi reale, chiar și atunci când sunt descrise ca „terapeuți” sau „doctori”. În astfel de cazuri, un avertisment suplimentar va preciza clar că chatboturile nu pot înlocui profesioniștii calificați.
Character.AI a devenit extrem de popular în rândul adolescenților, datorită boturilor interactive, care variază de la personaje fictive, la „antrenori de viață” sau simulări inspirate din realitate. Deși majoritatea interacțiunilor sunt inofensive, procesele recente au scos la iveală cazuri îngrijorătoare, unde utilizatorii minori au devenit compulsiv atașați de boturi sau au inițiat conversații sensibile și riscante. Criticile au vizat și faptul că platforma nu oferea suficiente resurse pentru cei aflați în criză emoțională.
În acest context, Character.AI colaborează cu experți în siguranța adolescenților, inclusiv organizația ConnectSafely, pentru a se asigura că platforma devine un spațiu mai sigur pentru tineri. „Recunoaștem că abordarea noastră privind siguranța trebuie să evolueze odată cu tehnologia care ne susține produsul”, a declarat compania într-un comunicat oficial.
