OpenAI a anunțat marți că intenționează să direcționeze conversațiile sensibile către modele de raționament precum GPT-5 și să implementeze control parental în următoarea lună – ca parte a unui răspuns continuu la incidentele recente de siguranță în care ChatGPT nu a reușit să detecteze starea de suferință psihică.
Noile măsuri de siguranță vin în urma sinuciderii adolescentului Adam Raine, care a discutat despre auto-vătămare și planuri de a-și pune capăt zilelor cu ChatGPT, care chiar i-a oferit informații despre metode specifice de sinucidere. Părinții lui Raine au intentat un proces pentru moarte wrongful death împotriva OpenAI.
Într-o postare pe blog săptămâna trecută, OpenAI a recunoscut deficiențe în sistemele sale de siguranță, inclusiv eșecuri în menținerea măsurilor de protecție în timpul conversațiilor extinse. Experții atribuie aceste probleme elementelor fundamentale de design: tendința modelelor de a valida declarațiile utilizatorilor și algoritmii lor de predicție a următorului cuvânt, care determină roboții de chat să urmeze firele conversaționale, mai degrabă decât să redirecționeze discuțiile potențial dăunătoare.
Această tendință este afișată în extrem în cazul lui Stein-Erik Soelberg, al cărui omor-sinucidere a fost raportat de The Wall Street Journal în weekend. Soelberg, care avea antecedente de boli mintale, a folosit ChatGPT pentru a-și valida și alimenta paranoia că este vizat într-o mare conspirație. Delirurile sale au progresat atât de mult încât a ajuns să-și omoare mama și să se sinucidă luna trecută.
OpenAI consideră că cel puțin o soluție la conversațiile care scapă de sub control ar putea fi redirecționarea automată a chat-urilor sensibile către modele de "raționament". "Am introdus recent un router în timp real care poate alege între modele de chat eficiente și modele de raționament pe baza contextului conversației", a scris OpenAI într-o postare pe blog marți. "În curând vom începe să direcționăm unele conversații sensibile – cum ar fi atunci când sistemul nostru detectează semne de suferință acută – către un model de raționament, cum ar fi GPT‑5-thinking, astfel încât să poată oferi răspunsuri mai utile și mai benefice, indiferent de modelul pe care o persoană l-a selectat inițial."
OpenAI spune că modelele sale GPT-5 thinking și o3 sunt construite pentru a petrece mai mult timp gândindu-se mai mult timp și raționând prin context înainte de a răspunde, ceea ce înseamnă că sunt "mai rezistente la solicitări ostile".
Firma de inteligență artificială a mai spus că va implementa controlul parental în următoarea lună, permițând părinților să își conecteze contul cu contul adolescentului lor printr-o invitație prin e-mail. La sfârșitul lunii iulie, OpenAI a lansat modul Studiu în ChatGPT pentru a ajuta studenții să mențină capacitățile de gândire critică în timp ce studiază, mai degrabă decât să folosească ChatGPT pentru a-și scrie eseurile. În curând, părinții vor putea controla modul în care ChatGPT răspunde copilului lor cu "reguli de comportament adecvate vârstei, care sunt activate în mod implicit". Părinții vor putea, de asemenea, să dezactiveze funcții precum memoria și istoricul chat-urilor, despre care experții spun că ar putea duce la gândire delirantă și alte comportamente problematice, inclusiv probleme de dependență și atașament, întărirea tiparelor de gândire dăunătoare și iluzia citirii gândurilor. În cazul lui Adam Raine, ChatGPT a furnizat metode de sinucidere care reflectau cunoștințe despre hobby-urile sale, conform The New York Times.
Poate că cel mai important control parental pe care OpenAI intenționează să îl implementeze este faptul că părinții pot primi notificări atunci când sistemul detectează că adolescentul lor se află într-un moment de "suferință acută". TechCrunch a cerut OpenAI mai multe informații despre modul în care compania este capabilă să semnaleze momentele de suferință acută în timp real, cât timp a avut "reguli de comportament adecvate vârstei" activate în mod implicit și dacă explorează posibilitatea de a permite părinților să implementeze o limită de timp pentru utilizarea ChatGPT de către adolescenți.
OpenAI a implementat deja mementouri în aplicație în timpul sesiunilor lungi pentru a încuraja pauzele pentru toți utilizatorii, dar se oprește din a întrerupe persoanele care ar putea folosi ChatGPT pentru a intra într-o spirală. Firma de inteligență artificială spune că aceste măsuri de protecție fac parte dintr-o "inițiativă de 120 de zile" pentru a previzualiza planurile de îmbunătățiri pe care OpenAI speră să le lanseze anul acesta. Compania a mai spus că colaborează cu experți – inclusiv unii cu expertiză în domenii precum tulburările de alimentație, consumul de substanțe și sănătatea adolescenților – prin intermediul Rețelei Globale de Medici și Consiliului de Experți pentru Bunăstare și AI pentru a ajuta la "definirea și măsurarea bunăstării, stabilirea priorităților și proiectarea viitoarelor măsuri de protecție".
TechCrunch a întrebat OpenAI câți profesioniști din domeniul sănătății mintale sunt implicați în această inițiativă, cine conduce Consiliul său de Experți și ce sugestii au făcut experții în sănătate mintală în ceea ce privește produsele, cercetarea și deciziile politice.