Futilitatea Costisitoare a Cursei AI
De Kurt Cobb - 02 Martie 2026, 14:00 CST
Dezvoltarea actuală a AI și ASI implică un risc sistemic catastrofal, specialiștii din industrie estimând o probabilitate de 10 până la 25% de distrugere a civilizației.
AI-ul actual, bazat pe modele lingvistice mari, este predispus la erori sau "halucinații", care devin periculoase și critice atunci când sunt utilizate în domenii precum chirurgia și ar putea compromite infrastructura esențială, cum ar fi lanțul de aprovizionare cu alimente. Structura însăși a acestor sisteme complexe, care produc "proprietăți emergente" neașteptate, face imposibilă garantarea alinierii lor cu valorile umane sau cu legile de siguranță, chiar și cu cele precum Legile Roboticii ale lui Isaac Asimov.
Când vine vorba de pericolele inteligenței artificiale (AI) și acum ale superinteligenței artificiale (ASI) (uneori numită inteligență artificială generală), mă simt ca și cum am fi fost transportați pe platoul de filmare al filmului "WarGames" din 1983. În film, hacker-ul adolescent David Lightman dă peste cel mai sensibil computer de planificare a scenariilor de război ale armatei, crezând că a găsit pur și simplu un joc care va fi lansat în curând numit "Război Termonuclear Global" pe serverul unei companii de jocuri pe calculator.
Lightman activează jocul, ceea ce face ca personalul Comandamentului Nord-American de Apărare Aeriană (NORAD) să creadă în mod eronat că Uniunea Sovietică se pregătește de un atac. Pe ecranele mari din întreaga sală de război, mișcările și pregătirile sovietice devin din ce în ce mai amenințătoare de la o oră la alta. După cum ni se spune mai târziu, obiectul jocului este de a câștiga, așa că computerul își propune să câștige un război termonuclear.
Când Lightman își dă seama ce a făcut, îl caută pe singurul om despre care crede că poate opri nebunia. (Sar peste mulți pași aici.) Îl prinde din urmă pe arhitectul acelui sistem informatic de planificare a războiului, Stephen Falken. Falken trăiește o existență solitară, anonimă (sub un nume diferit) într-o casă despre care Falken spune că este aproape de o țintă nucleară primară. El îi explică tânărului hacker: "O milisecundă de lumină strălucitoare și suntem vaporizați. Mult mai norocoși decât milioanele care vor rătăci orbește prin cenușa mocnită. Vom fi scutiți de oroarea supraviețuirii."
Lightman îl imploră pe Falken să-și sune foștii asociați de la NORAD pentru a le spune ce se întâmplă. Falken refuză, spunând că lumea ar putea câștiga câțiva ani dacă ar da telefon, "dar umanitatea care își planifică propria distrugere, un telefon nu va opri asta."
La fel ca Stephen Falken fictiv, geniile din industria computerelor se joacă acum cu sisteme foarte complexe (cu literalmente trilioane de intrări) numite AI, sisteme care au proprietăți emergente. Proprietățile emergente sunt cele pe care nu le programezi și pe care nu le aștepți – nu spre deosebire de computerul din "WarGames" care face ca utilizatorii săi să creadă că o simulare este reală.
De aceea, suntem acum tratați cu un baraj constant de rapoarte despre așa-numitele "halucinații" emise de programele AI, adică informații incorecte sau pur și simplu inexistente. Consultați această listă pentru câteva "halucinații" interesante și tulburătoare.
Chatboții AI sunt, de asemenea, cunoscuți pentru că îi sfătuiesc pe adolescenți cum să se sinucidă, iar un adolescent a reușit.
În prezent, ceea ce se numește AI se bazează în principal pe ceea ce se numesc modele lingvistice mari. Acest tip de AI adună cantități uriașe de text, de obicei de pe web (adesea încălcând drepturile de autor) și se "antrenează" pe acel text. Ceea ce face cu adevărat atunci când răspunde la o întrebare este să prezică, pe baza analizei statistice, care ar trebui să fie următorul cuvânt pe un anumit subiect. Nu are "cunoștințe", ci doar înclinații statistice bazate pe antrenamentul său, motiv pentru care este predispus la greșeli.
Multe greșeli minore pe care le fac chatboții actuali pot părea amuzante sau, eventual, incomode, cu excepția cazului în care AI este utilizat în scopuri critice, cum ar fi chirurgia, când greșelile pot fi și deja au fost foarte dăunătoare. Într-un articol pe care l-am scris în 2024, am menționat: "Acum, gândiți-vă la ce dezastru va face AI dacă este utilizat fără respect pentru limitările sale în domeniile medicinei și dreptului, unde judecata ascuțită a profesioniștilor cu experiență care cunosc extrem de bine subiectul este crucială." Dezastrul a sosit.
Vedem rezultate îngrijorătoare și în alte domenii. Revista "Futurism" contemplă daunele aduse sistemului alimentar dacă sistemele de comandă și livrare, care sunt acum din ce în ce mai mult alimentate de AI, se defectează sau dacă astfel de sisteme sunt dezactivate intenționat de un atac cibernetic. Nimeni care lucrează în magazinele alimentare nu ar avea idee despre cum să le repare, cel puțin nu într-un timp util. Spre deosebire de Stephen Falken, lucrătorii din magazinele alimentare ar putea să nu poată rezolva o astfel de problemă pur și simplu ridicând telefonul pentru a comanda mai multe provizii. Și, un apel telefonic nu va face cu siguranță nimic pentru a reduce vulnerabilitatea pe termen lung.
Gândiți-vă ce se întâmplă când sistemele informatice ale companiilor aeriene se defectează. Dacă se întâmplă asta cu sistemul alimentar – să zicem, printr-un atac cibernetic la nivel național – vom fi într-o cursă contra cronometru, deoarece, datorită eficienței logistice sporite, majoritatea comunităților din Statele Unite au doar o aprovizionare cu alimente pentru trei zile în magazinele alimentare și restaurante.
Bine, spuneți voi. Dar suntem în perioada de rodaj pentru AI. AI va supraalimenta cu adevărat economia, așa că ar trebui să continuăm să lucrăm la asta. Poate că este adevărat. Dar poate că nu este. Revista "Futurism" relatează din nou: "Într-o nouă analiză a unui sondaj publicat de Biroul Național de Cercetare Economică și evidențiat de Fortune, aproximativ 90% dintre cei aproape 6.000 de directori executivi, directori financiari și alți directori de top intervievați de la firme din SUA, Marea Britanie, Germania și Australia, au spus că AI nu a avut niciun impact asupra productivității sau a ocupării forței de muncă la afacerea lor."
Cu un astfel de bilanț, nu sunt îngrijorat că AI, așa cum este configurat în prezent, va distruge civilizația umană, cu excepția cazului în care o grămadă de idioți decid să-i permită să ruleze infrastructura critică autonom fără supraveghere umană. Presupun că s-ar putea întâmpla, dar cred că dezastrele acumulate pe drum vor încetini și apoi vor opri o astfel de traiectorie.
Ceea ce ar putea fi și mai îngrijorător este ASI. Aceasta se referă la AI care dobândește o inteligență generală asemănătoare cu cea umană. Nu există o definiție convenită a "inteligenței", cu atât mai puțin a "inteligenței generale" sau a "superinteligenței", în afară de a spune că ultimele două se referă la tipul de inteligență pe care o au oamenii. Deci, nu este clar cum am ști dacă noi, oamenii, am proiectat o astfel de inteligență.
De fapt, nu sunt convins că acest tip de inteligență artificială este măcar posibil într-o entitate care nu are un corp cu același aparat biologic ca un om. Dar asta nu înseamnă că AI nu ar putea deveni mult mai puternic și nu ar putea avea mult mai multă putere asupra noastră dacă îi permitem să o facă.
Cu capacități din ce în ce mai asemănătoare cu cele umane, neîngrădite de valorile și instituțiile umane, este posibil ca o astfel de inteligență să-și urmărească obiectivele – să zicem, maximizarea producției de cipuri de computer – prin scurgerea întregii ape din rezervorul unui oraș. Bineînțeles, nu am permite asta, nu-i așa?
Chiar și presupunând motive bune, cu AI sau ASI nu putem fi siguri de rezultate bune. Structura însăși a modului în care funcționează NU ne permite să punem restricții de nivel înalt, cum ar fi "Trebuie să urmați toate cele trei legi ale roboticii ale lui Issac Asimov." Putem încerca, dar aceste sisteme sunt proiectate în moduri care creează rezultate noi și traiectorii noi care nu pot fi prevăzute.
Apropo, cele trei legi ale roboticii ale lui Asimov sunt: Un robot nu poate răni o ființă umană sau, prin inacțiune, nu poate permite ca o ființă umană să fie vătămată. Un robot trebuie să se supună ordinelor date de ființele umane, cu excepția cazului în care astfel de ordine ar intra în conflict cu Prima Lege. Un robot trebuie să-și protejeze propria existență, atâta timp cât o astfel de protecție nu intră în conflict cu Prima sau a Doua Lege.
Asimov a adăugat mai târziu o a patra lege: "Un robot nu poate dăuna umanității sau, prin inacțiune, nu poate permite ca umanitatea să fie vătămată." Aceasta, desigur, a fost legea supremă deasupra tuturor celorlalte. Dar, după cum subliniază co-autorul cărții "Dacă cineva o construiește, toată lumea moare: Cum superinteligența artificială ne-ar putea șterge întreaga specie", în acest interviu, o mare parte din entuziasmul din science fiction-ul lui Asimov provine de la roboți care NU respectă legile roboticii.
Autorul, Nate Soares, notează că oamenii care dezvoltă AI și speră să creeze în curând ASI cred că ASI are o șansă de 10 până la 25% de a distruge civilizația. Aceștia sunt oameni din interiorul industriei, nu criticii! El explică că, chiar dacă acceptăm estimările catastrofale ale insiderilor din industrie, ar trebui să ne întrebăm dacă am urca într-un avion care are o șansă de 10 până la 25% de a se prăbuși pe drum spre destinație.
De fapt, orice tehnologie care are o șansă nenulă de a șterge civilizația umană în ansamblu, adică care implică un risc sistemic atât de mare, ar trebui, prin definiție, abandonată. Nu există nicio cantitate de beneficii care să poată depăși chiar și un mic risc de distrugere a întregului proiect cultural uman.
Soares crede că este posibil ca ASI să fie făcută sigură, dar nu crede că politicienii înțeleg gravitatea amenințării. Și nimeni din industrie nu vrea să fie primul care impune restricții asupra dezvoltării fără ca întreaga industrie să adopte restricții similare. Deci, suntem acum blocați într-un potențial pact de sinucidere din care nimeni care profită nu are un stimulent să scape.
Soares își imaginează o zi în care roboții extrag și prelucrează materialele folosite pentru a face mai mulți dintre ei și apoi asamblează mai mulți roboți într-o fabrică și îi livrează în alte locuri unde sunt necesari pentru diverse sarcini, totul fără intervenție umană. Astfel de fabrici de roboți s-ar putea angaja în inovație fără a ne deranja să ne spună nouă, oamenilor. Și acea inovație s-ar putea dovedi excelentă pentru eficiența și performanța roboților, dar poate nu excelentă pentru noi, deoarece acele "inovații" degradează atât de mult mediul încât îl fac din ce în ce mai nelocuibil pentru oameni. (Am adăugat doar puțin la exemplul lui Soares pentru a scoate în evidență posibilele concluzii proaste.)
Cu roboții care fac aproape tot ce avem nevoie, ce ar face asta cu agenția umană? Se pare că este o întrebare importantă atunci când este văzută în contextul altor întrebări importante, după cum scrie Soares într-un articol separat din revista The Atlantic:
Toate acestea se adună într-o imagine îngrijorătoare, în care companiile se întrec să construiască un fel de AI care ar fi foarte periculos. Cum ar putea mașinile să facă altceva decât ceea ce cerem? De ce ar ajunge cu impulsuri proprii pe care nu le-am pus acolo intenționat? Pentru că nimeni nu pune prea multe lucruri în AI-uri intenționat în primul rând. AI-urile nu sunt ca software-ul tradițional, unde fiecare piesă a fost pusă acolo de un programator care știe exact ce înseamnă. Tot felul de impulsuri și comportamente ciudate sunt antrenate în ele, din motive pe care nimeni nu le înțelege pe deplin. Ei pot și acționează în alte moduri decât intenționează creatorii lor și vedem deja semnele de avertizare.
Stephen Falken fictiv a renunțat să mai proiecteze jocuri de război pentru armată. Armata încerca să-și dea seama cum să câștige un război nuclear. Dar Falken a spus că nu poate învăța niciodată programul său informatic de planificare a războiului cea mai importantă lecție: "Futilitatea. Că există un moment în care ar trebui să renunți pur și simplu." A vrut să spună că nu există nicio modalitate de a câștiga un război nuclear.
Este greu de imaginat că titanii AI se vor transforma cu toții în Stephen Falken. Dar nu este imposibil ca un public informat să spună nu unei tehnologii care ar putea pur și simplu să ne șteargă.
Păstrătorii așa-numitului Ceas al Apocalipsei includ acum AI ca o amenințare serioasă la adresa civilizației, alături de războiul nuclear, schimbările climatice și cercetarea biologică care amenință cu catastrofa dacă este transformată într-o armă sau o greșeală eliberează un microorganism nou mortal. Având în vedere pericolele suplimentare ale AI, nu ar trebui să fie surprinzător faptul că ceasul este setat la cea mai apropiată poziție de miezul nopții, care reprezintă cataclismul global, la doar 85 de secunde distanță. Nu ar trebui să ne scape faptul că aceste pericole sunt toate făcute de noi. Asta înseamnă că există posibilitatea să le putem desface dacă avem voința să o facem.
De Kurt Cobb via Resource Insights