Într-o lecție despre revizuirea rezultatelor AI, firma Big Four Deloitte va rambursa parțial guvernului australian pentru un raport consultativ care conține inexactități introduse de unul dintre modelele sale AI.
Raportul în cauză se referea la un studiu australian privind un cadru de conformitate țintit pentru a preveni abuzul de beneficii guvernamentale, care a fost publicat inițial în timpul verii.
O declarație a guvernului australian de la începutul acestei luni a spus: "Au existat reportaje media care indică preocupări cu privire la acuratețea citatelor care au fost conținute în aceste rapoarte" și a adăugat: "Deloitte a efectuat această revizuire independentă de asigurare și a confirmat că unele note de subsol și referințe erau incorecte."
Modificările au fost făcute după ce un expert în dreptul social a observat mai multe erori în raport. Acesta conținea numeroase referințe la studii care nu existau de fapt, cita publicații inventate, cita în mod fals un judecător și falsifica o referire la o decizie judecătorească.
Raportul revizuit, pe care Deloitte l-a publicat după eliminarea inexactităților, dezvăluie că a fost cel puțin parțial dezvoltat folosind un model lingvistic generativ AI mare.
Guvernul australian a spus că, în ciuda erorilor, substanța principală a revizuirii a fost păstrată și nu au existat modificări ale recomandărilor efective.
Preocupări legate de guvernanță
Incidentul subliniază nevoia unei guvernanțe solide a AI pentru a atenua riscurile acestei noi tehnologii. Aceasta variază de la găsirea de modalități prin care AI se potrivește în structurile actuale de guvernanță și conformitate până la elaborarea de politici care se referă în mod specific la AI.
Cu toate acestea, deși organizațiile sunt, în general, conștiente de nevoia de guvernanță a AI, execuția efectivă a avut tendința de a rămâne în urmă. Furnizorul de soluții de guvernanță, risc și conformitate AuditBoard a ajuns la această concluzie ca urmare a unui sondaj pe care l-a efectuat, care a constatat că peste 80% dintre respondenți au spus că organizațiile lor sunt foarte sau extrem de preocupate de riscurile AI, dar, în același timp, doar 25% au spus că au implementat pe deplin un program de guvernanță AI.
Între timp, deși 92% dintre respondenți au spus că au încredere în vizibilitatea lor în utilizarea AI de către terți, doar 67% dintre organizații raportează că efectuează evaluări formale, specifice AI, ale riscurilor pentru modele sau furnizori terți. Aceasta lasă aproximativ una din trei firme care se bazează pe sisteme AI externe fără o înțelegere clară a riscurilor pe care le pot prezenta.
Ceea ce subliniază și mai mult problema este faptul că organizațiile par să se lupte cu controlul efectiv al utilizării AI în rândul angajaților. Un sondaj realizat de Top 100 Firm EisnerAmper a constatat că doar 22% dintre persoane au spus că organizațiile lor chiar monitorizează utilizarea AI în primul rând, iar doar 11% blochează ChatGPT și alte modele publice. Sondajul a mai constatat că doar 36,2% au o politică AI, doar 34,2% spun că compania lor pune accent pe transparență atunci când discută despre AI și doar 34% spun că compania lor are o strategie AI.
În plus, o parte semnificativă a profesioniștilor nu spun cu adevărat supraveghetorilor lor că folosesc AI. În timp ce ceva mai mulți (22,4%) spun că obțin permisiunea mai întâi înainte de a folosi AI, aproape la fel de mulți (21,7%) nu au astfel de rezerve; 22,2% ar putea sau nu ar putea.
O altă problemă evidențiată de acest ultim incident este că, deși oamenii știu că nu ar trebui să aibă încredere orbește în rezultatele AI din cauza posibilității de eroare, majoritatea o fac oricum. Sondajul EisnerAmper a constatat că, deși aproximativ 81% dintre respondenți erau foarte sau oarecum încrezători în rezultatele rezultatelor lor, când au fost întrebați cât de des găsesc erori, 28,4% au spus "nu foarte des" și 3,4% nu găsesc niciodată erori. Doar 10,3% erau extrem de încrezători în capacitatea lor de a depista erori.
Alte studii sunt la fel de sumbre. Un sondaj McKinsey a constatat că doar 27% dintre respondenții ale căror organizații utilizează AI generativ spun că angajații revizuiesc tot conținutul creat înainte de a fi utilizat. O proporție similară spun că 20% sau mai puțin din conținutul produs de gen-AI este verificat înainte de utilizare.
Și un alt studiu realizat de compania de analiză a tendințelor ExplodingTopics a constatat că problema era chiar mai gravă: doar 8% dintre oameni se obosesc în mod regulat să verifice informațiile AI, iar 42,1% dintre utilizatorii web au experimentat conținut inexact sau înșelător în prezentările generale AI.
Putem vedea acest lucru desfășurându-se în creșterea a ceea ce un articol din Harvard Business Review a numit " AI workslop " cu efort redus, care a fost definit ca "conținut de lucru generat de AI, care se deghizează în muncă bună, dar nu are substanța necesară pentru a avansa în mod semnificativ o sarcină dată."
De exemplu, rapoarte care arată lustruite și se citesc bine, dar nu au sens, cod de computer căruia îi lipsește contextul vital sau o prezentare de diapozitive care arată bine până când realizezi că jumătate din informații sunt complet greșite. Nu este greu de imaginat că cei care trimit astfel de conținut probabil că nu și-au făcut timp să îl verifice înainte de a-l transmite altui lucrător. Din 1.150 de angajați cu normă întreagă din SUA din diferite industrii, 40% raportează că au primit astfel de conținut în ultima lună.
De obicei, cei care îl primesc trebuie apoi să-și petreacă timpul verificând informațiile, corectând erorile și făcând altfel munca pe care persoana care a trimis-o ar fi trebuit deja să o facă. Angajații au spus că un astfel de conținut de calitate scăzută, cu efort redus, reprezintă aproximativ 15,4% din tot conținutul pe care îl primesc la serviciu. Cercetătorii au observat că oamenii petrec în medie o oră și 56 de minute ocupându-se de fiecare caz de "workslop". Pe baza estimărilor participanților cu privire la timpul petrecut, precum și pe salariul lor auto-raportat, cercetătorii au descoperit că aceste incidente poartă o taxă invizibilă de 186 USD pe lună per persoană.
Ceea ce indică toate aceste studii este că, deși a avea o ființă umană în buclă este vital pentru organizațiile care utilizează AI, este mai important ca acei oameni să lucreze efectiv pentru a examina rezultatele AI.