Comitetul Organizațiilor Sponsorizante al Comisiei Treadway a publicat un ghid care prezintă modalități prin care organizațiile pot realiza și menține controale interne eficiente asupra inteligenței artificiale generative (Gen AI).
Publicația COSO subliniază că, deși Gen AI transformă modul în care informațiile sunt generate, procesate și acționate, aceasta nu schimbă scopul fundamental al controlului intern: acela de a ajuta organizațiile să își atingă obiectivele în mod fiabil. Având în vedere acest lucru, în loc să propună un nou model de guvernanță, COSO a adaptat cele cinci componente ale cadrului său de control intern - mediul de control, evaluarea riscurilor, activitățile de control, informațiile și comunicarea și activitățile de monitorizare - în practici specifice Gen AI.
Ghidul COSO se bazează pe cinci principii fundamentale, fiecare cu propria sa recomandare: Gen AI este probabilistic versus determinist, prin urmare, controalele ar trebui să trateze rezultatele ca pe afirmații care necesită validare, mai degrabă decât ca pe fapte de acceptat implicit; Gen AI este dinamic, astfel încât evaluarea riscurilor, controlul modificărilor și monitorizarea ar trebui să fie continue, sau să se îndrepte spre continuitate, pentru a ține pasul cu aceste schimbări; Gen AI este ușor scalabil, atât în bine, cât și în rău, astfel încât controalele ar trebui să fie concepute pentru a preveni propagarea erorilor mici în probleme sistemice; Există o barieră scăzută de intrare pentru utilizarea Gen AI, astfel încât controalele ar trebui să fie concepute pentru a guverna cine poate construi, implementa și interacționa cu acesta; și, atunci când este implementat corect, Gen AI poate îmbunătăți activitățile de monitorizare, documentare și validare care ar fi altfel impracticabile la scară largă.
„Cu capabilitățile definite, riscurile comune prezentate și caracteristicile fundamentale stabilite, le putem integra acum în cadru într-un mod cuprinzător și practic”, se arată în ghidul COSO.
În ceea ce privește mediul de control, COSO a recomandat ca organizațiile să aloce proprietari clari pentru fiecare tip de capacitate, cu autoritate definită, căi de escaladare și domeniu de utilizare documentat; să trateze solicitările, solicitările de sistem, conectorii de recuperare și regulile de transformare ca configurații guvernate cu istoric al versiunilor, fluxuri de lucru de aprobare și planuri de revenire; și să integreze guvernanța Gen AI în cultura de control mai largă, pentru a încuraja inovația, respectând în același timp liniile directoare. Consiliul de administrație trebuie, de asemenea, să aibă vizibilitate asupra utilizării Gen AI și a riscurilor aferente.
Domeniile de risc specifice AI pe care profesioniștii trebuie să se concentreze includ extracția și introducerea datelor, deoarece, dacă controalele sunt slabe aici, fiecare proces din aval va moșteni date compromise sau neconforme; judecata, prognoza și generarea de perspective, deoarece aceste rezultate informează adesea decizii cu impact ridicat, astfel încât competența și independența recenzorilor sunt critice; și colaborarea om-AI, deoarece, fără limite clare și instruire, utilizatorii pot introduce din neatenție informații sensibile, pot se baza pe rezultate fără verificare sau pot partaja rezultate neverificate extern.
În ceea ce privește evaluarea riscurilor, COSO a spus că organizațiile ar trebui să se întrebe în mod regulat „Ce se întâmplă dacă...” pentru fiecare capacitate de a scoate la iveală dependențe ascunse sau cazuri limită, cu scenariile documentate, astfel încât să poată fi utilizate nu numai pentru gestionarea riscurilor, ci și ca dovezi în planificarea auditului și parcurgeri cu auditori interni și externi. De asemenea, ar trebui să mențină registre de riscuri în direct care se actualizează atunci când modelele, corpurile sau configurațiile se modifică - nu doar la ciclurile de revizuire anuale; și ar trebui să includă declanșatoare de monitorizare, cum ar fi legarea riscurilor identificate de indicatori cheie de risc specifici, tablouri de bord sau alerte care vor scoate la iveală semne timpurii de deriva, părtinire sau utilizare greșită.
Profesioniștii în controale interne ar trebui să se concentreze în special pe transformarea și integrarea datelor, deoarece o mică eroare de mapare sau îmbogățire poate corupe în tăcere seturi mari de date, ducând la raportări cumulative în aval sau la eșecuri de conformitate. De asemenea, ar trebui să se concentreze pe procesarea și reconcilierea automată a tranzacțiilor, deoarece clasificarea greșită sau nealinierea pragului poate duce la acțiuni (sau inacțiuni) inadecvate la scară largă; și recuperarea și rezumarea cunoștințelor, deoarece seturile incomplete de informații sau interpretarea greșită a datelor nestructurate pot duce la rezultate inexacte.
Când vine vorba de activitățile de control în toate capabilitățile AI, COSO consideră că profesioniștii în controale interne ar trebui să testeze performanța AI înainte și după implementare, precum și să retesteze periodic pentru a confirma fiabilitatea continuă; să separe capacitatea de a configura setările AI de autoritatea de a aproba sau revizui rezultatele; să implementeze reguli care necesită revizuire suplimentară, necesită citarea surselor sau blochează capacitatea de a lua măsuri atunci când încrederea rezultatului scade sub niveluri acceptabile; și să solicite aprobări documentate și dovezi pentru modificările solicitărilor, pragurilor și corpurilor de recuperare.
Când vine vorba de riscurile specifice AI, COSO a menționat că unele tipuri necesită activități de control deosebit de robuste, datorită naturii rezultatelor lor sau a vitezei cu care erorile pot crește. Pentru a preveni riscurile de introducere și extracție a datelor, profesioniștii trebuie să aplice praguri de încredere și să solicite o revizuire umană pentru extragerile cu încredere scăzută și să solicite o revizuire dublă pentru cazurile de utilizare înainte de utilizarea în producție. Pentru orchestrarea fluxului de lucru și riscul de execuție autonomă a sarcinii, între timp, profesioniștii ar trebui să simuleze și să testeze modificările de rutare înainte de a intra în direct și să documenteze logica de rutare așteptată, astfel încât abaterile să fie detectabile; iar în ceea ce privește judecata, prognoza și generarea de perspective, profesioniștii în controale interne ar trebui să solicite citate pentru toate rezultatele materiale și să implementeze captarea informațiilor contrare pentru cazurile în care recenzorii nu sunt de acord, precum și să efectueze analize retrospective ale prognozelor față de rezultatele reale.
Când vine vorba de informații și comunicații, COSO a îndemnat auditorii interni să înregistreze de unde provin datele, cum au fost procesate și de configurația modelului, astfel încât să poată fi evaluată similaritatea rezultatelor; să mențină biblioteci prompte, surse de cunoștințe de recuperare și carduri de model în sisteme controlate cu acces bazat pe roluri; să definească KPI-uri de model sau de ieșire (de exemplu, halucinații, acoperire de citare, părtinire) și să le raporteze alături de KPI-urile de control; și să definească cine trebuie informat cu privire la incidente, modificări și limitări - și cât de repede.
Pentru aplicațiile de transformare și integrare a datelor, profesioniștii în controale interne ar trebui să comunice orice modificări ale regulilor de transformare tuturor proceselor dependente înainte ca acestea să intre în vigoare pentru a evita erorile silențioase în aval. În cazurile de recuperare și rezumare a cunoștințelor, organizațiile ar trebui să distribuie modificările bibliotecilor de cunoștințe, politicilor sau așteptărilor de reglementare subiacente tuturor echipelor afectate în rezumate în limbaj simplu, precum și să urmărească confirmările acolo unde este necesar; iar în cazurile de colaborare om-AI, oamenii ar trebui să afișeze declinări sau avertismente în interfață atunci când rezultatele nu au fost verificate sau pot conține informații sensibile.
În cele din urmă, activitățile de monitorizare ar trebui să combine tablourile de bord pentru valorile în timp real cu revizuiri programate aprofundate pentru a valida eficacitatea; asigurați revizuiri de calitate umană în buclă pentru o eșantion de tranzacții cu rubrici specifice cazului de utilizare (de exemplu, acuratețe, exhaustivitate, ton); stabiliți declanșatoare explicite pentru recalificare, reconfigurare sau revenire pe baza valorilor monitorizate sau a pragurilor de incident; mențineți un jurnal de remediere care înregistrează problema, analiza cauzei principale, acțiunea corectivă întreprinsă și rezultatele testelor de urmărire; și creați un manual de deficiențe de control AI care include o mapare a eșecurilor comune ale AI generativă la acțiuni corective standard convenite în prealabil.
COSO a avertizat că, ironic, sistemele de monitorizare în sine trebuie monitorizate pentru a se asigura că logica de detectare rămâne precisă și relevantă; programele de recalibrare și analiza retrospectivă sunt esențiale aici. De asemenea, oamenii ar trebui să aibă grijă să compare prognozele cu rezultatele reale în mod regulat, să investigheze variațiile și să urmărească tendințele de performanță care pot indica deriva modelului sau alte modificări incrementale neintenționate. De asemenea, ar trebui să revizuiască acuratețea extracției atunci când se modifică formatele sursă sau sunt introduse șabloane noi, precum și să urmărească modificările în distribuțiile scorurilor de încredere care pot semnala probleme subiacente.
În ceea ce privește implementarea ghidului, comitetul a spus că organizațiile ar trebui să stabilească mai întâi o structură de guvernare AI, să inventarieze cazurile de utilizare a AI generativă, să evalueze riscurile după componenta COSO, să proiecteze și să mapeze controalele, să implementeze și să comunice, apoi să monitorizeze și să se adapteze.
„Calea de urmat este iterativă: inventariați și clasificați cazurile de utilizare, evaluați riscurile cu o mentalitate conștientă de Gen AI, proiectați și implementați controale legate atât de COSO, cât și de capabilități și monitorizați performanța cu valori clare și raportare de guvernare. Făcut bine, această abordare transformă Gen AI dintr-un risc emergent într-un activ bine guvernat - unul care oferă valoare cu încredere, transparență și responsabilitate. Cu cât organizațiile integrează mai devreme guvernanța Gen AI în mediul lor de control intern, cu atât mai repede își pot da seama de beneficii, evitând în același timp riscurile costisitoare ale adoptării necontrolate”, a concluzionat ghidul.
Ghidul amintește de o decizie recentă a IAASB de a urmări nu noi standarde pentru AI, ci mai degrabă îndrumări neautoritare. Ambele vorbesc despre o cerere tot mai mare de standarde și cadre pentru tehnologie. Un raport recent de la Caseware (vezi articolul anterior) a constatat că o majoritate clară a respondenților (66%) au spus că există o nevoie urgentă de un cadru AI armonizat la nivel global pentru audit și asigurare.