De la LLM-uri la halucinații: Ghid simplu pentru termenii uzuali AI
Inteligența artificială este o lume profundă și complexă. Oamenii de știință care lucrează în acest domeniu se bazează adesea pe jargon și termeni specifici pentru a explica ceea ce fac. Ca rezultat, trebuie să folosim frecvent acești termeni tehnici în acoperirea noastră a industriei inteligenței artificiale.
De aceea, ne-am gândit că ar fi util să creăm un glosar cu definițiile unora dintre cele mai importante cuvinte și expresii pe care le folosim în articolele noastre. Vom actualiza periodic acest glosar pentru a adăuga intrări noi, pe măsură ce cercetătorii descoperă continuu metode noi de a împinge frontiera inteligenței artificiale, identificând în același timp riscuri emergente pentru siguranță.
**AGI**
Inteligența artificială generală, sau AGI, este un termen vag. Dar, în general, se referă la AI care este mai capabilă decât omul mediu la multe, dacă nu la majoritatea, sarcinilor. CEO-ul OpenAI, Sam Altman, a descris recent AGI ca fiind „echivalentul unui om median pe care l-ai putea angaja ca coleg de muncă”. Între timp, carta OpenAI definește AGI ca fiind „sisteme extrem de autonome care depășesc performanțele umane la majoritatea lucrărilor valoroase din punct de vedere economic”. Înțelegerea Google DeepMind diferă ușor de aceste două definiții; laboratorul consideră AGI ca fiind „AI care este cel puțin la fel de capabilă ca oamenii la majoritatea sarcinilor cognitive”. Confuz? Nu-ți face griji - la fel sunt și experții aflați în fruntea cercetării AI.
**Agent AI**
Un agent AI se referă la un instrument care utilizează tehnologii AI pentru a efectua o serie de sarcini în numele dumneavoastră - dincolo de ceea ce ar putea face un chatbot AI mai de bază - cum ar fi depunerea de cheltuieli, rezervarea de bilete sau o masă la un restaurant sau chiar scrierea și întreținerea codului. Cu toate acestea, așa cum am explicat anterior, există multe elemente în mișcare în acest spațiu emergent, așa că „agentul AI” ar putea însemna lucruri diferite pentru persoane diferite. Infrastructura este, de asemenea, încă în curs de construire pentru a oferi capacitățile avute în vedere. Dar conceptul de bază implică un sistem autonom care poate utiliza mai multe sisteme AI pentru a efectua sarcini în mai mulți pași.
**Lanțul gândirii**
Având în vedere o întrebare simplă, un creier uman poate răspunde fără a se gândi prea mult la ea - lucruri precum „ce animal este mai înalt, o girafă sau o pisică?”. Dar, în multe cazuri, aveți adesea nevoie de un pix și o hârtie pentru a găsi răspunsul corect, deoarece există pași intermediari. De exemplu, dacă un fermier are găini și vaci, iar împreună au 40 de capete și 120 de picioare, s-ar putea să trebuiască să scrieți o ecuație simplă pentru a ajunge la răspuns (20 de găini și 20 de vaci). Într-un context AI, raționamentul lanțului de gândire pentru modelele lingvistice mari înseamnă împărțirea unei probleme în pași intermediari mai mici pentru a îmbunătăți calitatea rezultatului final. De obicei, durează mai mult să obțineți un răspuns, dar răspunsul este mai probabil să fie corect, în special într-un context logic sau de codare. Modelele de raționament sunt dezvoltate din modele lingvistice mari tradiționale și optimizate pentru gândirea în lanțul de gândire datorită învățării prin consolidare. (Vezi: Model lingvistic mare)
**Computație**
Deși este un termen oarecum multivalent, computația se referă, în general, la puterea de calcul vitală care permite funcționarea modelelor AI. Acest tip de procesare alimentează industria AI, oferindu-i capacitatea de a antrena și de a implementa modelele sale puternice. Termenul este adesea o prescurtare pentru tipurile de hardware care oferă puterea de calcul - lucruri precum GPU-uri, CPU-uri, TPU-uri și alte forme de infrastructură care formează baza industriei moderne AI.
**Deep Learning**
Un subset de învățare automată cu auto-îmbunătățire în care algoritmii AI sunt proiectați cu o structură de rețea neuronală artificială (ANN) multistrat. Acest lucru le permite să facă corelații mai complexe în comparație cu sistemele mai simple bazate pe învățarea automată, cum ar fi modelele liniare sau arborii de decizie. Structura algoritmilor de deep learning se inspiră din căile interconectate ale neuronilor din creierul uman. Modelele AI de deep learning sunt capabile să identifice singure caracteristici importante în date, mai degrabă decât să necesite ca inginerii umani să definească aceste caracteristici. Structura acceptă, de asemenea, algoritmi care pot învăța din erori și, printr-un proces de repetiție și ajustare, își îmbunătățesc propriile rezultate. Cu toate acestea, sistemele de deep learning necesită o mulțime de puncte de date pentru a da rezultate bune (milioane sau mai multe). De asemenea, de obicei, durează mai mult pentru a se antrena în comparație cu algoritmii mai simpli de învățare automată - astfel încât costurile de dezvoltare tind să fie mai mari. (Vezi: Rețea neuronală)
**Difuzie**
Difuzia este tehnologia din centrul multor modele AI de generare de artă, muzică și text. Inspirate de fizică, sistemele de difuzie „distrug” încet structura datelor - de exemplu, fotografii, melodii și așa mai departe - adăugând zgomot până când nu mai rămâne nimic. În fizică, difuzia este spontană și ireversibilă - zahărul difuzat în cafea nu poate fi restabilit la forma de cub. Dar sistemele de difuzie din AI își propun să învețe un fel de proces de „difuzie inversă” pentru a restabili datele distruse, câștigând capacitatea de a recupera datele din zgomot.
**Distilare**
Distilarea este o tehnică utilizată pentru a extrage cunoștințe dintr-un model AI mare cu un model „profesor-student”. Dezvoltatorii trimit solicitări către un model profesor și înregistrează rezultatele. Uneori, răspunsurile sunt comparate cu un set de date pentru a vedea cât de precise sunt. Aceste rezultate sunt apoi utilizate pentru a antrena modelul student, care este antrenat să aproximeze comportamentul profesorului. Distilarea poate fi utilizată pentru a crea un model mai mic, mai eficient, bazat pe un model mai mare, cu o pierdere minimă de distilare. Acesta este probabil modul în care OpenAI a dezvoltat GPT-4 Turbo, o versiune mai rapidă a GPT-4. În timp ce toate companiile AI folosesc distilarea intern, este posibil să fi fost utilizată și de unele companii AI pentru a ajunge din urmă modelele de frontieră. Distilarea de la un concurent încalcă, de obicei, termenii de serviciu ai API-ului AI și ai asistenților de chat.
**Fine-tuning**
Aceasta se referă la antrenarea suplimentară a unui model AI pentru a optimiza performanța pentru o sarcină sau o zonă mai specifică decât a fost anterior un punct focal al antrenamentului său - de obicei prin introducerea de date noi, specializate (adică orientate către sarcină). Multe startup-uri AI iau modele lingvistice mari ca punct de plecare pentru a construi un produs comercial, dar se întrec pentru a crește utilitatea pentru un sector sau o sarcină țintă, completând ciclurile de antrenament anterioare cu fine-tuning bazat pe propriile cunoștințe și expertiză specifice domeniului. (Vezi: Model lingvistic mare [LLM])
**GAN**
Un GAN, sau Rețea Adversarială Generativă, este un tip de cadru de învățare automată care stă la baza unor evoluții importante în AI generativă atunci când vine vorba de producerea de date realiste - inclusiv (dar nu numai) instrumente deepfake. GAN-urile implică utilizarea unei perechi de rețele neuronale, dintre care una se bazează pe datele sale de antrenament pentru a genera o ieșire care este transmisă celuilalt model pentru a o evalua. Acest al doilea model discriminator joacă astfel rolul unui clasificator pe ieșirea generatorului - permițându-i să se îmbunătățească în timp. Structura GAN este configurată ca o competiție (de unde și „adversarial”) - cu cele două modele programate în esență să încerce să se întreacă unul pe celălalt: generatorul încearcă să treacă ieșirea sa de discriminator, în timp ce discriminatorul lucrează pentru a identifica datele generate artificial. Acest concurs structurat poate optimiza ieșirile AI pentru a fi mai realiste, fără a fi nevoie de o intervenție umană suplimentară. Deși GAN-urile funcționează cel mai bine pentru aplicații mai restrânse (cum ar fi producerea de fotografii sau videoclipuri realiste), mai degrabă decât pentru AI cu scop general.
**Halucinație**
Halucinația este termenul preferat al industriei AI pentru modelele AI care inventează lucruri - generând literalmente informații incorecte. Evident, este o problemă uriașă pentru calitatea AI. Halucinațiile produc ieșiri GenAI care pot fi înșelătoare și ar putea duce chiar la riscuri reale - cu consecințe potențial periculoase (gândiți-vă la o interogare de sănătate care returnează sfaturi medicale dăunătoare). De aceea, literele mici ale majorității instrumentelor GenAI avertizează acum utilizatorii să verifice răspunsurile generate de AI, chiar dacă astfel de exonerări sunt de obicei mult mai puțin proeminente decât informațiile pe care instrumentele le distribuie la atingerea unui buton. Se crede că problema AI-urilor care fabrică informații apare ca o consecință a lacunelor din datele de antrenament. Pentru GenAI cu scop general, în special - cunoscut și sub denumirea de modele de fundație - acest lucru pare dificil de rezolvat. Pur și simplu nu există suficiente date pentru a antrena modelele AI pentru a rezolva în mod cuprinzător toate întrebările pe care le-am putea pune. TL;DR: nu am inventat încă pe Dumnezeu. Halucinațiile contribuie la o presiune către modele AI din ce în ce mai specializate și/sau verticale - adică AI-uri specifice domeniului care necesită o expertiză mai restrânsă - ca o modalitate de a reduce probabilitatea lacunelor de cunoștințe și de a reduce riscurile de dezinformare.
**Inferență**
Inferența este procesul de rulare a unui model AI. Înseamnă să dați drumul unui model pentru a face predicții sau a trage concluzii din datele văzute anterior. Pentru a fi clar, inferența nu se poate întâmpla fără antrenament; un model trebuie să învețe modele într-un set de date înainte de a putea extrapola eficient din aceste date de antrenament. Multe tipuri de hardware pot efectua inferență, de la procesoare de smartphone la GPU-uri puternice până la acceleratoare AI proiectate personalizat. Dar nu toate pot rula modele la fel de bine. Modelele foarte mari ar dura o veșnicie pentru a face predicții, să zicem, pe un laptop față de un server cloud cu cipuri AI de ultimă generație. [Vezi: Antrenament]
**Model lingvistic mare (LLM)**
Modelele lingvistice mari, sau LLM-urile, sunt modelele AI utilizate de asistenții AI populari, cum ar fi ChatGPT, Claude, Gemini de la Google, AI Llama de la Meta, Microsoft Copilot sau Le Chat de la Mistral. Când discutați cu un asistent AI, interacționați cu un model lingvistic mare care vă procesează solicitarea direct sau cu ajutorul diferitelor instrumente disponibile, cum ar fi navigarea pe web sau interpreții de cod. Asistenții AI și LLM-urile pot avea nume diferite. De exemplu, GPT este modelul lingvistic mare al OpenAI și ChatGPT este produsul asistent AI. LLM-urile sunt rețele neuronale profunde realizate din miliarde de parametri numerici (sau ponderi, vezi mai jos) care învață relațiile dintre cuvinte și fraze și creează o reprezentare a limbajului, un fel de hartă multidimensională a cuvintelor. Aceste modele sunt create din codificarea modelelor pe care le găsesc în miliarde de cărți, articole și transcrieri. Când solicitați un LLM, modelul generează cel mai probabil model care se potrivește solicitării. Apoi evaluează următorul cuvânt cel mai probabil după ultimul, pe baza a ceea ce s-a spus înainte. Repetă, repetă și repetă. (Vezi: Rețea neuronală)
**Cache de memorie**
Cache-ul de memorie se referă la un proces important care stimulează inferența (care este procesul prin care AI lucrează pentru a genera un răspuns la interogarea unui utilizator). În esență, caching-ul este o tehnică de optimizare, concepută pentru a face inferența mai eficientă. AI este, evident, condusă de calcule matematice de înaltă octanie și de fiecare dată când aceste calcule sunt făcute, consumă mai multă energie. Caching-ul este conceput pentru a reduce numărul de calcule pe care un model ar putea fi nevoit să le ruleze, salvând anumite calcule pentru interogările și operațiunile viitoare ale utilizatorilor. Există diferite tipuri de caching de memorie, deși unul dintre cele mai cunoscute este caching-ul KV (sau valoarea cheie). Caching-ul KV funcționează în modelele bazate pe transformatoare și crește eficiența, conducând la rezultate mai rapide, reducând timpul (și munca algoritmică) necesar pentru a genera răspunsuri la întrebările utilizatorilor. (Vezi: Inferență)
**Rețea neuronală**
O rețea neuronală se referă la structura algoritmică multistrat care stă la baza deep learning - și, mai larg, la întregul boom al instrumentelor AI generative după apariția modelelor lingvistice mari. Deși ideea de a se inspira din căile dens interconectate ale creierului uman ca structură de proiectare pentru algoritmii de procesare a datelor datează încă din anii 1940, a fost ascensiunea mult mai recentă a hardware-ului de procesare grafică (GPU-uri) - prin industria jocurilor video - care a deblocat cu adevărat puterea acestei teorii. Aceste cipuri s-au dovedit potrivite pentru antrenarea algoritmilor cu mult mai multe straturi decât era posibil în epocile anterioare - permițând sistemelor AI bazate pe rețele neuronale să obțină performanțe mult mai bune în multe domenii, inclusiv recunoașterea vocală, navigarea autonomă și descoperirea de medicamente. (Vezi: Model lingvistic mare [LLM])
**RAMageddon**
RAMageddon este noul termen distractiv pentru o tendință nu atât de distractivă care mătură industria tehnologică: o penurie din ce în ce mai mare de memorie cu acces aleatoriu sau cipuri RAM, care alimentează aproape toate produsele tehnologice pe care le folosim în viața de zi cu zi. Pe măsură ce industria AI a înflorit, cele mai mari companii de tehnologie și laboratoarele AI - toate luptând pentru a avea cea mai puternică și eficientă AI - cumpără atât de multă RAM pentru a-și alimenta centrele de date, încât nu mai rămâne prea mult pentru restul dintre noi. Și această blocare a ofertei înseamnă că ceea ce a mai rămas devine din ce în ce mai scump. Asta include industrii precum jocurile (unde marile companii au fost nevoite să crească prețurile consolelor, deoarece este mai greu să găsească cipuri de memorie pentru dispozitivele lor), electronicele de consum (unde penuria de memorie ar putea provoca cea mai mare scădere a livrărilor de smartphone-uri din mai bine de un deceniu) și calculul general de întreprindere (deoarece acele companii nu pot obține suficientă RAM pentru propriile centre de date). Se așteaptă ca creșterea prețurilor să se oprească abia după ce se va termina penuria temută, dar, din păcate, nu există cu adevărat un semn că se va întâmpla asta prea curând.
**Antrenament**
Dezvoltarea AI-urilor de învățare automată implică un proces cunoscut sub numele de antrenament. În termeni simpli, aceasta se referă la datele introduse pentru ca modelul să poată învăța din modele și să genereze ieșiri utile. Lucrurile pot deveni puțin filozofice în acest moment al stivei AI - deoarece, înainte de antrenament, structura matematică care este utilizată ca punct de plecare pentru dezvoltarea unui sistem de învățare este doar un grup de straturi și numere aleatorii. Doar prin antrenament modelul AI prinde cu adevărat formă. În esență, este procesul prin care sistemul răspunde la caracteristicile din date care îi permit să adapteze ieșirile către un scop căutat - fie că este vorba de identificarea imaginilor cu pisici, fie de producerea unui haiku la cerere. Este important de reținut că nu toate AI-urile necesită antrenament. AI-urile bazate pe reguli, care sunt programate să urmeze instrucțiuni predefinite manual - de exemplu, cum ar fi chatbot-urile liniare - nu trebuie să fie antrenate. Cu toate acestea, astfel de sisteme AI sunt susceptibile de a fi mai constrânse decât sistemele de auto-învățare (bine antrenate). Cu toate acestea, antrenamentul poate fi costisitor, deoarece necesită o mulțime de intrări - și, de obicei, volumele de intrări necesare pentru astfel de modele au avut o tendință ascendentă. Uneori, pot fi utilizate abordări hibride pentru a scurta dezvoltarea modelului și a ajuta la gestionarea costurilor. Cum ar fi realizarea unui fine-tuning bazat pe date al unui AI bazat pe reguli - ceea ce înseamnă că dezvoltarea necesită mai puține date, calcule, energie și complexitate algoritmică decât dacă dezvoltatorul ar fi început construirea de la zero. [Vezi: Inferență]
**Token-uri**
Când vine vorba de comunicarea om-mașină, există unele provocări evidente. Oamenii comunică folosind limbajul uman, în timp ce programele AI execută sarcini și răspund la interogări prin procese algoritmice complexe, care sunt informate de date. În cea mai simplă definiție a lor, token-urile reprezintă blocurile de bază ale comunicării om-AI, prin faptul că sunt segmente discrete de date care au fost fie procesate, fie produse de un LLM. Token-urile sunt create printr-un proces cunoscut sub numele de „tokenizare”, care descompune datele brute și le rafinează în unități distincte care sunt digerabile pentru un LLM. Similar cu modul în care un compilator software traduce limbajul uman în cod binar pe care un computer îl poate digera, tokenizarea interpretează limbajul uman pentru un program AI prin interogările utilizatorilor săi, astfel încât să poată pregăti un răspuns. Există mai multe tipuri diferite de token-uri - inclusiv token-uri de intrare (tipul care trebuie generat ca răspuns la interogarea unui utilizator uman), token-uri de ieșire (tipul care sunt generate pe măsură ce LLM răspunde la solicitarea umanului) și token-uri de raționament, care implică sarcini și procese mai lungi, mai intensive, care au loc ca parte a unei solicitări a utilizatorului. Cu AI-ul de întreprindere, utilizarea token-urilor determină, de asemenea, costurile. Deoarece token-urile sunt echivalente cu cantitatea de date procesate de un model, ele au devenit, de asemenea, mijlocul prin care industria AI își monetizează serviciile. Majoritatea companiilor AI percep taxe pentru utilizarea LLM pe bază de token-uri. Astfel, cu cât o afacere arde mai multe token-uri pe măsură ce utilizează un program AI (de exemplu, ChatGPT), cu atât va trebui să plătească mai mulți bani furnizorului său de servicii AI (OpenAI).
**Transfer learning**
O tehnică în care un model AI antrenat anterior este utilizat ca punct de plecare pentru dezvoltarea unui nou model pentru o sarcină diferită, dar de obicei înrudită - permițând reaplicarea cunoștințelor dobândite în ciclurile de antrenament anterioare. Transfer learning poate genera economii de eficiență prin scurtarea dezvoltării modelului. Poate fi util și atunci când datele pentru sarcina pentru care este dezvoltat modelul sunt oarecum limitate. Dar este important de reținut că abordarea are limitări. Modelele care se bazează pe transfer learning pentru a obține capacități generalizate vor necesita probabil antrenament pe date suplimentare pentru a funcționa bine în domeniul lor de focalizare (Vezi: Fine tuning)
**Ponderi**
Ponderile sunt esențiale pentru antrenamentul AI, deoarece determină câtă importanță (sau pondere) este acordată diferitelor caracteristici (sau variabile de intrare) din datele utilizate pentru antrenarea sistemului - modelând astfel ieșirea modelului AI. Cu alte cuvinte, ponderile sunt parametri numerici care definesc ceea ce este cel mai important într-un set de date pentru sarcina de antrenament dată. Ele își îndeplinesc funcția prin aplicarea înmulțirii la intrări. Antrenamentul modelului începe de obicei cu ponderi atribuite aleatoriu, dar pe măsură ce procesul se desfășoară, ponderile se ajustează pe măsură ce modelul caută să ajungă la o ieșire care să se potrivească mai bine țintei. De exemplu, un model AI pentru prezicerea prețurilor locuințelor, care este antrenat pe date istorice imobiliare pentru o locație țintă, ar putea include ponderi pentru caracteristici precum numărul de dormitoare și băi, dacă o proprietate este detașată sau semi-detașată, dacă are parcare, un garaj și așa mai departe. În cele din urmă, ponderile pe care modelul le atașează fiecărei dintre aceste intrări reflectă cât de mult influențează valoarea unei proprietăți, pe baza setului de date dat.