OpenAI a prezentat miercuri primul său procesor de inferență personalizat, proiectat și fabricat în colaborare cu Broadcom. Noul procesor, denumit Jalapeño, a fost creat special pentru nevoile specifice ale sistemelor de inferență OpenAI. Compania a precizat că propriile modele AI au contribuit la dezvoltarea cipului. Deși cipul este încă în faza de testare, OpenAI afirmă că rezultatele preliminare indică o performanță per watt semnificativ mai bună decât soluțiile de ultimă generație disponibile în prezent.
Parteneriatul a fost anunțat oficial în octombrie, însă planurile OpenAI privind un cip propriu au fost de mult timp zvonite ca o modalitate de a reduce dependența companiei de GPU-urile Nvidia. Atât Google, cât și Amazon au dezvoltat deja cipuri personalizate pentru un scop similar, adesea denumite „acceleratoare AI” – circuite integrate special concepute pentru a accelera sarcinile de învățare automată.
Greg Brockman, președintele OpenAI, a explicat abordarea companiei în materie de dezvoltare de cipuri într-un podcast intern, la scurt timp după anunțarea parteneriatului cu Broadcom. „Avem o înțelegere profundă a sarcinii de lucru,” a afirmat Brockman în episod. „Am căutat în mod special sarcini de lucru care sunt insuficient deservite și ne-am întrebat cum putem construi ceva care să accelereze ceea ce este posibil?”
Jalapeño este conceput special pentru inferență, procesul de rulare a modelelor AI pre-antrenate ca răspuns la comenzile utilizatorilor. În anunțul său, OpenAI a subliniat costul redus de operare al cipului atunci când rulează modele de codare în timp real. Este probabil ca sarcinile mai intensive din punct de vedere al performanței, precum pre-antrenarea, să continue să se bazeze pe hardware-ul Nvidia, însă chiar și reduceri minore ale costurilor de inferență ar putea contribui semnificativ la îmbunătățirea profitabilității companiei.
Optimizarea sistemului de inferență ar putea deveni un factor crucial în economia inteligenței artificiale pe viitor – și este probabil să aibă loc la fiecare nivel al stivei. OpenAI dezvoltă deja produse agențiale precum Codex și modelele care le susțin, precum și centre de date pentru a le rula. Intrarea pe piața cipurilor specializate permite companiei să meargă și mai departe în acest proces, așa cum a explicat și în anunțul său. „OpenAI nu dezvoltă doar modele de vârf sau produse bazate pe acestea; proiectează infrastructura de la bază: arhitectură de cipuri, nuclee, sisteme de memorie, rețelistică, planificare, sisteme de implementare și experiență de produs,” a scris compania. „Deoarece OpenAI operează pe întreaga stivă, fiecare strat poate fi optimizat în jurul aceluiași scop: a face modelele sale mai rapide, mai fiabile și mai accesibile pentru utilizatori.”