Thinking Machines Lab vrea să facă modelele AI mai consistente.
Există un mare interes față de ceea ce construiește Thinking Machines Lab al Mirei Murati, cu o finanțare inițială de 2 miliarde de dolari și echipa all-star de foști cercetători OpenAI care s-au alăturat laboratorului.
Într-o postare pe blog publicată miercuri, laboratorul de cercetare al lui Murati a oferit lumii prima privire asupra unuia dintre proiectele sale: crearea de modele AI cu răspunsuri reproductibile.
Postarea de pe blogul de cercetare, intitulată „Învingerea non-determinismului în inferența LLM”, încearcă să despacheteze cauza principală a ceea ce introduce aleatoriu în răspunsurile modelelor AI. De exemplu, adresați aceeași întrebare ChatGPT-ului de câteva ori și este posibil să obțineți o gamă largă de răspunsuri. Acest lucru a fost în mare parte acceptat în comunitatea AI ca un fapt - modelele AI de astăzi sunt considerate sisteme non-deterministe - dar Thinking Machines Lab vede acest lucru ca pe o problemă rezolvabilă.
Postarea, scrisă de cercetătorul de la Thinking Machines Lab, Horace He, susține că cauza principală a aleatoriului modelelor AI este modul în care nucleele GPU - programele mici care rulează în interiorul cipurilor de calculator Nvidia - sunt îmbinate în procesarea inferențială (tot ceea ce se întâmplă după ce apăsați enter în ChatGPT). El sugerează că, prin controlul atent al acestui strat de orchestrare, este posibil să facem modelele AI mai deterministe.
Dincolo de crearea de răspunsuri mai fiabile pentru întreprinderi și oameni de știință, He notează că obținerea de modele AI care să genereze răspunsuri reproductibile ar putea îmbunătăți, de asemenea, instruirea prin reinforcement learning (RL). RL este procesul de recompensare a modelelor AI pentru răspunsuri corecte, dar dacă răspunsurile sunt toate ușor diferite, atunci datele devin puțin zgomotoase. Crearea de răspunsuri mai consistente ale modelelor AI ar putea face întregul proces RL „mai lin”, potrivit lui He.
Thinking Machines Lab a declarat investitorilor că intenționează să utilizeze RL pentru a personaliza modelele AI pentru companii, a relatat anterior The Information.
Murati, fostul director tehnic al OpenAI, a declarat în iulie că primul produs al Thinking Machines Lab va fi dezvăluit în lunile următoare și că va fi „util pentru cercetătorii și startup-urile care dezvoltă modele personalizate”. Încă nu este clar ce este acel produs sau dacă va folosi tehnici din această cercetare pentru a genera răspunsuri mai reproductibile.
Thinking Machines Lab a mai spus că intenționează să publice frecvent postări pe blog, coduri și alte informații despre cercetarea sa, într-un efort de a „beneficia publicul, dar și de a ne îmbunătăți propria cultură de cercetare”. Această postare, prima din noua serie de blog a companiei, numită „Connectionism”, pare să facă parte din acest efort. OpenAI și-a luat, de asemenea, un angajament față de cercetarea deschisă atunci când a fost fondată, dar compania a devenit mai închisă pe măsură ce a crescut. Vom vedea dacă laboratorul de cercetare al lui Murati rămâne fidel acestei afirmații.
Blogul de cercetare oferă o privire rară în interiorul unuia dintre cele mai secrete startup-uri AI din Silicon Valley. Deși nu dezvăluie exact unde se îndreaptă tehnologia, indică faptul că Thinking Machines Lab abordează unele dintre cele mai importante întrebări de la frontiera cercetării AI. Adevăratul test este dacă Thinking Machines Lab poate rezolva aceste probleme și poate crea produse în jurul cercetării sale pentru a-și justifica evaluarea de 12 miliarde de dolari.