Richard Socher este o figură importantă în domeniul inteligenței artificiale (AI) de ceva timp, fiind cunoscut mai ales pentru fondarea startup-ului de chatbot You.com și, înainte de asta, pentru munca sa la Imagenet. Acum, se alătură generației actuale de startup-uri AI axate pe cercetare cu Recursive Superintelligence, un startup cu sediul în San Francisco, care a ieșit la lumină miercuri cu o finanțare de 650 de milioane de dolari.
Lui Socher i se alătură în noua aventură o cohortă de cercetători proeminenți în domeniul AI, inclusiv Peter Norvig și co-fondatorul Cresta, Tim Shi. Împreună, ei lucrează pentru a crea un model AI auto-îmbunătățitor recursiv, unul care poate identifica autonom propriile puncte slabe și se poate reproiecta pentru a le remedia, fără implicarea umană - un Sfânt Graal de lungă durată al cercetării contemporane în domeniul AI.
Am vorbit cu el pe Zoom după lansare, analizând abordarea tehnică unică a Recursive și de ce nu consideră acest nou proiect ca fiind un neolab, termenul informal pentru o nouă generație de startup-uri AI care prioritizează cercetarea în detrimentul construirii de produse.
Acest interviu a fost editat pentru lungime și claritate.
**Auzim multe despre recursivitate în aceste zile! Se simte ca un obiectiv foarte comun în diferite laboratoare. Cum vedeți abordarea dumneavoastră unică?**
Abordarea noastră unică este de a utiliza deschiderea pentru a ajunge la auto-îmbunătățirea recursivă, pe care nimeni nu a realizat-o încă. Este un obiectiv evaziv pentru mulți oameni. Mulți oameni presupun deja că se întâmplă atunci când faci doar auto-cercetare. Știi, poți lua AI și să-i ceri să îmbunătățească un alt lucru, care ar putea fi un sistem de învățare automată sau doar o scrisoare pe care o scrii sau, știi, orice ar fi, nu? Dar asta nu este auto-îmbunătățire recursivă. Aceasta este doar îmbunătățire.
Principalul nostru obiectiv este de a construi o superinteligență cu adevărat recursivă, auto-îmbunătățitoare la scară, ceea ce înseamnă că întregul proces de ideare, implementare și validare a ideilor de cercetare ar fi automat. În primul rând, [ar automatiza] ideile de cercetare în domeniul AI, în cele din urmă orice fel de idei de cercetare, chiar și în cele din urmă în domeniile fizice. Dar este deosebit de puternic atunci când AI lucrează asupra sa și dezvoltă un nou tip de conștientizare de sine a propriilor deficiențe.
**Ați folosit termenul deschis - are acesta un înțeles tehnic specific?**
Da. De fapt, Tim Rocktäschel, unul dintre co-fondatorii noștri, a condus echipele de deschidere și auto-îmbunătățire la Google DeepMind și a lucrat în special la modelul mondial Genie 3, care este un excelent exemplu de deschidere. Poți să-i spui orice concept, orice lume, orice agent și pur și simplu îl creează și este interactiv.
În evoluția biologică, animalele se adaptează la mediu, iar apoi altele se contra-adaptează la acele adaptări. Este doar un proces care poate evolua timp de miliarde de ani și lucruri interesante se întâmplă în continuare, nu? Așa am dezvoltat ochii în [capetele] noastre.
Un alt exemplu este rainbow teaming, dintr-o altă lucrare a lui Tim. Ați auzit de red teaming? În securitatea cibernetică, înseamnă --
Deci, red teaming trebuie făcut și într-un context LLM. Practic, încerci să faci LLM să-ți spună cum să construiești o bombă și vrei să te asiguri că nu o face. Acum, oamenii pot sta acolo mult timp și pot veni cu exemple interesante despre ceea ce AI nu ar trebui să spună. Dar dacă ai testa această primă AI cu o a doua AI, iar acea a doua AI are acum sarcina de a face prima AI [să încerce să] spună toate lucrurile rele posibile. Și apoi pot merge înainte și înapoi pentru milioane de iterații. De fapt, poți permite două AI să co-evolueze. Una continuă să atace cealaltă și apoi vine nu doar cu un unghi, ci cu multe unghiuri diferite, de unde și analogia cu curcubeul. Și apoi poți inocula prima AI și devii din ce în ce mai sigur. Aceasta a fost o idee a lui Tim Rocktaeschel și este acum folosită în toate laboratoarele majore.
**De unde știi când s-a terminat?**
Presupun că nu se termină niciodată. Unele dintre aceste lucruri nu se vor termina niciodată. Poți deveni mereu mai inteligent. Poți deveni mereu mai bun la programare, matematică și așa mai departe. Există unele limite ale inteligenței; De fapt, încerc să le formalizez chiar acum, dar sunt astronomice. Suntem foarte departe de acele limite.
**Ca un neolab, se simte ca și cum ar trebui să faci ceva ce laboratoarele majore nu fac. Deci, o parte a implicației aici este că nu credeți că laboratoarele majore vor ajunge la RSI [auto-îmbunătățire recursivă] făcând ceea ce fac. Este corect să spun?**
Nu pot comenta cu adevărat ce fac, dar cred că ne apropiem de ea diferit. Îmbrățișăm cu adevărat conceptul de deschidere, iar echipa noastră este complet concentrată pe acea viziune. Iar echipa a cercetat acest lucru și a scris lucrări în acest spațiu în ultimul deceniu. Iar echipa are un istoric de împingere semnificativă a domeniului și de livrare a unor produse reale. Știți, Tim Shi a transformat Cresta într-un unicorn. Josh Tobin a fost una dintre primele persoane de la OpenAI și în cele din urmă a condus echipele lor Codex și echipele de cercetare profundă.
De fapt, mă lupt uneori puțin cu această categorie de neolab. Simt că nu suntem doar un laborator. Vreau să devenim o companie cu adevărat viabilă, să avem produse uimitoare pe care oamenilor le place să le folosească, care au un impact pozitiv asupra umanității.
**Deci, când intenționați să livrați primul dumneavoastră produs?**
M-am gândit mult la asta. Echipa a făcut atât de multe progrese, încât am putea chiar să modificăm termenele de livrare de la ceea ce am presupus inițial. Dar da, vor exista produse și va trebui să așteptați trimestre, nu ani.
Una dintre ideile din jurul auto-îmbunătățirii recursive este că, odată ce avem acest tip de sistem, calculul devine singura resursă importantă. Cu cât rulați mai repede sistemul, cu atât se va îmbunătăți mai repede și nu va exista nicio activitate umană externă care să facă cu adevărat o diferență. Deci cursa devine doar, câtă putere de procesare putem arunca în asta? Credeți că ne îndreptăm spre o astfel de lume?
Calculul nu trebuie subestimat. Cred că în viitor, o întrebare foarte importantă va fi: cât de mult calcul vrea să cheltuie umanitatea pentru a rezolva ce probleme? Iată acest cancer și iată acel virus - pe care vrei să-l rezolvi mai întâi? Cât calcul vrei să-i dai? În cele din urmă, devine o problemă de alocare a resurselor. Va fi una dintre cele mai mari întrebări din lume.