Startup-ul Gimlet Labs rezolvă problema gâtului de sticlă al inferenței AI într-un mod surprinzător de elegant.
Zain Asgar, profesor adjunct la Stanford și fondator cu un exit de succes, tocmai a strâns o rundă Series A de 80 de milioane de dolari pentru un startup care rezolvă problema gâtului de sticlă al inferenței AI într-un mod inteligent. Runda a fost condusă de Menlo Ventures.
Compania, Gimlet Labs, a creat ceea ce susține că este primul și singurul "cloud de inferență multi-silicon", adică un software care permite rularea simultană a unei sarcini de lucru AI pe diverse tipuri de hardware. Poate împărți munca unei aplicații AI atât pe CPU-uri tradiționale, cât și pe GPU-uri optimizate pentru AI, precum și pe sisteme cu memorie mare.
"Practic, rulăm pe orice hardware diferit care este disponibil", a declarat Asgar pentru TechCrunch.
Un singur agent poate înlănțui mai mulți pași, iar fiecare "necesită hardware diferit: inferența este limitată de calcul; decodarea este limitată de memorie; iar apelurile de instrumente sunt limitate de rețea", scrie investitorul principal, Tim Tully de la Menlo, într-o postare pe blog despre finanțare. Niciun cip nu face totul încă, dar pe măsură ce se lansează hardware nou și GPU-urile îmbătrânite sunt redistribuite, "flota multi-silicon este pregătită - îi lipsește doar stratul software pentru a o face să funcționeze."
Acesta este ceea ce Tully crede că oferă Gimlet Labs. Dacă tendința actuală de a implementa mai mult calcul continuă, McKinsey estimează că cheltuielile centrelor de date vor totaliza aproape 7 trilioane de dolari până în 2030. Asgar spune că aplicațiile utilizează hardware-ul existent deja implementat "undeva între 15 și 30 la sută" din timp.
"Un alt mod de a gândi la acest lucru: risipiți sute de miliarde de dolari pur și simplu lăsând resurse inactive", a spus el. "Scopul nostru a fost, în principiu, să încercăm să ne dăm seama cum puteți face ca sarcinile de lucru AI să fie de 10 ori mai eficiente ca oricând, astăzi."
Așa că el și co-fondatorii săi, Michelle Nguyen, Omid Azizi și Natalie Serrino, au început să construiască software de orchestrare care feliază sarcinile de lucru agentice, astfel încât acestea să poată fi simultan răspândite pe tot felul de hardware.
Gimlet Labs susține că accelerează în mod fiabil inferența AI de 3x până la 10x pentru același cost și putere. Gimlet spune că poate chiar să felieze modelul subiacent, astfel încât să ruleze pe diferite arhitecturi, folosind cel mai bun cip pentru fiecare porțiune a modelului.
Compania a încheiat deja parteneriate cu producătorii de cipuri NVIDIA, AMD, Intel, ARM, Cerebras și d-Matrix.
Produsul Gimlet, livrat fie ca software, fie printr-un API către propriul Gimlet Cloud, nu este destinat dezvoltatorului de aplicații AI de rând. Este pentru cele mai mari laboratoare de modele AI și centre de date.
Compania s-a lansat public în octombrie cu venituri, după cum a declarat, de opt cifre de la început (deci cel puțin 10 milioane de dolari). Asgar a spus că baza sa de clienți s-a dublat în ultimele patru luni și include acum un important producător de modele și o companie extrem de mare de cloud computing, deși a refuzat să le numească.
Cofondatorii au lucrat anterior împreună la Pixie, un startup care a creat un instrument de observabilitate open source pentru Kubernetes. Pixie a fost achiziționat de New Relic în 2020, la doar două luni după ce s-a lansat cu o rundă Series A de 9 milioane de dolari condusă de Benchmark. (Tehnologia Pixie face acum parte din organizația open source care supraveghează Kubernetes.)
După ce Asgar s-a întâlnit întâmplător cu Tully în urmă cu aproximativ un an și a primit, de asemenea, investiții angelice de la profesori de la Stanford, VC-urile au început să sune. După lansare, o foaie de termeni a aterizat pe biroul lui Asgar. Când VC-urile au auzit că Asgar se uită la oferte, "am primit un roi destul de mare de finanțare", iar runda a fost rapid suprasubscrisă, a spus el.
Cu runda seed anterioară, startup-ul a strâns acum un total de 92 de milioane de dolari, inclusiv de la o serie de îngeri precum Bill Coughran de la Sequoia, profesorul de la Stanford Nick McKeown, fostul CEO al VMware Raghu Raghuram și CEO-ul Intel Lip-Bu Tan.
Compania are în prezent 30 de angajați. Alți investitori includ Factory, care a condus runda seed, Eclipse Ventures, Prosperity7 și Triatomic.