Surse: Project SGLang se transformă în RadixArk, cu o evaluare de 400 de milioane de dolari, pe măsură ce piața inferenței explodează
O parte din echipa responsabilă pentru menținerea SGLang, un instrument open source popular utilizat de companii precum xAI și Cursor pentru a accelera antrenamentul modelelor AI, a făcut tranziția către startup-ul său comercial lansat recent. Această companie, numită RadixArk, a fost anunțată în august anul trecut.
RadixArk, care a luat naștere ca SGLang în 2023 în interiorul laboratorului UC Berkeley al co-fondatorului Databricks, Ion Stoica, a fost evaluată recent la aproximativ 400 de milioane de dolari într-o rundă condusă de Accel, conform a două persoane familiarizate cu problema. TechCrunch nu a putut confirma dimensiunea finanțării. Startup-ul a strâns anterior capital de tip angel de la investitori, inclusiv CEO-ul Intel, Lip-Bu Tan, au declarat sursele.
Ying Sheng, un contributor cheie la SGLang și fost inginer la xAI, a părăsit startup-ul AI al lui Elon Musk pentru a deveni co-fondator și CEO al RadixArk, conform unui anunț LinkedIn pe care l-a făcut luna trecută. Sheng a fost anterior cercetător științific la Databricks.
Ying Sheng de la RadixArk, Accel și Lip-Bu Tan nu au răspuns unei solicitări de comentarii.
Atât SGLang, cât și RadixArk se concentrează pe optimizarea procesării inferenței - permițând, practic, modelelor să ruleze mai rapid și mai eficient pe același hardware. Împreună cu antrenamentul modelului, inferența reprezintă o parte importantă a costurilor serverului asociate serviciilor AI. Ca urmare, instrumentele care optimizează procesul pot crea economii enorme aproape imediat.
vLLM, un proiect mai matur pentru optimizarea inferenței, a fost, de asemenea, trecut de la un proiect open source la un startup. Noua companie a avut discuții despre strângerea a peste 160 de milioane de dolari în finanțare, la o evaluare de aproximativ 1 miliard de dolari, a raportat Forbes luna trecută.
Trei persoane familiarizate cu acest acord spun pentru TechCrunch că Andreessen Horowitz conduce investiția în vLLM, deși cifrele finale ale acestei investiții rămân de văzut. Andreessen Horowitz a refuzat să comenteze.
Co-fondatorul vLLM, Simon Mo, a caracterizat informațiile despre această rundă drept "inexacte din punct de vedere factual" într-o declarație pentru TechCrunch, deși a refuzat să specifice ce detalii erau incorecte.
La fel ca SGLang, vLLM a fost incubat în laboratorul lui Ion Stoica de la UC Berkeley. Stoica, profesor la UC Berkeley, este faimosul co-fondator al Databricks, precum și al unui număr de alte startup-uri.
Mai multe companii mari de tehnologie își rulează deja sarcinile de lucru de inferență folosind vLLM, iar SGLang a câștigat, de asemenea, o popularitate semnificativă în ultimele șase luni, a declarat pentru TechCrunch Brittany Walker, partener general la CRV. Firma sa nu a susținut niciuna dintre companii.
RadixArk continuă să dezvolte SGLang ca un motor de model AI open-source. Startup-ul construiește, de asemenea, Miles, un framework specializat conceput pentru învățarea prin întărire, care permite companiilor să antreneze modele AI pentru a deveni mai inteligente în timp. În timp ce majoritatea instrumentelor sale rămân gratuite, RadixArk a început să perceapă taxe pentru serviciile de găzduire, a declarat pentru TechCrunch o persoană familiarizată cu compania.
Startup-urile care oferă infrastructură de inferență pentru dezvoltatori au înregistrat o creștere a finanțării în ultimele luni, subliniind importanța continuă a stratului de inferență pentru AI. Baseten a obținut recent 300 de milioane de dolari la o evaluare de 5 miliarde de dolari, a raportat The Wall Street Journal marți. Aceasta urmează o mișcare similară a rivalului Fireworks AI, care a strâns 250 de milioane de dolari la o evaluare de 4 miliarde de dolari în octombrie.