Un fost trio de oameni de știință Google X își propune să vă ofere un al doilea creier virtual - nu în sensul științifico-fantastic sau cip-în-cap - ci printr-o aplicație alimentată de AI care câștigă context ascultând tot ce spui în fundal.
Startup-ul lor, TwinMind, a strâns 5,7 milioane de dolari în finanțare inițială și a lansat o versiune Android, împreună cu un nou model de vorbire AI. De asemenea, are o versiune pentru iPhone.
Cofondată în martie 2024 de Daniel George (CEO) și foștii săi colegi Google X, Sunny Tang și Mahi Karim (ambii CTO), TwinMind rulează în fundal, captând vorbirea ambientală (cu permisiunea utilizatorului) pentru a construi un grafic personal de cunoștințe. Transformând gândurile rostite, întâlnirile, prelegerile și conversațiile în memorie structurată, aplicația poate genera note, liste de sarcini și răspunsuri alimentate de AI. Funcționează offline, procesează audio în timp real pentru a transcrie pe dispozitiv și poate captura audio continuu timp de 16-17 ore fără a consuma bateria dispozitivului, spun fondatorii. Aplicația poate face, de asemenea, copii de rezervă ale datelor utilizatorului, astfel încât conversațiile să poată fi recuperate dacă dispozitivul este pierdut, deși utilizatorii pot renunța la această opțiune. De asemenea, acceptă traducerea în timp real în peste 100 de limbi.
TwinMind se diferențiază de aplicațiile de notare pentru întâlniri cu AI, precum Otter, Granola și Fireflies, captând audio pasiv în fundal pe tot parcursul zilei. Pentru a face acest lucru posibil, echipa a construit un serviciu de nivel scăzut în Swift pur, care rulează nativ pe iPhone. În schimb, mulți concurenți folosesc React Native și se bazează pe procesarea bazată pe cloud, pe care Apple o restricționează să ruleze în fundal pentru perioade îndelungate, a declarat George într-un interviu exclusiv.
„Am petrecut aproximativ șase până la șapte luni anul trecut doar perfecționând această captare audio continuu și ajungând acolo pentru a găsi o mulțime de hack-uri în jurul grădinii cu ziduri a Apple”, a declarat el pentru TechCrunch.
George a părăsit Google X în 2020 și a avut ideea pentru TwinMind în 2023, când lucra la JPMorgan ca vicepreședinte și lider AI aplicat, participând la întâlniri consecutive în fiecare zi. Pentru a economisi timp, a construit un script care capta audio, îl transcria pe iPad-ul său și îl introducea în ChatGPT - care a început să înțeleagă proiectele sale și chiar să genereze cod utilizabil. Impresionat de rezultate, l-a împărtășit cu prietenii și a postat despre el pe Blind, unde alții au arătat interes, dar nu au dorit ca ceva să ruleze pe laptopurile lor de serviciu. Asta l-a determinat să construiască o aplicație care să poată rula pe un telefon personal, ascultând în liniște în timpul întâlnirilor pentru a colecta context util.
În plus față de aplicația mobilă, TwinMind oferă o extensie Chrome care colectează context suplimentar prin activitatea browserului. Folosind AI de viziune, poate scana vizual filele deschise și interpreta conținutul de pe diverse platforme, inclusiv e-mail, Slack și Notion.
Startup-ul a folosit chiar extensia în sine pentru a selecta stagiari din peste 850 de aplicații pe care le-a primit în această vară. „Am deschis toate profilurile LinkedIn și CV-urile celor 854 de candidați în filele browserului, apoi am cerut extensiei Chrome să claseze cei mai buni candidați”, a spus George. „A făcut o treabă fantastică - așa ne-am angajat cei patru stagiari finali.”
El a menționat că chatbot-urile AI actuale - inclusiv ChatGPT de la OpenAI și Claude de la Anthropic - nu pot procesa cu ușurință sute de documente sau analiza înscrieri din instrumente precum LinkedIn sau Gmail pentru a colecta informații contextuale. În mod similar, browserele alimentate de AI, cum ar fi cele de la Perplexity și The Browser Company, nu au capacitatea de a construi cunoștințe din conversațiile tale offline și din întâlnirile în persoană.
Startup-ul are în prezent peste 30.000 de utilizatori, dintre care aproximativ 15.000 sunt activi în fiecare lună. Deși SUA este cea mai mare bază pentru TwinMind până acum, startup-ul vede, de asemenea, tracțiune din India, Brazilia, Filipine, Etiopia, Kenya și Europa. TwinMind vizează publicul larg, deși 50-60% dintre utilizatorii săi sunt în prezent profesioniști, aproximativ 25% sunt studenți, iar restul de 20-25% sunt persoane care îl folosesc în scopuri personale. George a declarat pentru TechCrunch că tatăl său se numără printre persoanele care folosesc TwinMind pentru a-și scrie autobiografia.
Unul dintre dezavantajele semnificative ale AI este potențialul său de a compromite confidențialitatea utilizatorilor. Dar George a afirmat că TwinMind nu își antrenează modelele pe datele utilizatorilor și este conceput pentru a funcționa fără a trimite înregistrări în cloud. Spre deosebire de multe alte aplicații de luare de note AI, TwinMind nu permite utilizatorilor să acceseze ulterior înregistrările audio - sunetul este șters din zbor - în timp ce doar textul transcris este stocat local în aplicație, a menționat el.
Cofondatorii TwinMind au petrecut câțiva ani lucrând la diverse proiecte la Google X. George a declarat pentru TechCrunch că a lucrat la șase proiecte singur, inclusiv iyO - echipa din spatele căștilor alimentate de AI, care a făcut recent titluri pentru că a dat în judecată OpenAI și Jony Ive. Această experiență a ajutat echipa TwinMind să treacă rapid de la concept la produs.
„Google X a fost de fapt locul perfect pentru a te pregăti pentru a-ți începe propria companie”, a spus George. „Există aproximativ 30 până la 40 de proiecte de tip startup care se întâmplă în orice moment. Nimeni altcineva nu ajunge să lucreze la șase startup-uri în stadiu incipient pe parcursul a doi sau trei ani înainte de a-și lansa propriul - cel puțin nu într-un interval de timp atât de scurt.”
Înainte de a se alătura Google, George a lucrat la aplicarea învățării profunde în astrofizica undelor gravitaționale ca parte a grupului LIGO câștigător al Premiului Nobel de la Centrul Național de Aplicații de Supercalculatoare al Universității Illinois. El și-a finalizat doctoratul în AI pentru astrofizică în doar un an - la vârsta de 24 de ani - o performanță care l-a determinat să se alăture laboratorului de cercetare al lui Stephen Wolfram în 2017 ca cercetător în învățare profundă și AI. Această conexiune timpurie cu Wolfram a revenit ani mai târziu - a ajuns să scrie primul cec pentru TwinMind, marcând prima sa investiție într-un startup.
Cea mai recentă rundă de finanțare inițială a fost condusă de Streamlined Ventures, cu participarea Sequoia Capital și a altor investitori, inclusiv Wolfram. Runda evaluează TwinMind la 60 de milioane de dolari post-bani.
În plus față de aplicațiile și extensia de browser, TwinMind a introdus, de asemenea, modelul TwinMind Ear-3, un succesor al modelului său existent Ear-2, care acceptă peste 140 de limbi din întreaga lume și are o rată de eroare a cuvintelor de 5,26%, a spus startup-ul. Noul model poate recunoaște, de asemenea, diferiți vorbitori într-o conversație și are o rată de eroare de diarizare a vorbitorului de 3,8%.
Noul model AI este un amestec fin reglat de mai multe modele open-source, antrenat pe un set curat de date de internet adnotate de oameni - inclusiv podcast-uri, videoclipuri și filme. „Am descoperit că, cu cât acceptați mai multe limbi, cu atât modelul înțelege mai bine accentele și dialectele regionale, deoarece se antrenează pe o gamă mai largă de vorbitori”, a spus George. Modelul costă 0,23 USD/oră și va fi disponibil printr-un API pentru dezvoltatori și întreprinderi în următoarele câteva săptămâni.
Ear-3, spre deosebire de Ear-2, nu acceptă o experiență offline completă, deoarece este mai mare și rulează în cloud. Cu toate acestea, aplicația comută automat la Ear-2 dacă internetul dispare și apoi revine la Ear-3 când revine, a spus George.
Odată cu introducerea Ear-3, TwinMind oferă acum un abonament Pro la 15 USD/lună, cu o fereastră de context mai mare de până la 2 milioane de jetoane și asistență prin e-mail în 24 de ore. Cu toate acestea, versiunea gratuită există încă cu toate funcțiile existente, inclusiv ore nelimitate de transcrieri și recunoaștere vocală pe dispozitiv.
Startup-ul are în prezent o echipă de 11 membri. Intenționează să angajeze câțiva designeri pentru a-și îmbunătăți experiența utilizatorului și să înființeze o echipă de dezvoltare a afacerilor pentru a-și vinde API-ul. Mai mult, există planuri de a cheltui niște bani pentru achiziționarea de noi utilizatori.