DeepMind prezintă Googlebook 'Magic Pointer' cu demo-uri pe care le poți încerca, disponibil și în Gemini în Chrome
Magic Pointer de pe Googlebook a fost creat cu Google DeepMind. Echipa de cercetare din spatele acestei capacități subiacente a împărtășit mai multe despre premisa indicatoarelor bazate pe AI.
DeepMind dorește să folosească AI „pentru a ajuta indicatorul nu numai să înțeleagă ce indică, ci și de ce este important pentru utilizator”. Scopul nostru este de a aborda o frustrare comună: deoarece un instrument AI tipic trăiește în propria sa fereastră, utilizatorii trebuie să-și tragă lumea în el. Ne dorim opusul: AI intuitivă care întâlnește utilizatorii în toate instrumentele pe care le folosesc, fără a le întrerupe fluxul.
De exemplu, imaginează-ți că arăți către o imagine a unei clădiri și ceri „Arată-mi indicațiile”. Nu este nevoie de nimic mai mult atunci când sistemul AI înțelege deja contextul. Ideea este de a înlocui „prompt-urile text-heavy cu interacțiuni mai simple, mai intuitive”.
Un indicator activat de AI ar eficientiza acest proces prin captarea lină a contextului vizual și semantic din jurul indicatorului, permițând computerului să „vadă” și să înțeleagă ceea ce este important pentru utilizator. În mod similar, un „sistem AI care înțelege această combinație de context, indicare și vorbire ar permite utilizatorilor să facă cereri complexe în shorthand natural”.
Cazuri de utilizare includ: ar putea indica un PDF și solicita un rezumat cu puncte pentru a-l lipi direct într-un e-mail poți trece peste un tabel cu statistici și solicita o versiune grafică sub formă de tort poți evidenția o rețetă și solicita ca toate ingredientele să fie dublate În exemplul de mai jos, un „cadru pauzat într-un videoclip de călătorie devine un link de rezervare pentru acel restaurant cu aspect cool.”
Google are două demo-uri de indicator activat de AI în AI Studio: Editează o imagine Găsește locuri pe hartă
În plus, în curând vei avea posibilitatea de a „folosi indicatorul pentru a întreba Gemini în Chrome despre partea paginii web care te interesează”. Acest lucru este în curs de lansare. De exemplu, poți selecta câteva produse pe o pagină și poți cere să le compari sau poți indica unde vrei să vizualizezi o canapea nouă în sufrageria ta.