Oficialní dev android zpráva
S potěšením oznamujeme sadu rozhraní GenAI API pro zařízení, která jsou součástí sady ML Kit a pomohou vám integrovat Gemini Nano do vašich aplikací pro Android.
Pro začátek vydáváme 4 nová API:
Shrnutí : shrnout články a konverzace
Korektura : leštění krátkých textů
Přepisování : přeformulovat text v různých stylech
Popis obrázku : pro stručný popis obrázků
-Klíčové výhody rozhraní GenAI API
API GenAI jsou rozhraní API na vysoké úrovni, která umožňují snadnou integraci, podobně jako stávající API ML Kit . To znamená, že můžete očekávat kvalitní výsledky ihned po instalaci bez nutnosti dalšího úsilí o rychlé inženýrství nebo doladění pro specifické případy použití.
API GenAI běží na zařízení a poskytují tak následující výhody:
Vstupní, inferenční a výstupní data jsou zpracovávána lokálně.
Funkčnost zůstává stejná i bez spolehlivého připojení k internetu
Žádné dodatečné náklady nevznikají za každé volání API
Abychom zabránili zneužití, přidali jsme také bezpečnostní ochranu v různých vrstvách, včetně trénování základního modelu, jemného doladění LoRA s ohledem na bezpečnost, klasifikátorů vstupů a výstupů a bezpečnostních vyhodnocení.
-Jak se vytvářejí rozhraní GenAI API
Každé z rozhraní GenAI API se skládá ze 4 hlavních komponent.
Gemini Nano je základní model, jakožto základ sdílený všemi API.
Malé modely adaptérů LoRA specifické pro API jsou trénovány a nasazovány nad základním modelem, aby se dále zlepšila kvalita každého API.
Optimalizované parametry inference (např. výzva, teplota, topK, velikost dávky) jsou vyladěny pro každé API, aby model vracel nejlepší výsledky.
Proces hodnocení zajišťuje kvalitu v různých datových sadách a atributech. Tento proces se skládá z: hodnotitelů LLM, statistických metrik a lidských hodnotitelů.
Tyto komponenty dohromady tvoří vysoce kvalitní rozhraní GenAI API, která zjednodušují integraci Gemini Nano do vaší aplikace pro Android.
Hodnocení kvality API GenAI
Pro každé API formulujeme benchmarkové skóre na základě výše uvedeného hodnotícího postupu. Toto skóre je založeno na atributech specifických pro daný úkol. Například při hodnocení úkolu sumarizace je jedním z atributů, na které se zaměřujeme, „uzemnění“ (tj. faktická konzistence vygenerovaného souhrnu se zdrojovým obsahem).
Abychom zajistili kvalitu API GenAI ihned po instalaci, aplikovali jsme jemné doladění specifických funkcí nad základním modelem Gemini Nano. To vedlo ke zvýšení skóre každého API v benchmarku, jak je uvedeno níže:
Případ užití v angličtině Základní model Gemini Nano ML Kit GenAI API
Shrnutí 77,2 92,1
Korektura 84,3 90,2
Přepisování 79,5 84,1
Popis obrázku 86,9 92,3
Kromě toho je zde stručný přehled toho, jak API fungují na Pixelu 9 Pro:
Rychlost předpony
(rychlost zpracování vstupu) Rychlost dekódování
(rychlost generování výstupu)
Převod textu na text 510 tokenů/sekundu 11 žetonů/sekundu
Převod obrázku na text 510 tokenů/sekundu + 0,8 sekundy pro kódování obrazu 11 žetonů/sekundu
Další příklady implementace API GenAI naleznete v oficiální dokumentaci a ukázkách na GitHubu:
Ukázky API GenAI katalogu AI s Compose
Rychlý start s rozhraními ML Kit GenAI API
Případy použití
Zde je několik pokynů, jak nejlépe používat aktuální rozhraní GenAI API:
Pro shrnutí zvažte:
Konverzační zprávy nebo přepisy, které se týkají 2 nebo více uživatelů
Články nebo dokumenty o rozsahu menším než 4000 slov (nebo přibližně 3000 anglických slov). Použití prvních několika odstavců pro shrnutí obvykle postačí k zachycení nejdůležitějších informací.
U rozhraní API pro korekturu a přepisování zvažte jejich využití během procesu tvorby obsahu pro krátký obsah do 256 tokenů, což vám pomůže s úkoly, jako jsou:
Zdokonalování sdělení v určitém tónu, například formálnějším nebo neformálnějším
Vylepšování osobních poznámek pro snazší pozdější použití
Pro rozhraní Image Description API zvažte:
Generování názvů obrázků
Generování metadat pro vyhledávání obrázků
Využití popisů obrázků v případech, kdy nelze zobrazit samotné obrázky, například v seznamu zpráv v chatu
Generování alternativního textu, který pomůže zrakově postiženým uživatelům lépe porozumět obsahu jako celku
API GenAI v produkčním prostředí
Envision je aplikace, která verbalizuje vizuální svět a pomáhá nevidomým nebo slabozrakým lidem vést nezávislejší život. Běžným případem použití aplikace je, že uživatelé pořídí fotografii a nechá si dokument přečíst nahlas. Díky rozhraní GenAI Summarization API je nyní Envision schopen získat stručné shrnutí pořízeného dokumentu. To výrazně zlepšuje uživatelský zážitek tím, že jim umožňuje rychle pochopit hlavní body dokumentů a určit, zda je třeba je podrobněji přečíst, což jim šetří čas a úsilí.
Podporovaná zařízení
Rozhraní GenAI API jsou k dispozici na zařízeních Android s optimalizovanými platformami MediaTek Dimensity, Qualcomm Snapdragon a Google Tensor prostřednictvím AICore. Úplný seznam zařízení, která podporují rozhraní GenAI API, naleznete v naší oficiální dokumentaci .
Zdroj: android-developers.googleblog.com
