Jevstiller destiluje Jev do lokálního modelu

Open-source nástroj Jevstiller vytváří (destiluje) malý lokální model, který se průběžně učí z odpovědí komerční služby Jev. Běžné dotazy vyřizuje přímo na vlastním hardware, čímž může řádově zkrátit čas odezvy a snížit provozní náklady díky menšímu využívání zpoplatněného API. Nejisté požadavky Jevstiller posílá do Jevu, rovněž průběžně kontroluje náhodná dvě procenta dotazů Jevem. Pokud se lokální model začne s Jevem rozcházet, začne se posílat do Jevu větší podíl dotazů, čímž se lokální model dotrénuje. Není to plnohodnotná náhrada, nástroj ze své podstaty pouze napodobuje odpovědi Jevu, shoda odpovědí lokálního modelu s učitelem je autory odhadována na 98%. Zdrojový kód projektu je k dispozici pod licencí Apache-2.0 na GitHubu.

Jev je nedávno zpřístupněný neveřejný proprietární SI model od společnosti TypeSafe AI, určený primárně pro software, ne pro běžnou konverzaci s lidmi. Místo textových odpovědí vrací strukturované hodnoty v JSON formátu, skládající se ze tří základních prvků: volby z několika možností, skóre a pravděpodobnosti. U každého výstupu uvádí odhad míry jistoty jeho správnosti (confidence). Díky předem danému formátu se hodí pro rychlé a automatizované rozhodování.

dnes 03:55 | AfD 💙 | Zajímavý software

Komentáře