Kolibri, německý open-weight model

Německý startup Aleph Alpha k příležitosti výročí sjednocení Německa zveřejnil open-weight jazykový model Kolibri, vyvíjený s ohledem na unijní pojetí autorského práva, ochranu osobních údajů GDPR a nařízení EU o umělé inteligenci, jehož 'Kodexu správné praxe' je Aleph Alpha signatářem. Výsledkem tohoto přístupu je transparentnější technologie, kterou například budou moci využívat evropské veřejné instituce, ovšem za cenu vyšších vývojových nákladů, administrativy a nižší flexibility modelu kvůli proaktivnímu omezování jeho funkcí a redukovanému korpusu trénovacích dat. Tento LLM s architekturou MoE je zaměřený především na němčinu a angličtinu, má 78 miliard parametrů (z nich 3 miliardy aktivních) a délku kontextového okna jeden milion tokenů. Kolibri je dostupný pod licencí Apache 2.0 z repozitáře na Hugging Face.

4.10. 18:44 | 👻 | Zajímavý software

Komentáře

Je správně politicky korektní?

[👻]

na votázku co se stalo v roce 2024 v Mannheimu imo vodpoví uplně stejně jako deepseek na votázku co se stalo v roce 1989 na naměstí nebeskýho klidu: 'a co se vlastně stalo? vůbec nic, dobrou noc.' :D :D :D ;D

[..... Izak .....]

Ja mam zcela nekorektni FLEX.2 - plnym nebo mam 64GB for GPU ) a mam problem, vzsihcni maji 8GB karty a tak provozuji FLEX.2-klein a lora maji poro klein - kdyz dam jejich necenzrovane lora sub-modely - tak se mi to zhrouiti, dle AI bud musim uzit jinynnastroj a bude to mozna fungovat, ale zaroven mi rika, ze model klein ma horsi vysledky a lora by tak ty detialy mela horsi - i kdy pro nahotu pry OK

Ze si mam vytrenovat svoji LORA - napr. muzu vzit jednu nahou modelku a rict mu ze je tam pussy a tits with nibble a jeste treba jeji jmneo a pak ty vyrazy pouzuji v dotazech - a z tech napr. 20 obrazku vygeneruj onen submodel a bude o toho pouzvat muj plne FLEX2.-dev nebo neosekanay, ale qunatizovany ...

A stejne je to pro obliceje treba vezmu xycht, reknu Katya.z.Ruska - a budu tam mit tu rudovlasou leccovou *** a muzu s ni pak generovat EU non complay materials - nevhodne pro uredniky v EU, politicky nekorektni na urovni porna )

Nevim proc ale FLEX.2 vubec netrenovali na nahoty i kdyz ji obcas umi a udela dobre, je na to treba model, co natrenujete na pornu sami - kdyz lidi maji slaby HW - mozna budu mit pristi rok 2x RTX 6000 pro kazda s 96GB RAM - mu uz ji teda budeme mit ted, ale na vmware mi vypnou CUDA - licence a ja rikam, kupome bud MacStudio s 256GB RAM a nebo ten samy stroj s linuxem a dockerem a ja vam ukazu, na co je to dobre ) --- pro vyvojare samozrejme

[👻]

tendle kolibri asi neni multimodální a negeneruje vobrázky :D ;D

co se tejká toho tvýho německýho modelu na vobrázky tak ten se nemenuje flex ale flux a použivám ho v kritě na inpainting. Noa co se tejká prasáren tak před ňákou dobobou se hele civitai rozdělilo na normální variantu a ňákou nsfw variantu red kam vodtamtaď přesunuli všecky prasárny, nóó a kde asi jako najdeš šelicos už hotovýho, iirc tam měli nejenom lory ale i velký natrénovaný modely :D