Dotaz: AI pro práci s textem

[Aleš]

Ahoj

Existuje nějaký free linuxový sw, který by obsahoval umělou inteligenci, kterou je možno učit pracovat s textem? Znám AI pro práci s grafikou, například můžu vzít 1000 obrázků, udělat v nich ručně selekci nějakého typu objektu a software se pak naučí objekty selektovat sám. To používám v práci (komerční sw).

Potřeboval bych něco podobného s textem. Krmit sw texty před úpravou a po úpravě a doufat, že se naučí dělat, co potřebuji.

Mohla by to být i nějaká knihovna v Pythonu, například.

Odpovědi

[Aleš Kapica]

Zeptej se Bourka, Dědy jabka, nebo Jendy. Ti si myslí že jo.

[Josef Kufner]

Neexistuje to. Alespoň ne v prakticky použitené podobě. Tady se pohybuješ kousek za hranicemi současného poznání. Co jsem tak zahlédl (nevěnuji se tomu), tak aktuální konec je někde u word vector.

[zdenek2008]

Mozna neco z open.ai nebo IBM Watson. Pripadne zkus https://modelzoo.co/ nebo jine kolekce predtrenovanych modelu.

Drzim palce.

[n2oapica]

https://www.gnu.org/software/emacs/

[n2oapica]

též známý jako systemE

[Jendа]

https://huggingface.co/, ale určitě to není ready to use. Ale jede na tom třeba Kapica.

[Aleš Kapica]

Kdybys tak alespoň jednou nelhal mameluku.

[neznámý Přítel]

Jen tak mimo, vedou k tobě jeho stopy? Narazil jsem na něho když jsem hledal nějakého Kapicu o kterém psal "Jedna" možná myslel i jiného Kapicu. Neber si mě prosím, špatné

[Aleš Kapica]

Přímé ne. U nás asi 25 Kapiců, a jsou to tři nezávislé větve. V jedné, z okolí Frenštátu byl dokonce můj jmenovec, kterého najdeš v Cibulkových seznamech. Ovšem předek této větve pocházel z Haliče a sem se dostal jako zaměstnanec drah někdy kolem roku 1860. Druhá větev žila od nepaměti v okolí Děhylova. A ta naše zase v oblasti Fryštátu (dnešní Karviná). V obou případech jsem se dostal až do časů, kdy se začaly psát matriky. Podle výskytu toho příjmení jsem dospěl k závěru, že existují dvě velké skupiny, které se oddělily minimálně 1 tisíc let zpátky. Ta původní je z oblasti Opolí. Zakladatel té druhé, že které nejspíš pochází i ten výše uvedený se dostal do oblasti kolem řeky Narev za bojů s pohanskými prusy.

Výše uvedený se sám domníval že pochází z oblasti kolem Bosny. (Crvena Kapica je červená Karkulka) Ale není tomu tak. Po Napoleonských válkách byla pro zchudlé polské šlechtice jediná možnost kariérního postupu - v carské armádě. Jeho otec byl vojenský stavitel, který projektoval Kronštadt.

[neznámý Přítel]

;)

[razor]

Ahoj,

prozkoumat na webu termíny "natural language processing" NLP. To co popisuješ by mohla být podoblast "Named entity recognition". Knihovny pro NLP pro Python např.

https://spacy.io/

[Aleš]

Asi nedorozumění, ale ty texty nebudou obsahovat natural language.

[Aleš Kapica]

A co tedy budou obsahovat? Možná chceš jít na to moc složitě.

[Aleš]

To je jedno, nemělo by to řešit význam. Podobně jako ten grafický program, který se naučí označovat například auta, ale neví, že je to auto.

[lgb]

Tak třeba i africké, australské, jiho-americke nebo asijské domorodce a jejich komunikaci se zvířaty?

[Aleš]

třeba, nebo i sekvence DNA, jakákoliv textová data, stejně jako ten grafický editor umí pracovat obecně s jakýmkoliv obrázkem

[j]

Asi by sis mel zjistit, jak fungujou ty graficky veci, ono ti to treba pak i dojde.

Ono ti to totiz vubec nerekne ze to je auto, rekne ti to jen to, ze ten obrazek obsahuje 50% colorfill stejnou barvou, coz odpovida tem, ktery si mu predhodil predtim a meli to trebas od 40 do 60%. Pokud bude mit to "auto" trebas barevne flekatou kastli, tak ho to proste nepozna.

Ten algoritmus samo muze brat v potaz vic veci, ale tohle je ten princip.

Takze pokud mas sadu textu dostatecne stejnych aby se dalo rict, ze jinej text je jim podobnej, tak to udelat lze, jinak nikoli. A viz vejs, pocitej s tim, ze chybovost bude znacna, nejspis mnohem vetsi, nez u tech obrazku, jednoduse proto, ze budes mit mnohem min dat.

---

Dete s tim guuglem dopice!

[berec]

Pokud bude mit to "auto" trebas barevne flekatou kastli, tak ho to proste nepozna.

Pokud bude inteligentni vyvojar chtit tak ho nauci rozpoznavat vic vlastnosti, nebo ho proste treba hodi ke hmyzu, pozdeji mu bude ale podezrele ze ma oci a usi hodne daleko od sebe

[Aleš]

Ale to je přesně to, co chci. Nechci aby ten SW rozpoznával významy toho textu (on tam ani žádný význam být nemusí), ale jen aby se naučil hledat podobné patterny (hodně variabilní, ekvivalentní tomu autu na obrázku) a dělal s nimi věci, které se naučí. S veškerým rizikem, že případný význam textu utrpí.

[iak]

Mohl bys trochu rozvest ktere graficke veci myslis? Mas tip na nejake konretni nastroje? (opensource idealne)

Ten priklad v puvodnim dotazu: "můžu vzít 1000 obrázků, udělat v nich ručně selekci nějakého typu objektu a software se pak naučí objekty selektovat sám". To zni jako object-detection, umi to treba open source nastroj yolo5 (https://github.com/ultralytics/yolov5).

Tam ale primo takovy algoritmus jak popisujes IMHO neni, proste tomu jen das obrazky-priklady na ktery se to natrenuje. Jako uzivatel-programator teto knihovny pak dostanes jen "class: auto", pripadne jeste nejake "score: 0.7". Veci jako "50% vyplnene stejnou barvou" nedostavas...

Naopak, netusis proc je odpoved takova jaka je, neumis to nejak debugovat,jen muzes zkusit rozsirit/upravit trenovaci data.

[Karel]

Teď jsem viděl v TV jednu bytost nebo nebo Robota který si říkal Tomáš Rosický, spíš si myslím, že to byl Robot s AI textovou mluvou, protože jeho věta

Fotbal hrajete protože je to čirá radost z toho co děláte.

mi jako živé bytosti nedává smysl

[Bedňa]

Důfám že takéto roboti nikdy nebudú vo vedúcích poziciách.

NTkernel Ultras

[iak]

Dostal jsi tady nekolik odkazu co resi text v prirozenem jazyce (NLP). To ale teda neni co chces.

Asi budes muset nejak lip popsat co presne potrebujes, a pak jen najit vhodnou Python knihovnu, je dost mozne je problem je uz vyresen. Jen je otazka jak to pojmenovali ti co to uz resili :)

Asi bych spis hledal "machine learning" nez AI, nejaky "pattern matching"...?