Generátor pseudonáhodneho textu (diskuse)

[Bystroushaak]

Pomocou regulárnych výrazov je pomerne jednoduché tokenizovať text na slová:

Tohle nedoporučuji používat na nic složitějšího. Python k tomu má luxusní nltk knihovnu, která skutečně zná gramatická pravidla.

Jinak pěkné.

[|🇵🇸]

+1

[mirec]

Keby som mal trochu viacej času pohrať sa s nltk bola by celkom pecka rozanalyzovať jednotlivé vetné členy a skladať potom vety s reálnymi slovami so správnym slovosledom. Ako som spomínal nižšie ja používam generátor len pri vývoji ale ehm no viem si predstaviť že by som robil napr. inzertný portál, z nejakého už existujúceho portálu by som skopíroval pár inzerátov a podľa ich textu nechal vygenerovať pár tisíc a ukázal to zákazníkovi. Lenže momentálne už pekne dlho nerobím pre zákazníkov ale vlastné firemné projekty takže nič podobné momentálne nepotrebujem .

[manasekp]

Podobne texty jsem pred mnoha lety pouzival u automaticky generovanych webu pro seznamacky vyhledavac, tehdy to jeste slo

[JiK]

Nestacilo by vzit existujici texty od te slovenske ucitelky?

[Bedňa]

Alebo iných užívateľov Abička, cat /dev/ka

[Bystroushaak]

Nestacilo by vzit existujici texty od te slovenske ucitelky?

Tam je výhoda, že by se ani nemusely upravovat. Byl by o ně zájem?

[Bedňa]

Jasne, spravím ďalšie /dev

[Z.z.]

Bystroušiak, Ty protivná, jedovitá klebetná pavlačová baba! :)

[Z.z.]

chcela som ešte pred včerjšou polnocou:) poznamenať, že tu fungujete ako generátory náhodne pozliepaných nezmyselných drístov viacerí, JiK-a nevynímajúc, ale nechcelo sa mi pôvodne sihnuť kvôli tomu na klávesnicu

hotová tragédia:)

[Muriel]

Všade vrchol sa neuvedomosti?

[Z.z.]

slovo "neuvedomosť" neexistuje:)... len neuvedomelosť:)...

[Z.z.]

tak som Tí, bystroušiak Muriel, ani nespravila radosť nepochopením Tvojho "dobrého vtipu"? :(

dúfam, že si z toho aspoň vyvrcholil

[Blaazen]

Na tohle přece existuje specializovaný software.

[Josef Kufner]

Něco podobného jsem nedávno viděl použité jako vycpávkové texty na rozdělaném webu a je to děsně otravné. Latinské Lorem ipsum má výhodu v tom, že není rozumět ani jednotlivým slovům, takže neruší ani malé úryvky z textu.

[mirec]

Ja to nemám určené na prezentáciu zákazníkovi. Keď generujem nejakú databázu s pár tisíc záznamami zaujíma ma pár vecí:

• správna podpora unicode (áno v pythone je s tým občas problém ak niekde pracujem s latin1, inde s unicode, pri lorem ipsum to nevyhodí výnimku)
• či funguje korektne fulltext, podľa možností aj s prevodom slov do základného tvaru, preto používam slovník myspell z ktorého genrujem slabiky, ak má nejaké slovo na konci prípony ktoré sú bežné v slovenčine stemmer ich vie odstrániť aj keď je slovo nezmyselné a môžem pekne testovať či fulltext funguje správne
• podpora slovenčiny vo fontoch, áno niekedy by som najradšej grafika nakopal keď dodá font v ktorom nie sú znaky ako Ľ, s lorem ipsum by som sa ani nedozvedel, že nejaké znaky chýbajú, nerád síce používam fontforge ale keď musím tak dokreslím ;)
• či sa grafika nerozletí / nevyteká keď sú všade použité náhodne generované texty s približne rovnakým rozdelením pravdepodobnosti ako pri reálnom texte

[Josef Kufner]

Na otestování unicode je lepší tam strčit nějaký smysluplný testovací řetězec, který ty znaky ověří všechny najednou. Pro češtinu se hodí například: Příliš žluťoučký kůň úpěl ďábelské ódy.

Na fulltext to zní jako rozumné, ale to jsem snad nikdy netestoval. Vždy jsem použil už odladěný nástroj.

Rozpadání grafiky by mělo nastávat zhruba stejně s lipsum jako s reálným textem. Délky slov až tak odlišné nejsou.

[pavlix]

Pro češtinu se hodí například: Příliš žluťoučký kůň úpěl ďábelské ódy.

Tak jestli všichni zkoušejí češtinu na tomto řetězci, tak to vysvětluje, proč se mi tak často špatně zobrazují pouze velká písmena s diakritikou.

[Josef Kufner]

Jo, na tom něco bude. Asi je ta věta potřeba dvakrát

[xm]

A co takhle pro trochu zajímavější výsledky použít rekurentní neuronovou síť? Viz aktuální článek The Unreasonable Effectiveness of Recurrent Neural Networks, výsledky dává fakt dechberoucí Obzvláště C kód generovaný RNN naučenou podle kódu Linuxového kernelu je pěkný, ale Shakespeare nebo Wikipedia také stojí za to

[xm]

(btw. zdrojový kód a zdrojová data té RNN v článku included)

[Bystroushaak]

To je dost dobrý.

[mirec]

Vďaka za ďalšiu hračku ;)

[dooku]

Na tohle jsou docela pekne Markovovy retezce. Neni to nic prevratneho, proste se projde text a vytvori se tabulka s pravdepodobnostmi vyskytu slov (tj, s jakou pravdepobnosti je slovo svete za slovem ahoj), z te tabulky se pak daji skladat pekne nahodne texty (celkem vtipna ukazka je treba King James Programming.

[Bystroushaak]

To je v podstatě to co udělal, až na to že na nižší úrovni.