Stiahnutie slovenskej Wikipedie pre AI (diskuse)

[cbrpnk]

AI programuje mńa...

[Bedňa]

Berem to ako sťažnosť na akentu, že tam táto možnosť chýba

[?]

chyba v inteligenci?

[Špeciálne:VšetkyStránky]

sk.wikipedia.org/wiki/Špeciálne:VšetkyStránky

[Bedňa]

Pekné, ale maš otskúšané, že to naozaj funguje OK?

[Špeciálne:VšetkyStránky]

Ty máš rozpor. Ty tvrdíš, že slovenská wikipédia má 15723 jedinečných článkov. Na úvodnej stránke slovenskej wikipédie (vpravo hore) sa píše ich počet, ktorý je o dekádu väčší ako tvoj.

[Bedňa]

Toto je fakt, ktorý som zabudol uviesť. Veľa článkov má len nejaké tabuľky, prípadne rozcestníky na nejaké odkazy a tie žiadne užitočné informácie pre AI neponúkajú. Uvediem príklad ktorých je ale na Wikipédié plno, plus to číslo čo odkazujú sa podobá na číslo čo mi vypadlo z kategórií. Netvrdím, že ja mám pravdu, skôr by som si nechal poradiť od nejakého zbehlého Wikipedistu.

[debian+]

Sporný máš aj ten nadpis. Ty nesťahuješ všetky stránky slovenskej wikipédie, ale iba tie, ktoré majú kategóriu. Prípadne ešte na ktoré si natrafil v článku (ak si to tak implementoval). Čo podľa toho tvojho vychádza, že ~6,75% všetkých stránok zo slovenskej wikipédia má nejakú kategóriu.

[Bedňa]

Příloha:

• screenshot.jpg (191728 bytů)

Napísal som Ďalší skript a ten to podľa rady z https://sk.wikipedia.org/w/index.php?title=%C5%A0peci%C3%A1lne:V%C5%A1etkyStr%C3%A1nky&hideredirects=1

Ale kopu stránok je prázdnych, ako napr. toto.

[Špeciálne:VšetkyStránky]

sk.wikipedia.org/wiki/Špeciálne:ExportovaťStránky

[JS1]

Tak bys to delat nemel, viz Wikipedia:Database_download.

Taky je moznost stahnout si ZIM soubory pro Kiwix.

[Bedňa]

Mno ja neviem, skúšal si ten softvér? Mne to dvakrát spadlo, na to nemám čas.

[Špeciálne:VšetkyStránky]

To je najlepšie.

Stiahneš: stiahneš
Výpis a spracovanie (nič extra ťažké): wiki.openzim.org/wiki/Zimlib

[x]

A proč neřekneš té AI, ať si to stáhne sama?

Asi to není tak uplně AI, že...

[Bedňa]

To bude vedieť až potom, keď sa to naučí.

[Gréta]

bliká to jako když vomylem máčknu banner s čínskou reklamou :O :O :D ;D

[_]

přítelkyně takhle bliká, když jí zmáčknu klitoris

[Gréta]

nóó tak vod nás angelinu pozdravuj :D ;D

[Bedňa]

Spravil som UPDATE zápisku a skriptu podľa tohto komentára.

[Špeciálne:VšetkyStránky]

k UPDATE:

Na záver sa zacyklil , takže som skript musel vypnúť ručne. Nemajú to vyvhytané, pretože posledná stránka sa opakuje stále dookola.

Majú vychytané. Viď poslednú stránku toho zoznamu.

Teraz sa stánky sťahujú, mno kopec z nich sú obsahovo prázdne, ako je vidieť na obrázku nižšie.

Ak dáš tie a la prázdne stránky editovať, tak zistíš, že nie sú prázdne. Máš označené, že prázdná stránka, ale tá stránka má a la užitočný text pre používateľa (myslený text vľavo v článku).
Viď.: 735_Marghanna 735 734_Benda 734 733_Mocia 7336_Saunders 733 732_pred_Kr. 732_Tjilaki 732 731_Sorga 730_Athanasia 72_Feronia 729_Watsonia 728_Leonisis.

[Bedňa]

Texty kratšie ako 25 znakov zahadzujem, pretože to potom zbieralo bordel.

[Bedňa]

Tak už chápem aj problém so zacyklením na konci, Odkaz na predchádzajúcu a ďalšiu stránku má rovnaký CLASS mw-allpages-nav.

[NO3]

Zkus to rozchodit na grafice. Rozdíl ve výkonu je drsnej.

[Gréta]

na nvidii nejlíp :D ;D

[Aleš Kapica]

Jedním z principů mediawiki je, že nabízí možnost přelití obsahu do jiné wiki. Já si tak kupř. kdysi přelil stránky nápovědy. Takže není nutné vymýšlet tyhle brykule.

A mimo jiné také existuje rozšíření pro git, které umožňovalo (nevím jak je tomu teď, protože to už nepoužívám) udržovat obsah wiki přes git - včetně předchozích verzí článků.

[Bedňa]

No tak mi daj link, kde si stiahnem slovenskú, alebo českú Wikipediu v HTML formáte, bez obrázkov.

Mne to beží od včera a už mám 130000 stránok, večer to mám hotové.

[j]

Mno jelikoz ses evidentne debil, kterej neumi stahnout databazi, a pripadne si ji nalejt do vlastni instance mediawiki, tak tobe pomoci neni. Zato pevne doufam, ze tebe a celyho tvyho ISP wiki brzo hodi na blacklist. Presne kvuli takovym hovadum pak sou problemy s vykonem.

A jeste k tomu debil, kterej prijde, a chlubi se tim, jak debilni je ...

---

Dete s tim guuglem dopice!

[Bedňa]

Mno jelikoz ses evidentne debil, kterej neumi stahnout databazi, a pripadne si ji nalejt do vlastni instance mediawiki

Nechcem si inštalovať softvér ktorý nebudem používať. Uvítal by som klasické zipko všetkých stránok. Niečo som dal teraz sťahovať, ale netuším čo v ňom bude (https://dumps.wikimedia.org/backup-index.html).

Inak používam knižnicu, ktorá používa officiálne Wikipedia API, takže to robí trafic medzi 50 - 100kbit/s. To robím väčší DDOS, keď si pustím niečo na YT. 99% požiadaviek aj tak vybaví keš.

[JS1]

Nenech si to od j zkazit, ja jsem rad, ze se tim zabyvas. Sam si chci v budoucnu hrat s reinforcement learningem, nicmene stale mam zatim co delat v P vs NP (v ankete jsem hlasovat nemohl, protoze moznost "delam na tom a znici to svet" tam nebyla ).

Nicmene, porizeni/sestaveni vhodnych vstupnich dat je asi nejslozitejsi cast vsech AI projektu. Takze je jasne, ze na tom nejaky cas stravis.

[Bedňa]

Ale v poho, ja beriem kritiku ako pozitívny nástroj.

Okrem zberu dát, sú potom ešte testy ako sa sieť učí, úpravy modelu a tak. To tiež vie zožrať času, hlavne keď čakáš pár hodín aby si sa dozvedel výsledok.

[Aleš Kapica]

Link zde.

[Bedňa]

To isté ponúka API, nie?

[Aleš Kapica]

A všetečku, co by se podobným způsobem pokoušel stahovat mou wiki by nejspíš terminoval fail2ban.

[jiwopene]

Wikipedie má nějaké API pro export včetně převodu do plaintextu.

[Bedňa]

Ja som použil Wikipedia API, ale upravil som čo chcem stiahnuť. Po prvé som vytiahol len texty uzatvorené v tagu <p>, ďalej sťahujem len riadky dlhšie ako 25 znakov, padali tam všelijaké divné veci (vzorce ...), rovnako som odstánil veci vložené medzi medzi zložené zátvorky a samozrejme prázdne riadky. Chcem len čisté texty, bez odkazov atď.