abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 23:33 | Zajímavý projekt

Na Humble Bundle byla spuštěna akce Humble Book Bundle: Web Programming by O'Reilly. Za 1 dolar a více lze koupit 5 elektronických knih, za 8 dolarů a více lze koupit 11 elektronických knih a za 15 dolarů a více lze koupit 17 elektronických knih věnovaných webovému programování od nakladatelství O'Reilly Media. Část ceny lze určit charitě.

Ladislav Hagara | Komentářů: 0
včera 23:00 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 162. brněnský sraz, který proběhne v pátek 22. března od 18:00 v restauraci Slatinský šenk na adrese Zlínská 12.

Ladislav Hagara | Komentářů: 0
včera 16:22 | Nová verze

Jonathan Thomas oznámil vydání nové verze 2.4.4 video editoru OpenShot (Wikipedie). Přehled novinek na YouTube. Zdrojové kódy OpenShotu jsou k dispozici na GitHubu. Ke stažení je také balíček ve formátu AppImage. Stačí jej stáhnout, nastavit právo na spouštění a spustit.

Ladislav Hagara | Komentářů: 0
včera 15:22 | Zajímavý článek

Mozilla.cz informuje, že Firefox bude mít nového správce hesel Lockbox. Lockbox bude integrován s Firefox Monitorem – službou pro varování při únicích dat.

Ladislav Hagara | Komentářů: 0
včera 11:33 | Nová verze

Webový prohlížeč Falkon založený na QtWebEngine (Blink) byl vydán ve verzi 3.1. Podle seznamu změn zlepšuje integraci v rámci KDE, opravuje několik chyb a stabilizuje podporu rozšíření v Python a přidává podporu QML.

Fluttershy, yay! | Komentářů: 2
včera 11:22 | Komunita

Česká Wikipedie je dnes vypnuta. Na protest proti evropské reformě autorského práva.

Ladislav Hagara | Komentářů: 14
20.3. 18:11 | Nová verze

Po půl roce vývoje od vydání verze 7.0.0 byla vydána verze 8.0.0 překladačové infrastruktury LLVM (Wikipedie). Přehled novinek v poznámkách k vydání: LLVM, Clang, clang-tools-extra, LLD a Libc++.

Ladislav Hagara | Komentářů: 0
20.3. 17:44 | Nová verze

Bylo vydáno Eclipse IDE 2019-03 aneb Eclipse 4.11. Nově vychází toto vývojové prostředí čtvrtletně. Představení novinek na YouTube.

Ladislav Hagara | Komentářů: 0
20.3. 01:11 | IT novinky

V říjnu loňského roku společnost Google představila hráčům počítačových her Project Stream umožňující streamování AAA her do webového prohlížeče Chrome. Včera na konferenci GDC 2019 (Game Developers Conference) společnost Google oficiálně představila (YouTube) pokračování projektu – herní platformu Stadia. V Česku a na Slovensku je služba Stadia zatím nedostupná.

Ladislav Hagara | Komentářů: 25
19.3. 23:11 | Nová verze

Byla vydána Java 12 / JDK 12. Nových vlastností (JEP - JDK Enhancement Proposal) je 8. Nová Java / JDK vychází každých 6 měsíců.

Ladislav Hagara | Komentářů: 2
Kolik balíčků (v tisících) máte nainstalovaných na svém systému?
 (4%)
 (13%)
 (33%)
 (30%)
 (20%)
 (3%)
 (2%)
 (1%)
 (3%)
Celkem 224 hlasů
 Komentářů: 21, poslední včera 23:40
Rozcestník
Alternativně viz také můj osobní blog v notionu.

Od určité doby jsou všechny texty které zde publikuji verzované na Githubu.

Jestliže najdete chybu, nepište mi do diskuze a rovnou jí opravte. Github má online editor, není to skoro žádná práce a podstatně mi tím usnadníte život. Taky vás čeká věčná sláva v commit logu :)


Pokud se vám líbilo něco z mé produkce, můžete svou přízeň vyjádřit v kryptoměnách:

  • BTC: 13CS7yKTcqPQUH2hrcuFsqf1AKr4gThZTD

Ne že bych je nějak potřeboval, ale patří to k věcem, které autory obecně potěší a jasně ukazují, že jsou lidi, kteří ty hodiny času stráveného psaním umí ocenit.


Víte že můžete odebírat mé blogy pomocí RSS? (Co je to RSS?)


A kdo neumí použít RSS, tak je tu twitter: @Bystroushaak.
Aktuální zápisy

Archivace blogů

7.10.2018 22:07 | Přečteno: 1559× | Obecné IT

Nedávno zde bylo opět nakousnuto téma zálohování obsahu blogů na abclinuxu. Protože už jsem na to kdysi psal script, rozhodl jsem se to trochu učesat a podělit se o mé řešení, aby si každý mohl vytvořit vlastní kopii i s komentáři, čistě pro vlastní potřebu, či případ nějaké neblahé katastrofy.

Technikality

Script je založen na abclinuxuapi, knihovně, kterou jsem napsal pro externí scrappování zdejšího portálu. Tato knihovna vám umožňuje pracovat v mnoha zdejšími funkcemi poměrně primitivním, ale hlavně strukturovaným způsobem.

Data jsou ukládána jako serializované objekty s backendem v sqlite databázi, pomocí knihovny sqlitedict. To má své nevýhody - nejde s nimi pracovat bez pythonu a formát není úplně nejefektivnější na ukládání a indexování.

Má to také své výhody:

Je to primitivní z hlediska programátora. Prostě dáte objekt do dictionary, commitnete a on už tam zůstane. A když s tím chcete pracovat, tak s tím pracujete, jako kdyby data byla celou dobu pořád v paměti. Nemusíte řešit nějaké normalizace a denormalizace, skládání tabulek a další nepodstatné pitomosti. Prostě sáhnete po objektu blogu a iterujete přes jeho komentáře.

Chcete vidět všechny komentáře, kde někdo někdy zmínil vaše jméno? Žádný otravný databázový COBOL. Prostě projděte přes všechny komentáře a podívejte se do obsahu textů. Jednodušší už to být nemůže. Efektivnější jo, ale to nebylo účelem.

Pro ty komu tenhle přístup nevyhovuje je zde možnost si dataset zkonvertovat do sqlite pomocí scriptu convert_blogtree_to_clean_sqlite.py.

Instalace

Celé je to napsané nad pythonem dva. Repozitář si prostě naklonujte gitem, nainstalujte závislosti přes

python2 -m pip install --user -r requirements.txt

a můžete vesele stahovat.

Repozitář

Ukázka použití

./download_blogtree.py -a -f -u /home/bystrousak/Plocha/tests/blogtree.sqlite
Estimating number of blogs.................
1 / ~20300 Abíčko neumírá, jen žije jinak.
2 / ~20300 Nový hw - bugy 3
3 / ~20300 Netrapte se
4 / ~20300 Umírá abíčko? (odpověď v textu)
5 / ~20300 Záhadné správanie v Bashi
6 / ~20300 Tablet  iGET Smart G81 Black koupit bo ee?

...

Doba běhu je na mé lince něco kolem hodiny.

Filosofický přesah

Moje první programátorská práce byla pro Národní knihovnu, sekci digitalizace. Mimo jiné jsem úzce spolupracoval s lidmi z českého webarchivu (zdravím Rudu, Jardu a Zuzku). Ti se zabývají uchováváním různých digitálních dat pro budoucí generace. Díky nim jsem získal povědomí, že uchovávat data do budoucnosti může být záslužná činnost.

Internet je místo, které se neustále mění. Osobně považuji abclinuxu za svého druhu poklad, u kterého by mi bylo vážně líto, kdyby zmizelo. Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii). V průběhu jsem si ovšem povšiml titulků různých blogů a začal číst.

Pohled do historie, který se mi takhle naskytl byl fascinující, tak jsem se časem rozhodl sklízet abclinuxu pravidelně, abych ho uchoval pro další generace, kdyby ho náhodou jednoho dne někdo smazal. To dělám už několik let. A protože jediná možnost, jak zajistit skutečnou nesmrtelnost je decentralizace, máte dneska možnost si udělat vlastní sklizeň.

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

7.10.2018 23:28 tydýt
Rozbalit Rozbalit vše Re: Archivace blogů
máte ve svém archivu sadámův blog o teorii mrdání? to jeho vidění světa, to bylo neuvěřitelné, bohužel všechny své blogy promazal a to je velká škoda
Bystroushaak avatar 7.10.2018 23:31 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Máš odkaz?
Bystroushaak avatar 7.10.2018 23:41 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
/blog/SALAM_OLEJKUM/2009/4/vymaz-mozku

Bohužel v roce 2012 kdy jsem dělal první sklizeň už to bylo smazané.
Blaazen avatar 8.10.2018 00:24 Blaazen | skóre: 22 | blog: BL
Rozbalit Rozbalit vše Re: Archivace blogů
A Wayback Machine neudělal v roce 2009 ani jeden záznam.
Bystroushaak avatar 8.10.2018 00:27 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Google cache to taky nemá a archive.is taky ne :] Jediné kde by to mohlo být jsou nějaké zálohy databáze a ty nám provozovatel těžko zpřístupní.
Luboš Doležel (Doli) avatar 8.10.2018 11:48 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Archivace blogů
Takové zálohy nikde nejsou, takže smůla.
8.10.2018 09:24 stps | skóre: 13
Rozbalit Rozbalit vše Re: Archivace blogů
Je to ono?

Pripadne si o projdete sami tady.
Bystroushaak avatar 8.10.2018 12:05 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
To už je ta smazaná verze.
Bystroushaak avatar 8.10.2018 12:10 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Hm, ale zrovna dneska jdu náhodou po několika měsících na oběd s jedním z Webarchivářů, tak se zkusím poptat jestli to nemají v neveřejných částech (sklízí celý český net, zpřístupnit smí ale díky copyrightu jen poměrně malou část).
Bystroushaak avatar 8.10.2018 14:18 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Jendа avatar 8.10.2018 02:26 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii).
To mi moc nesedí (Shaddacka znám osobně, Kvakora ne). Podle mě je Kvakor tento.
8.10.2018 09:17 Andrej | skóre: 8
Rozbalit Rozbalit vše Re: Archivace blogů
> Shaddacka znám osobně, Kvakora ne to nejako dokazuje ze to nie je ta ista osoba?
Any sufficiently advanced magic is indistinguishable from technology. --Larry Niven
Bystroushaak avatar 8.10.2018 09:57 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Tak dneska už je to stejně jedno, zajímalo mě to někdy v roce 2012.
Jendа avatar 8.10.2018 10:19 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Ne, nedokazuje. Můj příspěvek netvrdil že by to dokazovalo. (jenom že na základě toho můžu zkusit lépe tipnout jak a o čem by sem Shaddack psal a nepřijde mi, že by to odpovídalo)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.