abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 22:33 | Nová verze

Po 3 měsících vývoje od vydání verze 14 byla vydána nová stabilní verze 15 open source systému Nextcloud, forku ownCloudu, umožňujícího provoz vlastního cloudového úložiště. Přehled novinek i s náhledy v příspěvku na blogu. Pro vyzkoušení Nextcloudu je k dispozici demo.

Ladislav Hagara | Komentářů: 2
včera 18:00 | IT novinky

Počítačová hra Doom slaví 25 let. Společností id Software ji vydala 10. prosince 1993. Zahrát si ji lze například na Internet Archive.

Ladislav Hagara | Komentářů: 11
9.12. 23:55 | Zajímavý článek

Nakladatelství Raspberry Pi vydalo 244 stránkového průvodce pro úplné začátečníky s jednodeskovým počítačem Raspberry Pi The Official Raspberry Pi Beginner’s Guide (pdf). Programování ve visuálním programovacím jazyce Scratch je věnována nová příručka Code Club Book of Scratch Volume 1 (pdf). Vydáno bylo také třetí číslo časopisu věnovaného počítačovým hrám Wireframe (pdf).

Ladislav Hagara | Komentářů: 0
9.12. 23:44 | Nová verze

U příležitosti oslav jednoho roku prací na debianím balíčku, vyšlo GPXSee 7.0. Nová verze přináší zejména podporu vektorových map (Mapbox PBF) pomocí nově vzniklého Qt pluginu.

Martin Tůma | Komentářů: 8
7.12. 23:33 | Nová verze

UBports, nadace a komunita kolem Ubuntu pro telefony a tablety Ubuntu Touch (seznam podporovaných zařízení), oznámila vydání nové verze Ubuntu Touch OTA-6. Zdůrazněna jsou například vylepšení webového prohlížeče Morph.

Ladislav Hagara | Komentářů: 0
7.12. 21:33 | Komunita

Richard Hughes na svém blogu informuje, že se společnost AMI (American Megatrends Incorporated), největší dodavatel firmwarů a BIOSů (AMIBIOS, Aptio, ...), zapojila do projektu LVFS (Linux Vendor Firmware Service). Seznam projektem podporovaných zařízení by se měl tedy časem rozšířit.

Ladislav Hagara | Komentářů: 0
7.12. 20:11 | Komunita

Nadace pro svobodný software (FSF) informuje, že seznam doporučených svobodných distribucí GNU/Linuxu byl rozšířen o distribuci Hyperbola GNU/Linux-libre. Hyperbola vychází z Arch Linuxu a na rozdíl od něj splňuje požadovaná kritéria.

Ladislav Hagara | Komentářů: 6
7.12. 19:55 | IT novinky

Společnost Valve oznámila, že počítačová hra Counter-Strike: Global Offensive (Steam) je nově free to play. Hra Company of Heroes 2 (Steam) je do pondělí 10. prosince zdarma.

Ladislav Hagara | Komentářů: 0
7.12. 00:11 | Nová verze

Byla vydána verze 7.3.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.3. Podrobný přehled novinek v seznamu změn.

Ladislav Hagara | Komentářů: 3
6.12. 23:55 | Nová verze

Byla vydána verze 1.31 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 0
Chystáte se přejít na Wayland na „desktopu“?
 (25%)
 (7%)
 (11%)
 (31%)
 (25%)
Celkem 102 hlasů
 Komentářů: 14, poslední včera 12:19
Rozcestník

Z celého internetu píšu právě sem. Zajímá vás proč?


Od určité doby jsou všechny texty které zde publikuji verzované na Githubu.

Pokud najdete chybu, nepište mi do diskuze a rovnou jí opravte. Github má online editor, není to skoro žádná práce a podstatně mi tím usnadníte život. Taky vás čeká věčná sláva v commit logu :)


Pokud se vám líbilo něco z mé produkce, můžete svou přízeň vyjádřit v kryptoměnách:

  • BTC: 13CS7yKTcqPQUH2hrcuFsqf1AKr4gThZTD

Ne že bych je nějak potřeboval, ale patří to k věcem, které autory obecně potěší a jasně ukazují, že jsou lidi, kteří ty hodiny času stráveného psaním umí ocenit.


Víte že můžete odebírat mé blogy pomocí RSS?

Aktuální zápisy

Archivace blogů

7.10. 22:07 | Přečteno: 1509× | Obecné IT

Nedávno zde bylo opět nakousnuto téma zálohování obsahu blogů na abclinuxu. Protože už jsem na to kdysi psal script, rozhodl jsem se to trochu učesat a podělit se o mé řešení, aby si každý mohl vytvořit vlastní kopii i s komentáři, čistě pro vlastní potřebu, či případ nějaké neblahé katastrofy.

Technikality

Script je založen na abclinuxuapi, knihovně, kterou jsem napsal pro externí scrappování zdejšího portálu. Tato knihovna vám umožňuje pracovat v mnoha zdejšími funkcemi poměrně primitivním, ale hlavně strukturovaným způsobem.

Data jsou ukládána jako serializované objekty s backendem v sqlite databázi, pomocí knihovny sqlitedict. To má své nevýhody - nejde s nimi pracovat bez pythonu a formát není úplně nejefektivnější na ukládání a indexování.

Má to také své výhody:

Je to primitivní z hlediska programátora. Prostě dáte objekt do dictionary, commitnete a on už tam zůstane. A když s tím chcete pracovat, tak s tím pracujete, jako kdyby data byla celou dobu pořád v paměti. Nemusíte řešit nějaké normalizace a denormalizace, skládání tabulek a další nepodstatné pitomosti. Prostě sáhnete po objektu blogu a iterujete přes jeho komentáře.

Chcete vidět všechny komentáře, kde někdo někdy zmínil vaše jméno? Žádný otravný databázový COBOL. Prostě projděte přes všechny komentáře a podívejte se do obsahu textů. Jednodušší už to být nemůže. Efektivnější jo, ale to nebylo účelem.

Pro ty komu tenhle přístup nevyhovuje je zde možnost si dataset zkonvertovat do sqlite pomocí scriptu convert_blogtree_to_clean_sqlite.py.

Instalace

Celé je to napsané nad pythonem dva. Repozitář si prostě naklonujte gitem, nainstalujte závislosti přes

python2 -m pip install --user -r requirements.txt

a můžete vesele stahovat.

Repozitář

Ukázka použití

./download_blogtree.py -a -f -u /home/bystrousak/Plocha/tests/blogtree.sqlite
Estimating number of blogs.................
1 / ~20300 Abíčko neumírá, jen žije jinak.
2 / ~20300 Nový hw - bugy 3
3 / ~20300 Netrapte se
4 / ~20300 Umírá abíčko? (odpověď v textu)
5 / ~20300 Záhadné správanie v Bashi
6 / ~20300 Tablet  iGET Smart G81 Black koupit bo ee?

...

Doba běhu je na mé lince něco kolem hodiny.

Filosofický přesah

Moje první programátorská práce byla pro Národní knihovnu, sekci digitalizace. Mimo jiné jsem úzce spolupracoval s lidmi z českého webarchivu (zdravím Rudu, Jardu a Zuzku). Ti se zabývají uchováváním různých digitálních dat pro budoucí generace. Díky nim jsem získal povědomí, že uchovávat data do budoucnosti může být záslužná činnost.

Internet je místo, které se neustále mění. Osobně považuji abclinuxu za svého druhu poklad, u kterého by mi bylo vážně líto, kdyby zmizelo. Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii). V průběhu jsem si ovšem povšiml titulků různých blogů a začal číst.

Pohled do historie, který se mi takhle naskytl byl fascinující, tak jsem se časem rozhodl sklízet abclinuxu pravidelně, abych ho uchoval pro další generace, kdyby ho náhodou jednoho dne někdo smazal. To dělám už několik let. A protože jediná možnost, jak zajistit skutečnou nesmrtelnost je decentralizace, máte dneska možnost si udělat vlastní sklizeň.

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

7.10. 23:28 tydýt
Rozbalit Rozbalit vše Re: Archivace blogů
máte ve svém archivu sadámův blog o teorii mrdání? to jeho vidění světa, to bylo neuvěřitelné, bohužel všechny své blogy promazal a to je velká škoda
Bystroushaak avatar 7.10. 23:31 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Máš odkaz?
#mindspace @ freenode
Bystroushaak avatar 7.10. 23:41 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
/blog/SALAM_OLEJKUM/2009/4/vymaz-mozku

Bohužel v roce 2012 kdy jsem dělal první sklizeň už to bylo smazané.
#mindspace @ freenode
Blaazen avatar 8.10. 00:24 Blaazen | skóre: 23
Rozbalit Rozbalit vše Re: Archivace blogů
A Wayback Machine neudělal v roce 2009 ani jeden záznam.
Bystroushaak avatar 8.10. 00:27 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Google cache to taky nemá a archive.is taky ne :] Jediné kde by to mohlo být jsou nějaké zálohy databáze a ty nám provozovatel těžko zpřístupní.
#mindspace @ freenode
Luboš Doležel (Doli) avatar 8.10. 11:48 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Archivace blogů
Takové zálohy nikde nejsou, takže smůla.
8.10. 09:24 stps | skóre: 13
Rozbalit Rozbalit vše Re: Archivace blogů
Je to ono?

Pripadne si o projdete sami tady.
Bystroushaak avatar 8.10. 12:05 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
To už je ta smazaná verze.
#mindspace @ freenode
Bystroushaak avatar 8.10. 12:10 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Hm, ale zrovna dneska jdu náhodou po několika měsících na oběd s jedním z Webarchivářů, tak se zkusím poptat jestli to nemají v neveřejných částech (sklízí celý český net, zpřístupnit smí ale díky copyrightu jen poměrně malou část).
#mindspace @ freenode
Bystroushaak avatar 8.10. 14:18 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Hm, tak nic.
#mindspace @ freenode
Jendа avatar 8.10. 02:26 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii).
To mi moc nesedí (Shaddacka znám osobně, Kvakora ne). Podle mě je Kvakor tento.
Bojíte se, že když umřete, nebudete nikomu chybět? Pište kód bez komentářů a dělejte nedokumentované změny!
8.10. 09:17 Andrej | skóre: 8
Rozbalit Rozbalit vše Re: Archivace blogů
> Shaddacka znám osobně, Kvakora ne to nejako dokazuje ze to nie je ta ista osoba?
Any sufficiently advanced magic is indistinguishable from technology. --Larry Niven
Bystroushaak avatar 8.10. 09:57 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Tak dneska už je to stejně jedno, zajímalo mě to někdy v roce 2012.
#mindspace @ freenode
Jendа avatar 8.10. 10:19 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Ne, nedokazuje. Můj příspěvek netvrdil že by to dokazovalo. (jenom že na základě toho můžu zkusit lépe tipnout jak a o čem by sem Shaddack psal a nepřijde mi, že by to odpovídalo)
Bojíte se, že když umřete, nebudete nikomu chybět? Pište kód bez komentářů a dělejte nedokumentované změny!

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.