abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 01:11 | Zajímavý článek

Na webu Libre Graphics World vyšel dvoudílný rozhovor s Paulem Davisem, hlavním vývojářem DAW Ardour. První část se zabývá především vývojem právě Ardouru a přepisem jeho částí, druhá část se věnuje jednak zvuku na Linuxu (PipeWire, PulseAudio, JACK) a jednak interoperabilitě s jinými DAW.

Fluttershy, yay! | Komentářů: 0
včera 15:55 | Komunita

V oblasti informačních a komunikačních technologií probíhají změny v názvosloví. Ke změnám se tento týden oficiálně vyjádřil CTO Red Hatu Chris Wright: nahrazením problematických slov se open source stane inkluzivnější. Také vývojáři Linuxu diskutují o inkluzivní terminologii. Do jádra se dostane soubor inclusive-terminology.rst.

Ladislav Hagara | Komentářů: 24
včera 13:55 | Nová verze

MaXX Interactive Desktop (navazující na projekt 5dwm.org) je linuxový port IRIX Interactive Desktop, desktopového prostředí z pracovních stanic Silicon Graphics. Vzniká s vědomím a svolením SGI, ale proto je také licence částečně proprietární. Aktuální, nově vydaná verze je 2.1. Do konce roku je plánováno přepracování grafické konfigurace, správce plochy a správce souborů.

Fluttershy, yay! | Komentářů: 0
3.7. 19:44 | Nová verze

Byla vydána nová verze 1.7.0 svobodného multiplatformního Markdown editoru Zettlr postaveného na platformě Electron. Podrobný přehled novinek na GitHubu.

Ladislav Hagara | Komentářů: 1
3.7. 08:00 | Humor

Linus Torvalds se v květnu v rámci oznámení o vydání Linuxu 5.7-rc7 pochlubil svým novým hlavním počítačem: Poprvé za 15 let není uvnitř Intel, není to ještě ARM, je to AMD Threadripper 3970x, allmodconfig je třikrát rychlejší. Následně v rozhovoru pro server ZDNet svůj nový počítač podrobně popsal. Linus Sebastian z YouTube kanálu Linus Tech Tips na základě tohoto rozhovoru včera na YouTube publikoval video s názvem Linus staví Linusův nový počítač.

Ladislav Hagara | Komentářů: 16
2.7. 23:55 | IT novinky

Společnost Purism představila svůj nový notebook Librem 14 s předinstalovaným PureOS. Předobjednat jej lze za cenu od 1 199 dolarů. Dle Purism o 300 dolarů levněji než o několik měsíců. Expedice je plánována na čtvrté čtvrtletí letošního roku.

Ladislav Hagara | Komentářů: 10
2.7. 16:44 | Zajímavý článek

Bylo vydáno 2. číslo magazínu NODE věnovanému zajímavým open source softwarovým a hardwarovým projektům. Elektronická verze ve formátu pdf (180 stránek, 98,5 MiB) je volně k dispozici. Tištěnou verzi lze do zítra 3. července předobjednat za £18.50.

Ladislav Hagara | Komentářů: 0
2.7. 15:11 | Komunita

Společnost Valve aktualizovala přehled o hardwarovém a softwarovém vybavení uživatelů služby Steam. Podíl uživatelů Linuxu aktuálně činí 0,88 %. Nejčastěji používanou linuxovou distribucí je Ubuntu 20.04 LTS 64 bit. Přehled her oficiálně podporujících SteamOS a Linux na stránkách Steamu. Přehled her pro Windows běžících na Linuxu díky Protonu na stránkách ProtonDB.

Ladislav Hagara | Komentářů: 8
2.7. 14:00 | Nová verze

Bylo vydáno openSUSE Leap 15.2. Přehled novinek v nejnovější verzi této linuxové distribuce v do češtiny přeloženém oznámení o vydání a v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
2.7. 12:44 | Nová verze

Apache Guacamole, řešení pro vzdálený přístup k počítačům pomocí protokolů VNC, RDP a SSH z webového prohlížeče, bylo vydáno ve verzi 1.2.0. Přehled novinek v oficiálním oznámení. Zdůraznit lze podporu SAML 2.0, Wake-on-LAN, nové rozhraní pro přepínání mezi sezeními nebo překlad webového rozhraní do češtiny.

Ladislav Hagara | Komentářů: 0
Používáte některé open-source řešení [protokol] pro šifrovaný instant messaging?
 (23%)
 (29%)
 (4%)
 (11%)
 (19%)
 (6%)
 (13%)
 (26%)
Celkem 296 hlasů
 Komentářů: 32, poslední 28.6. 17:51
Rozcestník
Alternativně viz také můj osobní blog (RSS), kde toho hlavně v angličtině vychází mnohem víc.

Pokud se vám líbilo něco z mé produkce, můžete svou přízeň vyjádřit na Patreonu:

Ne že bych je nějak potřeboval, ale patří to k věcem, které autory obecně potěší a jasně ukazují, že jsou lidi, kteří ty hodiny času stráveného psaním umí ocenit.


Víte že můžete odebírat mé blogy pomocí RSS? (Co je to RSS?)


A kdo neumí použít RSS, tak je tu twitter: @Bystroushaak.

Od určité doby jsou všechny texty které zde publikuji verzované na Githubu.

Jestliže najdete chybu, nepište mi do diskuze a rovnou jí opravte. Github má online editor, není to skoro žádná práce a podstatně mi tím usnadníte život. Taky vás čeká věčná sláva v commit logu :)

Aktuální zápisy

Archivace blogů

7.10.2018 22:07 | Přečteno: 1623× | Obecné IT

Nedávno zde bylo opět nakousnuto téma zálohování obsahu blogů na abclinuxu. Protože už jsem na to kdysi psal script, rozhodl jsem se to trochu učesat a podělit se o mé řešení, aby si každý mohl vytvořit vlastní kopii i s komentáři, čistě pro vlastní potřebu, či případ nějaké neblahé katastrofy.

Technikality

Script je založen na abclinuxuapi, knihovně, kterou jsem napsal pro externí scrappování zdejšího portálu. Tato knihovna vám umožňuje pracovat v mnoha zdejšími funkcemi poměrně primitivním, ale hlavně strukturovaným způsobem.

Data jsou ukládána jako serializované objekty s backendem v sqlite databázi, pomocí knihovny sqlitedict. To má své nevýhody - nejde s nimi pracovat bez pythonu a formát není úplně nejefektivnější na ukládání a indexování.

Má to také své výhody:

Je to primitivní z hlediska programátora. Prostě dáte objekt do dictionary, commitnete a on už tam zůstane. A když s tím chcete pracovat, tak s tím pracujete, jako kdyby data byla celou dobu pořád v paměti. Nemusíte řešit nějaké normalizace a denormalizace, skládání tabulek a další nepodstatné pitomosti. Prostě sáhnete po objektu blogu a iterujete přes jeho komentáře.

Chcete vidět všechny komentáře, kde někdo někdy zmínil vaše jméno? Žádný otravný databázový COBOL. Prostě projděte přes všechny komentáře a podívejte se do obsahu textů. Jednodušší už to být nemůže. Efektivnější jo, ale to nebylo účelem.

Pro ty komu tenhle přístup nevyhovuje je zde možnost si dataset zkonvertovat do sqlite pomocí scriptu convert_blogtree_to_clean_sqlite.py.

Instalace

Celé je to napsané nad pythonem dva. Repozitář si prostě naklonujte gitem, nainstalujte závislosti přes

python2 -m pip install --user -r requirements.txt

a můžete vesele stahovat.

Repozitář

Ukázka použití

./download_blogtree.py -a -f -u /home/bystrousak/Plocha/tests/blogtree.sqlite
Estimating number of blogs.................
1 / ~20300 Abíčko neumírá, jen žije jinak.
2 / ~20300 Nový hw - bugy 3
3 / ~20300 Netrapte se
4 / ~20300 Umírá abíčko? (odpověď v textu)
5 / ~20300 Záhadné správanie v Bashi
6 / ~20300 Tablet  iGET Smart G81 Black koupit bo ee?

...

Doba běhu je na mé lince něco kolem hodiny.

Filosofický přesah

Moje první programátorská práce byla pro Národní knihovnu, sekci digitalizace. Mimo jiné jsem úzce spolupracoval s lidmi z českého webarchivu (zdravím Rudu, Jardu a Zuzku). Ti se zabývají uchováváním různých digitálních dat pro budoucí generace. Díky nim jsem získal povědomí, že uchovávat data do budoucnosti může být záslužná činnost.

Internet je místo, které se neustále mění. Osobně považuji abclinuxu za svého druhu poklad, u kterého by mi bylo vážně líto, kdyby zmizelo. Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii). V průběhu jsem si ovšem povšiml titulků různých blogů a začal číst.

Pohled do historie, který se mi takhle naskytl byl fascinující, tak jsem se časem rozhodl sklízet abclinuxu pravidelně, abych ho uchoval pro další generace, kdyby ho náhodou jednoho dne někdo smazal. To dělám už několik let. A protože jediná možnost, jak zajistit skutečnou nesmrtelnost je decentralizace, máte dneska možnost si udělat vlastní sklizeň.

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

7.10.2018 23:28 tydýt
Rozbalit Rozbalit vše Re: Archivace blogů
máte ve svém archivu sadámův blog o teorii mrdání? to jeho vidění světa, to bylo neuvěřitelné, bohužel všechny své blogy promazal a to je velká škoda
Bystroushaak avatar 7.10.2018 23:31 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Máš odkaz?
Bystroushaak avatar 7.10.2018 23:41 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
/blog/SALAM_OLEJKUM/2009/4/vymaz-mozku

Bohužel v roce 2012 kdy jsem dělal první sklizeň už to bylo smazané.
Blaazen avatar 8.10.2018 00:24 Blaazen | skóre: 23 | blog: BL
Rozbalit Rozbalit vše Re: Archivace blogů
A Wayback Machine neudělal v roce 2009 ani jeden záznam.
Bystroushaak avatar 8.10.2018 00:27 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Google cache to taky nemá a archive.is taky ne :] Jediné kde by to mohlo být jsou nějaké zálohy databáze a ty nám provozovatel těžko zpřístupní.
Luboš Doležel (Doli) avatar 8.10.2018 11:48 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Archivace blogů
Takové zálohy nikde nejsou, takže smůla.
8.10.2018 09:24 stps | skóre: 13
Rozbalit Rozbalit vše Re: Archivace blogů
Je to ono?

Pripadne si o projdete sami tady.
Bystroushaak avatar 8.10.2018 12:05 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
To už je ta smazaná verze.
Bystroushaak avatar 8.10.2018 12:10 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Hm, ale zrovna dneska jdu náhodou po několika měsících na oběd s jedním z Webarchivářů, tak se zkusím poptat jestli to nemají v neveřejných částech (sklízí celý český net, zpřístupnit smí ale díky copyrightu jen poměrně malou část).
Bystroushaak avatar 8.10.2018 14:18 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Jendа avatar 8.10.2018 02:26 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii).
To mi moc nesedí (Shaddacka znám osobně, Kvakora ne). Podle mě je Kvakor tento.
8.10.2018 09:17 Andrej | skóre: 9
Rozbalit Rozbalit vše Re: Archivace blogů
> Shaddacka znám osobně, Kvakora ne to nejako dokazuje ze to nie je ta ista osoba?
Any sufficiently advanced magic is indistinguishable from technology. --Larry Niven
Bystroushaak avatar 8.10.2018 09:57 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Tak dneska už je to stejně jedno, zajímalo mě to někdy v roce 2012.
Jendа avatar 8.10.2018 10:19 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Ne, nedokazuje. Můj příspěvek netvrdil že by to dokazovalo. (jenom že na základě toho můžu zkusit lépe tipnout jak a o čem by sem Shaddack psal a nepřijde mi, že by to odpovídalo)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.