abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 21:33 | Zajímavý projekt

Zdrojové kódy operačního systému RISC OS pro architekturu ARM byly již dříve s omezeními zveřejňovány na RISC OS Open. Nyní bylo oznámeno, že RISC OS přejde kompletně pod licenci Apache 2.0.

Fluttershy, yay! | Komentářů: 0
včera 16:00 | Nová verze

Byl vydán Mozilla Firefox 63.0. Přehled novinek v poznámkách k vydání a na stránce věnované vývojářům. Vylepšeno bylo například blokování obsahu a ochrana proti sledování. Rozšíření ve Firefoxu na Linuxu běží nově v samostatném procesu.

Ladislav Hagara | Komentářů: 0
včera 11:00 | Humor

Před týdnem byly zveřejněny informace o bezpečnostní chybě CVE-2018-10933 v knihovně libssh implementující protokol SSH. Autentizaci bylo možné jednoduše obejít odesláním zprávy SSH2_MSG_USERAUTH_SUCCESS. Chyba byla opravena v upstream verzích libssh 0.8.4 a 0.7.6. Chris Lamb, vedoucí projektu Debian, zveřejnil na Twitteru upravený komiks Cyanide & Happiness věnovaný této bezpečnostní chybě.

Ladislav Hagara | Komentářů: 0
včera 10:22 | Komunita

Mozilla na svém blogu Future Releases oznámila spolupráci se švýcarskou společností Proton Technologies stojící za šifrovanou poštou ProtonMail a virtuální privátní sítí ProtonVPN. Právě službu ProtonVPN v ceně 10 dolarů měsíčně začne Mozilla od zítra postupně nabízet uživatelům Firefoxu v USA. Část peněz bude použita na další rozvoj Firefoxu.

Ladislav Hagara | Komentářů: 0
včera 00:22 | Nová verze

Byla vydána verze 11.4 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností i s náhledy v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
včera 00:11 | Zajímavý článek

Jiří Eischmann se v příspěvku Datovka na Flathubu na svém blogu věnuje aplikaci Datovka, tj. multiplatformní desktopové aplikaci pro přístup k datovým schránkám a k trvalému uchovávání datových zpráv v lokální databázi, ve formátu Flatpak. Instalovat ji lze přímo z Flathubu.

Ladislav Hagara | Komentářů: 0
22.10. 22:55 | Komunita

Richard Stallman představil první verzi dokumentu s názvem GNU Kind Communication Guidelines s doporučeními pro přispěvatele do projektu GNU. Cílem doporučení je udržovat v komunitě přátelskou atmosféru.

Ladislav Hagara | Komentářů: 7
22.10. 22:22 | Nová verze

Byl vydán Linux 4.19. Jeho vývoj dokončil a vydání oficiálně oznámil Greg Kroah-Hartman, poněvadž si Linus Torvalds vzal před pěti týdny volno a rozhodl se zapracovat na svém chování. Ke kontroverznímu dokumentu Contributor Covenant Code of Conduct přibyla jeho interpretace Linux Kernel Contributor Covenant Code of Conduct Interpretation. Přehled nových vlastností a vylepšení Linuxu 4.19 na stránce Linux Kernel Newbies a samozřejmě v Jaderných novinách. Kódové jméno Linuxu bylo změněno z Merciless Moray na People's Front.

Ladislav Hagara | Komentářů: 6
22.10. 02:00 | Pozvánky

Konference OpenAlt 2018 (dříve LinuxAlt a Openmobility) proběhne již o víkendu 3. a 4. listopadu na FIT VUT v Brně. Motto konference je "Otevřeným přístupem k otevřené společnosti". Připraveno je 8 tracků přednášek a workshopů. Pořadatelé připravili výběr toho nejzajímavějšího.

Ladislav Hagara | Komentářů: 1
21.10. 01:00 | IT novinky

Bylo vydáno RFC 8484 řešící posílání DNS dotazů a získávání DNS odpovědí přes protokol HTTPS (DoH, DNS over HTTPS). V aktuálních verzích Firefoxu je DoH ve výchozím nastavení zakázáno. Povolit jej lze v about:config změnou hodnoty network.trr.mode (Trusted Recursive Resolver). V srpnu zveřejnila Mozilla výsledky experimentu s DNS přes HTTPS ve Firefoxu Nightly.

Ladislav Hagara | Komentářů: 50
Přispíváte osobně k vývoji svobodného softwaru?
 (40%)
 (42%)
 (24%)
 (23%)
 (12%)
 (36%)
Celkem 291 hlasů
 Komentářů: 17, poslední 22.10. 22:11
Rozcestník

Z celého internetu píšu právě sem. Zajímá vás proč?


Od určité doby jsou všechny texty které zde publikuji verzované na Githubu.

Pokud najdete chybu, nepište mi do diskuze a rovnou jí opravte. Github má online editor, není to skoro žádná práce a podstatně mi tím usnadníte život. Taky vás čeká věčná sláva v commit logu :)


Pokud se vám líbilo něco z mé produkce, můžete svou přízeň vyjádřit v kryptoměnách:

  • BTC: 13CS7yKTcqPQUH2hrcuFsqf1AKr4gThZTD

Ne že bych je nějak potřeboval, ale patří to k věcem, které autory obecně potěší a jasně ukazují, že jsou lidi, kteří ty hodiny času stráveného psaním umí ocenit.


Víte že můžete odebírat mé blogy pomocí RSS?

Aktuální zápisy

Archivace blogů

7.10. 22:07 | Přečteno: 991× | Obecné IT

Nedávno zde bylo opět nakousnuto téma zálohování obsahu blogů na abclinuxu. Protože už jsem na to kdysi psal script, rozhodl jsem se to trochu učesat a podělit se o mé řešení, aby si každý mohl vytvořit vlastní kopii i s komentáři, čistě pro vlastní potřebu, či případ nějaké neblahé katastrofy.

Technikality

Script je založen na abclinuxuapi, knihovně, kterou jsem napsal pro externí scrappování zdejšího portálu. Tato knihovna vám umožňuje pracovat v mnoha zdejšími funkcemi poměrně primitivním, ale hlavně strukturovaným způsobem.

Data jsou ukládána jako serializované objekty s backendem v sqlite databázi, pomocí knihovny sqlitedict. To má své nevýhody - nejde s nimi pracovat bez pythonu a formát není úplně nejefektivnější na ukládání a indexování.

Má to také své výhody:

Je to primitivní z hlediska programátora. Prostě dáte objekt do dictionary, commitnete a on už tam zůstane. A když s tím chcete pracovat, tak s tím pracujete, jako kdyby data byla celou dobu pořád v paměti. Nemusíte řešit nějaké normalizace a denormalizace, skládání tabulek a další nepodstatné pitomosti. Prostě sáhnete po objektu blogu a iterujete přes jeho komentáře.

Chcete vidět všechny komentáře, kde někdo někdy zmínil vaše jméno? Žádný otravný databázový COBOL. Prostě projděte přes všechny komentáře a podívejte se do obsahu textů. Jednodušší už to být nemůže. Efektivnější jo, ale to nebylo účelem.

Pro ty komu tenhle přístup nevyhovuje je zde možnost si dataset zkonvertovat do sqlite pomocí scriptu convert_blogtree_to_clean_sqlite.py.

Instalace

Celé je to napsané nad pythonem dva. Repozitář si prostě naklonujte gitem, nainstalujte závislosti přes

python2 -m pip install --user -r requirements.txt

a můžete vesele stahovat.

Repozitář

Ukázka použití

./download_blogtree.py -a -f -u /home/bystrousak/Plocha/tests/blogtree.sqlite
Estimating number of blogs.................
1 / ~20300 Abíčko neumírá, jen žije jinak.
2 / ~20300 Nový hw - bugy 3
3 / ~20300 Netrapte se
4 / ~20300 Umírá abíčko? (odpověď v textu)
5 / ~20300 Záhadné správanie v Bashi
6 / ~20300 Tablet  iGET Smart G81 Black koupit bo ee?

...

Doba běhu je na mé lince něco kolem hodiny.

Filosofický přesah

Moje první programátorská práce byla pro Národní knihovnu, sekci digitalizace. Mimo jiné jsem úzce spolupracoval s lidmi z českého webarchivu (zdravím Rudu, Jardu a Zuzku). Ti se zabývají uchováváním různých digitálních dat pro budoucí generace. Díky nim jsem získal povědomí, že uchovávat data do budoucnosti může být záslužná činnost.

Internet je místo, které se neustále mění. Osobně považuji abclinuxu za svého druhu poklad, u kterého by mi bylo vážně líto, kdyby zmizelo. Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii). V průběhu jsem si ovšem povšiml titulků různých blogů a začal číst.

Pohled do historie, který se mi takhle naskytl byl fascinující, tak jsem se časem rozhodl sklízet abclinuxu pravidelně, abych ho uchoval pro další generace, kdyby ho náhodou jednoho dne někdo smazal. To dělám už několik let. A protože jediná možnost, jak zajistit skutečnou nesmrtelnost je decentralizace, máte dneska možnost si udělat vlastní sklizeň.

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

7.10. 23:28 tydýt
Rozbalit Rozbalit vše Re: Archivace blogů
máte ve svém archivu sadámův blog o teorii mrdání? to jeho vidění světa, to bylo neuvěřitelné, bohužel všechny své blogy promazal a to je velká škoda
Bystroushaak avatar 7.10. 23:31 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Máš odkaz?
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Bystroushaak avatar 7.10. 23:41 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
/blog/SALAM_OLEJKUM/2009/4/vymaz-mozku

Bohužel v roce 2012 kdy jsem dělal první sklizeň už to bylo smazané.
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Blaazen avatar 8.10. 00:24 Blaazen | skóre: 22
Rozbalit Rozbalit vše Re: Archivace blogů
A Wayback Machine neudělal v roce 2009 ani jeden záznam.
Bystroushaak avatar 8.10. 00:27 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Google cache to taky nemá a archive.is taky ne :] Jediné kde by to mohlo být jsou nějaké zálohy databáze a ty nám provozovatel těžko zpřístupní.
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Luboš Doležel (Doli) avatar 8.10. 11:48 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Archivace blogů
Takové zálohy nikde nejsou, takže smůla.
8.10. 09:24 stps | skóre: 13
Rozbalit Rozbalit vše Re: Archivace blogů
Je to ono?

Pripadne si o projdete sami tady.
Bystroushaak avatar 8.10. 12:05 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
To už je ta smazaná verze.
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Bystroushaak avatar 8.10. 12:10 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Hm, ale zrovna dneska jdu náhodou po několika měsících na oběd s jedním z Webarchivářů, tak se zkusím poptat jestli to nemají v neveřejných částech (sklízí celý český net, zpřístupnit smí ale díky copyrightu jen poměrně malou část).
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Bystroushaak avatar 8.10. 14:18 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Hm, tak nic.
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Jendа avatar 8.10. 02:26 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii).
To mi moc nesedí (Shaddacka znám osobně, Kvakora ne). Podle mě je Kvakor tento.
8.10. 09:17 Andrej | skóre: 8
Rozbalit Rozbalit vše Re: Archivace blogů
> Shaddacka znám osobně, Kvakora ne to nejako dokazuje ze to nie je ta ista osoba?
Any sufficiently advanced magic is indistinguishable from technology. --Larry Niven
Bystroushaak avatar 8.10. 09:57 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Archivace blogů
Tak dneska už je to stejně jedno, zajímalo mě to někdy v roce 2012.
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
Jendа avatar 8.10. 10:19 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Archivace blogů
Ne, nedokazuje. Můj příspěvek netvrdil že by to dokazovalo. (jenom že na základě toho můžu zkusit lépe tipnout jak a o čem by sem Shaddack psal a nepřijde mi, že by to odpovídalo)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.