Ukládání celých WWW stránek na disk (MAFF, MHT, proxy?)

9.4.2018 22:38 | Přečteno: 5379× | WWW | | poslední úprava: 9.4.2018 22:52

Co používáte, když si chcete nějakou stránku archivovat na disk? Dříve fungovalo dobře MAFF, ale to už v aktuálních verzích Firefoxu není podporované. UnMHT taky ne.

Stránku lze sice uložit přes Ctrl+S, ale to vytvoří i podadresář a hromadu souborů.

Taky jde stránku „vytisknout“ do PDF, ale to většinou naruší vzhled a špatně se s tím pracuje. Funkce „Pořídit snímek stránky“ sice zachová věrně vzhled, ale zase je to bitmapa, takže je to jednak velké a jednak z toho už nejde dostat zpět text (leda přes OCR :-D).

Existuje nějaké hotové řešení, které umožní uložit celou stránku do jednoho souboru nebo si to člověk musí napsat sám?

Mohla by to být třeba HTTP proxy, která by zachytila vše, co přes ni projde (takže i různé AJAXy, videa atd.) a výsledek uložila do souboru (třeba sqlite databáze) a prohlížení by pak probíhalo tak, že by se spustil HTTP server (resp. proxy z pohledu prohlížeče) a ten by přehrával dříve zaznamenanou komunikaci. K tomu by stačil nějaký skript, který nahodí proxy nad daným archivním souborem a spustí prohlížeč v anonymním režimu s parametrem této proxy a adresou dané stránky.

Další možnost by bylo serverové řešení – takový webový archiv (něco jako archive.org) pro jednotlivce nebo skupinu lidí – pamatoval by si zaznamenanou komunikaci a uměl ji přehrávat. Šlo by se tam třeba i vracet v čase. Ve formě User-Agenta, HTTP hlavičky nebo spíš jména/hesla¹ k proxy serveru by s tím serverem šlo komunikovat a předat mu parametr, k jakému datu stránku chci. Prohlíželo by se to asi nějakým dedikovaným upraveným prohlížečem s potřebnými doplňky (jako GUI pro stroj času). Na serveru by šla dobře dělat deduplikace. Z tohoto serveru by si pak šlo i uložit jednotlivou stránku do souboru jako sqlite databázi pro osobní použití nebo archivaci na nějaké offline médium mimo dosah proxy serveru.

Na tom proxy serveru by šlo i vyhledávat – a vzhledem k tomu, že by do toho ten jednotlivec nebo lépe skupina lidí nakrmila jen obsah, který je zajímá, tak by to dávalo hodnotné výsledky. Takový server bych rád sdílel např. s uživateli Ábíčka, členy Brmlabu a jiných podobných komunit.

Tak kdyby se někdo nudil, můžete to naprogramovat :-)

(osobně bych se do toho pustil, ale mám už rozdělaných tolik věcí, že musím teď spíš dotáhnout něco z nich než rozjíždět další projekt…)

_{[1] např. kdybych se k proxy serveru hlásil jako franta.2016-04-08, tak bych dostával stav stránek kolem tohoto data, nebo nejbližší dostupnou verzi – a to jméno by automaticky nastavil doplněk v prohlížeči, já bych jen v GUI zvolil požadované datum}

       

Anketa

Anketa

Komentáře

[Max]

Kdysi jsem myslím používal httrack, ale v dnešní době to nemá smysl.
Zdar Max

[marbu]

Hlasoval bych za: ne, ale dřív jsem archivoval věci do MAFF, ale nemám nyní čas si MAFF plugin napsat pro aktuální Firefox a zatím to nikdo jiný neudělal.

[Bedňa]

Spolieham na archive.org, poznámky si píšem na KU webe.

[marbu]

Existuje nějaké hotové řešení, které umožní uložit celou stránku do jednoho souboru nebo si to člověk musí napsat sám?

Jinak se dívám, že na webu MAFF teď doporučují Save Page WE, který se snaží externí data do html souboru buď přímo includovat (např. v případě javascriptu nebo css) a binární data ukládá v javascriptu přes base64. Oproti MAFF je to downgrade, ale nějak to funguje.

Další možnost by bylo serverové řešení – takový webový archiv (něco jako archive.org) pro jednotlivce nebo skupinu lidí

Zkoušel jsi používat Archiveror? Btw taky umí ukládat lokálně do MHTML souboru, ale nefunguje to ve Firefoxu.

[xkucf03]

Save Page WE, který se snaží externí data do html souboru buď přímo includovat (např. v případě javascriptu nebo css) a binární data ukládá v javascriptu přes base64. Oproti MAFF je to downgrade, ale nějak to funguje.

Dík, to vypadá dobře, vyzkouším…

[limit_false]

Wkhtmltopdf. Ma to spoustu moznosti napr. na velikost stranky apod, akorat balicek nema pache, aby zachoval linky v pdf. Na to je to potreba skompilovat s patchovanym Qt (myslim ze nekde se da stahnout i staticka binarka, alespon nekdy to slo).

Jinak print to pdf z chrome zachovava i linky.

[xkucf03]

Tak jsem zjistil, že v Chromiu jde už pustit tisk i z příkazové řádky a lezou z toho (aspoň v případě Wikipedie) celkem slušné výsledky – např.

chromium-browser --incognito --headless --print-to-pdf="tisk.pdf" https://en.wikipedia.org/wiki/Balanced_audio

[xkucf03]

A přes exiftool tam jdou přidat metadata. To vypadá dobře. Asi si na to udělám nějaký skript…

[Josef Kufner]

Pokud jde o textové stránky, tak používám tisk do PDF. Na videa youtube-dl. To ostatní nemá smysl ukládat, neboť to pak stejně moc nefunguje.

[xkucf03]

Obrázky – schémata, grafy… Někdy by se hodilo plné rozlišení na stránce, ale do PDF se uloží jen náhled – člověk si pak musí velký obrázek uložit ručně bokem. Ty grafy bývají zase někdy generované JavaScripte (grrr) nebo jsou interaktivní – to se do PDF taky neuloží. Na to by byla dobrá ta proxy, která by dokázala zopakovat/nasimulovat tu HTTP komunikaci přesně tak, jaká byla v době ukládání – včetně třeba toho, že sis stáhl plné rozlišení obrázku – v archivu bys na něj pak taky mohl kliknout.

Problém by byly asi jen websockety a záměrná obfuskace ze strany toho webu.

[Josef Kufner]

Pokud jsou grafy jen vygenerované, tak se to uloží. Pokud to je vykreslené pomocí Javascriptu jako SVG, tak to v PDF zůstane vektorové. Tedy alespoň v Chromiu. Interaktivita je samozřejmě pryč.

[limit_false]

PDF podporuje ukladani vektorove grafiky, i kdyz nekdy je celkem slozite nastroje presvedcit, aby to udelali.

Podobne PDF podporuje lossless kompresi obrazku.

Ad interaktivni vystup - myslim, ze na tohle se chrome/chromium hodil. Minimalne jsem si 100% jisty, ze z toho lze dostat i stranky vygenerovane z ruznych zabaksriptich hruz (v inspectoru pomoci copy outer|inner html).

[Gggy]

Používam moderný operačný systém Android kde webview priamo obsahuje funkciu uložiť do mht.

[Heron]

Mám skript na automatické stahování stránek co se objeví v mojí rss čtečce. Nic sofistikovaného, jen wget s parametry pro stažení všech potřebných souborů. Na normálních stránkách to funguje, na nenormálních stejně většinou žádná podstatná informace k archivaci není. To se potom ukládá deduplikovaně (unikátní soubory) do DB.

Pokud si chci nějakou stránku uložit i včetně vzhledu, tak buď tisk do PDF (ale některé stránky mají zmršený tiskový styl) a jako poslední možnost screenshot.

Když jsem nad tím na počátku přemýšlel, tak jsem měl v plánu to stahovat a ukládat rozumněji, ale potom mě přešla chuť. Byl by to tentýž boj jako s blokováním reklamy. A furt to upravovat pro další a ještě více zmršené stránky se mi prostě nechce. Takže wget, index to stáhne, textová informace tam je a na normálních stránkách to funguje dobře i včetně dalšího obsahu stránky.

O to víc si vážím projektů jako je youtube-dl, bez kterého bych se na některá videa ani nepodíval a jsem rád, že je baví to nestále opravovat při boji s větrnými mlýny v podobě neustálých změn na příslušných stránkách.

[woas]

na ukladanie www stranok pouzivam bookmarks a ked je tam nieco zaujimave, tak si to zapisem do personalnej wiki, na co uz dlho pouzivam jedno html - Woas - wiki-on-a-stick (https://sourceforge.net/projects/woas/). Mam porobene pluginy aj na zvyraznovanie syntaxu, akordov a ine. Je to podobne ako Tiddlywiki.

Problem zacina byt novsou verziou FF od 57, ktory ma problem aj cez plugin zapisovat na disk. Nechce sa mi prechadzat na nieco ine, lebo uz toho tam mam dost. Mozno je este zaujimave https://laverna.cc/ alebo velmi jednoduche androidove Rýchly zápisník s prepojenim na dropbox.

Potom som objavil este mdwiki (github), no to treba editovat zvlast editorom, ale inak je to pekne efektne. Este som sa trochu pohral a stranky mozu byt kryptovane cez JS.

Inak na to, co pises, si viem predstavit nejaky python skript s ukladanim stranok. Robil som preposielanie http z jednej stranky cez tento python web server. Len by to bolo treba upravit, aby to bol ako proxy a este aj ukladalo to stranky.

[xsubway]

Tak u té druhé ankety jsem zaškrtl hned tři možnosti, protože bych rád používal nějaké řešení, které by mi vyhovovalo a zároveň už používám kombinaci Hg a org-mode což zatím není úplně to pravé ...

[xkucf03]

Co ti tam chybí? Já používám Hg a obyčejné textové soubory, sem tam nějaký obrázek, PDF, uložená webová stránka atd. Hodně z toho jsou skripty – pak tomu dávám příponu .sh, aby mi editor zvýrazňoval syntaxi a na začátku mám:

#!/bin/bash
exit 1;

tzn. je to hromada tématicky souvisejících příkazů, které nejsou určené k sekvenčnímu spouštění, a hlavně komentáře. Časem přidám možná nějaký WYSIWYM editor a možná indexovač/vyhledávač, ale zatím se v tom v pohodě vyznám i bez toho, stačí adresářová struktura a případně grep.

[xsubway]

Na jednu stranu mi nic nechybí. Ty dva nástroje pravděpodobně pokrývají všechno co pravě potřebuji. To co mi nevyhovuje, je právě nějaké konečné doladění, na které stále nemám čas Pokud bych potkal multiplatformní nástroj. Jednoduchý, přehledný, free s kvalitním vyhledáváním a filtry, tak je možné, že verzovací systém + org-mode opustím.

[kuba77]

Pro uložení stránek (textu z nich) na později když to jde, tak použiju Pocket, na disk si stránky neukládám. Díky Pocketu si pak můžu daný článek jednoduše přečíst na čtečce. Občas si uložím nějaké video z YouTube pomocí ClipGrab nebo FreeRapidDownloader, párkrát se mi totiž stalo, že jsem se chtěl k nějakému videu na YT vrátit a bylo najednou smazané nebo soukromé.

[stenxp]

Dělám to podobně, akorát místo pocketu používám selfhosted https://wallabag.org pluginy do prohlížečů to má a na androidu to má apku...

[bobass]

Řešení je Evernote (a jemu podobné)

[⧠ A = 0]

wget

[kralyk z abclinuxu]

Stránku lze sice uložit přes Ctrl+S, ale to vytvoří i podadresář a hromadu souborů.

Tohle používám. Úplně nevidim, v čem je takový problém s více soubory, ale nešlo by to případně zkonvertovat do mht nebo takněčeho?

[Fluttershy, yay!]

MHT je to samé, akorát to má ta externí data vložená do sebe (IIRC přes CDATA).

[xkucf03]

MHT = MIME Encapsulation of Aggregate HTML Documents tzn. totéž jako např. multipart e-mail s přílohami.

[Fluttershy, yay!]

MHT před cca 10 lety, co bylo v řadě produktů Microsoftu, obsahovalo inline balast. Ručně jsem nějaké exporty čistil.

[otasomil]

Zdravim
No vetsinou si do vlastni wiki zkopiruju potrebny zajimavy obsah z webovky. Pokud se s tim nechci moc parat tak davam tisk do souboru - tedy do pdf - dava dobre vysledky, lze si z pdfka zkopirovat text pro pozdejsi potrebu. Jednoduche, a prakticke reseni zachovavajici maximalni podobu s original strankou.

[Fluttershy, yay!]

Co tu nezaznělo, dělám si snímky stránek (nebo částí diskuzí, jak je to běžné např. na 4chanu) – jako obrázky. Nejde v tom sice fulltextově vyhledávat, ale zachovává to původní podobu stránky.

Dřív jsem na to měl rozšíření ve Firefoxu, dnes je obdobná funkce součástí instalace.

[xkucf03]

BTW: ještě by bylo zajímavé mít nějakou nezávislou autoritu, která by stránku stáhla, zabalila do jednoho souboru a ten elektronicky podepsala – a tím potvrdila, že v tom čase byl na dané URL daný obsah.

[Odin]

wget --mirror ... ?

[tydýt]

+1

[Bystroushaak]

Osobně ukládám stránky do webarchive, aby je měli přístupné i ostatní. U těch co to nejde je výjimečně uložím na disk klasickým CTRL+s.

[xkucf03]

Osobně ukládám stránky do webarchive

Škoda, že Webarchiv některé stránky rozbije a udělá z nich nevalidní XHTML, takže se v prohlížeči zobrazí jen chybová hláška…

[Bedňa]

Pozerám že fakt XHTML, tak to sa divím že to ešte niekto používa, keďže podpora v priehliadačoch vždy stála za kulové a je to našťastie za nami.