abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 22:44 | IT novinky

    IBM kupuje společnost HashiCorp (Terraform, Packer, Vault, Boundary, Consul, Nomad, Waypoint, Vagrant, …) za 6,4 miliardy dolarů, tj. 35 dolarů za akcii.

    Ladislav Hagara | Komentářů: 3
    včera 15:55 | Nová verze

    Byl vydán TrueNAS SCALE 24.04 “Dragonfish”. Přehled novinek této open source storage platformy postavené na Debianu v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 13:44 | IT novinky

    Oznámeny byly nové Raspberry Pi Compute Module 4S. Vedle původní 1 GB varianty jsou nově k dispozici také varianty s 2 GB, 4 GB a 8 GB paměti. Compute Modules 4S mají na rozdíl od Compute Module 4 tvar a velikost Compute Module 3+ a předchozích. Lze tak provést snadný upgrade.

    Ladislav Hagara | Komentářů: 0
    včera 04:44 | Nová verze

    Po roce vývoje od vydání verze 1.24.0 byla vydána nová stabilní verze 1.26.0 webového serveru a reverzní proxy nginx (Wikipedie). Nová verze přináší řadu novinek. Podrobný přehled v souboru CHANGES-1.26.

    Ladislav Hagara | Komentářů: 0
    včera 04:33 | Nová verze

    Byla vydána nová verze 6.2 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl povýšen na verzi 13.0.14.

    Ladislav Hagara | Komentářů: 0
    včera 04:22 | Nová verze

    Byla vydána nová verze 30.0.0 frameworku pro vývoj multiplatformních desktopových aplikací pomocí JavaScriptu, HTML a CSS Electron (Wikipedie, GitHub). Chromium bylo aktualizováno na verzi 124.0.6367.49, V8 na verzi 12.4 a Node.js na verzi 20.11.1. Electron byl původně vyvíjen pro editor Atom pod názvem Atom Shell. Dnes je na Electronu postavena celá řada dalších aplikací.

    Ladislav Hagara | Komentářů: 2
    včera 04:11 | Nová verze

    Byla vydána nová verze 9.0.0 otevřeného emulátoru procesorů a virtualizačního nástroje QEMU (Wikipedie). Přispělo 220 vývojářů. Provedeno bylo více než 2 700 commitů. Přehled úprav a nových vlastností v seznamu změn.

    Ladislav Hagara | Komentářů: 0
    23.4. 23:22 | IT novinky

    Evropský parlament dnes přijal směrnici týkající se tzv. práva spotřebitele na opravu. Poslanci ji podpořili 584 hlasy (3 bylo proti a 14 se zdrželo hlasování). Směrnice ujasňuje povinnosti výrobců opravovat zboží a motivovat spotřebitele k tomu, aby si výrobky nechávali opravit a prodloužili tak jejich životnost.

    Ladislav Hagara | Komentářů: 9
    23.4. 16:11 | Nová verze

    Bylo oznámeno (cs) vydání Fedora Linuxu 40. Přehled novinek ve Fedora Workstation 40 a Fedora KDE 40 na stránkách Fedora Magazinu. Současně byl oznámen notebook Slimbook Fedora 2.

    Ladislav Hagara | Komentářů: 24
    23.4. 13:44 | Upozornění

    ČTK (Česká tisková kancelář) upozorňuje (X), že na jejím zpravodajském webu České noviny byly dnes dopoledne neznámým útočníkem umístěny dva smyšlené texty, které nepocházejí z její produkce. Jde o text s titulkem „BIS zabránila pokusu o atentát na nově zvoleného slovenského prezidenta Petra Pelligriniho“ a o údajné mimořádné prohlášení ministra Lipavského k témuž. Tyto dezinformace byly útočníky zveřejněny i s příslušnými notifikacemi v mobilní aplikaci Českých novin. ČTK ve svém zpravodajském servisu žádnou informaci v tomto znění nevydala.

    Ladislav Hagara | Komentářů: 29
    KDE Plasma 6
     (72%)
     (9%)
     (2%)
     (17%)
    Celkem 723 hlasů
     Komentářů: 4, poslední 6.4. 15:51
    Rozcestník

    Dotaz: Statická kopie dynamického webu.

    19.1.2018 19:17 lertimir | skóre: 64 | blog: Par_slov
    Statická kopie dynamického webu.
    Přečteno: 523×
    Řeším taková problém. Organizace by ráda k nějakému datu vypnula starý web založený na starem proprietálním CMS. Nicméně web obsahuje dost historických dokumentů, které jsou třeba zachovat. obsah vebu je cca 8GB. Moje idea byla taková, že bych pomocí wget -m url udělal miror webu (mimochodem běžel 40 hodin než se zkopiroval). bohužel CMS má vytvořené URL schéma tak, že dokumenty jsou očíslované nějakým ID za databáze. Tvoří odkazy typu /zpravy/34245. V originálním webu CMS z tohoto URL pošle hlavičku obsahující položky Content Type: a Content Disposition: obsahující Typ a Jméno souboru. Tyto informace se po wget -m ztratí, soubor se stane objektem 34245 v adresáři a při práci z mirorem uživatel dostane jen soubory bez metainformací a prohlížeč neví, co s nimi udělat. soubory jsou různých typů pdf, doc, docx a xls/xlsx. jde to nějak napravit? a udělat miror jinak?

    Odpovědi

    19.1.2018 19:35 NN
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Pokud jde jen o dokumenty a vsechny jsou ve formatu http://web/zpravy/cislo muzes si napsat skript, ktery pobehne vsechna mozna cisla v URL, vyparsuje z HTML nazev a ulozi pod nazvem. To lze zvladnout v jedne smycce..

    Pokud data nechces stahovat znova, bylo by asi mozne vytahat jen HTTP header, zariznout komunikaci pred stahovanim a opravit si soubory v adresarove strukture podle cisla.
    20.1.2018 17:59 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    No jednak to není jen v adresáři http://web/zpravy/ , ale i asi v 10 dalších. Ale hlavní problém je, že ty soubory se mohou jmenovat (jmenují) stejně. Například velmi častým názvem souboru je "Důvodová zpráva.docx" (popřípadě bez diakritiky), souborů ve struktuře jsou desítky tisíc a ty násobnosti stejného jména mohou jít do stovek.
    19.1.2018 20:01 klingger | skóre: 18
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Ja používam tieto parameter pre wget, do pozornosti dávam hlavne parameter adjust-extension.
    wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://...
    19.1.2018 22:38 Honza
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Asi blby dotaz, ale HTTrack jsi zkousel? https://www.httrack.com/
    20.1.2018 18:03 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Zkoušel. Zhroutil se po dvou dnech stahování a asi 500 000 objektech a 12GB dat. Překvapivé je wget stahoval jen cca 40 hodin, stáhl jen 9GB a vypadá to, že je to strukturálně všechno, nekončil s žádnou chybou.
    20.1.2018 18:25 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Budete potřebovat při ukládání někam uložit i ty informace o typu souboru a ideálně i názvu, a pak je zase použít na webovém serveru. Ideální by pro to byly rozšířené atributy – user.mime_type pro typ souboru, user.mime_encoding pro kódování, pro jméno souboru takový standardní atribut neexistuje (počítá se, že se tak jmenuje přímo soubor). S uvedenými atributy pak umí pracovat mod_mime_xattr pro Apache. curl umí některé rozšířené atributy nastavit, když použijete přepínač --xattr. Pomocí přepínačů -D nebo -w byste si snad mohl uložit i původní jména souborů pro pozdější zpracování.

    Pokud nechcete jít cestou přes rozšířené atributy, musel byste na ty původní (číselné) adresy dát přesměrování na novou adresu, kde už bude správné jméno souboru a server podle přípony správně určí typ souboru, který pošle klientovi. Když klient nedostane jméno souboru v Content-Disposition, použije obvykle jméno z URL, takže by soubory po uložení měly být i správně pojmenované.
    20.1.2018 19:54 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Dik, curl vypadá, že dodá o dost více informací než wget. Zkusím s tím zabojovat. A ještě jedno rozšíření dotazu. Je možné pomocí curl i stáhnout následující situaci.

    Stahuji server http://alfa/ nicméně ve struktuře, třeba na str http://alfa/str/1 je odkaz na dokument http://beta/doku/v/adr/stukture/dokument.1.pdf. Není k dokument.1.pdf žádný jiný přístup. server beta je neprohledávatelný a nejsou na něm struktury. jenom podá dokument (a tisíce jiných) a tedy přislušnou odpověd, když je přesné url. (je to server na způsob intranetu, kde pro konkrétní přesný objekt mohu vydefinovat vnější přístup). Je možné říci curl "začínáš sice s alfa, ale když tam bude odkaz na beta tak ho stáhni také a ulož do vedlejšího stromu"
    20.1.2018 20:23 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Aha, jenže curl asi neumí rekurzivní stahování, to mne nikdy nenapadlo. wget pro to má parametr -D/--domains, kterým určíte, ze kterých domén má odkazy stahovat, a volbou -H povolíte přecházet i na jiné domény. Asi by se hodilo pomocí wget vytvořit seznam URL a ta pak stáhnout přes curl, což je tedy dost neohrabané řešení…
    21.1.2018 18:50 trevor12 | skóre: 4 | blog: prvni_kroky_zacatecnika
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    sice neznam reseni ale nebylo by jednodussi cely ten stary web server s cms proste nahodit na nejaky stary stroj a pristupovat k nemu nadale v ramci intranetu ?
    21.1.2018 19:33 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Běh toho starého webu je zasmluvněn cenou ve vyšších desitkách tisích měsičně. Už to je dost strašné. Nad kódem není žádná kontrola a je na externích serverech mimo organizaci u dodavatelské firmy, a dodavatelské firmě odešli vývojáři, takže pravděpodobně kódu už nerozumí vůbec nikdo. Ale firma ho samozřejmě nedá. Jediná cesta je, jak ji vidím, odejít ze vztahu a nepřijít o data.
    21.1.2018 19:36 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Můžou tam být bezpečností díry a bude jich přibývat, neustále se pak bojíte, kdy se co rozsype. I když to budete mít ve virtuálu, který snadno nahodíte jinde, nikdy nevíte, jaká je tam záludnost a jestli to celé nepřestane 1. 1. 2020 fungovat, protože tam je nějaké magické datum. Pokud jde udělat statickou kopii toho webu, je to podle mne velmi dobré řešení.
    21.1.2018 22:06 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Děravé je to jako řešeto. Nevím na jakém přesně PHP to běží, ale nabírá to mezi jquery css pluginy a jsou i verze z roku 11 a 12 podle čísel. A pokud v generovaném kódu dostanu dost hodně zakomentovaných položek, tak to už není udržované, ale dolepované.
    22.1.2018 08:08 NN
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Neslo by to misto HTTP tahat rovnou z databaze, nebo souboroveho systemu na serveru?
    Josef Kufner avatar 21.1.2018 22:55 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    Udělat kopii wgetem je dobrá myšlenka a výsledek asi bude velmi dobře použitelný. Kouknul bych však ještě do databáze, zda by se dokumenty a hlavně jejich metadata nedala vytáhnout v neporušeném tvaru. Třeba by se pak dal udělat hezký export s odkazy na dokumenty, nebo by to mohlo i jít naimportovat do nového systému.
    Hello world ! Segmentation fault (core dumped)
    22.1.2018 14:56 trevor12 | skóre: 4 | blog: prvni_kroky_zacatecnika
    Rozbalit Rozbalit vše Re: Statická kopie dynamického webu.
    pokud by z nejakeho duvodu to wget ani httrack nezvladl, jeste by slo zkusit pustit na to

    https://metaproducts.com/products/offline-explorer

    jestli by si s tim neporadil lepe

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.