abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 17:00 | Nová verze

Byl vydán Docker 1.13. Přehled novinek na YouTube a v poznámkách k vydání na GitHubu. Docker umožňuje běh aplikací v softwarových kontejnerech (Wikipedia).

Ladislav Hagara | Komentářů: 0
dnes 15:51 | Komunita

Mozilla.cz informuje, že nástroje pro webové vývojáře se možná oddělí od Firefoxu a stanou doplňkem. Nástroje pro webové vývojáře prošly velkým přepisem a tým, který se stará o jejich vývoj, by uvítal možnost jejich častějších aktualizacích nezávisle na vydávání nových verzí Firefoxu.

Ladislav Hagara | Komentářů: 0
dnes 07:00 | Humor

Čtenářům AbcLinuxu vše nejlepší k dnešnímu Dni zvýšení povědomí o tučňácích (Penguin Awareness Day).

Ladislav Hagara | Komentářů: 0
dnes 06:00 | Komunita

Bylo spuštěno hlasování o přednáškách a workshopech pro letošní InstallFest, jenž proběhne o víkendu 4. a 5. března v Praze. Současně byla oznámena změna místa. InstallFest se letos vrací zpět na Karlovo náměstí do budovy E.

Ladislav Hagara | Komentářů: 0
dnes 02:48 | Komunita

Greg Kroah-Hartman potvrdil, že Linux 4.9 je jádrem s prodlouženou upstream podporou (LTS, Long Term Support). Podpora je plánována do ledna 2019. Aktuální jádra s prodlouženou podporou jsou tedy 3.2, 3.4, 3.10, 3.12, 3.16, 3.18, 4.1, 4.4 a 4.9.

Ladislav Hagara | Komentářů: 0
dnes 00:11 | Zajímavý článek

Výrobce síťových prvků, společnost Netgear, spustila nový program, který slibuje vývojářům, expertům, ale i běžným uživatelům vyplacení finanční odměny za nalezení bezpečnostních chyby v jejich produktech. Za nalezení zranitelnosti v hardware, API nebo mobilní aplikaci nabízí odměnu od 150 do 15 tisíc dolarů (dle závažnosti).

Michal Makovec | Komentářů: 0
dnes 00:08 | Pozvánky

V sobotu 18. 2. se v Praze v prostorách VŠE uskuteční od 9:30 již 4. ročník největší české konference o open source redakčním systému WordPress (WP) - WordCamp Praha 2017.

… více »
smíťa | Komentářů: 0
včera 23:58 | Komunita

Kryptoměnová komunita zahájila nový rok spuštěním projektu Blockchain.cz, jehož cílem je kolektivně nalézt ideální překlad pro čím dál frekventovanější slovo „blockchain“. Přispět návrhem může kdokoli. Sběr bude trvat až do konce září 2017. Následně bude probíhat dvoutýdenní veřejné hlasování, které bude zakončeno výběrem toho nejlepšího návrhu.

xHire | Komentářů: 8
včera 15:55 | Bezpečnostní upozornění

Společnost Oracle vydala čtvrtletní bezpečnostní aktualizaci svých softwarových produktů (CPU, Critical Patch Update). Opraveno je celkově 270 bezpečnostních chyb. V Oracle Java SE je například opraveno 17 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 16 z nich. V Oracle MySQL je opraveno 27 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 5 z nich.

Ladislav Hagara | Komentářů: 0
včera 02:48 | Nová verze

Po půl roce od vydání verze 9.0 (zprávička) byla vydána verze 10.0 zvukového serveru PulseAudio. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 31
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (10%)
 (2%)
 (74%)
 (3%)
 (10%)
Celkem 336 hlasů
 Komentářů: 24, poslední 17.1. 10:14
    Rozcestník
    Reklama

    Dotaz: zaloha disku dd + bzip2 - problem s rychlosti

    21.10.2010 22:39 Karel Mácha
    zaloha disku dd + bzip2 - problem s rychlosti
    Přečteno: 591×
    Zdravim Resuscitoval jsem NAS Wedtern Digital MyBook, je to takova mala krabice na 2 disky a bezi na tom miniaturni Linux. Je to sice peknej krap, ale jine NAS uloziste nemam, ten box jsem dostal darem a dost slozite jsem to uvadel v chod. Problem je ze system je ulozeny na discich, dokonce v bootsectoru je zapsana MAC adresa !!! no reseni za vsechny penize. Resuscitoval jsem to podle tohoto navodu : http://mybookworld.wikidot.com/rescue-procedure pisu to proto abyste mi hned nezacali psat ze delat zalohu pomoci dd je blbost.

    No ta obnova byla mozna jen diky ochote nekterych nadsencu poskytnou image - vytvorene pomoci dd - svych zarizeni. Pote co jsem to rozchodil a nakonfigoroval bych si rad udelal vlasni zalohu - takovou u ktere vim jak z ni system obnovit - nez na ten NAS zacnu cpat data. Tedy ty disky jsou zatim temer prazdne.

    Takze jsem si ty diska pripojil prez SATA do pocitace a zalohuju to pomoci

    sudo dd if=/dev/sdb4 bs=5120b |pv |bzip2 -9 -c > sda4.driveB.bz2

    A problem nastal u sda4 disku2. Partition ma nejakych bratru 450GB a ja mam jen 250GB disk takze to musim komprimovat primo on-the-fly

    Na ubuntu 10.04. mi pv nejdriv ukazuje slusnych 20-30 MB/s ale jakmile to prekroci prvnich 60-70 GB rychlost spadne na 700kB/s a pak jeste porad trochu klesa. Takhle nebudu hotovy ani za tyden. Masina je Athlon X2 5000+ , 4GB RAM. Mohl bynekdo poradit co s tim ? Uplne by stacilo aby nedoslo k tomu dropu v rychlosti, ale obavam se ze k tomu dojde ve chvili kdy se vycerpa RAM. Dekuju predem K

    Odpovědi

    jose17 avatar 22.10.2010 00:50 jose17 | skóre: 43 | blog: Joseho_blog | Košice/Nové Mesto nad Váhom
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    mozno vyskusat nejaky menej pamatovo narocny kompresor?
    Ja vim, on vi, ty nano!
    22.10.2010 10:30 Karel Mácha
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    To uz me taky napadlo. Divny je ze u disku A toho NASu mi to tu 480GB partition sbalilo prez noc, ten soucasny disk ma ale mensi cache - jestli to hraje roli ? Ostatni image mam sbalene pomoci bzip2 - nebylo by pekne mit kazdou udelanou jinak - existuje nejaky moznost dodatcne prevest treba gzip na bzip ?

    diky K
    22.10.2010 12:57 dustin | skóre: 60 | blog: dustin
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    nebylo by pekne mit kazdou udelanou jinak
    Je to fuk, tak místo bunzip2 napíšeš gunzip.
    22.10.2010 09:47 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    Jestli tomu rozumím dobře tak ty disky jsou téměř prázdné, pokud ano, tak je nejdřív vyplňte nulami, buď v tom NASku nebo v PC a pak to zvládne v rozumném čase i bzip, ale klidně pak použijte gzip - soubor bude maličký.
    sudo dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4.remove
    rm /mnt/sda4.remove
    
    PS: pokud chcete vědět kolik DD přeneslo tak např. v 2. terminálu zadejte
    ps -ef | grep dd
    
    čímž zjistíte pid procesu a pak
    kill -USR1 pid 
    
    pošlete signal dd-čku aby vypsalo jak je na tom a na „1. terminálu“ se Vám zobrazí stav.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    22.10.2010 10:00 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    Aby nedošlo k omylu: /mnt/sda4.remove je soubor na tom vašem zálohovaném disku, který je třeba předem namontovat a po této akci, před vlastním 'dd' odmontovat.
    A protože jsem to tupě zkopíroval i ze sudo-em a dopsal bez suda tak to zde ještě upravuji jako celek i s mountem a cestami:
    mount /dev/sdb4 /mnt/sda4
    dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4/sda4.remove
    sync
    rm /mnt/sda4/sda4.remove
    umount /mnt/sda4
    
    PS: sync jsem doplnil (je tam vhodný, a možná mu to bude chvíli trvat :) )

    A pak si již zálohujte jak máte uvedeno - téměř v rychlosti čtení z disku.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    22.10.2010 10:40 Karel Mácha
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    Zdravim

    Je tu trochu problem. Ty disky jsou v raidu 0 - strip. Takze se mi /sdb4 nepodarilo jednoduse primountovat. Ten NAS je delany tak ze prvni partition je systemova, druha vi jen cert k cemu, treti SWAP a ctvrta je namountovana do /shares a na ni se hazou data. Problem je ze se na ni hazou taky treba soubory k doinstalovanemu webovemu prohlizeci apod. Tedy ta partition neni zclea prazdna, jen je na ni cca. 100MB dat a zbytek je prazdny. Takze co s tim ? Nabootovat NAS, rozpojit RAID - prehodit vsechny data nekam do zalohy, prepsat partition jednickama, prehodit data zpatky, spojit raid - modlit se ? Ja se hlavne bojim o to nerozstrelit si ten system na tom NASU jinak to budud zase spravovat dva tydny. Je pravda ze na tom disku puvodne byly jina data - mel jsem tento (diskB doma a dokoupil pouze diskA) - takze data se asi fyzicky nesmazaly kdyz jsem delal obnovu. Je nejaka sance prepsat 0/1 pouze ty casti disku kde nejsou data a to tak aby se nerozhodil raid ?

    Diky moc za pomoc K
    22.10.2010 11:56 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    A co vám brání zapsat na nas 1 dlouhý soubor plný třeba písmene A, prostě jde o to aby se do prázdných míst zapsala stejná hodnota aby to pak gzip skomprimoval a v prázdných sektorech nebyl balast po smazaných souborech.

    22.10.2010 12:04 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    V tom případě bych to nechal v tom NAS stvořil jedno sdílení (export), zjistil kolik je tam místa a přes dd tam nahrnul nuly do souboru o velikosti 90 % místa a smazal jej.
    Tzn. dělal bych to dd na sdílené místo (prostě na ten NAS), přes NFS 3 třeba takto:
    mount -t nfs ipaddress:/export /mnt/shareNAS/
    dd bs=1048576 count=200000 if=/dev/zero of=/mnt/shareNAS/sda4.remove
    # # tady případně zopakovat do dalšího souboru na 90% zbytku místa
    # dd bs=1048576 count=200 if=/dev/zero of=/mnt/shareNAS/sda4_part2.remove
    # sync
    # # a smazat
    # rm /mnt/shareNAS/sda4_part2.remove
    sync
    rm /mnt/shareNAS/sda4.remove
    umount /mnt/shareNAS/
    
    přičemž pro dd: bs × count = freespace_in_bytes × 0.90 (přibližně)
    No apak NAS korektně ukončil, případně odstranil to sdílení (export) a udělal tu fyzickou zálohu.

    PS: ten raid by měl jít pravděpodobně sestavit i v PC :)
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    22.10.2010 13:58 Karel Mácha
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    To co mi v tom brani je predevsim skutecnost ze sem blbej a nenapadlo me to :-) . Takzejsem ten NAS pripojil , prihlasim se prez SSH - coz je dobra sprava protoze je to znam ze jsem to jeste uplne nedojeb...webove rozhrani chodi ... parada A ted jak, mam ten souboru vytvorit na kazdem disku vlast nebo jak ? Pripominam ze ty disky jsou v RAIDU. Tady mam vypis z fdisk -l Disk /dev/sda: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

    Device Boot Start End Blocks Id System /dev/sda1 4 369 2939895 fd Linux raid autodetect /dev/sda2 370 382 104422+ fd Linux raid autodetect /dev/sda3 383 505 987997+ fd Linux raid autodetect /dev/sda4 506 60801 484327620 fd Linux raid autodetect

    Disk /dev/sdb: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

    Device Boot Start End Blocks Id System /dev/sdb1 4 369 2939895 fd Linux raid autodetect /dev/sdb2 370 382 104422+ fd Linux raid autodetect /dev/sdb3 383 505 987997+ fd Linux raid autodetect /dev/sdb4 506 60801 484327620 fd Linux raid autodetect

    Tady je jeste mount : /dev/root on / type ext3 (rw,noatime,data=ordered) proc on /proc type proc (rw) devpts on /dev/pts type devpts (rw) sys on /sys type sysfs (rw) /dev/md3 on /var type ext3 (rw,noatime,data=ordered) /dev/md4 on /shares/internal type ext3 (rw,noatime,data=ordered) usbfs on /proc/bus/usb type usbfs (rw)

    Jen nechci abych si ten raid rozstrelil. Nebylo by lepsi primo v /shares/internal - to je ta vlastni partition na ukladani dat - vytvorit soubor plny jednicek nebo zapisovat na /dev/md4 ?

    diky vsem za pomoc K
    22.10.2010 17:24 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    Komu to vadí, že je to v raidu, prostě tam normálně zapište soubor do filesystému, který je na tom raidu.
    Myslel jsem, že to tam zapíšete normálně, tak jak to chcete používat jako fileserver.
    Pokud si to komplikujete přihlášením se k pravděpodobně velmi očesanému systému, tak odpověď je jasná „Do adresář /shares/internal je namontovaná ta partition, takže prostě tam vytvoříte soubor /shares/internal/smaz ‚nul‘“.
    No a nabízí se to udělat i v /var.
    Ale pak musíte udělat zálohu obou disků, bo když to tak máte jak píšete dojde ke změnám an obou discích.
    PS: Důležité nevyplňujte to jedničkami či něčím jiným podobným, ale nulami ve smyslu bajtu o hodnotě 0, nejlépe z /dev/zero může (nemusí) to být fatální rozdíl.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    22.10.2010 18:32 Karel Mácha
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    Aha, takze jestli to dobre chapu kdyz na diskuB udelam ten soubor plny 0 a pak ho zase smazu tak to RAID vubec neovlivni, ja budu mit "vyzehleny disk" a staci kdyz zazalohuju jen diskB ? Jo a jak spravne zjistim tu "velikost" prazdneho mista ?
    22.10.2010 21:15 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    No tak to je asi blbost, ne!? Když přes oba disky máte RAID 0 (strip), to by jste asi k tomu měl už přistupovat jen jako k poli.
    Podle výpisu tam máte asi dvě pole md3 a md4 a máte je namountovány do daných adresářů, tak co furt řešíte jeden disk versus druhý disk prostě tam ty filesy do /shares/internal a případně do /var vytvořte a smažte (přihlášený na tom funkčním NAS-ku), tím se vám na většině místa zapíšou nuly a záloha bude relativně malá a relativně rychlá s gzipem (blížící se rychlosti čteni z disku).
    PS: To už jsem zapomněl, že by jste to taky mohl dělat z venku přes exportovaný adresář.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    22.10.2010 21:43 Karel Mácha
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    No dyt jo !!! Tak dobre, asi sem ja uplnej pitomec a puvodne sem to blbe pochopil, ale aspon v tom mam jasno. Vyhoda toho ze to spustim primo na tom NASu je ta, ze muzu vypnout velkou masinu a jit chrapat a ten NAS si to proesi sam. Takze si najdu kolik je tam volnyho mista v bytech - bs × count = freespace_in_bytes × 0.90 fajn to uz si spoctu.

    No a ted jak zjistit to volny misto - nasel jsem si povel df akorat nevim jak udelat vypis v bytech. V kb mi to vyhodi : Filesystem 1K-blocks Used Available Use% Mounted on rootfs 2893544 249756 2496800 10% / /dev/root 2893544 249756 2496800 10% / /dev/md3 972344 155220 767732 17% /var /dev/md4 953454724 134832 953319892 1% /shares/internal Staci vzit ten udaj v kb, vydelit 1024 a zaokrouhlit dolu ?
    23.10.2010 00:19 Karel Mácha
    Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
    Mam ny mysli vynasobit 1024 ... uz dneska blbnu

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.