Dotaz: zaloha disku dd + bzip2 - problem s rychlosti

[Karel Mácha]

Zdravim Resuscitoval jsem NAS Wedtern Digital MyBook, je to takova mala krabice na 2 disky a bezi na tom miniaturni Linux. Je to sice peknej krap, ale jine NAS uloziste nemam, ten box jsem dostal darem a dost slozite jsem to uvadel v chod. Problem je ze system je ulozeny na discich, dokonce v bootsectoru je zapsana MAC adresa !!! no reseni za vsechny penize. Resuscitoval jsem to podle tohoto navodu : http://mybookworld.wikidot.com/rescue-procedure pisu to proto abyste mi hned nezacali psat ze delat zalohu pomoci dd je blbost.

No ta obnova byla mozna jen diky ochote nekterych nadsencu poskytnou image - vytvorene pomoci dd - svych zarizeni. Pote co jsem to rozchodil a nakonfigoroval bych si rad udelal vlasni zalohu - takovou u ktere vim jak z ni system obnovit - nez na ten NAS zacnu cpat data. Tedy ty disky jsou zatim temer prazdne.

Takze jsem si ty diska pripojil prez SATA do pocitace a zalohuju to pomoci

sudo dd if=/dev/sdb4 bs=5120b |pv |bzip2 -9 -c > sda4.driveB.bz2

A problem nastal u sda4 disku2. Partition ma nejakych bratru 450GB a ja mam jen 250GB disk takze to musim komprimovat primo on-the-fly

Na ubuntu 10.04. mi pv nejdriv ukazuje slusnych 20-30 MB/s ale jakmile to prekroci prvnich 60-70 GB rychlost spadne na 700kB/s a pak jeste porad trochu klesa. Takhle nebudu hotovy ani za tyden. Masina je Athlon X2 5000+ , 4GB RAM. Mohl bynekdo poradit co s tim ? Uplne by stacilo aby nedoslo k tomu dropu v rychlosti, ale obavam se ze k tomu dojde ve chvili kdy se vycerpa RAM. Dekuju predem K

Odpovědi

[jose17]

mozno vyskusat nejaky menej pamatovo narocny kompresor?

[Karel Mácha]

To uz me taky napadlo. Divny je ze u disku A toho NASu mi to tu 480GB partition sbalilo prez noc, ten soucasny disk ma ale mensi cache - jestli to hraje roli ? Ostatni image mam sbalene pomoci bzip2 - nebylo by pekne mit kazdou udelanou jinak - existuje nejaky moznost dodatcne prevest treba gzip na bzip ?

diky K

[dustin]

nebylo by pekne mit kazdou udelanou jinak

Je to fuk, tak místo bunzip2 napíšeš gunzip.

[Šangala]

Jestli tomu rozumím dobře tak ty disky jsou téměř prázdné, pokud ano, tak je nejdřív vyplňte nulami, buď v tom NASku nebo v PC a pak to zvládne v rozumném čase i bzip, ale klidně pak použijte gzip - soubor bude maličký.

sudo dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4.remove
rm /mnt/sda4.remove

PS: pokud chcete vědět kolik DD přeneslo tak např. v 2. terminálu zadejte

ps -ef | grep dd

čímž zjistíte pid procesu a pak

kill -USR1 pid 

pošlete signal dd-čku aby vypsalo jak je na tom a na „1. terminálu“ se Vám zobrazí stav.

[Šangala]

Aby nedošlo k omylu: /mnt/sda4.remove je soubor na tom vašem zálohovaném disku, který je třeba předem namontovat a po této akci, před vlastním 'dd' odmontovat.
A protože jsem to tupě zkopíroval i ze sudo-em a dopsal bez suda tak to zde ještě upravuji jako celek i s mountem a cestami:

mount /dev/sdb4 /mnt/sda4
dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4/sda4.remove
sync
rm /mnt/sda4/sda4.remove
umount /mnt/sda4

PS: sync jsem doplnil (je tam vhodný, a možná mu to bude chvíli trvat :) )

A pak si již zálohujte jak máte uvedeno - téměř v rychlosti čtení z disku.

[Karel Mácha]

Zdravim

Je tu trochu problem. Ty disky jsou v raidu 0 - strip. Takze se mi /sdb4 nepodarilo jednoduse primountovat. Ten NAS je delany tak ze prvni partition je systemova, druha vi jen cert k cemu, treti SWAP a ctvrta je namountovana do /shares a na ni se hazou data. Problem je ze se na ni hazou taky treba soubory k doinstalovanemu webovemu prohlizeci apod. Tedy ta partition neni zclea prazdna, jen je na ni cca. 100MB dat a zbytek je prazdny. Takze co s tim ? Nabootovat NAS, rozpojit RAID - prehodit vsechny data nekam do zalohy, prepsat partition jednickama, prehodit data zpatky, spojit raid - modlit se ? Ja se hlavne bojim o to nerozstrelit si ten system na tom NASU jinak to budud zase spravovat dva tydny. Je pravda ze na tom disku puvodne byly jina data - mel jsem tento (diskB doma a dokoupil pouze diskA) - takze data se asi fyzicky nesmazaly kdyz jsem delal obnovu. Je nejaka sance prepsat 0/1 pouze ty casti disku kde nejsou data a to tak aby se nerozhodil raid ?

Diky moc za pomoc K

[Petr Šobáň]

A co vám brání zapsat na nas 1 dlouhý soubor plný třeba písmene A, prostě jde o to aby se do prázdných míst zapsala stejná hodnota aby to pak gzip skomprimoval a v prázdných sektorech nebyl balast po smazaných souborech.

[Šangala]

V tom případě bych to nechal v tom NAS stvořil jedno sdílení (export), zjistil kolik je tam místa a přes dd tam nahrnul nuly do souboru o velikosti 90 % místa a smazal jej.
Tzn. dělal bych to dd na sdílené místo (prostě na ten NAS), přes NFS 3 třeba takto:

mount -t nfs ipaddress:/export /mnt/shareNAS/
dd bs=1048576 count=200000 if=/dev/zero of=/mnt/shareNAS/sda4.remove
# # tady případně zopakovat do dalšího souboru na 90% zbytku místa
# dd bs=1048576 count=200 if=/dev/zero of=/mnt/shareNAS/sda4_part2.remove
# sync
# # a smazat
# rm /mnt/shareNAS/sda4_part2.remove
sync
rm /mnt/shareNAS/sda4.remove
umount /mnt/shareNAS/

přičemž pro dd: bs × count = freespace_in_bytes × 0.90 (přibližně)
No apak NAS korektně ukončil, případně odstranil to sdílení (export) a udělal tu fyzickou zálohu.

PS: ten raid by měl jít pravděpodobně sestavit i v PC :)

[Karel Mácha]

To co mi v tom brani je predevsim skutecnost ze sem blbej a nenapadlo me to . Takzejsem ten NAS pripojil , prihlasim se prez SSH - coz je dobra sprava protoze je to znam ze jsem to jeste uplne nedojeb...webove rozhrani chodi ... parada A ted jak, mam ten souboru vytvorit na kazdem disku vlast nebo jak ? Pripominam ze ty disky jsou v RAIDU. Tady mam vypis z fdisk -l Disk /dev/sda: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sda1 4 369 2939895 fd Linux raid autodetect /dev/sda2 370 382 104422+ fd Linux raid autodetect /dev/sda3 383 505 987997+ fd Linux raid autodetect /dev/sda4 506 60801 484327620 fd Linux raid autodetect

Disk /dev/sdb: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sdb1 4 369 2939895 fd Linux raid autodetect /dev/sdb2 370 382 104422+ fd Linux raid autodetect /dev/sdb3 383 505 987997+ fd Linux raid autodetect /dev/sdb4 506 60801 484327620 fd Linux raid autodetect

Tady je jeste mount : /dev/root on / type ext3 (rw,noatime,data=ordered) proc on /proc type proc (rw) devpts on /dev/pts type devpts (rw) sys on /sys type sysfs (rw) /dev/md3 on /var type ext3 (rw,noatime,data=ordered) /dev/md4 on /shares/internal type ext3 (rw,noatime,data=ordered) usbfs on /proc/bus/usb type usbfs (rw)

Jen nechci abych si ten raid rozstrelil. Nebylo by lepsi primo v /shares/internal - to je ta vlastni partition na ukladani dat - vytvorit soubor plny jednicek nebo zapisovat na /dev/md4 ?

diky vsem za pomoc K

[Šangala]

Komu to vadí, že je to v raidu, prostě tam normálně zapište soubor do filesystému, který je na tom raidu.
Myslel jsem, že to tam zapíšete normálně, tak jak to chcete používat jako fileserver.
Pokud si to komplikujete přihlášením se k pravděpodobně velmi očesanému systému, tak odpověď je jasná „Do adresář /shares/internal je namontovaná ta partition, takže prostě tam vytvoříte soubor /shares/internal/smaz ‚nul‘“.
No a nabízí se to udělat i v /var.
Ale pak musíte udělat zálohu obou disků, bo když to tak máte jak píšete dojde ke změnám an obou discích.
PS: Důležité nevyplňujte to jedničkami či něčím jiným podobným, ale nulami ve smyslu bajtu o hodnotě 0, nejlépe z /dev/zero může (nemusí) to být fatální rozdíl.

[Karel Mácha]

Aha, takze jestli to dobre chapu kdyz na diskuB udelam ten soubor plny 0 a pak ho zase smazu tak to RAID vubec neovlivni, ja budu mit "vyzehleny disk" a staci kdyz zazalohuju jen diskB ? Jo a jak spravne zjistim tu "velikost" prazdneho mista ?

[Šangala]

No tak to je asi blbost, ne!? Když přes oba disky máte RAID 0 (strip), to by jste asi k tomu měl už přistupovat jen jako k poli.
Podle výpisu tam máte asi dvě pole md3 a md4 a máte je namountovány do daných adresářů, tak co furt řešíte jeden disk versus druhý disk prostě tam ty filesy do /shares/internal a případně do /var vytvořte a smažte (přihlášený na tom funkčním NAS-ku), tím se vám na většině místa zapíšou nuly a záloha bude relativně malá a relativně rychlá s gzipem (blížící se rychlosti čteni z disku).
PS: To už jsem zapomněl, že by jste to taky mohl dělat z venku přes exportovaný adresář.

[Karel Mácha]

No dyt jo !!! Tak dobre, asi sem ja uplnej pitomec a puvodne sem to blbe pochopil, ale aspon v tom mam jasno. Vyhoda toho ze to spustim primo na tom NASu je ta, ze muzu vypnout velkou masinu a jit chrapat a ten NAS si to proesi sam. Takze si najdu kolik je tam volnyho mista v bytech - bs × count = freespace_in_bytes × 0.90 fajn to uz si spoctu.

No a ted jak zjistit to volny misto - nasel jsem si povel df akorat nevim jak udelat vypis v bytech. V kb mi to vyhodi : Filesystem 1K-blocks Used Available Use% Mounted on rootfs 2893544 249756 2496800 10% / /dev/root 2893544 249756 2496800 10% / /dev/md3 972344 155220 767732 17% /var /dev/md4 953454724 134832 953319892 1% /shares/internal Staci vzit ten udaj v kb, vydelit 1024 a zaokrouhlit dolu ?

[Karel Mácha]

Mam ny mysli vynasobit 1024 ... uz dneska blbnu