abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 21:32 | Nasazení Linuxu

Canonical představuje nejnovější verzi chytré helmy DAQRI s Ubuntu pro rozšířenou realitu. K vidění bude příští týden v Barceloně na veletrhu Mobile World Congress 2017.

Ladislav Hagara | Komentářů: 0
včera 21:31 | Pozvánky

Pro zájemce o hlubší znalosti fungování operačních systémů připravila MFF UK nový předmět Pokročilé operační systémy, v rámci něhož se vystřídají přednášející nejen z řad pracovníků fakulty, ale dorazí také odborníci ze společností AVAST, Oracle, Red Hat a SUSE. Tento předmět volně navazuje na kurz Operační systémy ze zimního semestru, ale pokud máte praktické zkušenosti odjinud (například z přispívání do jádra Linuxu) a chcete si

… více »
Martin Děcký | Komentářů: 0
včera 21:30 | Pozvánky

Czech JBoss User Group Vás srdečně zve na setkání JBUG v Brně, které se koná ve středu 1. března 2017 v prostorách Fakulty Informatiky Masarykovy Univerzity v místnosti A318 od 18:00. Přednáší Tomáš Remeš a Matěj Novotný na téma CDI 2.0 - New and Noteworthy. Více informací na Facebooku a na Twitteru #jbugcz.

mjedlick | Komentářů: 0
20.2. 23:45 | Zajímavý software

Na blogu Qt bylo představeno Qt 3D Studio. Jedná se o produkt dosud známý pod názvem NVIDIA DRIVE™ Design Studio. NVIDIA jej věnovala Qt. Jedná se o několik set tisíc řádků zdrojového kódu. Qt 3D Studio bude stejně jako Qt k dispozici jak pod open source, tak pod komerční licencí. Ukázka práce s Qt 3D Studiem na YouTube.

Ladislav Hagara | Komentářů: 10
20.2. 17:50 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice slaví 5 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně byla založena ale až 17. února 2012.

Ladislav Hagara | Komentářů: 0
20.2. 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 31
20.2. 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 22
19.2. 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 18
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 34
17.2. 15:30 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že bezpečnostní experti objevili nový typ malwaru, jenž cílí na open source e-commerce platformu Magento. Malware je zajímavý tím, že se jedná o první svého druhu, jehož kód zůstává skrytý v SQL databázi zasaženého e-shopu. Škodlivý kód je volán pomocí tzv. SQL trigerru, který je spouštěn při každém vytvoření objednávky v systému.

Ladislav Hagara | Komentářů: 6
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 679 hlasů
 Komentářů: 61, poslední včera 13:06
Rozcestník

Dotaz: zaloha disku dd + bzip2 - problem s rychlosti

21.10.2010 22:39 Karel Mácha
zaloha disku dd + bzip2 - problem s rychlosti
Přečteno: 595×
Zdravim Resuscitoval jsem NAS Wedtern Digital MyBook, je to takova mala krabice na 2 disky a bezi na tom miniaturni Linux. Je to sice peknej krap, ale jine NAS uloziste nemam, ten box jsem dostal darem a dost slozite jsem to uvadel v chod. Problem je ze system je ulozeny na discich, dokonce v bootsectoru je zapsana MAC adresa !!! no reseni za vsechny penize. Resuscitoval jsem to podle tohoto navodu : http://mybookworld.wikidot.com/rescue-procedure pisu to proto abyste mi hned nezacali psat ze delat zalohu pomoci dd je blbost.

No ta obnova byla mozna jen diky ochote nekterych nadsencu poskytnou image - vytvorene pomoci dd - svych zarizeni. Pote co jsem to rozchodil a nakonfigoroval bych si rad udelal vlasni zalohu - takovou u ktere vim jak z ni system obnovit - nez na ten NAS zacnu cpat data. Tedy ty disky jsou zatim temer prazdne.

Takze jsem si ty diska pripojil prez SATA do pocitace a zalohuju to pomoci

sudo dd if=/dev/sdb4 bs=5120b |pv |bzip2 -9 -c > sda4.driveB.bz2

A problem nastal u sda4 disku2. Partition ma nejakych bratru 450GB a ja mam jen 250GB disk takze to musim komprimovat primo on-the-fly

Na ubuntu 10.04. mi pv nejdriv ukazuje slusnych 20-30 MB/s ale jakmile to prekroci prvnich 60-70 GB rychlost spadne na 700kB/s a pak jeste porad trochu klesa. Takhle nebudu hotovy ani za tyden. Masina je Athlon X2 5000+ , 4GB RAM. Mohl bynekdo poradit co s tim ? Uplne by stacilo aby nedoslo k tomu dropu v rychlosti, ale obavam se ze k tomu dojde ve chvili kdy se vycerpa RAM. Dekuju predem K

Odpovědi

jose17 avatar 22.10.2010 00:50 jose17 | skóre: 43 | blog: Joseho_blog | Košice/Nové Mesto nad Váhom
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
mozno vyskusat nejaky menej pamatovo narocny kompresor?
Ja vim, on vi, ty nano!
22.10.2010 10:30 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
To uz me taky napadlo. Divny je ze u disku A toho NASu mi to tu 480GB partition sbalilo prez noc, ten soucasny disk ma ale mensi cache - jestli to hraje roli ? Ostatni image mam sbalene pomoci bzip2 - nebylo by pekne mit kazdou udelanou jinak - existuje nejaky moznost dodatcne prevest treba gzip na bzip ?

diky K
22.10.2010 12:57 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
nebylo by pekne mit kazdou udelanou jinak
Je to fuk, tak místo bunzip2 napíšeš gunzip.
22.10.2010 09:47 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Jestli tomu rozumím dobře tak ty disky jsou téměř prázdné, pokud ano, tak je nejdřív vyplňte nulami, buď v tom NASku nebo v PC a pak to zvládne v rozumném čase i bzip, ale klidně pak použijte gzip - soubor bude maličký.
sudo dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4.remove
rm /mnt/sda4.remove
PS: pokud chcete vědět kolik DD přeneslo tak např. v 2. terminálu zadejte
ps -ef | grep dd
čímž zjistíte pid procesu a pak
kill -USR1 pid 
pošlete signal dd-čku aby vypsalo jak je na tom a na „1. terminálu“ se Vám zobrazí stav.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 10:00 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Aby nedošlo k omylu: /mnt/sda4.remove je soubor na tom vašem zálohovaném disku, který je třeba předem namontovat a po této akci, před vlastním 'dd' odmontovat.
A protože jsem to tupě zkopíroval i ze sudo-em a dopsal bez suda tak to zde ještě upravuji jako celek i s mountem a cestami:
mount /dev/sdb4 /mnt/sda4
dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4/sda4.remove
sync
rm /mnt/sda4/sda4.remove
umount /mnt/sda4
PS: sync jsem doplnil (je tam vhodný, a možná mu to bude chvíli trvat :) )

A pak si již zálohujte jak máte uvedeno - téměř v rychlosti čtení z disku.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 10:40 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Zdravim

Je tu trochu problem. Ty disky jsou v raidu 0 - strip. Takze se mi /sdb4 nepodarilo jednoduse primountovat. Ten NAS je delany tak ze prvni partition je systemova, druha vi jen cert k cemu, treti SWAP a ctvrta je namountovana do /shares a na ni se hazou data. Problem je ze se na ni hazou taky treba soubory k doinstalovanemu webovemu prohlizeci apod. Tedy ta partition neni zclea prazdna, jen je na ni cca. 100MB dat a zbytek je prazdny. Takze co s tim ? Nabootovat NAS, rozpojit RAID - prehodit vsechny data nekam do zalohy, prepsat partition jednickama, prehodit data zpatky, spojit raid - modlit se ? Ja se hlavne bojim o to nerozstrelit si ten system na tom NASU jinak to budud zase spravovat dva tydny. Je pravda ze na tom disku puvodne byly jina data - mel jsem tento (diskB doma a dokoupil pouze diskA) - takze data se asi fyzicky nesmazaly kdyz jsem delal obnovu. Je nejaka sance prepsat 0/1 pouze ty casti disku kde nejsou data a to tak aby se nerozhodil raid ?

Diky moc za pomoc K
22.10.2010 11:56 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
A co vám brání zapsat na nas 1 dlouhý soubor plný třeba písmene A, prostě jde o to aby se do prázdných míst zapsala stejná hodnota aby to pak gzip skomprimoval a v prázdných sektorech nebyl balast po smazaných souborech.

22.10.2010 12:04 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
V tom případě bych to nechal v tom NAS stvořil jedno sdílení (export), zjistil kolik je tam místa a přes dd tam nahrnul nuly do souboru o velikosti 90 % místa a smazal jej.
Tzn. dělal bych to dd na sdílené místo (prostě na ten NAS), přes NFS 3 třeba takto:
mount -t nfs ipaddress:/export /mnt/shareNAS/
dd bs=1048576 count=200000 if=/dev/zero of=/mnt/shareNAS/sda4.remove
# # tady případně zopakovat do dalšího souboru na 90% zbytku místa
# dd bs=1048576 count=200 if=/dev/zero of=/mnt/shareNAS/sda4_part2.remove
# sync
# # a smazat
# rm /mnt/shareNAS/sda4_part2.remove
sync
rm /mnt/shareNAS/sda4.remove
umount /mnt/shareNAS/
přičemž pro dd: bs × count = freespace_in_bytes × 0.90 (přibližně)
No apak NAS korektně ukončil, případně odstranil to sdílení (export) a udělal tu fyzickou zálohu.

PS: ten raid by měl jít pravděpodobně sestavit i v PC :)
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 13:58 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
To co mi v tom brani je predevsim skutecnost ze sem blbej a nenapadlo me to :-) . Takzejsem ten NAS pripojil , prihlasim se prez SSH - coz je dobra sprava protoze je to znam ze jsem to jeste uplne nedojeb...webove rozhrani chodi ... parada A ted jak, mam ten souboru vytvorit na kazdem disku vlast nebo jak ? Pripominam ze ty disky jsou v RAIDU. Tady mam vypis z fdisk -l Disk /dev/sda: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sda1 4 369 2939895 fd Linux raid autodetect /dev/sda2 370 382 104422+ fd Linux raid autodetect /dev/sda3 383 505 987997+ fd Linux raid autodetect /dev/sda4 506 60801 484327620 fd Linux raid autodetect

Disk /dev/sdb: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sdb1 4 369 2939895 fd Linux raid autodetect /dev/sdb2 370 382 104422+ fd Linux raid autodetect /dev/sdb3 383 505 987997+ fd Linux raid autodetect /dev/sdb4 506 60801 484327620 fd Linux raid autodetect

Tady je jeste mount : /dev/root on / type ext3 (rw,noatime,data=ordered) proc on /proc type proc (rw) devpts on /dev/pts type devpts (rw) sys on /sys type sysfs (rw) /dev/md3 on /var type ext3 (rw,noatime,data=ordered) /dev/md4 on /shares/internal type ext3 (rw,noatime,data=ordered) usbfs on /proc/bus/usb type usbfs (rw)

Jen nechci abych si ten raid rozstrelil. Nebylo by lepsi primo v /shares/internal - to je ta vlastni partition na ukladani dat - vytvorit soubor plny jednicek nebo zapisovat na /dev/md4 ?

diky vsem za pomoc K
22.10.2010 17:24 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Komu to vadí, že je to v raidu, prostě tam normálně zapište soubor do filesystému, který je na tom raidu.
Myslel jsem, že to tam zapíšete normálně, tak jak to chcete používat jako fileserver.
Pokud si to komplikujete přihlášením se k pravděpodobně velmi očesanému systému, tak odpověď je jasná „Do adresář /shares/internal je namontovaná ta partition, takže prostě tam vytvoříte soubor /shares/internal/smaz ‚nul‘“.
No a nabízí se to udělat i v /var.
Ale pak musíte udělat zálohu obou disků, bo když to tak máte jak píšete dojde ke změnám an obou discích.
PS: Důležité nevyplňujte to jedničkami či něčím jiným podobným, ale nulami ve smyslu bajtu o hodnotě 0, nejlépe z /dev/zero může (nemusí) to být fatální rozdíl.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 18:32 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Aha, takze jestli to dobre chapu kdyz na diskuB udelam ten soubor plny 0 a pak ho zase smazu tak to RAID vubec neovlivni, ja budu mit "vyzehleny disk" a staci kdyz zazalohuju jen diskB ? Jo a jak spravne zjistim tu "velikost" prazdneho mista ?
22.10.2010 21:15 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
No tak to je asi blbost, ne!? Když přes oba disky máte RAID 0 (strip), to by jste asi k tomu měl už přistupovat jen jako k poli.
Podle výpisu tam máte asi dvě pole md3 a md4 a máte je namountovány do daných adresářů, tak co furt řešíte jeden disk versus druhý disk prostě tam ty filesy do /shares/internal a případně do /var vytvořte a smažte (přihlášený na tom funkčním NAS-ku), tím se vám na většině místa zapíšou nuly a záloha bude relativně malá a relativně rychlá s gzipem (blížící se rychlosti čteni z disku).
PS: To už jsem zapomněl, že by jste to taky mohl dělat z venku přes exportovaný adresář.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 21:43 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
No dyt jo !!! Tak dobre, asi sem ja uplnej pitomec a puvodne sem to blbe pochopil, ale aspon v tom mam jasno. Vyhoda toho ze to spustim primo na tom NASu je ta, ze muzu vypnout velkou masinu a jit chrapat a ten NAS si to proesi sam. Takze si najdu kolik je tam volnyho mista v bytech - bs × count = freespace_in_bytes × 0.90 fajn to uz si spoctu.

No a ted jak zjistit to volny misto - nasel jsem si povel df akorat nevim jak udelat vypis v bytech. V kb mi to vyhodi : Filesystem 1K-blocks Used Available Use% Mounted on rootfs 2893544 249756 2496800 10% / /dev/root 2893544 249756 2496800 10% / /dev/md3 972344 155220 767732 17% /var /dev/md4 953454724 134832 953319892 1% /shares/internal Staci vzit ten udaj v kb, vydelit 1024 a zaokrouhlit dolu ?
23.10.2010 00:19 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Mam ny mysli vynasobit 1024 ... uz dneska blbnu

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.