abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 0
dnes 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
včera 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 14
včera 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 8
včera 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 2
včera 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
včera 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 0
včera 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
1.12. 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
1.12. 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 767 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: zaloha disku dd + bzip2 - problem s rychlosti

21.10.2010 22:39 Karel Mácha
zaloha disku dd + bzip2 - problem s rychlosti
Přečteno: 583×
Zdravim Resuscitoval jsem NAS Wedtern Digital MyBook, je to takova mala krabice na 2 disky a bezi na tom miniaturni Linux. Je to sice peknej krap, ale jine NAS uloziste nemam, ten box jsem dostal darem a dost slozite jsem to uvadel v chod. Problem je ze system je ulozeny na discich, dokonce v bootsectoru je zapsana MAC adresa !!! no reseni za vsechny penize. Resuscitoval jsem to podle tohoto navodu : http://mybookworld.wikidot.com/rescue-procedure pisu to proto abyste mi hned nezacali psat ze delat zalohu pomoci dd je blbost.

No ta obnova byla mozna jen diky ochote nekterych nadsencu poskytnou image - vytvorene pomoci dd - svych zarizeni. Pote co jsem to rozchodil a nakonfigoroval bych si rad udelal vlasni zalohu - takovou u ktere vim jak z ni system obnovit - nez na ten NAS zacnu cpat data. Tedy ty disky jsou zatim temer prazdne.

Takze jsem si ty diska pripojil prez SATA do pocitace a zalohuju to pomoci

sudo dd if=/dev/sdb4 bs=5120b |pv |bzip2 -9 -c > sda4.driveB.bz2

A problem nastal u sda4 disku2. Partition ma nejakych bratru 450GB a ja mam jen 250GB disk takze to musim komprimovat primo on-the-fly

Na ubuntu 10.04. mi pv nejdriv ukazuje slusnych 20-30 MB/s ale jakmile to prekroci prvnich 60-70 GB rychlost spadne na 700kB/s a pak jeste porad trochu klesa. Takhle nebudu hotovy ani za tyden. Masina je Athlon X2 5000+ , 4GB RAM. Mohl bynekdo poradit co s tim ? Uplne by stacilo aby nedoslo k tomu dropu v rychlosti, ale obavam se ze k tomu dojde ve chvili kdy se vycerpa RAM. Dekuju predem K

Odpovědi

jose17 avatar 22.10.2010 00:50 jose17 | skóre: 43 | blog: Joseho_blog | Košice/Nové Mesto nad Váhom
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
mozno vyskusat nejaky menej pamatovo narocny kompresor?
Ja vim, on vi, ty nano!
22.10.2010 10:30 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
To uz me taky napadlo. Divny je ze u disku A toho NASu mi to tu 480GB partition sbalilo prez noc, ten soucasny disk ma ale mensi cache - jestli to hraje roli ? Ostatni image mam sbalene pomoci bzip2 - nebylo by pekne mit kazdou udelanou jinak - existuje nejaky moznost dodatcne prevest treba gzip na bzip ?

diky K
22.10.2010 12:57 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
nebylo by pekne mit kazdou udelanou jinak
Je to fuk, tak místo bunzip2 napíšeš gunzip.
22.10.2010 09:47 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Jestli tomu rozumím dobře tak ty disky jsou téměř prázdné, pokud ano, tak je nejdřív vyplňte nulami, buď v tom NASku nebo v PC a pak to zvládne v rozumném čase i bzip, ale klidně pak použijte gzip - soubor bude maličký.
sudo dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4.remove
rm /mnt/sda4.remove
PS: pokud chcete vědět kolik DD přeneslo tak např. v 2. terminálu zadejte
ps -ef | grep dd
čímž zjistíte pid procesu a pak
kill -USR1 pid 
pošlete signal dd-čku aby vypsalo jak je na tom a na „1. terminálu“ se Vám zobrazí stav.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 10:00 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Aby nedošlo k omylu: /mnt/sda4.remove je soubor na tom vašem zálohovaném disku, který je třeba předem namontovat a po této akci, před vlastním 'dd' odmontovat.
A protože jsem to tupě zkopíroval i ze sudo-em a dopsal bez suda tak to zde ještě upravuji jako celek i s mountem a cestami:
mount /dev/sdb4 /mnt/sda4
dd bs=1048576 count=490000 if=/dev/zero of=/mnt/sda4/sda4.remove
sync
rm /mnt/sda4/sda4.remove
umount /mnt/sda4
PS: sync jsem doplnil (je tam vhodný, a možná mu to bude chvíli trvat :) )

A pak si již zálohujte jak máte uvedeno - téměř v rychlosti čtení z disku.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 10:40 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Zdravim

Je tu trochu problem. Ty disky jsou v raidu 0 - strip. Takze se mi /sdb4 nepodarilo jednoduse primountovat. Ten NAS je delany tak ze prvni partition je systemova, druha vi jen cert k cemu, treti SWAP a ctvrta je namountovana do /shares a na ni se hazou data. Problem je ze se na ni hazou taky treba soubory k doinstalovanemu webovemu prohlizeci apod. Tedy ta partition neni zclea prazdna, jen je na ni cca. 100MB dat a zbytek je prazdny. Takze co s tim ? Nabootovat NAS, rozpojit RAID - prehodit vsechny data nekam do zalohy, prepsat partition jednickama, prehodit data zpatky, spojit raid - modlit se ? Ja se hlavne bojim o to nerozstrelit si ten system na tom NASU jinak to budud zase spravovat dva tydny. Je pravda ze na tom disku puvodne byly jina data - mel jsem tento (diskB doma a dokoupil pouze diskA) - takze data se asi fyzicky nesmazaly kdyz jsem delal obnovu. Je nejaka sance prepsat 0/1 pouze ty casti disku kde nejsou data a to tak aby se nerozhodil raid ?

Diky moc za pomoc K
22.10.2010 11:56 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
A co vám brání zapsat na nas 1 dlouhý soubor plný třeba písmene A, prostě jde o to aby se do prázdných míst zapsala stejná hodnota aby to pak gzip skomprimoval a v prázdných sektorech nebyl balast po smazaných souborech.

22.10.2010 12:04 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
V tom případě bych to nechal v tom NAS stvořil jedno sdílení (export), zjistil kolik je tam místa a přes dd tam nahrnul nuly do souboru o velikosti 90 % místa a smazal jej.
Tzn. dělal bych to dd na sdílené místo (prostě na ten NAS), přes NFS 3 třeba takto:
mount -t nfs ipaddress:/export /mnt/shareNAS/
dd bs=1048576 count=200000 if=/dev/zero of=/mnt/shareNAS/sda4.remove
# # tady případně zopakovat do dalšího souboru na 90% zbytku místa
# dd bs=1048576 count=200 if=/dev/zero of=/mnt/shareNAS/sda4_part2.remove
# sync
# # a smazat
# rm /mnt/shareNAS/sda4_part2.remove
sync
rm /mnt/shareNAS/sda4.remove
umount /mnt/shareNAS/
přičemž pro dd: bs × count = freespace_in_bytes × 0.90 (přibližně)
No apak NAS korektně ukončil, případně odstranil to sdílení (export) a udělal tu fyzickou zálohu.

PS: ten raid by měl jít pravděpodobně sestavit i v PC :)
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 13:58 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
To co mi v tom brani je predevsim skutecnost ze sem blbej a nenapadlo me to :-) . Takzejsem ten NAS pripojil , prihlasim se prez SSH - coz je dobra sprava protoze je to znam ze jsem to jeste uplne nedojeb...webove rozhrani chodi ... parada A ted jak, mam ten souboru vytvorit na kazdem disku vlast nebo jak ? Pripominam ze ty disky jsou v RAIDU. Tady mam vypis z fdisk -l Disk /dev/sda: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sda1 4 369 2939895 fd Linux raid autodetect /dev/sda2 370 382 104422+ fd Linux raid autodetect /dev/sda3 383 505 987997+ fd Linux raid autodetect /dev/sda4 506 60801 484327620 fd Linux raid autodetect

Disk /dev/sdb: 500.1 GB, 500107862016 bytes 255 heads, 63 sectors/track, 60801 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sdb1 4 369 2939895 fd Linux raid autodetect /dev/sdb2 370 382 104422+ fd Linux raid autodetect /dev/sdb3 383 505 987997+ fd Linux raid autodetect /dev/sdb4 506 60801 484327620 fd Linux raid autodetect

Tady je jeste mount : /dev/root on / type ext3 (rw,noatime,data=ordered) proc on /proc type proc (rw) devpts on /dev/pts type devpts (rw) sys on /sys type sysfs (rw) /dev/md3 on /var type ext3 (rw,noatime,data=ordered) /dev/md4 on /shares/internal type ext3 (rw,noatime,data=ordered) usbfs on /proc/bus/usb type usbfs (rw)

Jen nechci abych si ten raid rozstrelil. Nebylo by lepsi primo v /shares/internal - to je ta vlastni partition na ukladani dat - vytvorit soubor plny jednicek nebo zapisovat na /dev/md4 ?

diky vsem za pomoc K
22.10.2010 17:24 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Komu to vadí, že je to v raidu, prostě tam normálně zapište soubor do filesystému, který je na tom raidu.
Myslel jsem, že to tam zapíšete normálně, tak jak to chcete používat jako fileserver.
Pokud si to komplikujete přihlášením se k pravděpodobně velmi očesanému systému, tak odpověď je jasná „Do adresář /shares/internal je namontovaná ta partition, takže prostě tam vytvoříte soubor /shares/internal/smaz ‚nul‘“.
No a nabízí se to udělat i v /var.
Ale pak musíte udělat zálohu obou disků, bo když to tak máte jak píšete dojde ke změnám an obou discích.
PS: Důležité nevyplňujte to jedničkami či něčím jiným podobným, ale nulami ve smyslu bajtu o hodnotě 0, nejlépe z /dev/zero může (nemusí) to být fatální rozdíl.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 18:32 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Aha, takze jestli to dobre chapu kdyz na diskuB udelam ten soubor plny 0 a pak ho zase smazu tak to RAID vubec neovlivni, ja budu mit "vyzehleny disk" a staci kdyz zazalohuju jen diskB ? Jo a jak spravne zjistim tu "velikost" prazdneho mista ?
22.10.2010 21:15 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
No tak to je asi blbost, ne!? Když přes oba disky máte RAID 0 (strip), to by jste asi k tomu měl už přistupovat jen jako k poli.
Podle výpisu tam máte asi dvě pole md3 a md4 a máte je namountovány do daných adresářů, tak co furt řešíte jeden disk versus druhý disk prostě tam ty filesy do /shares/internal a případně do /var vytvořte a smažte (přihlášený na tom funkčním NAS-ku), tím se vám na většině místa zapíšou nuly a záloha bude relativně malá a relativně rychlá s gzipem (blížící se rychlosti čteni z disku).
PS: To už jsem zapomněl, že by jste to taky mohl dělat z venku přes exportovaný adresář.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
22.10.2010 21:43 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
No dyt jo !!! Tak dobre, asi sem ja uplnej pitomec a puvodne sem to blbe pochopil, ale aspon v tom mam jasno. Vyhoda toho ze to spustim primo na tom NASu je ta, ze muzu vypnout velkou masinu a jit chrapat a ten NAS si to proesi sam. Takze si najdu kolik je tam volnyho mista v bytech - bs × count = freespace_in_bytes × 0.90 fajn to uz si spoctu.

No a ted jak zjistit to volny misto - nasel jsem si povel df akorat nevim jak udelat vypis v bytech. V kb mi to vyhodi : Filesystem 1K-blocks Used Available Use% Mounted on rootfs 2893544 249756 2496800 10% / /dev/root 2893544 249756 2496800 10% / /dev/md3 972344 155220 767732 17% /var /dev/md4 953454724 134832 953319892 1% /shares/internal Staci vzit ten udaj v kb, vydelit 1024 a zaokrouhlit dolu ?
23.10.2010 00:19 Karel Mácha
Rozbalit Rozbalit vše Re: zaloha disku dd + bzip2 - problem s rychlosti
Mam ny mysli vynasobit 1024 ... uz dneska blbnu

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.