Dotaz: full zaloha sd karty

[jany2]

Ako riesite zallohu sd karty (napr. mam na sd karte raspbian a chcem komplet zalohu). Zatial som to este neskusal, ale moznosti su cez dd mozno trocha zdlhave a velky vysledny subor (mam 16 GB sd kartu)

sudo dd bs=4M if=/dev/sdd of=raspbian.img

alebo potom nejak cez windows pomocou win 32 disk imager. Co odporucate, co je vyhodnejsie, alebo su nejake lepsie alternativy ?

Odpovědi

[Jendа]

Záleží, co s tím chceš dělat. Já buď kopíruju jenom soubory (zrovna u RPi je to triviální, stačí na začátku mít VFAT s bootloaderem a potom ext4 s / nebo cokoli jak to člověk chce), nebo do image pomocí fallocate -d vyrazím díry a zpátky to pak kopíruju bpamtoolem, takže se zapisují jenom použité části.

[trubicoid2]

můžeš ten postup se sprase image nějak rozvést, prosím?

asi namountovat image, zapsat velký soubor z /dev/zero, pak použít ten fallocate -d na image, ale ten bpamtool to jsem nenašel

[Jendа]

asi namountovat image, zapsat velký soubor z /dev/zero

Ne. Proč? fallocate rozumí struktuře souborových systémů a udělá to správně.

Zkopíruješ image na disk a uděláš fallocate -vd soubor.img. V du na ten soubor hned uvidíš, že se zmenšil. Jak se používá bmaptool si nepamatuju, v poznámkách mám

bmaptool create -o file.bmap image.bin

a pak se to _nějak_ zapsalo na nové zařízení.

[Trubicoid2]

Ten fallocate je tak chytrej? To se hodí. Pozná i třeba, že v image jsou dvě partice a dva fs?

A _nějak_ zapsat to je jak? dd asi ne, nebo?

[Jendа]

Pozná i třeba, že v image jsou dvě partice a dva fs?

Ano.

Mimochodem také se to dá používat na image virtuálních strojů (je-li to raw image; VMDK a QCOW si to řeší nějak samy). Díky tomu pak nezabírají tolik místa.

A _nějak_ zapsat to je jak? dd asi ne, nebo?

Ne, tomu bmaptoolu se předhodí to vygenerované XML. Zdá se, že jsem to dělal takhle: bmaptool copy raspy.img /dev/sdb.

[trubicoid2]

diky, zkusim

[trubicoid2]

tak jsem zkousel ten fallocate a on nepozna fs ani partice ani smazane soubory, jen proste najde v souboru nuly a ty prevede na sparse

postup:

takze vezmu trebas image od maliny, fallocate -d zmensi du, to jo, protoze tam uz jsou nuly

manountuju image, smazu kuprikladu cely /usr, odmountuju, udelam znova fallocate a o moc se to nezmeni

namountuju znova, udelam dd if=/dev/zero of=bigfile, sync, smazu ho, odmountuju a fallocate -d zmensi image o hodne

zaver: trik s dd /dev/zero nelze preskocit, i kdyz by to bylo pekne

[trubicoid2]

tak jeste oprava, kdyz smazu /usr a zaroven pak udelam fstrim -va, tak po odmountovani fallocate -d soubor zmensi podle ocekavani

zaver2: bud trik s dd /dev/zero nebo volat fstrim -a

[praseimage]

no jó : prase image,to jsem potřeboval

[Trubicoid2]

:)

[Josef Kufner]

Ten příkaz s dd máš správně a ano, bude to chvíli trvat a bude to mít 16GB.

Pokud chceš zmenšit výsledný soubor, můžeš ho komprimovat. Napřed na SD kartě vyrob co největší soubor plný nul:

cat /dev/zero >/media/sdkarta/soubor ; rm /media/sdkarta/soubor

Potom použij dd, ale místo of= ho nech sypat na standardní výstup. Ten pak komprimuj a zapiš do souboru:

dd if=/dev/sdd bs=4M | xz -z -c >raspbian.img.xz

Takto ten image rovnou komprimuješ bez dočasného souboru. Trik je v tom, že ten soubor s nulama se dobře komprimuje a tak by to teoreticky mělo být výrazně menší. Pokud nuly neuděláš (a zařízení neumí/nepoužívá trim), tak budeš ukládat i data v nepoužívaných blocích, která tam zbyla po smazaných souborech.

[trubicoid2]

je ještě nějaké výhoda v bs=4M oproti 1M?

a i když zařízení používá trim, tak dd bude číst i data v nepoužitých blocích, tedy nebudou tam nuly, ne? asi to budu muset zkusit

[Josef Kufner]

je ještě nějaké výhoda v bs=4M oproti 1M?

Možná to bude trošku rychlejší.

a i když zařízení používá trim, tak dd bude číst i data v nepoužitých blocích, tedy nebudou tam nuly, ne? asi to budu muset zkusit

Pokud se používá trim, tak nepoužité bloky nejsou uloženy a zařízení vrátí nuly (nebo něco podobného).

[Trubicoid2]

Tak jsem se na to koukal, ale nelze se spolehnout na to, že disk po trimu vrátí nuly. Ve skutečnosti jsou tři možnosti: nuly, pokaždé něco jinýho, pokaždé stejná data: https://en.wikipedia.org/wiki/Trim_(computing)#ATA

[Jendа]

Můj disk po trimu pořád vrací původní data a nuly začne vracet až když se do jiných míst zapíše pár desítek giga.

[Josef Kufner]

Tak mu řekni, ať si tam uklidí (fstrim)

[Jendа]

fstrim a blkdiscard právě pošlou ten trim. A já tam furt vidím původní data a až časem začnou postupně „mizet“ (Kingston V300)

[Petr Šobáň]

Ale to je správně.....

Sektor je označen jako prázdný tak při čtení se přečtou data co tam jsou (čili původní) a SSD umí mazat pouze po blocích, takže když se bude přepisovat vedlejší sektor, tak se musí ty data všechny přečíst, vymazat blok, a zapsat data spět a samozřejmě je blbost zapisovat data která jsou smazaná takže tam od teď zůstanou nuly a čtení vrátí nuly.

A tím se ty buňky šetří....

Na HDD je to to stejné, pokud fyzický sektor neodpovídá logickému sektoru, pouze se tam zapisuje spět i ty sektory co jsou prázdné protože tam to omezení není...

[trubicoid2]

no ale i tak řadič ví, že to bylo trimováno a mohl by rychle na dotaz vrátit nuly bez čtení těch buněk

ale to by asi musel být moc chytrej, takže to není často implementováno

viz. jak jsem již odkazoval wikipedii DRAT/RZAT

Jenda bude mít:

hdparm -I /dev/sda | grep -i TRIM

* Data Set Management TRIM supported (limit 1 block)

* Deterministic read data after TRIM

aby to vracelo nuly, tak by bylo potřeba RZAT, ale moc bych tomu obecně nevěřil :)

[Sten]

Oboje (dd i disk imager) vygeneruje totožný soubor velmi podobným způsobem, takže mezi nimi prakticky žádný rozdíl není.

Lze použít třeba partclone, který přeskočí všechno nepoužívané místo, takže to u málo zaplněné karty zkopíruje velmi rychle a umí to poté obnovit i na jinak velký oddíl, ale protože to dělá po oddílech, tak neumí obnovit třeba tabulku rozdělení disku (MBR). Tu by pak bylo potřeba znovu vytvořit (obzvlášť pokud by ta SD karta byla jinak velká).

Neuvádíte důvod, proč potřebujete plnou zálohu, takže uvedu ještě další možnosti. Raspbian si můžete stáhnout a znovu nainstalovat kdykoliv později, takže samotný systém není nutné zálohovat. Pro zálohování systémového nastavení lze použít třeba etckeeper, který veškeré změny nastavení commituje do Gitu (takže navíc máte plnou historii změn), který můžete pravidelně synchronizovat na jiný stroj, klidně i automaticky. Pokud tam máte nějaká uživatelská data, tak je můžete zálohovat přímo z Raspbianu, třeba jednou za čas pomocí rdiff-backup nebo kontinuálně pomocí NextCloudu. Nebo třeba můžete mít data na diskovém poli připojeném přes NFS, takže vůbec nebudou uložená na RPi. Přes síť můžete mít klidně i celý systém a na SD kartě jen firmware, který umí bootovat přes PXE (třeba UBoot).

[Jendа]

Raspbian si můžete stáhnout a znovu nainstalovat kdykoliv později

Já tam vždycky dělám časově náročný krok kdy přeinstalovávám jejich armhf balíčky skutečnými armhf balíčky z Debianu (a teď teda dist-upgrade na stretch), protože jejich armhf neumí ARMv7, Neon a tak. Takže z toho se hodí udělat zálohu…

[Sten]

Není tedy vhodné rovnou instalovat Debian? Raspbian je přizpůsobený pro Raspberry Pi, které má ARMv6

[Jendа]

Lépe:

Raspbian je přizpůsobený pro Raspberry Pi 1, které má ARMv6

A nechtělo se mi s tím laborovat (+ raspi-config, ty GPIO věci a kdo ví co dalšího)

[jany2]

Mam len jednu sd kartu na ktorej je nainstalovany raspbian + nainstalovany veskery dalsi soft a je to celkom nastavene a vyladene.

Teraz si chcem vysksat noobs, preto potrebujem plnu zalohu sd karty aby som po testoch s noobs mohol vratit system do takeho stavu ako bol pred tym na sd karte (nechcem ziadne problemy :) )

[JMP]

není jednodušší koupit další kartu a jednoduše je prohazovat?

[jany2]

Robit pokusy ma napadlo dnes, ked mam chvilu volno a ano urcite si kupim aspon 2 dalsie karty, ale momentalne ich nemam, tak preto chcem zalohovat

[praseimage]

Viď,absolutně jsem nepochopil,co tady řeší za nesmysly.Jenže smysl života skalních linuxáků je: jsem IT a tak musím dělat vše co nejsložitěji a nutit to linuxákům amatérům. Já používám Linux (Mint) pátým rokem,terminál v podstatě nepotřebuji,do dnes neumím používat tar.xx a vše mi funguje jak potřebuji : Wi-Fi,Bluetooth,LAN,video a audio přehrávače & nahrávače,snímky obrazovkys,stahování,upravy foto & audio,atd..

[k3dAR]

a zalohu sd karty z raspberry delas jak Nupaci? ;) a jeste jedna mejlka, zatimco ty mas pocit ze nekdo neco ostatnim cpe o terminalu, tak ve skutecnosti ty neustale cpes ostatnim ze pouzivas Mint a ze toho moc neumis ;)

Náš administrátor shledal tento komentář závadným.

trolling

Zobrazit komentář

[k3dAR]

ja nepsal ze bys to vlakno zakladal, ja reagoval na tvuj dementne irelevantni prispevek, jestli ses tak blbej ze si myslis ze kritizovat neexistujici cpani u problemu kterej ty neresis, nevis jak resit a nepotrebujes resit a misto toho cpes ostatnim svoje kecy tak si strc hlavu pod studenou vodu...

[Josef Kufner]

Takže si udělej plný image karty pomocí dd, abys měl zálohu, a pak utíkej pro druhou SD kartu, neboť ta první ti dříve či později odejde a pak budeš mlátit hlavou o zeď. Navíc to kopírovaní chvíli trvá, takže je opravdu lepší mít ty karty aspoň dvě. Klidně si kup dvě nebo tři jen 8GB karty – začínají na 120 Kč a ušetří ti to kopec času.

[Petr Šobáň]

Jak píší pořiď minimálně 3 karty, jednu používáš na druhé budeš mít kopii a třetí na pokusy.

Protože pokud ji používáš v RW režimu jednou skolabuje.

Jinak já to používám v RO režimu pouze semtam přepnu na RW pro úpravy a aktualizaci....

[k3dAR]

s noobs muzes na karte nechat vytvorit Raspbian, jeho oddily pak preplacnes zalohou stavajici co mas (akorat bys musel zalohu nedelat pres dd/partclone, ale udelat primo souborovou zaloha.tar.neco (gz - rychle/velke, xv - pomale/male), nebo bez komprese proste rsync na jinej (linuxovej stroj)...

noobs funguje tak ze na prvni partisnu udela boot kde si da sve jadro co obsahuje noobs program co se pusti jako beznej system... druha partisna obsahuje nastaveni kde jsou popisy dalsich partisen a co je nan nich za system
(takze na ty dve co to dalo pro raspbian bys vratil ten svuj)
dalsi partisny jsou pak vzdy 2 pro kazdej system, prvni je boot pro system, druha je rootfs pro system...
pokud se neco nezmenilo, pocet systemu si muzes vybrat jen pri prvnim startu NOOBS, kdyz bys pak chtel pridat dalsi naklikanim tak to smaze vse stavajici a vse to dela znovu+to_prida_to_nove_vybrane...

jak uz padlo, urcite bych proste koupil dalsi kartu, zaroven pak misto Noobs (nebo az si ho zkusis pro ziskani znalosti) nahodil BerryBoot, ten funguje castecne podobne jako Noobs, ale ma hodne vyhod (a jednu nevyhodu kterou zacnu):

nevyhoda: mas jedno a to same jadro pro vsechny systemy, nekterym to nemusi sedet, kazdopadne pri beznem upgrade jadra v raspbianu (napr.) se jadro nevyuziju, navic je potreba mit zalohu prvni "boot" partisny a vracet tam to BerryBoot jadro (a dalsi soubory) s tim souvisi ze novou verzi jadra mas opozdene nez autor BerryBoot pripravi novou verzi (casto po dlouuhe dobe)

vyhody:
- system je ulozenej jako readonly soubor, bezi v rezimu Live, jako bezne x86 LiveCD a zmeny si uklada na karty (resp. lepe na pridanej USB Flash, kam zaroven uklada i systemy)
- lze na tuknuti duplikovat/kopirovat system (vcetne tech dat/zmen) a udelat si tim neco jako snapshot
- lze provadet pokusy na tom duplikovanem a nerozhodi to ten puvodni system
- lze na tuknuti rict kazdemu systemu "zapomen vse co sem provedl a zacni nacisto jako pri prvnim pusteni"
- existuje spouuusta dostupnych/pripravenych systemu ve formatu berryboot (uz v zakladu jich ma vic nez Noobs)
- neoficialni pridavne image/systemy http://berryboot.alexgoldcheidt.com/images/
- dalsi systemy lze kdykoliv pridavat/odebirat a neovlivni to jiz stavajici

[R]

Presne tak, partclone je vyborny na vytvorenie image a potom jeho obnovenie pripadne duplikaciu na dalsie medium. Klonujem nim prave karty do Raspberry.

MBR (a v pripade x86 aj boot loader) riesim velmi jednoducho - pozriem FDISKom, na ktorom sektore (vacsinou 2048) zacina prva particia a cely priestor pred nou (vacsinou 1 MB) skopirujem cez dd.

[lertimir]

kartu bych strcil do notebooku. nabootoval clonezillu. zazalohoval kartu s ni. použivá i zminovane partclone nebo partimage na ext disky.