Dotaz: Obnova súboru po prepise na nulovú veľkosť

[AraxoN]

Kolegovi sa pred chvíľou podarilo prepísať súbor so zdrojovým kódom (na ktorom sa intenzívne pracovalo celý dnešný deň) na nulovú veľkosť. Existuje nejaká jednoduchá možnosť, ako tento súbor v linuxe obnoviť do stavu tesne predtým, než získal nulovú veľkosť?

Mechanizmus, akým k tomu došlo: kolega pracoval na windowse, kde má ku týmto súborom prístup cez sambu (sieťový disk, namapovaný ako písmeno). Cez tento prístup na vývojovom serveri pracoval, až kým si nepovedal, že je to OK a môže to dať na ostrý server. Tak sa prepol do okna, kde mal WinSCP a jal sa kopírovať. Nevšimol si bohužiaľ, že WinSCP nemá pripojený na ostrý server, ale späť na vývojový. Takže dal kopírovať z vývoja cez sambu, cez windows, a cez WinSCP späť na vývoj. WinSCP tento súbor najskôr zjavne otvoril na prepis, čím vynuloval jeho veľkosť. Následne už nebolo čo kopírovať.

Ide o Gentoo linux, amd64, súborový systém ext3. Záloha existuje, ale je z dnešnej polnoci, takže v nej nie je nič z toho, čo kolegovia celý deň nad týmto súborom robili.

Je možné, že na disku ešte stále sú nedotknuté bloky, ktoré tento súbor používal. Bohužiaľ, nejde o undelete scenár, pretože súbor nebol vymazaný. Bol len skrátený na nulovú veľkosť. Dá sa k nemu ešte nejak dostať?

---

---

Odpovědi

[rastos]

Pokiaľ ten súbor nie je stále otvorený v nejakom editore, ktorý si robí zálohu, alebo nemá dostatočné undo, tak sa k tomu už nedostaneš. Alebo dostaneš s použitím väčšieho úsilia, než stojí za to. Ale tragicky by som to nebral. Ak bol ten zdroják odladený, tak už vieš na čo si dať pozor a po opätovnom napísaní to bude lepšie ako predtým. Poučenie do budúcna: než to ide na produkčný server, musí to ísť do VCS.

[AraxoN]

To sa nepodarilo mne, ale kolegovi. Keď mi telefonoval čo sa mu "podarilo" tak som mu ako prvé vravel, či to nemá ešte otvorené v editori. Bohužiaľ, všetko najprv zavrel, až potom začal kopírovať.

Používanie súborov .bak sme už pred časom úspešne vymýtili ako prežitok, takže tadiaľ cesta nevedie. Mal to otvorené len cez windows sharing, takže sa mu na lokálnom stroji kópia do Temp neurobila.

So správou verzií súhlasím na 100%. Keby sme ju mali, tak sme v klídku. Možno nás to nakopne, aby sme túto tému vo firme opäť oprášili.

Momentálne prechádzam celý disk cez dhex a hľadám reťazec, ktorý sa v tom súbore určite vyskytoval. Zatiaľ márne. Čím dlhšie to trvá, tým viac hrozí, že tieto uvoľnené bloky nejaký nový zápis prepíše svojimi dátami.

Vidím to tak, že mu zo zálohy obnovím včerajšiu verziu a zajtra si zopakuje všetko čo robil dnes.

[Radovan Garabík]

Čím dlhšie to trvá, tým viac hrozí, že tieto uvoľnené bloky nejaký nový zápis prepíše svojimi dátami

remount -o ro

[AraxoN]

Ďakujem za radu. Prišla príliš neskoro a obsah súboru som už na disku nikde nenašiel.

Obnovil som to zo zálohy, ale druhý kolega dnes ráno našiel vo svojom Temp-e aktuálnejšiu verziu, z ktorej to potom oni dvaja dali dohromady. Mali sme šťastie, že to takto dopadlo.

Spätne vidím niekoľko chýb, ktorých sme sa vo firme dopustili. Ako prvá je nepoužívanie VCS. Ako druhá je, že celý disk som v linuxe rozdelil na maličký /boot a potom jeden obrovský oddiel. Keby aspoň logy boli zvlášť, neprepisovali by mi voľné bloky. Ešte lepšie by bolo mať na zvláštnom oddieli adresár so súbormi samby. Na menšom oddieli by sa aj ľahšie (a rýchlejšie) hľadalo cez hex editor.

[dustin]

Myslím, že by to VCS samotné stačilo :)

[rADOn]

Jednu chybu přidám když se to stalo tak jsi měl co nejdřív (resp. po tom co remounteš RO) udělat bitovou kopii oddílu pomocí dd. Je to sice kapku náročné na prostor (další důvod proč dělit na více oddílů) ale moci v klidu a bez nerváků vyzkoušet různé metody obnovy bez blokování produkčního stroje je k nezaplacení.

BTW kdysi jsem spáchal stejnou botu. Mazat uživatele metodou 'cat /etc/passwd | grep -v username > /etc/passwd' není dobrý nápad

[AraxoN]

Je tam RAID1 a v prvej chvíli som zvažoval, že jeden disk odtiaľ vykopnem, aby sa na neho nič nezapisovalo. Potom som si ale povedal, že jednodňové zdržanie jedného programátora vyjde lacnejšie, než potenciálne škody, ktoré by mohli vzniknúť v prípade havárie celého poľa. Ten oddiel zaberá 95% rozlohy disku, takže naozaj ho nebolo kam nakopírovať.

[vandrovnik]

A můžu vědět, proč jste přestali používat .bak soubory, když nepoužíváte žádný verzovací nástroj? Nevidím žádnou výhodu, krom celkem zanedbatelné úspory místa.

[AraxoN]

To bolo myslené ironicky. Včera by sa nám .bak súbory hodili.

Dôvod prečo ich nemám rád nie je v úspore miesta na disku. Skôr v úspore miesta na obrazovke - keď si dám vypísať súbory, je ich zrazu dvakrát viac a horšie sa v tom orientuje. A to neplatí len pre výpis, ale aj pre dopĺňanie v shelli, hľadanie v archíve, v "open" dialógu.

[Kit]

O další důvod víc používat VCS. V adresáři nepřekáží, doplňování v shellu také nekomplikuje, porovnání s archivem je jednodušší, archivace mnohem rychlejší a kompaktnější, slouží také k distribuci a spojování změn. V případě použití distribuovaného VCS dokonce záloha na všech zúčastněných strojích projektu včetně historie. Soubory .bak se obvykle neverzují, v archivu by jen překážely.

[pavlix]

So správou verzií súhlasím na 100%. Keby sme ju mali, tak sme v klídku. Možno nás to nakopne, aby sme túto tému vo firme opäť oprášili.

Doporučuju.

[AraxoN]

Inak je ironické, že som tu na fóre niekomu asi pred týždňom radil, ako to má správne robiť (web vývoj s VCS), ale sám som sa tým neriadil.

[Šangala]

Jen pro sebe mám doma „jedno“ Subversion na druhém zálohovaném PC (servřík) a používám to tak, že furt jenom Commit-uju klidně i 10× denně (jak mám pocit, že výplod je důležitý, šup tam s tím…) a sem tam si něco o-tag-uju - prostě víc než záloha a odkudkoliv s čímkoliv (vícero PC) si stáhnu poslední stav.

[pavlix]

Jen pro sebe mám doma „jedno“ Subversion na druhém zálohovaném PC (servřík) a používám to tak, že furt jenom Commit-uju klidně i 10× denně (jak mám pocit, že výplod je důležitý, šup tam s tím…) a sem tam si něco o-tag-uju - prostě víc než záloha a odkudkoliv s čímkoliv (vícero PC) si stáhnu poslední stav.

To by mi zas nefungovalo na cestách. Potřebuju aby commity dávaly smysl. Takže Git, Mercurial, Bazaar nebo jiný DVCS.

Záloha jako vedlejší efekt jde přes push docílit taky, ale faktem je, že mnohem pohodlnější je pro mě zálohovat plošně, ne po projektech.

[Šangala]

Pokud mám připojení, funguje to i při cestách.
Připojuji se čímkoliv a kdekoliv, tedy i doma, krom mého domácího PC přes ssh tunel na jakékoliv zdroje (mám na to skriptík), takže je jedno odkud na to lezu.
Pro mě samotného na toto mi vyhovuje změna toho prvního písmenka , lokální historie je naprosto dostatečná - pokud nemám připojení, takže mi nic nechybí.
Záloha je otravná, toto je jeden klik přímo ve vývoj. prostředí a u toho na čem dělám a nemusí to být po projektech (repository samozřejmě mám oddělené), commit-nu jedním klikem + jedním enter-em klidně naráz 6 projektů (pokud je to třeba, např. nějaké knihovny spolu z aplikací co je využívá).
Kdysi dávno jsem to přírustkově zálohoval, ale trvalo to dlouho (ve srovnání s 1-2 sec commit-em) a případné vytahování ze záloh taky.

[pavlix]

Pokud mám připojení, funguje to i při cestách.

Což není v rozporu z tím, co jsem psal :). O tom, že mobilní připojení máš k dispozici pořád jsem zatím slyšel spoustu řečí, činy žádné. Na části trasy Praha–Brno vlakem nemám ani telefonní signál.

Záloha je otravná, toto je jeden klik přímo ve vývoj.

Záloha je jeden klik (či v mém případě obvykle příkaz), kdy se mi zazálohuje všechno, co je k zálohování určené. Že bych prolézal Gitovské adresáře jeden po druhém, na to se můžu víš co.

Kdysi dávno jsem to přírustkově zálohoval, ale trvalo to dlouho (ve srovnání s 1-2 sec commit-em) a případné vytahování ze záloh taky.

Tak mě spuštění zálohy trvá zlomek vteřiny a zbytku už se neúčastním. Vytahování záloh se mě netýká častěji než jednou v roce.

Ale každopádně je to rychlejší, než kdybych musel brát jeden gitovský adresář po druhém a vytahovat data. Navíc bych do správy verzí musel dát všechno, i na co se VCS vůbec nehodí.

Prostě ať to beru jak to beru, vychází mi z toho, že naše použití počítače musí být diametrálně odlišné. Používání VCS místo zálohování by mě pouze zdržovalo, zatímco tobě podle tvých vlastních slov šetří čas. Nejspíš máme úplně jinou strukturu dat.

[Šangala]

Ad. připojení - na to nemám co říct, bo nevím k čemu by to bylo…

Ad. Záloha - klasickou zálohu mám taky na jeden klik (bo to mám v menu), nicméně to trvá výrazně déle. Ale celé „zálohování“ do svn je právě o tom, že nemusím prolézat „Adresáře“, protože mám neustále aktuální data na centrálním úložišti a tedy odesílám jen několik změněných souborů. Od toho jsou IDE, kde jsou ty projekty nasázené a přesně vědí, které soubory z kterých projektů se změnili a odešlou jen minimum a několikanásobně rychleji než třeba rsync (při větších strukturách a malé změně i 100× rychleji).
Ale jinak klidně se na to „víš co“, dělej si to jak chceš, já vím, že moje řešení je pro mě v této době nejednoduší, plně funkční a nejrychlejší… (a můžu dojít tak od oka, maximálně o hodinu práce - pominu-li totální destrukci či krádež server-u - bo jeho zálohy se dějí až v noci)

Navíc bych do správy verzí musel dát všechno, i na co se VCS vůbec nehodí. - ano sem tam na nějaká data je třeba „excludovat“, ale pokud jsou veliká a neměnná, tak je normálně tam nechám, jediný případ že jsou veliká a mění se, tak holt prochází jen do běžných cca. týdenních záloh, jako všechna jiná data.

Ale můžu Tě uklidnit, nebyl to můj nápad, to tak dělat, což mě ovšem mrzí. Znám minimálně několik lidí co to tak dělá a dokonce takto „zálohují“ do Subversion a verzují Gitem (nevím přesně jak, budu se zajímat až kdybych to potřeboval… :))
Zálohují je v uvozovkách čistě proto, že to plní ještě další požadavek, lze pracovat na více místech z různých strojů, bez nějakých dalších nároků, jen se dodržuje to odcházím COMMIT, přicházím UPDATE TO HEAD (samozřejmě vše z IDE a vše obvykle trvá max několik sec.).

Tak mě spuštění zálohy trvá zlomek vteřiny a zbytku už se neúčastním. To je sice pravda, ale celou dobu musí být dostupné úložiště a na několik sec a několib B až KiB v pohodě dáš i na velmi špatném připojení, a protlačil celou zálohu někde z Horní-Dolní, kde kostičkuje i zvuk v rádii, to nedám. - A účastníš :), jestli to chceš v konzistentním stavu, nemůžeš na tom v průběhu zálohy plnohodnotně dělat (nebo si vytvoříš LVM snapshot :)).
Vytahování záloh se mě netýká častěji než jednou v roce. - Vytahování se záloh jsem dělal tak 2× do roka a to mě docela štvalo a několik dlouhých let už to neznám…

Ale dělej si to jak chceš, mně to nevadí, psal jsem to jen pro příklad ne-úplně typického použití svn, umožňující nezávislou práci na různých místech z real-time zálohou/stavem.

[pavlix]

Ad. připojení - na to nemám co říct, bo nevím k čemu by to bylo…

Mě přijde použití blockquote pro citace z tvého příspěvku vcelku srozumitelné. Tobě ne?

Od toho jsou IDE, kde jsou ty projekty nasázené a přesně vědí, které soubory z kterých projektů se změnili a odešlou jen minimum a několikanásobně rychleji než třeba rsync (při větších strukturách a malé změně i 100× rychleji).

Nemám celý svůj domovský adresář otevřený v IDE. A rychlost inkrementálního zálohování domovského adresáře či jeho částí má prakticky nulový dopad na moji práci.

ano sem tam na nějaká data je třeba „excludovat“, ale pokud jsou veliká a neměnná, tak je normálně tam nechám, jediný případ že jsou veliká a mění se, tak holt prochází jen do běžných cca. týdenních záloh, jako všechna jiná data.

Ale já negituju celý svůj domovský adresář. Přijde mi to nepohodlné. Ani neSVNkuju. Přijde mi to jako řešení problému, který neexistuje.

jestli to chceš v konzistentním stavu, nemůžeš na tom v průběhu zálohy plnohodnotně dělat (nebo si vytvoříš LVM snapshot :)).

Neexistující problém. Během práce skript pouštím xkrát za den. A je mi celkem jedno, jestli během zálohování udělám nějakou úpravu nebo jdu třeba na záchod. Neřeším to a ani snapshoty neřeším :). Není důvod.

Vytahování se záloh jsem dělal tak 2× do roka a to mě docela štvalo a několik dlouhých let už to neznám…

Tak mě to zabere cca 20 vteřin pohledu do manuálové stránky a poté si můžu říct třeba o konkrétní datum. V extrémním případě o konkrétní backup. Takže jestli mi to ročně zabere minutu mého času, tak je to moc. Neexistující problém.

[Šangala]

Ad. blockquote - jo, to je v pohodě.

Nevím sice proč tam planceš celý domovský adresář, ale když nemáš problém, tak si přece spokojený - vzpomínáš?.
A pokud Ti nevadí ani nekonzistence zálohy a stavu dat projektu - zdrojáků(, což mě docela zásadně jo), tak taky nemáš problém.
Takže mi vlastně vychází, že si úplně bez problémů, ale máš asi potřebu je hledat jinde, nebo si podvědomě nejsi jistý svým řešením a potřebuješ se o jeho správnosti ujistit :).

[pavlix]

Nevím sice proč tam planceš celý domovský adresář

Ne. Já zálohuju pouze ty části, jak jsem psal dále. Ale umím si představit i opačný postup, tedy zálohovat domovský adresář a definovat excludy na různé cache a takové.

A pokud Ti nevadí ani nekonzistence zálohy a stavu dat projektu - zdrojáků(, což mě docela zásadně jo), tak taky nemáš problém.

Já se k té nekonzistenci nedopracuju. Data jsou v Gitu a faktem je, že třeba gitovské operace během zálohy obvykle nedělám.

Takže jediné, co může být nekonzistentní, je working tree. A to ještě jenom u jednoho projektu, na kterém během zálohy pracuju. Oproti tvému řešení tedy můžu mít nekonzistentí pouze to, co ty úplně ztrácíš.

Takže mi vlastně vychází, že si úplně bez problémů

Jediný problém z hlediska zálohování je pokud ho zapomenou spuštět, což se mi ale nestává při programování, kde si cením každé hodiny práce.

ale máš asi potřebu je hledat jinde, nebo si podvědomě nejsi jistý svým řešením a potřebuješ se o jeho správnosti ujistit :).

Existuje nějaký důvod, proč by tenhle popis měl sedět na mě a ne na tebe? Zatím o žádném nevím.

[Šangala]

ad. …co ty úplně ztrácíš - možná něco ztrátím, ale protože nevím co, tak nevím, že jsem o to přišel.

ad. Existuje nějaký důvod, proč by tenhle popis měl sedět na mě a ne na tebe?
- bo tam hledáš furt nějaké věci ve srovnání s tvým přístupem a případné výhody označíš za, pro tebe, nedůležité a zjevnou výhodu, to že je možné pracovat odkudkoliv z čehokoliv a kdykoliv (což se nejsnáze zařídí přes centralizovaný přístup), prostě ignoruješ, bo je to nesporná výhoda, takže těžko vyvrací, ale ty ji nepotřebuješ, takže je to nedůležité… a další, ke které se taktně nevyjadřuješ, přenesení minimální dat po lince (ano pokud máš nějaký client-program uchovávající si informaci o stavu na serveru, tak to zařídí taky, ale rsync a podobné to nejsou - ty mají výrazně větší režii…).

[pavlix]

ad. …co ty úplně ztrácíš - možná něco ztrátím, ale protože nevím co, tak nevím, že jsem o to přišel.

Tak jest.

zjevnou výhodu, to že je možné pracovat odkudkoliv z čehokoliv a kdykoliv (což se nejsnáze zařídí přes centralizovaný přístup)

V tomto se neshodneme. Pracovat odkudkoli, kdekoli a z čehokoli v případě centralizovaného přístupu je pro mě zhola nemožné a mám to ověřené praxi už někdy od střední školy.

Pokud se nedokážeme shodnout alespoň na základních faktech a předpokladech, nemá smysl diskutovat ani o jejich důsledcích.

prostě ignoruješ, bo je to nesporná výhoda

Ba naopak. Celou dobu tuto nespornou výhodu vyzdvihuju. Pouze ji nepřisuzuju tvému způsobu řešení :).

ale ty ji nepotřebuješ, takže je to nedůležité…

Naopak. Denně ji využívám.

a další, ke které se taktně nevyjadřuješ, přenesení minimální dat po lince (ano pokud máš nějaký client-program uchovávající si informaci o stavu na serveru, tak to zařídí taky, ale rsync a podobné to nejsou - ty mají výrazně větší režii…).

Nevím, co považuješ za rsync a podobné, ale pravděpodobně tím máš na mysli nástroje, které neudržují informaci o předchozím stavu na obou stranách.

Máš pravdu v tom, že tyto nástroje musejí mít z principu podobnou nebo větší režii. Až se ten rozdíl v režii ukáže jako významný, budu se tím samozřejmě zabývat.

Zatím mi rozdíl v režii způsobuje nulove zdržení až zdržení v řádu vteřin za den (v přepočtu desítek minut ročně). Pokud bych opravdu řešil takováto zdržení, mnohem jednodušším řešením jak ten čas ušetřit by bylo s tebou nediskutovat :).