Jak jsem téměř křivdil Btrfs (diskuse)

[RealJ]

Btrfs povazuji porad za beta fs. Jakakoliv konverze do btrfs je riziko. Puvodne jsem chtel napsat vice ale bylo by to jenom stezovani si. A jo, spousta lidi a firem btrfs pouziva bez problemu.

[jejda]

Nedávno jsem taky začal experimentovat s btrfs a to hlavně kvůli vestavěné kompresi kterou to umí. Dokáže to ušetřit nějaké místo, které začíná být dneska trochu drahé a taky to šetří opotřebení flash pamětí. Zatím to drží a žádné problémy jsem nezaznamenal, tak uvidíme časem. Na převod starých disků z ext4 na btrfs jsem zatím neposbíral dost kuráže a nejspíš na to ani nedojde.

[⧠ A = 0]

Ano, komprese a deduplikace jsou vlastnosti, kvůli nichž dávám BTRFS od jisté doby víceméně všude. Zvlášť pokud mám velký projekt v několika pracovních stromech a v každém z nich hromadu binárek s ladicími symboly (z nichž každá zabere několik GB), dokážou ušetřit fakt hodně místa.

[jejda]

Deduplikace zní lákavě ale mám disk zašifrovaný pomocí dm-crypt tak myslím že by mě moc nefungovala když btrfs deduplikuje na úrovni bloků.

[Jendа]

No moment, FS je snad až na tom odšifrovaném zařízení.

[jejda]

A jo, to zní logicky. Budu si to muset trochu nastudovat. Asi mě trochu zmátlo to, že "bloky" jsem chápal jako něco, co se zapisuje až na té nejnižší vrstvě. Ale máš pravdu že to tak vlastně vůbec být nemusí.

[Dave]

Aneb jake se to nikdy nema delat.

Podle

https://btrfs.readthedocs.io/en/latest/CHANGES.html

byl v roce 2019 btrfs-progs maximalne ve verzi 4.19.1 a od te doby usel velmi dlouhou cestu do dnesni verze btrfs-progs-6.17.

Takze te priprave jste se moc nevenoval. Stahnou neco aktualniho a dat to na flashdisk zas tak moc dlouho netrva.

[Migi]

Nedal ... Přesne jak v zapisku zmiňuji hned na začátku. Budiž to varováním ostatním.

Nicméně by tvůj komentář šel vyložit i tak, že Btrfs a jeho doprovodné aplikace stále nebyly v roce 2018 Tzv. "Production ready". Což by byl vskutku smutný závěr. :)

[RealJ]

zalezi co chapes pod pojmem production ready, porad jsou tam bugy ktere ti zkurvi data...

[Want]

Anebo zkrátka neumím s dnešními "umělou inteligencí posedlými" vyhledávači pořádně hledat.

Ne. Ty jsi jen nepochopil, že ten FS funguje úplně jinak, než jsi byl zvyklý. Toť vše. Je to tvoje hloupost a zároveň hloupost všech co kladně hodnotili tvůj blogpost. Ale dobře vám tak.

[Migi]

Spuštěním utility btrfs convert přesně k tomu, k čemu je určená, jsme se dopustili "nepochopení funkce FS"? To by chtělo trochu rozvést, nemyslíš?

[Want]

Podobné utility vždycky byly a stále jsou vysoce rizikové, tudíž na hovno. A nikdo normální neriskuje takový proces bez toho, že by si nejdřív odsypal zálohu na nějaké spolehlivé médium. Ovšem když už chceš udělat takovou zálohu, je výhodnější použít nový disk, formatovaný na Btrfs a pak ty disky prohodit - ten původní si ponecháš jako tu zálohu.

Takhle jsem překlápěl původní systém už několikrát a to mám Btrfs v multidevice módu, protože v single módu nad jedním ať už fyzickém či virtuálním blokovém zařízení ho provozují jen kolenovrti, důvěřiví naivkové a magoři.

[Migi]

1) Jasně píšu o nepoužívaném notebooku, takže v tomto případě nebylo třeba zálohovat.

2) Nikde nevidím tu část kde jsme podle tebe údajně nepochopili jak funguje Btrfs ve vztahu ke konverzi z Ext4.

[Want]

Ad 2, hned první věta. O žádném vztahu Btrfs k Ext4 jsem nepsal, protože není. Je to úplně jiný FS s jinou filozofí. Nevím jak ta konverze interně funguje, ale musí to být děsná prasečina. Někde to musí mít uložený ext4 žurnál, minimálně do té doby než se všechna data překlopí a průběžně musí žonglovat s inody. Ad 1 - proč se tedy vůbec o nějakou pitomou konverzi snažíš a nenainstaluješ to od nuly bez interních čuňačin?

[Migi]

Proč mazat systém který spolehlivě funguje už přes deset let. :) Zkoušel jsem to čistě pro to zjištění jak to funguje a jak to dopadne.

[Want]

To jestli je šťáva v zásuvce taky zkoušíš jazykem?

[Migi]

Na to mám přenosné spotřebiče a multimetr. Testování funkcionality a následný debug by měla být přirozenost každého uživatele Linuxu. Proč tě to tak udivuje? Reinstalace jako univerzální řešení na všechno je přirozenost běžného Franty uživatele Windows.

[Maznak]

Rekl bych nazor na veci se meni v case aneb Wantovi je vic nez tobe. Jinak ja bych pouzil radsi NTFS aneb vic nastroju jak z toho dostat data:D A jinak trefnejsi nazev zapisku se mel spis jmenovat "Mazi krivdil jsem ti, zase kamosi?" :D

[Migi]

1) Nevím z čeho usuzuješ věk ať už můj nebo anonyma Wanta.

2) Pokud bych každý problém řešil reinstalací, nikdy bych se nic nenaučil. Kontinuální vzdělávání je v našem oboru vcelku důležitá věc.

3) Nikomu jsem nekřivdil a jestliže chceš problematiku Linuxových FS řešit pomocí NTFS, pak tvuj "trefnější název" minul přinejmenším o několik světelných let. :)

4) Předmětem pokusu s btrfs nebyla záchrana dat ani systému. Pokud bych problém nevyřešil, prostě bych systém smazal a byla by to nulová ztráta.

[Want]

Ad 1. Ty svůj věk, resp. rok narození uvádíš na své profilové stránce a pokud jde o můj anonymní nick, máš pravdu že se může jen dohadovat, ale z kontextu je mu jasné, že určitě nejde o toho joudu, co se mě svými výkřiky snaží diskreditovat. Protože to není první příspěvek co ode mne četl, ví že v tom roce jsem opustil první VŠ a šel na vojnu.

[Want]

Jinými slovy. Jak jsem před lety říkal svým kolegům: "Pánové, cesty kterými půjdete už jsem dávno prošel". Já se učil metodou pokus-omyl, protože jsem se neměl koho ptát. Za dnešních časů tak ztrácí čas, s odpuštěním, jenom vůl.

[Migi]

Takže vzdělávat se jakýmkoliv způsobem je ztráta času, protože nějaký anonymní want už si tou cestou prošel. Testovat software nemá smysl, protože nějaký want už ho mohl dříve testovat. Čert vem opravy.

Tento komentář absolutně postrádá smysl. Zřejmě proto ve svých komentářích tak často prezentuješ vulgární výrazy namísto smysluplných argumentů.

Já "tuhle" cestu prošel a narozdíl od tebe jsem alespoň sepsal kde byl problém a jak ho řešit. Právě proto, aby s tím někdo další neztrácel čas.

[Want]

Vzdělání "jakýmkoliv způsobem" v tvém případě může být klidně i bušení hlavou do zdi. Na "tvůj" problém jsem nikdy nenarazil a je úplně fuk, že jsi to sepsal, protože ten co se bude chtít "učit" stejně jako ty, to stejně nebude číst.

[Migi]

Číst to nemusí. Ale když na stejnbý problém narazí a uvidí v dmesg stejné podivné chyby, vyhledávače ho mohou na tento zápisek nasměrovat a ušetřit mu čas s řešením. A to byla celá pointa tohoto zápisku.

Nechávat si informace pro sebe a dělat anonymně ramena na internetu umí kdejaký hulvát. :)

[RealJ]

diskutovat s Alesem je jako diskutovat se slovakem... ztrata casu... na rozdil od Alese je videt, ze pouzivas rozum. Nekdy se clovek nauci u reseni problemu daleko vice nez reseni toho samotneho problemu a podle me ta cesta stoji za to. Dnesni decka si odpoved na cokoliv vygoogli pripadne jim nejaka LLM rekne... v dobe kdy jsem zacinal byl k dispozici 300 baud modem, bbs, na vse jsi cekal, takze reseni se clovek snazil dopatrat po svem... si pamatuji jak jsem v hex editoru modifikoval nejaky novel netware 3 exac protoze v nem byl bug... o par let jsem se dostal k reseni primo od novelu a krome fixu toho bugu tam udelali par dalsich zmen ktere jsem nemel...

[Want]

Háček je v tom, že už nežijeme v počítačovém pravěku, kde jste ustrnuli.

[RealJ]

ale prosim te, Alesi, kolik skoleni jsi minuly rok mel? Kolik penez jsi utratil na sebevzdelavani? Kolik casu ti tvuj kamrlikovy job dovoli travit vzdelavanim? Ja to shrnu za tebe, uplny hovno, tudiz si se neposunul nikam... uz ani o sendviich nepublikujes, ani prihlasit se ti nechce,...

[Want]

Na posledním školení, kde to dávalo smysl, jsem byl ještě za ÚMOb Ostrava-Jih. VMware a Citrix. A na tom školení od VMware jsem byl jediný, kdo s ním něco dělal před rokem 2000. Na školu jsem byl přijat jako specialista na virtualizaci v linuxovém prostředí a byl jsem jeden z prvních co začali používat v ostrém provozu kvm modul a openvswitch. Proto jsem si také napsal vlastní skript, který na rozdíl od libvirtu tehdejšího libvirtu zvládal živou migraci a neblokuje monitorovací konzoli. Když jsem přišel (2008), tak se pro virtualizaci používal xen. Mimochodem, všechno je to zdokumentované a veřejně dostupné.

Dnes je bohužel situace taková, že školení, která by mi k něčemu byla, nikdo nedělá, protože na to nemá lidi. A na to co dělám školení nepotřebuji. Vystačím si s kolegy. Ty žádné takové nemáš, proto nejsi schopen pochopit v čem spočívá hlavní bonus v zaměstnání na škole jako je ta naše.

[Want]

Že tu nepublikuju? Tak jednak nastalo období, kdy mám obvykle dost jiné práce a druhak od čtvrtka marodím. Držím se zásady raději zalehnout včas, netrousit za každou cenu bacily mezi lidi, a s nudlí u nosu mám chuť leda tak tě setřít jak ten sopel.

[Max]

Já ho nikdy nemažu, maximimálně si ho odleju bokem na jiný disk, když chci předělávat fs, nasaznovat šifrování apod.
Linux na desktop jsem neinstaloval snad 15 let. Stále jedu stejnou instalaci a když mi přibyde zařízení, tak na něj udělám další kopii.
Zdar Max

[Want]

A jak si počínáš v situaci, kdy je systém napaden takovým způsobem, že fakt netušíš kde se skrývá nějaký backdoor?

Podle mne je rozhodující poměr cena/čas. V situaci, kdy si někdo totálně při upgrade rozjebe Ubuntu, je nová instalace nejjednodušším řešením. V případě prastaré mašiny, kdy už balíky nejsou ani v repozitářích, je lepší ten stroj doklepat do času, kdy se už přestane používat.

[Max]

Mám několik zařízení (home pc, pracovní pc a ntb) s pravidelně aktualizovaným Arch Linuxem. Pokud by došlo k průniku a napadení, tak si zkopíruji systém z jednoho z těch dalších zařízení.
Kdybych měl jen jeden systém, dělám si nejspíše zálohy a pak tedy obnovuji ze zálohy. Je rychlejší zkopírovat z jiného hw, nebo obnovit ze zálohy, než zabít celý den instalací a konfigurací.
Zdar Max

[Want]

Tak já na to využívám snapshoty. Nastavit novou cestu je rychlejší než něco kopírovat. Ale pokud máš úplně jiný HW, je lepší začít s tzv. čistým štítem než dumat proč se něco rozbilo a co tomu chybí.

[Max]

Tak snapshoty mám samozřejmě také, ale jen na úrovni storage (v případě serverů), ale to předpokládá, že přijdeš na průnik do konce platnosti těch snapshotů :D, pak už jedině zálohy, nebo čistá instalace, nebo pokud si věříš, tak vlastní inspekce a pročištění. Na úrovni FS ti mohou být k prdu, pokud ti to někdo prolomí. Nic mu nebrání v tom, aby je buď máznul, nebo v nich taktéž změnil obsah, pokud se bavíme o btrfs a ne zfs.
Zdar Max

[Want]

Na úrovni FS ti mohou být k prdu, pokud ti to někdo prolomí.

Ale kdež! Víš jaký je správný postup místo té opičárny s konverzí?

• Nejprve zdrcnu ten ext4
• Na uvolněném místě udělám partici s Btrfs.
• Na ní udělám snapshot do kterého nasypu převáděný systém, upravím zavaděč a fstab
• Rebootnu
• A je-li všechno ok, přesouvám ostatní data - pochopitelně do subvolume kde není systém.
• Nakonec zruším partici s ext4 a roztáhnu Btrfs.

Výhody? Mám původní systém a dál můžu před aktualizacemi využívat výhody snapshotů. Odsypat cokoliv kamkoliv pak už není problém.

[Max]

A já toto nějak rozporuji? Navíc jsme se bavili úplně o něčem jiném, takže tu reakci vlastně vůbec nechápu.
Zdar Max

[Want]

Je nutné pokaždé něco rozporovat? Podle mě ne. Předpokládám, že jsme se shodli na tom, že než používat nějaké obskurní konverzní utility, je lepší využít standardní nástroje.

Já jen popsal jak to dělám, a proč jsou snapshoty výhodné i na úrovni pracovní stanice. Pokud aktualizace klapne, snapshot po nějakém čase zruším. A pokud neklapne, tak se k němu vrátím aniž bych musel něco někam kopírovat. A zruším naopak to co se nepovedlo.

[Migi]

Takze v Btrfs "integrovaná a nativní utilita" se kratce řekne obskurní?

[Want]

"integrovaná a nativní utilita"

Takových obskurních utilit v rámci open source existuje. Prostě si někdo myslel, že by se to mohlo někomu hodit a trochu mu trvalo než si uvědomil, že je to spíš kontraproduktivní produkt, po kterém sáhnou jelita a když to nedopadne podle jejich představ začnou šířit FUD, že je chyba na straně Btrfs.

[Migi]

Pokud je chyba v utilite primo v btrfs-progs, tak to v žádném případě neni "jen nějaký obskurni program" a už vůbec ne šíření FUD o chybách v Btrfs ekosystému. Chyby se objevují v každém softwaru, není na tom nic zvláštního, proto vycházejí nové opravné verze.

[Max]

Jinak dodám, že jsem v životě zažil jen jednu situaci, kdy došlo k průniku do systému a tam jsem to řešil ručním vyčištěním, jelikož šlo o bota bez možnosti další komunikace (bráněno na úrovni fw dmz) s jasným scénářem, co dělá.
Zdar Max

[Want]

Já také zažil takovou situaci, a není to zas tak dávno. Nejdřív jsem nahodil snapshot který prokazatelně nebyl infikován, abych měl čas uklidit a pak jsem nahodil vyčištěnou verzi, s tím že odchytávala a kompletně banovala vše co se pokoušelo využít infiltrované soubory, které už pochopitelně byly tou dobou nahrazeny symlinkem na můj skript. No a pak jsem měl konečně čas na to analyzovat o co se útočník snažil, jakou cestou se tam dostal a jak tomu do budoucna zabránit.

[Erteple]

Inu, jak tu někdo trefně vypisuje: čurák Want.

[Want]

Naraž si na hlavu čepici, ať si tě nepletou s pokladničkou.

[_]

A to jsem si myslel, že největší matlák admin tady je Kapice