Btrfs a diskové oddíly (diskuse)

[xxx]

Diskove oddily davaji smysl vzdycky, protoze to jak funguji veci bez diskovych oddilu nikdo netestuje. Ale na druhou stranu, kdyz nekoho nerozhodi stacktrace v logu pri kopirovani dat...

[kralyk z abclinuxu]

Ale na druhou stranu, kdyz nekoho nerozhodi stacktrace v logu pri kopirovani dat...

Asi tak. Absolutně nepochopim, jak může někdo neironicky / na svoje reálný data používat filesystem, který vykazuje takovouhle nestabilitu a asi zřejmě špatnou testovanost. No ale můj problém to není a kdo chce kam, pomožme mu tam...

Nicméně zápisek je pro mě přínosem v tom, že je fajn vědět, že btrfs je stále ještě v takovémhle stavu, takže díky za to...

[Want]

Kdybych se měl vzrušovat kvůli kdejakého upozornění, tak je dávno po mě. Btrfs je jediný FS, na kterém jsem, co mi paměť sahá nepřišel o data. Každý ať si používá co chce. Já o data přijít nechci, proto je moje volba taková, jaká je.

[xxx]

Vis co. Tvuj boj. Pred deseti lety byla jasna volba mdraid1, 5 nebo 6. Nad tim tehdy snad uz ext3. A fungovalo to. Vytazeni disku za chodu, resync, atd. Neko tehdy zkousel xfs a stalo to za hovno. Ne vykonem ale spolehlivosti. Btrfs tehdy snad ani neexistoval.

Nicmene napsat "Já o data přijít nechci" a zaroven napsat blogovej zapisek o tam, jak mam v logu chyby o kterejch vim hovno co znamenaj. Jako lol... Hlavne se nevzrusuj.

[Want]

Btrfs tehdy snad ani neexistoval.

Mluvíš z hladu. Viz níže.

Jinak "warning" není chyba. Pokud tuhle nuanci nechápeš, nechápu pro změnu já, co děláš v tomhle oboru.

[_]

warning je vole varovani

ne neco, co mas mit na haku

[Want]

Další, co se fakt "vyzná".

Varování je upozornění, že je asi něco jinak než by mělo být. A je milion důvodů proč.

Pokud bys měl řešit každý prd co tohle posílá, tak brzy umřeš.

Tím, co by ti mělo zvedat obočí je error. Protože to už je zcela reálný projev konkrétní chyby, kterou je třeba najít a ošetřit.

[JS1]

U aplikace bych i souhlasil, ale u filesystemu? Tam error znamena ztratu dat, a tudiz je varovani (asserce) treba brat vazne.

[Aleš Kapica]

Tam error znamena ztratu dat

Ano, jsou souborové systémy u kterých to platí beze zbytku a pokud je Btrfs v single mode, tak rovněž. Jenomže chyba, která vede ke ztrátě dat obvykle s warningem vůbec nesouvisí. Warning je warning. Nic víc, nic míň.

[kralyk z abclinuxu]

Warning je warning. Nic víc, nic míň.

To není pravda; není warning jako warning.

Ta hláška v dmesg a ten trace je AFAIK následek makra WARN_ON(). Čiliže to je něco jako jemnější varianta assertu, kdy něco je špatně, ale není to tak hrozný, aby kvůli tomu musel nastal panic a vzít s sebou celý systém. Nicméně slouží to na verifikaci invariantů (minimálně takový je účel), proto to taky bleje stack trace a další informace, aby se to dalo debugovat. Pokud btrfs narzí na chybu, měl by ji detekovat a nějakým vhodným způsobem sdělit uživateli. Pokud to v kódu naráží na WARN_ON() a ty musíš procházet zdrojáky jádra nebo někde jinde podrobně zkoumat, co se děje, tak je IMO něco špatně.

Souhlasim s tebou, že ten warning trace nemusí nutně být a asi není symptomem nějakého iminentního fatálního selhání, nicméně z mého pohledu ten trace i to popisováné chování a jak jsi zjišťoval, co je teda vlastně špatně, ukazuje na špatnou kvalitu toho kódu a/nebo nedostatečné testování.

[Aleš Kapica]

Nezjišťoval jsem to proto, že by mě to omezovalo. Ten warning souvisel nějak s přesouváním extentů, tak jsem chtěl zkusit zjistit jak. Věnoval jsem se tomu jen proto, že jsem na to zrovna měl čas. A ten teď nemám.

[marbu]

Diskove oddily davaji smysl vzdycky, protoze to jak funguji veci bez diskovych oddilu nikdo netestuje.

To je pravda. A nejen v případě oddílů, ale i všech voleb filesystému obecně. Pokud něco není buď default nebo popsáno jako doporučená konfigurace pro nějaký konrétní typ nasazení, není moc pravděpodobné, že by to někdo před vámi nějak vážně zkoušel, natož testoval.

Nicméně použití btrfs na dedikovaném blokovém zařízení bez oddílů není ten případ, protože btrfs v sobě zahrnuje jak volume management tak filesystém. Na druhou stranu existuje několik důvodů proč dávat brfs na oddíl: pokud chci mít na disku oddíl s jiným filesystémem (např. kvůli bootu nebo swapu), případně pokud chci btrfs šifrovat (pak se musí dát na LUKS volume).

Pokud chápu zápisek dobře, tak chyba byla naopak v tom, že se btrfs na dedikovaném zařízení dal na oddíl místo na celý disk.

[Heron]

Můžu se zeptat na důvod k přechodu na 2.5" disky? Když se v rychlosti podívám do Alzy, tak jsou dražší než 3.5" (bez překvapení) a navíc kromě jednoho jsou všechny 5400rpm. Jediný normální 2.5" disk (tedy 7200rpm) stojí 7 litrů. Nabídka 3.5" 2TB disků je mnohem pestřejší a za nižší cenu máš 7200rpm disk.

Jinak krabička na těch 12 disků je pěkná, ale už se nedělá (bez překvapení). Tenhle boj jsem vzdal, chtěl jsem mít taky alespoň 16 špuplíků na 3.5" disky, ale nic za normální cenu není a nemá to multiplier (tedy to chce ještě řadič). Takže nakonec za nižší cenu mám vedle sebe dva towery, v každým 8 disků (kombinace 4TB a 3TB), dva OS (Linux / BTRFS, FreeBSD / ZFS) a je to asi nejlepší řešení. Jak dojde místo na disky, bude třetí komp (a možná DragonFly s HAMMER, ale to se ještě uvidí).

[alkoholik]

Ba ba, WD VelociRaptoru je vecna skoda..

[Want]

Hlučnost (jsou tišší), spotřeba (míň žerou), objem (místo 3x3,5“ mám 12x2,5“). Rychlost? Na co? Je to úložiště. Pro mne je důležitější aby data přežily výpadek i několika disků, než abych se k nim dostal o chlup dříve. Mimochodem, koupil jsem ty 2TB disky po 1,5 litrů. To je dobrá cena, ne? Jo a ta krabka se dá koupit za 3,5 tisíce z USA, koukni na ebay.com K nám se nevozila nikdy.

[j]

Prosacuj frcy a hledej MD 1000. Da se koupit kolem 3 kil (dolaru nebo eur) + doprava. Je to pochopitelne pouze hloupa krabice na disky, takze je k tomu treba jeste sas radic.

[j]

Edit: Jop a v 2,5" samosebou naprosto vpohode koupis 10 i 15k disky, ale vic nez 10 uz nikdo nepouziva, protoze ssd. V sas variante pochopitelne.

[Heron]

Jasný, toho máme plný racky, ale tady se bavíme o domácím použití. Tuším MD3000 se nám válí v kanclu pod stolem.

Doma mám v jednom toweru 2x tohle (3x3.5" do dvou 5.25" pozic) a uvnitř case je ještě místo na cca 6 disků. Tj 12 disků v jednom toweru. To je pro mě tak akorát. Dneska není problém koupit PC case pro 12 disků rovnou (tuším nějaký Fractal).

[Max]

Já si koupil Centurion 590 (stále se prodává, a za krásných 1300,-Kč), který mohu osadit odzdola až nahoru 5" pozicemi. Dodává se jen s jedním boxem na disky, ale sehnal jsem i další na bazoši. Všechny boxy mají zepředu 120x120 větrák a některé novější umožňují kromě připojení 4x3,5" připojit z každého boku ještě 2,5" disk.
Boxy mají v sobě gumy na drobné odstínění vybrací jednotlivých disků.
I když mám case v prašném prostředí, tak díky přednímu prachovému filtru nemám uvnitř skoro žádný bordel a všechny disky se krásně chladí na nějakých 35 stupňů. Do té skříně mohu narvat tři klece, takže 12x 3,5" disk + případně další v podobě 2,5".
Nevýhodou je absence hotswapu, ale to mně netrápí, je to home storage a když potřebuji něco vyměnit nebo přidat (jednou za x let), tak prostě udělám odstávku a provedu údržbu.
Aktuálně nemám moc disků připojených, protože zatím jedu low power server, malá deska, intergovaný cpu, málo sata portů, nemožnost přidat větší řadič jak 4x sata atd. A SATA multiplikátor z Číny je nestabilní.
Zdar Max

[Max]

Jinak tedy jedu historicky mdadm+btrfs, pokud to někdy budu překopávat, tak hodím na Linux ZFS, protože čím více disků, tím větší failover je potřeba a 1+n je prostě málo, chce to aspoň 2+n.
Zdar Max

[Josef Kufner]

Mimochodem, viz statistiky od Backblaze. Dělají je už několik let.

[Want]

Ehm. Ten Btrfs souborový systém o kterém píšu byl naformátován a ty původní disky co v něm běží zakoupeny, necelý rok před tím než byl ten odkazovaný server spuštěn.

[Aleš Kapica]

Tohle byla poslední předtavba před implementací onoho boxu. A tady jsem popsal, jak jsem koupil ty disky a naformátoval ten Btrfs o kterém píšu v tomhle blogu. Takže pokud dobře počítám, tak ten souborový systém jeden 9 let. Za tu dobu přešel konverzí ze single Btrfs na Btrfs v raid1. Vystřídal několik disků a lehce nabobtnal. Pořád je to ale ten samý FS. Za tu dobu jsem zažil několik totálně zkolabovaných ext4, xfs, ntfs, o fat32 nemluvě.

[Heron]

Takže pokud dobře počítám, tak ten souborový systém jeden 9 let.

Ano, také mám na stařečkovi ještě tentýž FS, na / o kterém jsem kdysi v roce 2011 psal články. Výměny disků, konverze, pokusy s balance filtry, všechno přežil a žije dodnes.

[pc2005]

SSHD o_O to je hrozná technologie to už radši koupil SSD a HDD samostatně. BTW SMR disky jsou vlastně taky SSHD ne?

Jinak já si teďka v pátek koupil WD ultrastar 4TB, tak doufám, že jsem vybral správnej model (měli dva, 512 a 4k sektorovej) a že vydrží dlouho. Seagate green mě umřel asi půl roku po koupi.

[paul2no]

SMR co vím jsou spíš jako páska, resp. více pásek. Pokud v nějaké oblasti chci něco přepsat, musím zároveň přepsat vše až do konce té oblasti. Případně můžu připisovat na konec oblasti.

[pc2005]

Já mám za to, že tam mají vyrovnávací NAND flash pro tu přepisovanou stopu, aspoň u všech SMR disků co jsem viděl byla na PCB nandka.

[Max]

Výběr ti schvaluji. Jedná se o mojí oblíbenou novější modelovou řadu WD RE4. Vývoj šel takto : WD RE4 -> WD Gold -> WD Ultrastar DC
Jinak ten disk se nedělá s 512 sektory. Ve specifikamci má 4Kn nebo 512e. Rozdíl je v tom, že verze 512e má sektory 4k, ale prezentuje je jako 512. Našel jsem tento význam :

512e (emulated)
512n (native)
4Kn (4096 native)

Zdar Max

[pc2005]

No právě podle tohodle datasheetu "How to Read the Ultrastar Model Number" jsou dva modely E6 (512e SATA) a A6 (512n SATA). Myslím že právě okolo těch 4TB (ještě když se to jmenovalo RE) bylo možný mít obě varianty (asi něco ve stylu generace X a generace Y, ale pod stejným značením WD řady).