Dotaz: Reálná stabilita, výkon a paměťová náročnost souborového systému btrfs

[bataka]

Ahoj. Uvažuji o použití souborového systému btrfs na zálohovací stroj. Mám tam 7 disků, udělal bych dvě pole: raid5 ze 3 disků a raid5 ze 4 disků (respektive u těch 3 disků možná linux raid+lvm+ext4 kvůli backuppc a btrfs omezení s hardlinky).

Moje otázka zní: je btrfs dostatečně stabilní v konfiguraci raid5 + zapnutá komprese + časté snapshoty? Provozoval bych to na ubuntu 14.04. Do nedávna jsem tam měl freenas a ZFS kvůli stabilitě ... ale totálně se mi samo od sebe roze.ralo "zázračné" ZFS diskové pole (nikoliv vinou HW, ten je v pořádku - testováno), tak mě už přešla se ZFS trpělivost.

Jaký výkon bych mohl očekávat od raid5 ze 4 desktop-level disků seagate 5900RPM 2TB? Na ZFS raidz to byl zápis 20 MB/s. Na diskové pole ZFS raidz složené ze 3 enterprise level disků to byl zápis 50 MB/s, pročemž samotné disky zvládnou přes 150 MB/s ... HW serveru: 2x xeon 2.5GHz, každý 4 jádra, 16 GB RAM. Je to pro btrfs dost? Mohl by být výkon lepší než u ZFS?

... mimochodem nevíte někdo jak je to nyní s počtem hardlinků pro btrfs? Z mailing listů jsem se dočetl že tam probíhaly nějaké změny, ale nevím jak je to teď reálně - zajímá mě to kvůli BackupPC.

Předem děkuji všem za jakoukoliv reakci na jakoukoliv z mých otázek.

Odpovědi

[NN]

Dvakrat raid5, ma to nejaky specificky duvod?

[bataka]

Mám 3 stejné rychlé serverové disky a 4 stejné pomalejší disky primárně určené do desktopu (funkční, desktop disky zvolené kvůli ceně). Míchat tyto disky do jednoho pole by nedělalo dobrotu.

[Sten]

RAID 5 v btrfs není stále doladěný, má dost zásadní problémy s rebuildem. V podstatě jediný rozumný způsob je používat ho nad MD RAIDem.

Co se týče stability btrfs, lze říct, že to víceméně funguje. Což znamená, že někdy to funguje méně. Na server bych to asi zatím ještě nedoporučoval, rozhodně ne bez záloh na jiném serveru. Nicméně ZFS pod Linuxem bych nedoporučoval už vůbec, přestože jeho autoři směle tvrdí, že je production ready, i když má například dost zásadní problémy se správou paměti, výkonem a zotavováním se. A při spoustě problémů deadlockne celý systém a pro opravu je často potřeba Solaris nebo placený support.

Hardlinky jsou nejspíš stále omezené na 65 535 per volume, problém s hardlinky v rámci jednoho adresáře ale již byl vyřešen. Nicméně pokud chcete pro zálohování používat snapshoty, tak přeci hardlinky nepotřebujete, ne?

[bataka]

Nicméně ZFS pod Linuxem bych nedoporučoval už vůbec

ZFS jsem provozoval na FreeNAS (tj. vlastně FreeBSD), ale právě tam se ZFS totálně oddělal - najednou se server sám od sebe začal restartovat a po eliminaci vlivu HW jsem našel, že se to děje ve chvíli, kdy je nahrán ZFS modul a pracuje se s daným poolem (respektive teď už se to jen snaží ho připojit než se restartuje). Ještě zkusím pool připojit ze SmartOS (měl by mít kompatibilní feature flags) a dostat z toho data.

Nicméně pokud chcete pro zálohování používat snapshoty, tak přeci hardlinky nepotřebujete, ne?

BackupPC je založen právě na nich. Snapshoty bych používal pro jiný druh záloh - kromě BackupPC klasicky přes NFS záloha celých virtuálních strojů ns zálohovací stroj - tam bych dělal snapshoty.

[Sten]

Nevím, jestli je na btrfs k něčemu používat BackupPC, snapshoty fungují daleko lépe. Pro snapshoty virtuálů bych spíš doporučil používat LVM, virtuály v souborech (navíc ještě komprimovaných) nejsou zrovna rychlé.

[kdave]

Hardlinky jsou nejspíš stále omezené na 65 535 per volume, problém s hardlinky v rámci jednoho adresáře ale již byl vyřešen. Nicméně pokud chcete pro zálohování používat snapshoty, tak přeci hardlinky nepotřebujete, ne?

Ano, omezeni na pocet hardlinku v ramci subvolume je 64k a je to umele nastaveny limit. Krome XFS (bez omezeni) je to u ostatnich beznych pracich^W filesystemu 32k nebo 64k.

Kdyz je 65k malo, kolik by to melo byt? Neco v radu statisicu nebo milionu?

[Sten]

ext* má omezení na 65 534 hard linků na jeden inode, celkový počet hardlinků ve volume nijak omezen není. Tady ale spíš šlo o ten problém, že v btrfs dříve za určitých okolností nešlo vytvořit více než 13 (kusů, ne tisíc) hardlinků v jednom adresáři.

[kdave]

Ano o tom problemu vim, jde mi spis o to, jestli ten limit 65535 stale nestaci. Pokud je pro to smysluplny usecase, tak by se dalo protlacit zvyseni.