Dotaz: Btrfs - databáze, virtualizace

[walker]

Tak jsem opět tu s dalším dotazem,

V rámci uvažovaného přechodu na btrfs bych se rád zeptal na zkušenosti/současnou situaci v provozování virt.serverů a databází na btrfs.

Z různých článků a diskusí, ostatně i z oficiálních stránek btrfs se pro tyto účely nedoporučuje využívat COW a tuto nad těmito věcmi vypnout - at už volbou při montování či přidání attributu na soubor/adresář. Tím samozřejmě ale přicházím i o některé výhody btrfs.

Na systému by běžely virutály - qemu-kvm (libvirt ...) a databáze MySQL a Pervasive PSQL. Prozatím sem vidě porovnání btrfs a Postgresql , které vyznělo příznivě.

Jaká je tedy současná situace? Je nějaká změna a hodí se tedy btrfs na server, kde většinou poběží virtuály?

Díky za postřehy a zkušenosti

Odpovědi

[walker]

a přihodil bych další dotaz, který určitě vyvolá vášnivé diskuse

- vyplatí se přechod na btrfs z ext4? co mi to přinese (pominu-li snapshoty)

To, že práce s btrfs je trochu odlišná od dosavadního ext4 je jasné (už jen zjištění volného místa...)
takž krom snapshotu, RAID pole co více mi to přinese? (čistě mechanické HDD, žádné SSD - raději předem doplním). (pocítím rychlost zpracovávaných operací? lepší režii? menší vytížení CPU oproti stejné práci nad ext4....)

Asi hříšný dotaz, ale risknu to.

[Max]

Ne, nepocítíš rychlost ani nic jiného, možná v něčem bude rychlost menší a budeš se možná potýkat s větší fragmentací, což u SSD nevadí, ale u klasického hdd by to mohlo mít vliv na výkon. Výhody btrfs jsou právě fce. Pokud ani jednu z fcí btrfs nevyužiješ, není důvod jej používat. Když bych měl vzít holý btrfs bez fcí a porovnat s ostatními FS, tak přináší větší fragmentaci a lepší odolnost vůči chybám / výpadkům apod. (což je teoretická věc, protože mně se třeba za hafo let nerozsypal reiserfs, ani ext4 i při sebehorším zacházení).
Zdar Max

[Heron]

To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4.

Pro virtualizaci nemá btrfs (podle mě) žádný přínos. Virtuálce je nejlépe na samostatném oddílu, případně na samostatném LV (tam si lze snadno dělat snapshoty). Dělat snapshoty btrfs subvolume na kterém jsou soubory virtuálních disků, sice lze, ale mi přijde jako zbytečná vrstva navíc.

Nějaké extra výhody opravdu nevidím. Na druhou stranu, pokud je rychlost dostačující, tak současně není důvod se použití btrfs vyhnout.

[walker]

To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4. .

jak jsem psal, nemám s tímto zkušenosti a jen čerpám znalosti - a porovnání z roku 2014, jak je v článku, mi přijde celkem aktuální, ani bych ho jinak neuváděl :)

jinak jak jsem psal už jinde - reakce - taktéž považuji za nerozumné dělat btrfs snapshot virtuálu, když si to můžu udělat ve virtuálu :D, žádný přínos v tom nevidím.

Jak jsem psal, jde mi spíš o to, jestli při přechodu na btrfs nedojde ke zhoršení práce ve virtuálu at už z jakýchkoliv důvodů - jsou uvedeny v odkazu na mou reakci výše (viz odkaz)

[Sten]

Pro soubory databází je vhodné vypnout COW, pak se dostanete na obdobný výkon. Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál). fsync dřív dělal flush všeho (jako na ext), ale už nedělá. Pomalý apt jde řešit apt-btrfs-snapshot + vypnutím fsynců. Obecně je největší problém využití btrfs, že většina aplikací se nějak naučila zaházet s ext*, ale s btrfs neumí zacházet, takže je potřeba jim pomoct.

Pro plnou virtualizaci se nehodí, ale pro kontejnerovou virtualizaci má btrfs hodně velký přínos.

[Kit]

Pokud jsem správně pochopil princip Btrfs, tak vypnutím COW zruším u databáze i možnost snapshotů, resp. databáze bude sdílena všemi snapshoty.

[Sten]

COW se vypne jen pro bloky, které se nesdílí. Sdílené bloky (třeba přes snapshoty) zůstanou COW.

[Heron]

Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál).

Tak on COW není jen pro obnovení po pádu. Já mám v todo listu (viz tento článek) vyzkoušet běh PG na BTRFS a jednak otestovat rychlost (po letech), ale hlavně otestovat snapshoty subvolume s DB s tím, že by se potom ta db spustila nad daným snapshotem. Pro velmi rychlé obnovení po nějaké hodně škaredé operaci (někdo omylem udělá DROP DATABASE nad nějakou 500GB databází, která by se obnovovala půl dne). Pokud by to šlo bez poškození dat (což by bez problémů jít mělo) spustit nad snapshotem, tak by to bylo v rámci sekund (v podstatě by stačilo spustit jen pg_ctl -D snapXY).

[Sten]

Máte pravdu, myslel jsem COW při změně nesdílených bloků („uvnitř souboru“), COW mezi snapshoty je stále zajímavé, proto chattr (které by databáze měly používat) vypne jen to první

[Andrej]

Na jednom disku zapisuje Btrfs v implicitní konfiguraci dvě repliky všech metadat (RAID režim zvaný DUP) a navíc dělá checksumy dat i metadat. (Na diskových polích RAID 0 a 1 zapisuje vždy jednu repliku metadat na každý disk, tj. metadata jsou implicitně v režimu RAID 1, i když jsou data v režimu RAID 0, dokud to uživatel nenastaví jinak. Checksumy se samozřejmě počítají rovněžtak.) Na tohle všechno je třeba pamatovat jak při porovnávání výkonnosti vzhledem k filesystémům bez redundance a bez checksumů (Ext4), tak i při konfiguraci Btrfs. (Například na některých logovacích filesystémech jsem měl nejen data, ale i metadata v režimu RAID 0, protože z jejich případné ztráty bych se příliš neposral.)

Pokud jde o virtualizaci, zásadní výhodou je klonování disků virtuálních strojů v téměř konstantním čase. Pokud ovšem není třeba klonovat disky nebo jinak využívat CoW, výhody Btrfs na serveru se úplně vytrácejí. Například pokud uvnitř VM běží taktéž Btrfs, je možná škoda dělat checksumy na dvou úrovních zároveň a mohlo by být lepší mít na serveru prostě LVM oddíl a vše ostatní už nechat na virtuálním stroji a na jeho interním Btrfs/ZFS/něčem podobném.

Pokud jde o klasické úvahy o virtuálních discích v souborech na Btrfs a případné fragmentaci způsobené CoW, na SSD takový problém v podstatě neexistuje a na klasických discích mám tu zkušenost, že buď autodefrag zvládl svou práci dobře, nebo se díky zápisům dlouhých a nepřerušených sekvencí bloků ze strany virtuálního stroje celková fragmentace souboru s virtuálním diskem udržela v nějakých rozumných mezích. Zkrátka a dobře, navenek se to projevovalo tak, že virtuální stroj prostě rozumně fungoval i po mnoha aktualizacích systému a databázových experimentech všeho druhu a že se nedostavil žádný patologický stav, při kterém by ten klient bootoval déle než deset sekund nebo něco takového. To ale neznamená, že se to na jiné konfiguraci s jinými workloady nemůže úplně rozsypat. Třeba může, co já vím.

[DIK]

Ahoj, ...a provozuješ btrfs + VM v produkčním prostředí a pod zátěží? Někdy kolem jádra 3.14 jsme o tom vážně uvažovali, ale bohužel naše VM testovací prostředí vždy spolehlivě btrfs položilo, někdy v řádech hodin jindy za několik dní. (...a ext4 bez problémů). Test se chystám opakovat se současným jádrem. Btrfs by se fak bodlo... DIK

[Ivan]

Myslim, ze minimalne PostreSQL (a asi kazda db ktera podporuje MVCC) implementuje vlastni COW. Kdyz dva delaji totez, neni to totez. A kdyz to delaji oba najednou, tak je to problem.

Tezko rict co vsechno DB od filesytemu (a od OS) pozaduje. Vetsinou si databaze resi vsechno samy, a kernel vyuzivaji jen jako tenky wrapper nad HW. A klidne by ji stacil i RAW device jako disk storage.

Z toho odkazu vyplyva, ze brtfs "pomaha" PostgreSQL tim, ze komprimuje data pomoci zlib. To ale muze byt dvousecna zbran v okamziku kdy se data v databazi zacnou modifikovat(UPDATE) a nejen vkladat(INSERT).

[Michal2]

Provozuju 40+ virtualnich stroju (nektere dost IO intensive) na 3 strojich 24/7 na ZFS (coz je take COW) a naprosto bez problemu. A to nad tim delam snapshoty, migrace, komprese a dalsi psi kusy. Vykon je porad stejny, nijak to nedegraduje nebo tak neco.

[pavele]

A na jaké distribuci, popřípadě na jakém hardwaru ti to běží?