abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 1
včera 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 26
včera 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 7
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 14
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 15
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 5
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 1
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 774 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Btrfs - databáze, virtualizace

walker avatar 4.1.2015 11:41 walker | skóre: 10 | Cheb
Btrfs - databáze, virtualizace
Přečteno: 467×

Tak jsem opět tu s dalším dotazem,

V rámci uvažovaného přechodu na btrfs bych se rád zeptal na zkušenosti/současnou situaci v provozování virt.serverů a databází na btrfs.

Z různých článků a diskusí, ostatně i z oficiálních stránek btrfs se pro tyto účely nedoporučuje využívat COW a tuto nad těmito věcmi vypnout - at už volbou při montování či přidání attributu na soubor/adresář. Tím samozřejmě ale přicházím i o některé výhody btrfs.

Na systému by běžely virutály - qemu-kvm (libvirt ...) a databáze MySQL a Pervasive PSQL. Prozatím sem vidě porovnání btrfs a Postgresql , které vyznělo příznivě.

Jaká je tedy současná situace? Je nějaká změna a hodí se tedy btrfs na server, kde většinou poběží virtuály?

Díky za postřehy a zkušenosti

Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux

Odpovědi

walker avatar 4.1.2015 12:09 walker | skóre: 10 | Cheb
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace

a přihodil bych další dotaz, který určitě vyvolá vášnivé diskuse

- vyplatí se přechod na btrfs z ext4? co mi to přinese (pominu-li snapshoty)

To, že práce s btrfs je trochu odlišná od dosavadního ext4 je jasné (už jen zjištění volného místa...)
takž krom snapshotu, RAID pole co více mi to přinese? (čistě mechanické HDD, žádné SSD - raději předem doplním). (pocítím rychlost zpracovávaných operací? lepší režii? menší vytížení CPU oproti stejné práci nad ext4....)

Asi hříšný dotaz, ale risknu to.

Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux
Max avatar 4.1.2015 13:00 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Ne, nepocítíš rychlost ani nic jiného, možná v něčem bude rychlost menší a budeš se možná potýkat s větší fragmentací, což u SSD nevadí, ale u klasického hdd by to mohlo mít vliv na výkon. Výhody btrfs jsou právě fce. Pokud ani jednu z fcí btrfs nevyužiješ, není důvod jej používat. Když bych měl vzít holý btrfs bez fcí a porovnat s ostatními FS, tak přináší větší fragmentaci a lepší odolnost vůči chybám / výpadkům apod. (což je teoretická věc, protože mně se třeba za hafo let nerozsypal reiserfs, ani ext4 i při sebehorším zacházení).
Zdar Max
Měl jsem sen ... :(
Heron avatar 4.1.2015 13:08 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4.

Pro virtualizaci nemá btrfs (podle mě) žádný přínos. Virtuálce je nejlépe na samostatném oddílu, případně na samostatném LV (tam si lze snadno dělat snapshoty). Dělat snapshoty btrfs subvolume na kterém jsou soubory virtuálních disků, sice lze, ale mi přijde jako zbytečná vrstva navíc.

Nějaké extra výhody opravdu nevidím. Na druhou stranu, pokud je rychlost dostačující, tak současně není důvod se použití btrfs vyhnout.
walker avatar 4.1.2015 13:15 walker | skóre: 10 | Cheb
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4. .

jak jsem psal, nemám s tímto zkušenosti a jen čerpám znalosti - a porovnání z roku 2014, jak je v článku, mi přijde celkem aktuální, ani bych ho jinak neuváděl :)

jinak jak jsem psal už jinde - reakce - taktéž považuji za nerozumné dělat btrfs snapshot virtuálu, když si to můžu udělat ve virtuálu :D, žádný přínos v tom nevidím.

Jak jsem psal, jde mi spíš o to, jestli při přechodu na btrfs nedojde ke zhoršení práce ve virtuálu at už z jakýchkoliv důvodů - jsou uvedeny v odkazu na mou reakci výše (viz odkaz)

Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux
5.1.2015 00:49 Sten
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Pro soubory databází je vhodné vypnout COW, pak se dostanete na obdobný výkon. Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál). fsync dřív dělal flush všeho (jako na ext), ale už nedělá. Pomalý apt jde řešit apt-btrfs-snapshot + vypnutím fsynců. Obecně je největší problém využití btrfs, že většina aplikací se nějak naučila zaházet s ext*, ale s btrfs neumí zacházet, takže je potřeba jim pomoct.

Pro plnou virtualizaci se nehodí, ale pro kontejnerovou virtualizaci má btrfs hodně velký přínos.
5.1.2015 15:12 Kit | skóre: 36 | Brno
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Pokud jsem správně pochopil princip Btrfs, tak vypnutím COW zruším u databáze i možnost snapshotů, resp. databáze bude sdílena všemi snapshoty.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
5.1.2015 16:37 Sten
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
COW se vypne jen pro bloky, které se nesdílí. Sdílené bloky (třeba přes snapshoty) zůstanou COW.
Heron avatar 6.1.2015 09:40 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál).

Tak on COW není jen pro obnovení po pádu. Já mám v todo listu (viz tento článek) vyzkoušet běh PG na BTRFS a jednak otestovat rychlost (po letech), ale hlavně otestovat snapshoty subvolume s DB s tím, že by se potom ta db spustila nad daným snapshotem. Pro velmi rychlé obnovení po nějaké hodně škaredé operaci (někdo omylem udělá DROP DATABASE nad nějakou 500GB databází, která by se obnovovala půl dne). Pokud by to šlo bez poškození dat (což by bez problémů jít mělo) spustit nad snapshotem, tak by to bylo v rámci sekund (v podstatě by stačilo spustit jen pg_ctl -D snapXY).

6.1.2015 12:06 Sten
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Máte pravdu, myslel jsem COW při změně nesdílených bloků („uvnitř souboru“), COW mezi snapshoty je stále zajímavé, proto chattr (které by databáze měly používat) vypne jen to první
5.1.2015 22:47 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace

Na jednom disku zapisuje Btrfs v implicitní konfiguraci dvě repliky všech metadat (RAID režim zvaný DUP) a navíc dělá checksumy dat i metadat. (Na diskových polích RAID 0 a 1 zapisuje vždy jednu repliku metadat na každý disk, tj. metadata jsou implicitně v režimu RAID 1, i když jsou data v režimu RAID 0, dokud to uživatel nenastaví jinak. Checksumy se samozřejmě počítají rovněžtak.) Na tohle všechno je třeba pamatovat jak při porovnávání výkonnosti vzhledem k filesystémům bez redundance a bez checksumů (Ext4), tak i při konfiguraci Btrfs. (Například na některých logovacích filesystémech jsem měl nejen data, ale i metadata v režimu RAID 0, protože z jejich případné ztráty bych se příliš neposral.)

Pokud jde o virtualizaci, zásadní výhodou je klonování disků virtuálních strojů v téměř konstantním čase. Pokud ovšem není třeba klonovat disky nebo jinak využívat CoW, výhody Btrfs na serveru se úplně vytrácejí. Například pokud uvnitř VM běží taktéž Btrfs, je možná škoda dělat checksumy na dvou úrovních zároveň a mohlo by být lepší mít na serveru prostě LVM oddíl a vše ostatní už nechat na virtuálním stroji a na jeho interním Btrfs/ZFS/něčem podobném.

Pokud jde o klasické úvahy o virtuálních discích v souborech na Btrfs a případné fragmentaci způsobené CoW, na SSD takový problém v podstatě neexistuje a na klasických discích mám tu zkušenost, že buď autodefrag zvládl svou práci dobře, nebo se díky zápisům dlouhých a nepřerušených sekvencí bloků ze strany virtuálního stroje celková fragmentace souboru s virtuálním diskem udržela v nějakých rozumných mezích. Zkrátka a dobře, navenek se to projevovalo tak, že virtuální stroj prostě rozumně fungoval i po mnoha aktualizacích systému a databázových experimentech všeho druhu a že se nedostavil žádný patologický stav, při kterém by ten klient bootoval déle než deset sekund nebo něco takového. To ale neznamená, že se to na jiné konfiguraci s jinými workloady nemůže úplně rozsypat. ;-) Třeba může, co já vím.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
6.1.2015 10:52 DIK
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Ahoj, ...a provozuješ btrfs + VM v produkčním prostředí a pod zátěží? Někdy kolem jádra 3.14 jsme o tom vážně uvažovali, ale bohužel naše VM testovací prostředí vždy spolehlivě btrfs položilo, někdy v řádech hodin jindy za několik dní. (...a ext4 bez problémů). Test se chystám opakovat se současným jádrem. Btrfs by se fak bodlo... DIK
4.1.2015 19:22 Ivan
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Myslim, ze minimalne PostreSQL (a asi kazda db ktera podporuje MVCC) implementuje vlastni COW. Kdyz dva delaji totez, neni to totez. A kdyz to delaji oba najednou, tak je to problem.

Tezko rict co vsechno DB od filesytemu (a od OS) pozaduje. Vetsinou si databaze resi vsechno samy, a kernel vyuzivaji jen jako tenky wrapper nad HW. A klidne by ji stacil i RAW device jako disk storage.

Z toho odkazu vyplyva, ze brtfs "pomaha" PostgreSQL tim, ze komprimuje data pomoci zlib. To ale muze byt dvousecna zbran v okamziku kdy se data v databazi zacnou modifikovat(UPDATE) a nejen vkladat(INSERT).

6.1.2015 16:42 Michal2
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
Provozuju 40+ virtualnich stroju (nektere dost IO intensive) na 3 strojich 24/7 na ZFS (coz je take COW) a naprosto bez problemu. A to nad tim delam snapshoty, migrace, komprese a dalsi psi kusy. Vykon je porad stejny, nijak to nedegraduje nebo tak neco.
6.1.2015 18:04 pavele
Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
A na jaké distribuci, popřípadě na jakém hardwaru ti to běží?

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.