abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 11:33 | Pozvánky

Konference LinuxDays 2017 proběhne o víkendu 7. a 8. října v Praze v Dejvicích v prostorách FIT ČVUT. Konference OpenAlt 2017 proběhne o víkendu 4. a 5. listopadu na FIT VUT v Brně. Organizátoři konferencí vyhlásili CFP (LinuxDays, OpenAlt). Přihlaste svou přednášku nebo doporučte konference známým.

Ladislav Hagara | Komentářů: 0
včera 06:00 | Nová verze

Byla vydána verze 1.3.0 odlehčeného desktopového prostředí Lumina (Wikipedie, GitHub) postaveného nad toolkitem Qt. Z novinek lze zmínit nový motiv ikon nahrazující Oxygen (material-design-[light/dark]) nebo vlastní multimediální přehrávač (lumina-mediaplayer).

Ladislav Hagara | Komentářů: 2
26.6. 17:33 | Bezpečnostní upozornění

Před šesti týdny byly publikovány výsledky bezpečnostního auditu zdrojových kódů OpenVPN a nalezené bezpečnostní chyby byly opraveny ve verzi OpenVPN 2.4.2. Guido Vranken minulý týden oznámil, že v OpenVPN nalezl další čtyři bezpečnostní chyby (CVE-2017-7520, CVE-2017-7521, CVE-2017-7522 a CVE-2017-7508). Nejzávažnější z nich se týká způsobu, jakým aplikace zachází s SSL certifikáty. Vzdálený útočník může pomocí speciálně

… více »
Ladislav Hagara | Komentářů: 1
26.6. 06:55 | Zajímavý projekt

V Edici CZ.NIC vyšla kniha Průvodce labyrintem algoritmů. Kniha je ke stažení zcela zdarma (pdf) nebo lze objednat tištěnou verzi za 339 Kč (připojení přes IPv4) nebo 289 Kč (připojení přes IPv6).

Ladislav Hagara | Komentářů: 8
26.6. 06:33 | Zajímavý software

Byla vydána verze 2.2.0 svobodného správce hesel KeePassXC (Wikipedie). Jedná se o komunitní fork správce hesel KeePassX s řadou vylepšení.

Ladislav Hagara | Komentářů: 0
26.6. 06:11 | IT novinky

Vývojář Debianu Henrique de Moraes Holschuh upozorňuje v diskusním listu debian-devel na chybu v Hyper-Threadingu v procesorech Skylake a Kaby Lake od Intelu. Za určitých okolností může chyba způsobit nepředvídatelné chování systému. Doporučuje se aktualizace mikrokódu CPU nebo vypnutí Hyper-Threadingu v BIOSu nebo UEFI [reddit].

Ladislav Hagara | Komentářů: 0
24.6. 01:23 | Komunita

Phoronix spustil 2017 Linux Laptop Survey. Tento dotazník s otázkami zaměřenými na parametry ideálního notebooku s Linuxem lze vyplnit do 6. července.

Ladislav Hagara | Komentářů: 3
23.6. 22:44 | Nová verze

Po třech měsících vývoje od vydání verze 5.5.0 byla vydána verze 5.6.0 správce digitálních fotografií digiKam (digiKam Software Collection). Do digiKamu se mimo jiné vrátila HTML galerie a nástroj pro vytváření videa z fotografií. V Bugzille bylo uzavřeno více než 81 záznamů.

Ladislav Hagara | Komentářů: 1
23.6. 17:44 | Nová verze

Byla vydána verze 9.3 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab. Představení nových vlastností v příspěvku na blogu a na YouTube.

Ladislav Hagara | Komentářů: 3
23.6. 13:53 | Nová verze

Simon Long představil na blogu Raspberry Pi novou verzi 2017-06-21 linuxové distribuce Raspbian určené především pro jednodeskové miniaturní počítače Raspberry Pi. Společně s Raspbianem byl aktualizován také instalační nástroj NOOBS (New Out Of the Box Software). Z novinek lze zdůraznit IDE Thonny pro vývoj v programovacím jazyce Python a především offline verzi Scratche 2.0. Ten bylo dosud možné používat pouze online. Offline bylo možné používat pouze Scratch ve verzi 1.4. Z nového Scratchu lze ovládat také GPIO piny. Scratch 2.0 vyžaduje Flash.

Ladislav Hagara | Komentářů: 2
Chystáte se pořídit CPU AMD Ryzen?
 (6%)
 (31%)
 (1%)
 (9%)
 (44%)
 (9%)
Celkem 853 hlasů
 Komentářů: 65, poslední 1.6. 19:16
    Rozcestník

    Dotaz: Btrfs - databáze, virtualizace

    walker avatar 4.1.2015 11:41 walker | skóre: 10 | Cheb
    Btrfs - databáze, virtualizace
    Přečteno: 477×

    Tak jsem opět tu s dalším dotazem,

    V rámci uvažovaného přechodu na btrfs bych se rád zeptal na zkušenosti/současnou situaci v provozování virt.serverů a databází na btrfs.

    Z různých článků a diskusí, ostatně i z oficiálních stránek btrfs se pro tyto účely nedoporučuje využívat COW a tuto nad těmito věcmi vypnout - at už volbou při montování či přidání attributu na soubor/adresář. Tím samozřejmě ale přicházím i o některé výhody btrfs.

    Na systému by běžely virutály - qemu-kvm (libvirt ...) a databáze MySQL a Pervasive PSQL. Prozatím sem vidě porovnání btrfs a Postgresql , které vyznělo příznivě.

    Jaká je tedy současná situace? Je nějaká změna a hodí se tedy btrfs na server, kde většinou poběží virtuály?

    Díky za postřehy a zkušenosti

    Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux

    Odpovědi

    walker avatar 4.1.2015 12:09 walker | skóre: 10 | Cheb
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace

    a přihodil bych další dotaz, který určitě vyvolá vášnivé diskuse

    - vyplatí se přechod na btrfs z ext4? co mi to přinese (pominu-li snapshoty)

    To, že práce s btrfs je trochu odlišná od dosavadního ext4 je jasné (už jen zjištění volného místa...)
    takž krom snapshotu, RAID pole co více mi to přinese? (čistě mechanické HDD, žádné SSD - raději předem doplním). (pocítím rychlost zpracovávaných operací? lepší režii? menší vytížení CPU oproti stejné práci nad ext4....)

    Asi hříšný dotaz, ale risknu to.

    Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux
    Max avatar 4.1.2015 13:00 Max | skóre: 65 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Ne, nepocítíš rychlost ani nic jiného, možná v něčem bude rychlost menší a budeš se možná potýkat s větší fragmentací, což u SSD nevadí, ale u klasického hdd by to mohlo mít vliv na výkon. Výhody btrfs jsou právě fce. Pokud ani jednu z fcí btrfs nevyužiješ, není důvod jej používat. Když bych měl vzít holý btrfs bez fcí a porovnat s ostatními FS, tak přináší větší fragmentaci a lepší odolnost vůči chybám / výpadkům apod. (což je teoretická věc, protože mně se třeba za hafo let nerozsypal reiserfs, ani ext4 i při sebehorším zacházení).
    Zdar Max
    Měl jsem sen ... :(
    Heron avatar 4.1.2015 13:08 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4.

    Pro virtualizaci nemá btrfs (podle mě) žádný přínos. Virtuálce je nejlépe na samostatném oddílu, případně na samostatném LV (tam si lze snadno dělat snapshoty). Dělat snapshoty btrfs subvolume na kterém jsou soubory virtuálních disků, sice lze, ale mi přijde jako zbytečná vrstva navíc.

    Nějaké extra výhody opravdu nevidím. Na druhou stranu, pokud je rychlost dostačující, tak současně není důvod se použití btrfs vyhnout.
    walker avatar 4.1.2015 13:15 walker | skóre: 10 | Cheb
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4. .

    jak jsem psal, nemám s tímto zkušenosti a jen čerpám znalosti - a porovnání z roku 2014, jak je v článku, mi přijde celkem aktuální, ani bych ho jinak neuváděl :)

    jinak jak jsem psal už jinde - reakce - taktéž považuji za nerozumné dělat btrfs snapshot virtuálu, když si to můžu udělat ve virtuálu :D, žádný přínos v tom nevidím.

    Jak jsem psal, jde mi spíš o to, jestli při přechodu na btrfs nedojde ke zhoršení práce ve virtuálu at už z jakýchkoliv důvodů - jsou uvedeny v odkazu na mou reakci výše (viz odkaz)

    Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux
    5.1.2015 00:49 Sten
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Pro soubory databází je vhodné vypnout COW, pak se dostanete na obdobný výkon. Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál). fsync dřív dělal flush všeho (jako na ext), ale už nedělá. Pomalý apt jde řešit apt-btrfs-snapshot + vypnutím fsynců. Obecně je největší problém využití btrfs, že většina aplikací se nějak naučila zaházet s ext*, ale s btrfs neumí zacházet, takže je potřeba jim pomoct.

    Pro plnou virtualizaci se nehodí, ale pro kontejnerovou virtualizaci má btrfs hodně velký přínos.
    5.1.2015 15:12 Kit | skóre: 38 | Brno
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Pokud jsem správně pochopil princip Btrfs, tak vypnutím COW zruším u databáze i možnost snapshotů, resp. databáze bude sdílena všemi snapshoty.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    5.1.2015 16:37 Sten
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    COW se vypne jen pro bloky, které se nesdílí. Sdílené bloky (třeba přes snapshoty) zůstanou COW.
    Heron avatar 6.1.2015 09:40 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál).

    Tak on COW není jen pro obnovení po pádu. Já mám v todo listu (viz tento článek) vyzkoušet běh PG na BTRFS a jednak otestovat rychlost (po letech), ale hlavně otestovat snapshoty subvolume s DB s tím, že by se potom ta db spustila nad daným snapshotem. Pro velmi rychlé obnovení po nějaké hodně škaredé operaci (někdo omylem udělá DROP DATABASE nad nějakou 500GB databází, která by se obnovovala půl dne). Pokud by to šlo bez poškození dat (což by bez problémů jít mělo) spustit nad snapshotem, tak by to bylo v rámci sekund (v podstatě by stačilo spustit jen pg_ctl -D snapXY).

    6.1.2015 12:06 Sten
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Máte pravdu, myslel jsem COW při změně nesdílených bloků („uvnitř souboru“), COW mezi snapshoty je stále zajímavé, proto chattr (které by databáze měly používat) vypne jen to první
    5.1.2015 22:47 Andrej | skóre: 44 | blog: Republic of Mordor | Zürich
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace

    Na jednom disku zapisuje Btrfs v implicitní konfiguraci dvě repliky všech metadat (RAID režim zvaný DUP) a navíc dělá checksumy dat i metadat. (Na diskových polích RAID 0 a 1 zapisuje vždy jednu repliku metadat na každý disk, tj. metadata jsou implicitně v režimu RAID 1, i když jsou data v režimu RAID 0, dokud to uživatel nenastaví jinak. Checksumy se samozřejmě počítají rovněžtak.) Na tohle všechno je třeba pamatovat jak při porovnávání výkonnosti vzhledem k filesystémům bez redundance a bez checksumů (Ext4), tak i při konfiguraci Btrfs. (Například na některých logovacích filesystémech jsem měl nejen data, ale i metadata v režimu RAID 0, protože z jejich případné ztráty bych se příliš neposral.)

    Pokud jde o virtualizaci, zásadní výhodou je klonování disků virtuálních strojů v téměř konstantním čase. Pokud ovšem není třeba klonovat disky nebo jinak využívat CoW, výhody Btrfs na serveru se úplně vytrácejí. Například pokud uvnitř VM běží taktéž Btrfs, je možná škoda dělat checksumy na dvou úrovních zároveň a mohlo by být lepší mít na serveru prostě LVM oddíl a vše ostatní už nechat na virtuálním stroji a na jeho interním Btrfs/ZFS/něčem podobném.

    Pokud jde o klasické úvahy o virtuálních discích v souborech na Btrfs a případné fragmentaci způsobené CoW, na SSD takový problém v podstatě neexistuje a na klasických discích mám tu zkušenost, že buď autodefrag zvládl svou práci dobře, nebo se díky zápisům dlouhých a nepřerušených sekvencí bloků ze strany virtuálního stroje celková fragmentace souboru s virtuálním diskem udržela v nějakých rozumných mezích. Zkrátka a dobře, navenek se to projevovalo tak, že virtuální stroj prostě rozumně fungoval i po mnoha aktualizacích systému a databázových experimentech všeho druhu a že se nedostavil žádný patologický stav, při kterém by ten klient bootoval déle než deset sekund nebo něco takového. To ale neznamená, že se to na jiné konfiguraci s jinými workloady nemůže úplně rozsypat. ;-) Třeba může, co já vím.

    ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
    6.1.2015 10:52 DIK
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Ahoj, ...a provozuješ btrfs + VM v produkčním prostředí a pod zátěží? Někdy kolem jádra 3.14 jsme o tom vážně uvažovali, ale bohužel naše VM testovací prostředí vždy spolehlivě btrfs položilo, někdy v řádech hodin jindy za několik dní. (...a ext4 bez problémů). Test se chystám opakovat se současným jádrem. Btrfs by se fak bodlo... DIK
    4.1.2015 19:22 Ivan
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Myslim, ze minimalne PostreSQL (a asi kazda db ktera podporuje MVCC) implementuje vlastni COW. Kdyz dva delaji totez, neni to totez. A kdyz to delaji oba najednou, tak je to problem.

    Tezko rict co vsechno DB od filesytemu (a od OS) pozaduje. Vetsinou si databaze resi vsechno samy, a kernel vyuzivaji jen jako tenky wrapper nad HW. A klidne by ji stacil i RAW device jako disk storage.

    Z toho odkazu vyplyva, ze brtfs "pomaha" PostgreSQL tim, ze komprimuje data pomoci zlib. To ale muze byt dvousecna zbran v okamziku kdy se data v databazi zacnou modifikovat(UPDATE) a nejen vkladat(INSERT).

    6.1.2015 16:42 Michal2
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Provozuju 40+ virtualnich stroju (nektere dost IO intensive) na 3 strojich 24/7 na ZFS (coz je take COW) a naprosto bez problemu. A to nad tim delam snapshoty, migrace, komprese a dalsi psi kusy. Vykon je porad stejny, nijak to nedegraduje nebo tak neco.
    6.1.2015 18:04 pavele
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    A na jaké distribuci, popřípadě na jakém hardwaru ti to běží?

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.