abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 01:00 | Nová verze

Oficiálně bylo vydáno Ubuntu 18.04 LTS s kódovým názvem Bionic Beaver. Tato verze s prodlouženou podporou bude podporována 5 let, tj. do dubna 2023. Přehled novinek a také odkazy na oficiální deriváty v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 23:00 | Nová verze

Po osmi letech od prvního commitu byla vydána verze 1.0 webového frameworku Flask (Wikipedie) napsaného v Pythonu. Přehled novinek v oznámení o vydání. Instalovat lze z PyPI. Odstraněna byla podpora Pythonu 2.6 a 3.3.

Ladislav Hagara | Komentářů: 0
včera 16:22 | Zajímavý článek

Nadace Raspberry Pi vydala devětašedesáté číslo (pdf) anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a šesté číslo (pdf) časopisu pro kutily HackSpace věnovanému navíc 3D tisku, pájení, řezání nebo i elektronice a IoT.

Ladislav Hagara | Komentářů: 0
včera 14:11 | Komunita

Byl zveřejněn seznam 44 osob přijatých do programu Outreachy od 14. května do 14. srpna 2018. Cílem programu Outreachy je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny.

Ladislav Hagara | Komentářů: 12
včera 11:44 | Nová verze

Glen MacArthur vydal verzi 2018.4.2 na Debianu založené linuxové distribuce optimalizované pro tvůrce audio a video obsahu AV Linux (Wikipedie). Podrobnosti v oznámení o vydání a v stotřicetistránkovém manuálu (pdf).

Ladislav Hagara | Komentářů: 0
25.4. 23:33 | Nová verze

Byla vydána nová stabilní verze 1.15 (1.15.1147.36) webového prohlížeče Vivaldi (Wikipedie). Z novinek lze zdůraznit možnost nastavení vlastního pozadí okna, přístup k záložkám z hlavního menu, lepší ovládatelnost v režimu celé obrazovky nebo vyřešení problémů se zvukem v HTML5. Nejnovější Vivaldi je postaveno na Chromiu 65.0.3325.183.

Ladislav Hagara | Komentářů: 0
25.4. 17:22 | Nová verze

Node.js Foundation, oficiální projekt konsorcia Linux Foundation, oznámila vydání verze 10.0.0 otevřeného multiplatformního prostředí pro vývoj a běh síťových aplikací napsaných v JavaScriptu Node.js (Wikipedie). Verze 10 se v říjnu stane novou aktivní LTS verzí. Podpora je plánována do dubna 2021.

Ladislav Hagara | Komentářů: 0
25.4. 15:33 | Nová verze

Neal Cardwell ze společnosti Google oznámil zveřejnění verze 2.0 nástroje pro testování síťového stacku packetdrill. Jde o souhrnné vydání změn z interního vývoje od roku 2013.

Michal Kubeček | Komentářů: 0
25.4. 13:22 | Zajímavý software

Microsoft na svém blogu oznámil, že správce knihoven pro C++ Vcpkg (VC++ Packaging Tool) lze nově používat také na Linuxu a macOS. Aktuálně je pro Linux k dispozici více než 350 knihoven [reddit].

Ladislav Hagara | Komentářů: 1
25.4. 12:44 | Komunita

Byly zveřejněny exploity na Nintendo Switch a platformu Tegra X1: Fusée Gelée a ShofEL2. Jejich zneužití nelze zabránit softwarovou aktualizací. Na druhou stranu exploity umožní na Nintendo Switch snadno a rychle nainstalovat Linux, viz. ukázka na YouTube. Jenom je potřeba sáhnout na hardware.

Ladislav Hagara | Komentářů: 0
Používáte na serverech port knocking?
 (3%)
 (7%)
 (47%)
 (26%)
 (18%)
Celkem 388 hlasů
 Komentářů: 29, poslední 5.4. 12:25
    Rozcestník

    Dotaz: Btrfs - databáze, virtualizace

    walker avatar 4.1.2015 11:41 walker | skóre: 10 | Cheb
    Btrfs - databáze, virtualizace
    Přečteno: 480×

    Tak jsem opět tu s dalším dotazem,

    V rámci uvažovaného přechodu na btrfs bych se rád zeptal na zkušenosti/současnou situaci v provozování virt.serverů a databází na btrfs.

    Z různých článků a diskusí, ostatně i z oficiálních stránek btrfs se pro tyto účely nedoporučuje využívat COW a tuto nad těmito věcmi vypnout - at už volbou při montování či přidání attributu na soubor/adresář. Tím samozřejmě ale přicházím i o některé výhody btrfs.

    Na systému by běžely virutály - qemu-kvm (libvirt ...) a databáze MySQL a Pervasive PSQL. Prozatím sem vidě porovnání btrfs a Postgresql , které vyznělo příznivě.

    Jaká je tedy současná situace? Je nějaká změna a hodí se tedy btrfs na server, kde většinou poběží virtuály?

    Díky za postřehy a zkušenosti

    Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux

    Odpovědi

    walker avatar 4.1.2015 12:09 walker | skóre: 10 | Cheb
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace

    a přihodil bych další dotaz, který určitě vyvolá vášnivé diskuse

    - vyplatí se přechod na btrfs z ext4? co mi to přinese (pominu-li snapshoty)

    To, že práce s btrfs je trochu odlišná od dosavadního ext4 je jasné (už jen zjištění volného místa...)
    takž krom snapshotu, RAID pole co více mi to přinese? (čistě mechanické HDD, žádné SSD - raději předem doplním). (pocítím rychlost zpracovávaných operací? lepší režii? menší vytížení CPU oproti stejné práci nad ext4....)

    Asi hříšný dotaz, ale risknu to.

    Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux
    Max avatar 4.1.2015 13:00 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Ne, nepocítíš rychlost ani nic jiného, možná v něčem bude rychlost menší a budeš se možná potýkat s větší fragmentací, což u SSD nevadí, ale u klasického hdd by to mohlo mít vliv na výkon. Výhody btrfs jsou právě fce. Pokud ani jednu z fcí btrfs nevyužiješ, není důvod jej používat. Když bych měl vzít holý btrfs bez fcí a porovnat s ostatními FS, tak přináší větší fragmentaci a lepší odolnost vůči chybám / výpadkům apod. (což je teoretická věc, protože mně se třeba za hafo let nerozsypal reiserfs, ani ext4 i při sebehorším zacházení).
    Zdar Max
    Měl jsem sen ... :(
    Heron avatar 4.1.2015 13:08 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4.

    Pro virtualizaci nemá btrfs (podle mě) žádný přínos. Virtuálce je nejlépe na samostatném oddílu, případně na samostatném LV (tam si lze snadno dělat snapshoty). Dělat snapshoty btrfs subvolume na kterém jsou soubory virtuálních disků, sice lze, ale mi přijde jako zbytečná vrstva navíc.

    Nějaké extra výhody opravdu nevidím. Na druhou stranu, pokud je rychlost dostačující, tak současně není důvod se použití btrfs vyhnout.
    walker avatar 4.1.2015 13:15 walker | skóre: 10 | Cheb
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    To porovnání výkonu postgresu na btrfs a ext4 se mi zdá příliš optimistické. Co jsem testoval (pravda, je tomu už déle než rok), tak tps bylo na btrfs poloviční (což celkem odpovídá tomu, co ten fs musí dělat navíc). A také to celkem odpovídá pomalosti btrfs při fsync (což db dělá na konci každé transakce). V každém případě je asi čas na nový test na aktuálním jádru a na pg 9.4. .

    jak jsem psal, nemám s tímto zkušenosti a jen čerpám znalosti - a porovnání z roku 2014, jak je v článku, mi přijde celkem aktuální, ani bych ho jinak neuváděl :)

    jinak jak jsem psal už jinde - reakce - taktéž považuji za nerozumné dělat btrfs snapshot virtuálu, když si to můžu udělat ve virtuálu :D, žádný přínos v tom nevidím.

    Jak jsem psal, jde mi spíš o to, jestli při přechodu na btrfs nedojde ke zhoršení práce ve virtuálu at už z jakýchkoliv důvodů - jsou uvedeny v odkazu na mou reakci výše (viz odkaz)

    Linux 4.0.7-1-zen #1 ZEN SMP PREEMPT x86_64 GNU/Linux
    5.1.2015 00:49 Sten
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Pro soubory databází je vhodné vypnout COW, pak se dostanete na obdobný výkon. Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál). fsync dřív dělal flush všeho (jako na ext), ale už nedělá. Pomalý apt jde řešit apt-btrfs-snapshot + vypnutím fsynců. Obecně je největší problém využití btrfs, že většina aplikací se nějak naučila zaházet s ext*, ale s btrfs neumí zacházet, takže je potřeba jim pomoct.

    Pro plnou virtualizaci se nehodí, ale pro kontejnerovou virtualizaci má btrfs hodně velký přínos.
    5.1.2015 15:12 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Pokud jsem správně pochopil princip Btrfs, tak vypnutím COW zruším u databáze i možnost snapshotů, resp. databáze bude sdílena všemi snapshoty.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    5.1.2015 16:37 Sten
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    COW se vypne jen pro bloky, které se nesdílí. Sdílené bloky (třeba přes snapshoty) zůstanou COW.
    Heron avatar 6.1.2015 09:40 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Databáze COW nepotřebují, protože se umí obnovit samy (mají vlastní žurnál).

    Tak on COW není jen pro obnovení po pádu. Já mám v todo listu (viz tento článek) vyzkoušet běh PG na BTRFS a jednak otestovat rychlost (po letech), ale hlavně otestovat snapshoty subvolume s DB s tím, že by se potom ta db spustila nad daným snapshotem. Pro velmi rychlé obnovení po nějaké hodně škaredé operaci (někdo omylem udělá DROP DATABASE nad nějakou 500GB databází, která by se obnovovala půl dne). Pokud by to šlo bez poškození dat (což by bez problémů jít mělo) spustit nad snapshotem, tak by to bylo v rámci sekund (v podstatě by stačilo spustit jen pg_ctl -D snapXY).

    6.1.2015 12:06 Sten
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Máte pravdu, myslel jsem COW při změně nesdílených bloků („uvnitř souboru“), COW mezi snapshoty je stále zajímavé, proto chattr (které by databáze měly používat) vypne jen to první
    5.1.2015 22:47 Andrej | skóre: 45 | blog: Republic of Mordor | Zürich
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace

    Na jednom disku zapisuje Btrfs v implicitní konfiguraci dvě repliky všech metadat (RAID režim zvaný DUP) a navíc dělá checksumy dat i metadat. (Na diskových polích RAID 0 a 1 zapisuje vždy jednu repliku metadat na každý disk, tj. metadata jsou implicitně v režimu RAID 1, i když jsou data v režimu RAID 0, dokud to uživatel nenastaví jinak. Checksumy se samozřejmě počítají rovněžtak.) Na tohle všechno je třeba pamatovat jak při porovnávání výkonnosti vzhledem k filesystémům bez redundance a bez checksumů (Ext4), tak i při konfiguraci Btrfs. (Například na některých logovacích filesystémech jsem měl nejen data, ale i metadata v režimu RAID 0, protože z jejich případné ztráty bych se příliš neposral.)

    Pokud jde o virtualizaci, zásadní výhodou je klonování disků virtuálních strojů v téměř konstantním čase. Pokud ovšem není třeba klonovat disky nebo jinak využívat CoW, výhody Btrfs na serveru se úplně vytrácejí. Například pokud uvnitř VM běží taktéž Btrfs, je možná škoda dělat checksumy na dvou úrovních zároveň a mohlo by být lepší mít na serveru prostě LVM oddíl a vše ostatní už nechat na virtuálním stroji a na jeho interním Btrfs/ZFS/něčem podobném.

    Pokud jde o klasické úvahy o virtuálních discích v souborech na Btrfs a případné fragmentaci způsobené CoW, na SSD takový problém v podstatě neexistuje a na klasických discích mám tu zkušenost, že buď autodefrag zvládl svou práci dobře, nebo se díky zápisům dlouhých a nepřerušených sekvencí bloků ze strany virtuálního stroje celková fragmentace souboru s virtuálním diskem udržela v nějakých rozumných mezích. Zkrátka a dobře, navenek se to projevovalo tak, že virtuální stroj prostě rozumně fungoval i po mnoha aktualizacích systému a databázových experimentech všeho druhu a že se nedostavil žádný patologický stav, při kterém by ten klient bootoval déle než deset sekund nebo něco takového. To ale neznamená, že se to na jiné konfiguraci s jinými workloady nemůže úplně rozsypat. ;-) Třeba může, co já vím.

    ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
    6.1.2015 10:52 DIK
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Ahoj, ...a provozuješ btrfs + VM v produkčním prostředí a pod zátěží? Někdy kolem jádra 3.14 jsme o tom vážně uvažovali, ale bohužel naše VM testovací prostředí vždy spolehlivě btrfs položilo, někdy v řádech hodin jindy za několik dní. (...a ext4 bez problémů). Test se chystám opakovat se současným jádrem. Btrfs by se fak bodlo... DIK
    4.1.2015 19:22 Ivan
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Myslim, ze minimalne PostreSQL (a asi kazda db ktera podporuje MVCC) implementuje vlastni COW. Kdyz dva delaji totez, neni to totez. A kdyz to delaji oba najednou, tak je to problem.

    Tezko rict co vsechno DB od filesytemu (a od OS) pozaduje. Vetsinou si databaze resi vsechno samy, a kernel vyuzivaji jen jako tenky wrapper nad HW. A klidne by ji stacil i RAW device jako disk storage.

    Z toho odkazu vyplyva, ze brtfs "pomaha" PostgreSQL tim, ze komprimuje data pomoci zlib. To ale muze byt dvousecna zbran v okamziku kdy se data v databazi zacnou modifikovat(UPDATE) a nejen vkladat(INSERT).

    6.1.2015 16:42 Michal2
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    Provozuju 40+ virtualnich stroju (nektere dost IO intensive) na 3 strojich 24/7 na ZFS (coz je take COW) a naprosto bez problemu. A to nad tim delam snapshoty, migrace, komprese a dalsi psi kusy. Vykon je porad stejny, nijak to nedegraduje nebo tak neco.
    6.1.2015 18:04 pavele
    Rozbalit Rozbalit vše Re: Btrfs - databáze, virtualizace
    A na jaké distribuci, popřípadě na jakém hardwaru ti to běží?

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.