Dotaz: Zase rozdělění disků

[Milan Uhrák]

Zdravím ...

stojím před novou instalací serveru a obligátně řeším, jak co nejlépe podělit disky.

Jsou tam 3x 2TB. Moje představa je umístit kořen včetně bootu do raid1->ext4 (50G), zbylý prostor použít na serverová data ( samba, dovecot, apache+pxe, mariadb a podobně ). Btrfs mám již doma odzkoušeno, snad by s tím nebyl zásadní problém, takže na zbytek nasadit btrfa a mountnout ho na /srv ?

Jak a kam swap ? udělat na každém disku 5G partišnu a spojit je do raidu( 0 1 nebo 5 ? ) nebo rovnou naformátovat na swap a mít 3 swapy ?

Mám brtfs umístit na raid ? tedy nevytvářet raid5 v btrfa, ale systémem ? Nebo se vy.. na btrfs a použít raid5->lvm ? nebo se vy.. na lvm a na ten zbytek dát raid5->xfs a "rozdělit" prostor adresářemi ?

Nic lepšího mně nenapadá, jak by jste na to šli vy ?

Předem díky za rozumné nápady.

---

---

Odpovědi

[Jirka]

Mám spíš zkušenosti se ZFS na Solarisu, ale btrfs používám na linuxu a mělo by to být docela podobné. Volume management (mirror, stripe, apod.) vždy dělej v btrfs/zfs v tom je hlavní síla těch fs. proti tomu HW RAID je slabota, protože to nebude samoopravující. Tři disky jsou k ničemu. Buď dej dva do mirroru, nebo dokup čtvrtý a udělej stripe+mirror. Pokud je pro tebe OK použít COW filesystém (btrfs/zfs) pro aplikační data (databáze...), tak nemá smysl dávat root na ext4. Udělej btrfs root a pro data vytvoř subvolume. Na Solarisu se ZFS root se taky swap vytváří obvykle jako ZFS dataset, nejde to i na linuxu s btrfs? O jeden diskový oddíl méně...

[Josef Kufner]

Co jsem tak pochytil, tak swap soubor na btrfs prý není podporovaný. Nechat si kousek nepřiděleného či realokovatelného místa na disku není špatná věc.

[Milan Uhrák]

Raid5 chci vytvořit přes mdadm, asi by šel udělat i na základní desce, ale tomu nevěřím. Mít vše na jednom velkém btrfs raději ne. Kdyby se náhodou rozbil, zůstane mi na ext4 alespoň funkční systém.

Ten swap se skoro nepoužívá, ale pár giga mi z disku moc neukousne, tak proč ho tam nedat. Ten nápad z SSD nevypadá špatmě, beru v potaz.

Proč raid 10 (stripe+mirror) ? je to nativní btrfs fičura ? Proč by neměly být databáze na COW ? jinak databáze tvoří 1% dat, většinu objemu zabírají uživatelská data a dovecot s poštou.

[Josef Kufner]

A potřebuješ ten swap?

Docela dobré řešení swapu je malé levné SSD. Uděláš na něm partišnu na cca ¼ velikosti disku a zbytek necháš nevyužitý. Ty nejmenší stojí kolem 600 Kč a má to dvě velké výhody:

1. SSD je mnohem rychlejší, což u swapu značně zvedne výkon celého stroje, pokud je swap opravdu potřeba.
2. Swap ti nebude opotřebovávat rotační disky, čímž se jim zvedne životnost a spolehlivost. Když ti chcípne dedikované SSD, tak ti jen spadne server a o data nepřijdeš.

Samozřejmě, že pokud je tam swap jen pro parádu, tak ani jedna výhoda se moc neuplatní.

[Milan Uhrák]

Je špatný nápad vytvořit mdadm raid5 a na něj plácnout btrfs ?

[pavele]

To nevím.

Obecně jsem konzervativní a btrfs na CentOS není podporovaný.

Mám stejný počet disků.

Dva disky mám v RAID1: kořen se systémem, swap, data na virtuálky.

Malý kousek jsem nechal volný pro snadnější obnovu RAID1 při eventuální výměně disků.

Třetí disk mi slouží pro zálohování systému a virtuálek.

LVM nepotřebuji - v KVM si vytvořím, zvětším nebo zruším tolik virtuálních sparse disků, kolik potřebuji pro virtuální stroje.

Co se týče btrfs, určitě je to progresivní filesystém a má před sebou skvělou budoucnost. Já však hraji na jistotu. Nemám čas na hraní, potřebuji pracovat.

[Jendа]

Databáze na CoW FS na rotačním disku se prý časem velice zpomalí, ověř si, že CoW jde vypnout per subvolume - některé featury nejdou.

RAID5 v btrfs nefunguje.

[Superklokan]

Ziadna DB nepatri na COW filesystem. Ked BTRFS tak montovat s flagom nodatacow https://mariadb.com/resources/blog/what-best-linux-filesystem-mariadb

[Peter Golis]

Databázy sú bežnou súčasťou aplikácií. Napríklad internetový prehliadač Firefox používa DB SQLite aby do užívateľovho profilu zotriedil potrebné hodnoty. Podľa tvojej logiky by tým pádom nemohli byť užívateľské profily uložené na FS s COW ak užívateľ používa FF.

Kľudne pokračuj, znie to naozaj zaujímavo. Skús to rozviesť na aspoň 200 slov, vyzerá to na zaujímavú fabulátorskú glosu z dielne nutričných poradcov v mienkotvorných periodikách ktorý sa poohliadli po segmente kde ešte emajú konkurenciu.

[GeorgeWH]

Kazdy normalny pochopil, len Golis... aaa skoda slov.

[Peter Golis]

Každý normálny človek chápe čo je databáza. A čo ty a Superklokan? Porozprávaj o tom niečo, rád si vypočujem nejakú piatkovú glosu alebo ďalší iný blábol.

[Superklokan]

Golis, na zaciatok sa dohodneme ze SQLite nie je ziadna databaza :) a ze browser vyuzivajuci SQLite nie je to iste ako sql klient a sql server :)

[Peter Golis]

Jediné na čom sa dohodneme je, že sa mýliš. A tvoje smajlíky na tom nič nezmenia.

SQLite is a relational database management system ...

[Superklokan]

Golis, este raz a naposledy. SQLite NIE je databazovy sever.

[Superklokan]

Golis, tak ako tu odznelo aj keby SQLite bola databaza nikto pricetny ho neda na CoW.

https://wiki.debian.org/Btrfs#Maintenance

[Peter Golis]

Takže potvrdzuješ tvoje slová že ak užívateľ na svojom desktope používa Firefox (DB SQLite included), tak nemá mať domovský priečinok na FS s CoW akými sú napúríklad ZFS alebo BTRFS. Povedz o tom niečo, aspoň súvetie ktoré by si v jednej vete neodporovalo.

[Superklokan]

Žiaden Golis nedokáže dať toľko lásky Golisovi, ako dokáže dať len Golis Golisovi

[Peter Golis]

Je smutné že sa tvoj nedostatok chápania definície produktu snažíš zamaskovať láskou. Alebo, je to inak?

[pavele]

Mohli byste napsat Vaše rozdělení disku a fs preference?

Doufal jsem, že se dozvím něco zajímavého a podnětného, místo toho se to zvrhlo na obyčejný trolling.

Vlákno je naprosto k ničemu.

[k3dAR]

tak vlakno si nezalozil ty, takze jestli je k necemu tazateli a k nicemu tobe, tak je to opravdu irelevantni
btw: ja sve preference vrstev, rozdeleni i fs napsal...

[Peter Golis]

Kľudne. Súkromne mi stačia mi tri logické oblasti. Efi, boot a zvyšok. Pracovne to závisí od účelu počítača.

Mimochodom, trolling to bol ešte pred tým, ako som sa ozval. Databáza nesmie byť na ... Databáza nie je ... A podobne.

[cronin]

Superklokan sa síce nevyjadril úplne pregnantne, ale kto si chcel v jeho príspevku nájsť užitočnú informáciu, mohol tak urobiť. Zato Ty, chytajúc sa slovíčok "databáza" a "žiadna" si síce vygeneroval spústu príspevkov, vrátane tohoto môjho, ale ich informačná hodnota je nulová ... vrátane tohoto môjho. Takže môžeš byť super erudovaný puntičkár, naslovovzatý odborník, ale v kontexte tejto konkrétnej diskusie si priam definíciou trola. Ber to ako upozornenie v dobrej viere - sám som niekedy zaslepený "svojou pravdou" natoľko, že neviem, kedy prestať diskutovať a rád by som umlátil argumentami všetkých dookola.

[Peter Golis]

Superklokan sa vyjadril veľmi presne a výstižne. A namiesto aby priznal svoj omyl, tak prešiel do osobného útoku. Presne ako malé rozmaznané dieťa ktoré sa montuje do rozhovoru ktorému nerozumie. A opakoval to, tak ako to zvykne robiť troll.

PS: Argumentovať výrazom "svoja pravda" pri definícii produktu je značne infantilné.

[Superklokan]

Golis, urcite si schyzofrenik, chudak, 35rocny panic, co si lieci komplexy na forach, precitaj si svoje prispevky a najma tvoj prvy zo 28.9. o 08:14. predychaj to. Daj si cas na rozmyslenie. Ak nepochopis, nevadi. Dufam ze nebudem mat to stastie a v zivote ta nestretnem. Dufam ze Golis nie je tvoje prave meno, lebo ked sa mi budes hlasit do timu, tvoje CV poide rovno do kosa. Ak to pouzivas ako nick a na pohovore mi povies ze databazu das na BTRFS a zalohu budes robit snapshotmi - poletis skor ako sa stihnes odlogovat z konzoly.

Golis:

Kľudne pokračuj, znie to naozaj zaujímavo. Skús to rozviesť na aspoň 200 slov, vyzerá to na zaujímavú fabulátorskú glosu z dielne nutričných poradcov v mienkotvorných periodikách ktorý sa poohliadli po segmente kde ešte emajú konkurenciu.

Golis:

tak prešiel do osobného útoku. Presne ako malé rozmaznané dieťa ktoré sa montuje do rozhovoru ktorému nerozumie. A opakoval to, tak ako to zvykne robiť troll.

[Peter Golis]

S tvojími znalosťami, si zjavne súčasťou tímu spĺňajúceho zastaralú manufaktúry ITIL v ktorej ľavá ruka nevie čo robí pravá. A aj preto tvrdíš, že databáza nie je databáza.

A tvojej dôležitosti nahráva aj to, že by si najprv vyhodil CV nového kolegu, a potom ho pustil spravovať systém. To pridáva grády tvojej dôležitosti. Ty budeš s takou mocou rozhodovať priam riaditeľ zemegule, pravá ruka Rockefellera.

[Superklokan]

Na server ext4.
/boot - sda1

+LVM:
/
/home
/var
/tmp

Na PC ext4.
/ - sda1
/home - sdb1

[lertimir]

No víceméně na COW nepatří žádný program, jehož designeři hodně hluboce pracuji s optimalizací ukládání tak, že předpokládají přepisování na místě. Což právě DB, a zvláště relační, jsou.

[lertimir]

Jednak už nemám několik let na žádném systému operační sysem na rotačním disku ale na SSD. je to významně rychlejší (kromě situace, kdy mám systém hodně paměti na data, najede a veškyry systémový soft má pak v paměti) Radi 5 na btrfs nefunguje ale raid 1 je fajn i na 3 diskích. tedy udělat stejné oddíly a mít na nich btrfs raid1 super. na systém bych určite udělal snapshotování. (openSUSE má perfektně zvládnuté snapshoty systému, jednak pravidelné a jednak před a po aktualizaci, včetně toho, že se generují příslušné položky do grubu a kdykoliv se triviálním způsobem mohu vrátit do libovolného snapshotu otestovat si ho a pokud se rozhodnu takpřevést na něj default boot. jinde je to potřeba udělat ručně.)

[Milan Uhrák]

pokud ext4, tak nad lvm nad madm, aby si mohl menit pohodlne velikosti a/nebo snapshotovat
pokud btrfs, tak bez mdadm, bez lvm

osobne delavam 5xHDD, na tom 2 oddily, prvni (100-500GB) pro mdadm raid1->lvm->ext4 (na system, swap, dulezitejsi data), druhej (zbytek) na mdadm raid6->lvm->ext4 (na veskera ostatni data)...

[Milan Uhrák]

Tohle zní rozumně. Btrfs prostě zatím nechám ležet.

[Andrej]

1. Nejdůležitější zásada: Nedělit, nedělit, nedělit. A i když se na to přijde, dál nedělit.
2. Linux nemá žádný RAID, který by fungoval s Ext4 nebo XFS. To, co nastavuje mdadm, dmadm a případně lvm, je pouze AID — chybí tam R, redundance. Částečné selhání jednoho disku (ať už vlivem uživatele (cat /dev/zero > /dev/sdz) či technickou chybou) zničí všechna vaše data. To platí pro AID1 (náhodné výsledky čtení, ale data se někdy dají zachránit) i pro AID5 (náhodné výsledky čtení a data už v podstatě nelze zachránit, protože je zničí resilvering). Jediné skutečné řešení je RAID na úrovni filesystému, s blokovými checksumy dat i metadat. Všechno ostatní je zoufalý kompromis z dob, kdy disky měly jednotky GB, ne jednotky TB, a kdy se počítalo jen s okamžitým a úplným selháním disku, nikoliv s diskem vracejícím špatná data.
3. K čemu je swap? Podle mě nemá žádný smysl a všeho všudy plýtvá diskovým prostorem. Ke swapu ještě podrobněji:
   • U notebooků měl kdysi smysl pro uspávání na disk. Dnes notebooky vydrží i týden uspané do RAM, čímž uspávání na disk malinko ztrácí smysl. Kromě toho bude snad jednou v budoucnu i Btrfs podporovat swapovací soubory. Ty jsou dynamické, nezabírají permanentně místo a kdyby bylo těch pár (set) GB navíc potřeba, dají se jednoduše smazat.
   • U serverů swap taky nemá smysl. Jeho použití s rotujícími disky pošle latenci i propustnost rovnou do kytek. Je prostě lepší koupit si RAM. V případě SSD to nebude s výkonem tak zlé, ale těžko říct, jak to dopadne s životností SSD, pokud se na ně intenzivně swapuje. A pokud se na ně neswapuje, swap nemá smysl.
   • Vzdor mýtům a pověrám se na Linuxu swapuje i bez swapovacího oddílu. To funguje tak, že na všechny přístupy k úložištím se obvykle pod kapotou používá mmap() a všechny stránky se dají načíst a namapovat podle potřeby, případně odstránkovat zpátky na disk. Swap se nazývá paging of anonymous memory. Tohle je přesně tentýž mechanismus, jen ta paměť není anonymous — jsou to třeba části běžících binárek a (kni)hoven, ke kterým se dlouho (nebo nikdy) nepřistupovalo, nebo obecně jakákoliv data či metadata z disku. To znamená, že i systém zcela bez swapovacího oddílu má stále možnost být trochu flexibilní při dočasné memory pressure situaci. Pokud je ovšem taková situace dlouhodobá, řešením je (opět) víc RAM, ne swap…

[lertimir]

Částečně ti budu odporovat i když v mnohém máš pravdu:

1. Nedělit uživatelský prostor souhlas. To kdy před lety byl samostatný /var /usr /home /boot moc smyslu nedává. Na druhou stranu oddělení systému a dat smysl má (alespon pro mne).
   • Cena takové operace je v tom, že prostor pro systém v podstatě vyhodím. OK. Na druhou stranu při současné ceně uložného zařízení vyhodit cca 50 GB (a to když budu dost rozmáchlý) tolik nestojí.
   • Benefit je v tom, že mohu reformátovat a reinstalovat systém, bez jakýchkoliv obav o uživatelská data. vím že jsou jiné. Třeba reinstalace na jinou distribuci.
2. S tímhle v zásadě souhlasím, ale v kolik máš připadů "silent corruption"? V mém okolí se zatím nestal žádný. Cež nezanamené, že se proti tomu nemám bránit, jen zatím jsem nepotkal situaci, kdy by k tomu došlo. Dostkrát byla situace, kdy HDD data nepřečetl, ale vrátil jasně informaci o nečitelném sektoru. podobně SSD ale to se stalo jen jednou, zato několikrát celé SSD spadlo bez nejmenšího varování.
3. Pro mne má swap pohotovostní smysl. Nemá žádný smysl na rotačních discích, protože objem paměti je v současnosti takový, že odkládání na disk. Větší smysl má na SSD, a dostisilný smysl má na NVMe. Pořád to máš tak že 1GB paměti stojí cca 200Kč, NVMe a tak 8-10Kč za GB, SSD tak 5-8Kč za GB, a HDD pod 1Kč za GB. Při současných velikostech paměti pouze první má fakt cenu, i když mám swapy i na SSD. Pro mne jsou v zásadě rezerva, když by byl nějaký problém. Na druhou stranu swapy nemám velké obvykle tak na úrovni 1/4 paměti.

[Andrej]

kolik máš připadů "silent corruption"?

V práci si nejsem jistý, jestli jsou to stovky nebo tisíce denně. Musel bych se podívat a stejně bych to pak nesměl zveřejnit. :-P Zkrátka hodně. Doma bych je spočítal na prstech, ale všechny byly ošklivé.

V mém okolí se zatím nestal žádný.

Tak tohle ani náhodou nemůžeš vědět. Já bych se celkem i vsadil, že se jich staly stovky, jenom si jich nikdo nevšiml. Byl ten podivný žlutý čtverec v několika framech od filmu, který jsi nedávno sledoval, v tom filmu od začátku, nebo… Pointa je asi jasná; silent data corruption postihuje s největší pravděpodobností velké soubory, které jsou ale většinou buď do jisté míry odolné proti tomu to jevu, nebo jim poškození tolik nevadí, protože zvuk a video nemusí nutně být precizní data.

Tohle^^^ ale trochu kazí tu starodávnou iluzi, že data, která zapíšu na nějaký disk, tam prostě budou napořád a nezmění se.

[lertimir]

kolik máš připadů "silent corruption"?

V práci si nejsem jistý, jestli jsou to stovky nebo tisíce denně. Musel bych se podívat a stejně bych to pak nesměl zveřejnit. :-P Zkrátka hodně. Doma bych je spočítal na prstech, ale všechny byly ošklivé.

A v jakém objemu se v práci pohybuješ? Protože to, kolik jich máš, mne překvapuje. Doma nemám žádné reporty ze silent corruption a přešel jsem už před lety na btrfs nad LUKSem, ale žádné zprávy v lozích nikde nejsou. Scrubnu celý prostor tak jednou za měsíc a je v pořádku. BTRFS mám proto spíše pro snapshoty a subvolumy i když jsem za chcksumy rád. Doma na foto a video mám cca 15 TB.

[ewew]

1. Dobrý spôsob ako si vyrobiť reťazec bezvýznamných jednotiek a núl. Obnova dát nemožná.
2. Linux to berie tak, že admin vie čo robí
3. Swap je na to, že ak ti dôjde ram tak nemáš s veľkou odozvou. Plus keď nemáš swat tak ti to ovplyvňuje spôsob akým alokuješ ram. Inak musíš isť na overcommit 1 a to je trochu zradne, ak nesleduješ využitie ram.

[Andrej]

Dobrý spôsob ako si vyrobiť reťazec bezvýznamných jednotiek a núl. Obnova dát nemožná.

No a? S čím přesně srovnáváš? Když se posere LVM s Ext4 na tom, obnova bude přesně stejně možná nebo nemožná, podle situace.

Pokud jde o obnovu, raději bych vsadil na souborový systém s checksumy a s redundancí než na souborový systém bez těchto vlastností.

Linux to berie tak, že admin vie čo robí

A to většinou neví, bohužel. Pokud například nechápe naprosté základy kolem ukládání dat, například proč musí být RAID na úrovni filesystému, aby RAID fungoval a dával smysl, pak neví, co dělá.

Třeba v roce 2000 by se admin bez takových znalostí obešel, protože disky měly jednotky GB, ne jednotky TB, a většina problémů z konzistentností dat existovala pouze na papíře. Dnes máme ovšem rok 2018…

Swap je na to, že ak ti dôjde ram tak nemáš s veľkou odozvou. Plus keď nemáš swat tak ti to ovplyvňuje spôsob akým alokuješ ram. Inak musíš isť na overcommit 1 a to je trochu zradne, ak nesleduješ využitie ram.

Huh? Já nerozumět. Swap odezvu nezlepšuje, naopak ji zásadně zhoršuje. Swapování funguje v dostatečné míře i bez swap oddílu, jak jsem vysvětlil v původním komentáři. Nic z toho ale neřeší problém, který je třeba vyřešit — nedostatek RAM. S dostatkem RAM je debata o swapu bezpředmětná.

Jak přesně swap ovlivňuje způsob alokace RAM? Prosím odkazy do zdrojáků, kde přesně to ovlivnění je. To si tedy rád počtu.

Overcommit je naprosto normální mechanismus, který funguje na všech systémech bez rozdílu, se swapem i bez něj. Využití RAM vždy sleduješ; mám dojem, že zaměňuješ využití adresního prostoru a využití RAM, což jsou naprosto zásadně odlišné věci.

[Aleš Kapica]

K čemu je swap?

Záleží na tom co je to za stroj a kolik máš paměti. U disklessového stroje ti lokální disk se swapem dovolí dělat kejklem na které bys jinak nedosáhnul - kupř. provozovat virtuální Widle se 100GB velkým virtuálním diskem a 4G virtuální paměti i na stroji, který má pouhých 8G RAM.

[Andrej]

Já jsem měl na mysli swap na Linuxu. O nějakých neznámých nestandardních rádoby-operačních systémech jsem neuvažoval.

[Aleš Kapica]

Já jsem měl na mysli swap na Linuxu.

No však já taky To čemu se říká swap na Win je parodie, kterou bohužel obskurní distribuce typu Ubuntu napodobují – swapování do souboru na úrovni FS mohl vymyslet jen idiot.