Dotaz: Jaký souborový systém ?

[SE]

Dobrý den,

jaký souborový systém zvolit pro miliony malých souborů (poštovní schrány maildir) ?

A jaký pro velké soubory cca 500 GB (obrazy virtuálnách serverů) ?

Použít EXT4 a upravit jen velikost bloku při formátování ?

 

Pro každé uložiště bude SW Linux RAID1 ze dvou disků 8 TB.

Jde především o spolehlivost FS, než o výkon. Systém může být Debian 7, Debian 8 nebo CentOS 7.

 

Děkuji

Odpovědi

[Jendа]

Debian 7 je starý.

ext4

Jestli ty 8TB disky jsou SMR (jiné 8TB se AFAIK nedělají), tak popřeju hodně štěstí.

[SE]

Disky WD RED 8TB.

[Petr Tomášek]

Debian 7 není starý. Jen není nejnovější a díky tomu nemá sračky typu systemd jako default...

[Sten]

Debian 7 je jen LTS. To znamená, že nemá bezpečnostní aktualizace od Debianu, nedostává aktualizace pro nový hardware a malé bugy nikdo neřeší.

[Jelcekk]

S ext4 nic nezkazíš ani v jednom případě, spolehlivostí i výkonem špička. Na ty obrazy bys ještě mohl zvažovat XFS, výkon by měl být o něco nad ext4, ale zas se dá vygooglit větší množství průserů než u ext4 (můj tip je, že se prostě častěji používá v případech, kdy je ztráta dat pravděpodobnější u všech FS, ale v žádným případě nejsem expert).

Btrfs nechceš, protože a) starší kernel, b) menší spolehlivost i u novýho kernelu, c) výkon pořád nižší než u XFS a ext4, d) jeho hlavní výhody ti stejně k ničemu nebudou.

Reiser/JFS už asi dneska nemá smysl řešit.

[Sten]

btrfs RAID1 má výhodu, že dokáže detekovat a opravit silent corruption. U SMR disků bych to bral jako dost důležitou výhodu.

[lazywriter]

Na to stačí Parchive (resp. par2). Na libovolném FS a ještě s nižší režií.

[Jendа]

Jenom pokud jsou to zálohy vypadající jako velké soubory, které se nemění. Pro online použití (maildiry, spousta malých souborů) to nejde.

A už jste teda někdo viděli silent data corruption na stroji s ECC? :)

[Sten]

Debian 7 ne, ten už je jen LTS.

CentOS 7: ext4 + MD RAID.

Debian 8: stabilní je ext4 + MD RAID. Lze zkusit i btrfs, ale chce to novější jádro, přinejmenším 4.1; linux-btrfs doporučuje 4.6+ pro RAID1.

[lertimir]

Hlavne problem je proc pouzit disky, ktere jsou primarne na zalohovani a ne na beznou praci. Interaktivni prace s milionem malych souboru je zabije. Pokud dobre chapu clanek na diit, tak disk se v jednotlivych segmentech spise chova jako magneticka paska nez jako disk s nahodnym psanim. A filove systemy? Na velke soubory pouzivam casto XFS. Nicmene XFS je citlive na pad takze UPS je nutnost. Ma mnoho nacachovano v pameti a nekorektni uzavreni nenese dobre. Na druhou stranu kopie, zapisy, manipiulace se soubory 100MB+ byly o 20% i vice rychlejsi nez s ext4. Male soubory je lepsi ext4, XFS ma struktury, ktere zpusobi, ze mazani velkeho mnozstvi (malych) souboru velmi dlouho trva. Diky strasnym a naprosto nevhodnym diskum bych jednoznacne pouzil btrfs s internim btrfs raidem, protoze to je jedina zachrana az se zacnou ty domeny v 8T disku hroutit. A operacni system tomu prizpusobil.

[Filip Jirsák]

Proč se tu pořád řeší SMR, když SE napsal, že jde o WD Red?

[Brad]

On napsal že to je 8TB WD RED (ne jen "WD RED"), a 8TB WD RED je SMR disk. Tak proto

[Filip Jirsák]

Tahle informace se dá zjistit kde? A jsou drive managed nebo host aware?

[Brad]

To je právě ten podraz - nedá se to kloudně zjistit, protože výrobce to neuvádí. Nicméně vícero webů to tvrdí na základě analogie, namátkou např. Tweakdown: „With Seagate now expanding their SMR technology into all product ranges, it's good to see WD getting their technology where it needs to be to compete in the market.” Pokud máte link na specifikaci výrobce či jiný věrohodný pramen, který to upřesňuje (případně vyvrací), budu jen rád.

[Filip Jirsák]

V odkazovaném článku Tweakdown netvrdí, že 8TB WD Red používá SMR.

[Brad]

Tak ještě jednou pro slepé: „it's good to see WD getting their technology…”, je to hned první odstavec v „Introduction”. Relevantní link k technologii samozřejmě nemáte, tudíž je na místě i nadále předpokládat horší variantu.

[Filip Jirsák]

Ano, je dobře, že WD má technologii, která může konkurovat SMR diskům od Seagate. Tou technologií jsou disky plněné heliem.

Horší varianta by to byla, pokud by se to nějak projevilo na výkonu toho disku. Ale to už by nejspíš někdo změřil, nemyslíte?

Toho, že Seagate používá SMR, je plný internet. Když se informace o tom, že zrovna 8TB WD Red používá také SMR, objeví v jedné jediné diskusi na AbcLinuxu, bez jediného relevantního odkazu, je na místě tomu nedůvěřovat.

[tomvec]

Nejsi do rodiny s Laelem?

[Jendа]

Já jsem taky nějak nenabyl dojmu, že by to byl SMR disk.

[Brad]

Kdyby šlo jenom o dojmy, byla by to paráda. Já mám sice opačný dojem, ale je to furt jenom dojem, protože jednoznačná technická specifikace tu chybí už od výrobce - a to je ten problém. Jestli je ten disk héliový, dá se předpokládat, že je zároveň i SMR, nikoliv PMR (což by mohla potvrzovat i přítomnost NASware 3.0, kterážto verze se objevila právě s těmito velkými disky) - nicméně se na to asi budeme muset zeptat přímo výrobce, jinak to budou pořád jen spekulace. Já jsem jen doufal, že tu specifikaci někdo někde vyšťouráte, ale asi teda nejsem sám, kdo nic nenašel.

[Jendа]

Mně zatím přišlo, že u všech disků, co jsou SMR, se tohle explicitně píše, a u těch, co nejsou SMR, to prostě napsáno není, protože je to default. Podle mě by si to výrobce nedovolil, protože to, že se po zapsání pár malých souborů na celý den zasekne, by pro něj znamenalo spoustu reklamací.

[ByCzech]

WD Red 8 TB používá HelioSeal technologii (plněné héliem), stejně jako vysokopacitní disky HGST, viz. např. http://www.storagereview.com/wd_red_8tb_review a třeba http://www.tweaktown.com/reviews/7681/wd-red-8tb-helium-filled-wd80efzx-nas-hdd-review/index.html

a HGST 8 TB disky nejsou SMR (což je technologie Seagate, tak je nepravděpodobné, kdyby si WD strkal cizí technologii do svých zařízení, když má svoji a jinou): http://www.storagereview.com/hgst_ultrastar_helium_he8_8tb_enterprise_hard_drive_review

Z toho co čtu mi nepřijde, že by měly být WD Red 8 TB šindelové. Výrobce je naopak doporučuje do NAS oproti SMR, které jsou doporučovány jen pro backup atd.

Má někdo jiné informace?

[Tomáš Bžatek]

Jediny HGST disk, ktery je SMR a zaroven Helium, je Ultrastar Archive Ha10. V 8TB variante se nedelal a novejsi Heliove Ultrastary (rady Ultrastar He10) taktez SMR nejsou. Otazka je, kterou variantu si WD licencovalo, neb to neni zjevne jejich vlastni vyrobek.

[Filip Jirsák]

Přičemž ty HGST Archive to mají na stránkách uvedeno, že používají SMR – takže se nezdá, že by WD použití té technologie tajil.

[Tomáš Bžatek]

Ano, u poslednich dvou rad primo pisou pouziti PMR ci SMR technologie.

Btw. ted koukam, ze HGST uz rebranduje WD disky: http://www.hgst.com/products/hard-drives/ultrastar-7k2. Dalo se to cekat, kdyz uz je vse pod jednou strechou, obe divize se vic a vic propojuji. Cas nakoupit nejake HMS5C4040BLE640 do zasoby, dokud jeste jsou (uz je v .de).

[ByCzech]

Vzhledem k tomu, že HGST patří WD, tak si nic licencovat nemusí a tím pádem to je jejich výrobek včetně HGST divize

[Tomáš Bžatek]

Samozrejme, myslel jsem to tak, ze prevzali hotovou technologii z jine divize, samo puvodni WD nemelo s heliem zadne zkusenosti. Finalni merge byl povolen teprve pred par mesici.

[Sten]

Je to u takhle velkých disků pravděpodobné, bohužel to ale výrobci neuvádí. Jako by se za to styděli. Když se zaváděl kolmý zápis, tak to propagovali hodně a Hitachi k tomu dokonce udělalo video, ale u šindelů všichni radši mlčí.

[Brad]

To už se tu myslím jednou řešilo (nebo možná na tom DIIT) - on hlavně onen uživatel vůbec netuší, že je to SMR disk a tím pádem něco úplně jiného než znal doposud, protože výrobce i prodejci jsou mamlasové a nikde to pořádně neuvádí. Takže výběr pak dopadne tak jak dopadl i zde, protože kritérium tak zůstane klasické "kapacita vs. cena", a že je to v podstatě podvod, protože uživatel dostane něco úplně jiného než si představoval jaksi nikoho nepálí (a ten uživatel to neví).

Normální RED to zvládne v pohodě, když to nebude pořád, prostě si člověk občas chvíli počká. Sám mám klasický 2TB RED v NASu a v pohodě, ale tohle (disk se SMR) je tak akorát na podložení stolu (zatím, ale bojím se, že to tak i zůstane - technologicky to působí jen jako taková zoufalost, kdy výrobce už neví jak dál, a tak stvořil tohle).

[SE]

Měl jsem to napsat hned na začatku, to uložiště je pro zálohy.

Ale v případě totálního selhání hlavního server to budu schopen z toho spustit. Schránky budu balit tarem, ale jednu kopii chci uchovávat jako maildir k okamžitému použití.

[SE]

Děkuji všem za názory a komentáře, bude to Centos7 a EXT4 na WD RED 8TB.

[R]

Na tie disky zabudni. Ak tam ma byt vela mailovych schranok, tak potrebujes 15K SAS disky.

[Jendа]

To už se snad cenově vyplatí SSDčka a výkon bude ještě výš.

Kolik transakcí za sekundu tam tak čekáš? Podle mě disk s 60 IOPS jich dá tak 30 (manipulace s mailem + update záznamu adresáře).

[SE]

Odhadem tak 15 transakcí za sekundu ve špičce. Jak jsem již doplnil výše, uložiště bude pro zálohy, ale s možností to z toho pustit.

[Andrej]

jaký souborový systém zvolit pro miliony malých souborů (poštovní schrány maildir) ?

Btrfs.

A jaký pro velké soubory cca 500 GB (obrazy virtuálnách serverů) ?

Btrfs.

Použít EXT4 a upravit jen velikost bloku při formátování ?

Není důvod omezovat se na technologie z minulého desetiletí se známými kritickými nedostatky (silent data corruption). Současné desetiletí nabízí nesrovnatelně lepší řešení.

Pro každé uložiště bude SW Linux RAID1 ze dvou disků 8 TB.

Chyba. RAID 1 je k ničemu, protože sám od sebe neřeší silent data corruption. Btrfs RAID 1 je po všech stránkách lepší.

Jde především o spolehlivost FS, než o výkon.

Btrfs.

Systém může být Debian 7, Debian 8 nebo CentOS 7.

Aha… Uf… No, tak hodně štěstí.

[SE]

A jaký OS pro Btrfs ?

[tomvec]

Tak Andrej jako fanatický vyznavač Archu ti něco doporučí.

[Andrej]

Zase nějaká nesmyslná fáma. Inu, zdá se, že někteří méně důvtipní lidé dělí svět do pouhých dvou škatulek a nedovedou tedy pochopit, jak by mohl existovat někdo, kdo na jedné straně ví, že Debian je sračka, ale na druhé straně není vyznavačem jedné konkrétní distribuce — natož fanatickým.

[k3dAR]

ja celkem chapu ze Andrej je srac, ale na druhe strane je to psychopat, fanaticky psychopat... ;)

[Andrej]

Argumentační mrzák promluvil. Klasika.

[Cabrón]

Linux 4.6 nebo novější.

[Jendа]

Takže třeba Debian 8? :)

[k3dAR]

nebo *buntu? :)

[Cabrón]

Proč ne? Pokud má kernel a userland (btrfs-tools), tak to pojede.

[Jendа]

Samozřejmě. Já jenom že někdo (Andrej :) by určitě řekl, že Debian tak nový kernel určitě mít nemůže.

[dustin]

Má takový kernel, jaký uživatel nainstaluje, příp. přes make-kpkg zkompiluje (v rámci nějakého rozmezí kompatibility).

[k3dAR]

Andrej je mistni psychopat, musis vetsinu brat s rezervou ;) vsechno co nema verzi co vysla v nejhorsim vcera, idealne dnes povazuje za zastarele...
a (mimojine)tak vybornej Debian (a na nem postavene velice uzivatelsky pristupne a oblibene jako Ubuntu, Mint atd) povazuje za distribuce ktere by se meli zakazat...

[Andrej]

Trousíš tady o mně opravdu hloupé výmysly a připadá mi to zbytečné, ba dětinské.

Můžeš citovat, kde a kdy jsem psal, že se mají nějaké distribuce zakazovat? Nápověda: Ne, nemůžeš. Proč si vlastně vymýšlíš ptákoviny, které nikdo nikdy netvrdil?

Software vydaný včera je zase nějaký nesmyslný blábol. Každá distribuce má testing repository. Ani nejradikálnější rolling release distribuce nemají v běžných repository něco, co by předtím neotestovala dostatečně velká základna maintainerů balíčků a dalších uživatelů testing repository. Bavíme se tedy o týdnech, nikoliv dnech od vydání softwaru do aktualizace na systémech pro běžné použití.

Kecy o výborném Debilanu a přívětivém Blbuntu komentovat nebudu; to je takový místní folklór.

[k3dAR]

me zkresleni je mnohem mene extremisticke nez tve vystupovani...
tedy to ze se ma zakazat, vyjadrujes slovy jako napr "vyhnout...ale je to mluveni do zdi"
nebo kdyz pises ze Ubuntu aby nikdo nezkousel protoze by od Linuxu odesel, ze by se mel nabizet zacatecnikum jen RPM based distro s KDE, a tak minimalne 1/3 tvejch prispevku neco podobneho obsahuje...

software co vysel vcera je pochopitelne jak pises, software ne starsi nez 1 mesic

Debilni kecy mas prave jen ty, komoleni jmena je folkrolr, takze toz fajn mila zlata Andrejka Poblitek :)

[Andrej]

Kterýkoliv s aktuálními kernely. Pozor na zabugované nesmysly zvané LTS. Jakmile je tam rozumně aktuální kernel, volba distribuce je už spíš věcí osobních preferencí než nějakých objektivních měřítek. (Tedy, měl bych seznam distribucí, kterým je vhodné se vyhnout, ale stejně to vždy dopadne jako mluvení do zdi.)

[ikar]

Andreji, jaký je váš názor na systemd?

[Tomáš Bžatek]

LOL!

[Andrej]

Pozitivní. SMF na Solarisu bývalo něco, čím byl Solaris asi tak o generaci před Linuxem. Zavedením systemd Linux tenhle kousek chybějící userspace funkcionality získal, ba dokonce v trochu vyspělejším provedení.

Podobně to bylo se ZFS na Solarisu a pozdějším Btrfs na Linuxu.

Jen barvení stránek ze Solarisu ještě v Linuxu chybí. Ale i to jednou přijde, bezpochyby.