Dotaz: Diskové pole pro domácí server

[Josef Kufner]

Dobré ráno všem, jeden z disků v domácím serveru začal trošku zlobit a tak musím maličko uspíšit stavbu nového diskového pole v domácím serveru (jo, chystám se na to už asi dva roky).

Typické využití je v ukládání fotek a dalších multimediálních dat, domovských adresářů, zálohování pár notebooků a hostování několika Git repositářů. Uživatelů je jen málo, obvyklé vytížení malé až žádné, nejvyšší když se po síti zálohuje notebook nebo nahrávají nové fotky. Celkovou velikost bych rád kolem 10 TB.

Na serveru běží Debian a k dispozici jsou dva nebo tři volné PCIe sloty (je to velká ATX deska). SATA porty na základní desce jsou obsazené, takže bude potřeba i další řadič (i když ty porty se po přesunu dat uvolní).

Musí to přežít výpadek jednoho disku a neplánovaný výpadek napájení (cca jednou ročně k němu dojde). Nejdůležitější je spolehlivost. Chci aby to prostě běželo, dokud disky neumřou, a pak abych je snadno vyměnil a běželo to dál.

Po menším průzkumu jsem našel 4TB Seagate s hezky nízkou poruchovostí. Jeden už je na cestě jako náhrada zlobícího disku.

Aktuální vývoj v tomto směru nijak nesleduji a tak by mne zajímalo, jaké je nejlepší řešení pro takové úložiště? Jakým způsobem je nejlepší disky poskládat? Jaký filesystém použít? S čím je nejméně problémů?

Odpovědi

[Sten]

Pro každé diskové pole nad cca 12 TB syrové kapacity (součet kapacit všech disků jednoho stripe) je dnes vhodné, aby to přežilo výpadek dvou disků, protože při rekonstrukci pole máte přes 50 % pravděpodobnost, že dojde k chybě při čtení. Viz Why RAID-5 stops working in 2009. Dá se to částečně obejít disky s URE 10^-15 nebo 10^-16, ale váš Seagate to není.

Takže asi RAID-6. Pokud chcete 10+ TB, tak alespoň 5 disků, lépe 6 (lepší výkon a poměr data/parita). Šlo by i šestidiskový RAID 10, ale RAID-6 je spolehlivější. Pokud nechcete investovat do drahých HW RAIDů, tak linuxový MD RAID se zapnutou bitmapou je skvělá volba. Filesystém bych pro vaše použití vybral ext4; sám sice používám btrfs, ale mám na tom LXE (paravirtualizaci), kde se využijí snapshoty a kvóty, vy to ale spíš budete chtít co nejstabilnější.

[Josef Kufner]

Uff, to zní celkem děsivě. Pokud bych se spokojil s cca 8TB polem, vystačím si s třemi disky, aniž bych si tím přidělal mnoho starostí?

[Aleš Kapica]

Ne.

[Sten]

Pro rekonstrukci se čte 2×4 TB, to znamená cca 30 % šanci na chybu. Někteří to risknou, ale já bych si to netroufl, obzvlášť pokud ta data nemáte odkud zrekonstruovat. Pokud opravdu nechcete víc disků, můžete zkusit disky s lepším URE (Seagate ES.3 nebo WD Re).

[the.max]

Otázka je, jakou ty data mají cenu. Na data co jsou opravdu cenná tak pole, na porno, warez a filmy a další bordel stačí disk jeden.

[Jendа]

With a 7 drive RAID 5 disk failure, you'll have 6 remaining 2 TB drives. As the RAID controller is busily reading through those 6 disks to reconstruct the data from the failed drive, it is almost certain it will see an URE.

Proto se má RAID kontrolovat každý měsíc (nebo častěji). Na chybu se tak brzy přijde a disk vymění dokud je čas, ne že za dva roky člověk spustí resilvering a vyskáče mu tam hromada chyb. Na MD RAIDu se to spustí pomocí echo check > /sys/block/md127/md/sync_action, na FS-level RAIDu se tomu říká scrub.

Další možnost je použít samoopravné kódy, které si s výpadkem několika sektorů poradí. Na Linuxu ale nejspíš nic takového není možné ani v 21. století. ZFS i btrfs myslím nabízejí jenom checksumy, ne korekci.

[Sten]

Pokud je URE 10^-14, znamená to průměrně jednu chybu čtení na každých 12½ TiB. Bez ohledu na to, jestli to pole kontrolujete.

[Jendа]

Jako že se na tom disku dělají uncorrectable chyby jenom tím, že se opakovaně čte? Takové chování nepozoruji. Již půl roku čtu 15 TB týdně. Dvanáct desktopových Seagate ST31500341AS a ST2000DM001-.

[Sten]

Chyba nevznikne na tom disku (tam jsou data v pořádku), ale při čtení. Což může být při rekonstrukci bez parity docela problém.

[Jendа]

Chyba nevznikne na tom disku (tam jsou data v pořádku), ale při čtení.

V tom případě nechápu, jak pomůže mít tam jeden disk navíc. Zatímco v případě žádného disku navíc dojde k chybě a nikdo si ji nevšimne (což je v rozporu s článkem, který jsi odkazoval, a který píše o chybové hlášce), v případě jednoho disku navíc má teď RAID dvoje různá data a netuší, která jsou správná.

Což může být při rekonstrukci bez parity docela problém.

Provozovat RAID bez parity je samo o sobě docela problém.

Btw. ani dočasné read chyby na tom poli nepozoruju (je tam ZFS, takže by to zařvalo).

[Sten]

V tom případě nechápu, jak pomůže mít tam jeden disk navíc. Zatímco v případě žádného disku navíc dojde k chybě a nikdo si ji nevšimne (což je v rozporu s článkem, který jsi odkazoval, a který píše o chybové hlášce), v případě jednoho disku navíc má teď RAID dvoje různá data a netuší, která jsou správná.

Chyba vznikne při čtení, ale disk si jí všimne, protože všechny sektory mají CRC. Oznámí systému chybu při čtení a ten ten disk pravděpodobně vyhodí z RAIDu.

Provozovat RAID bez parity je samo o sobě docela problém.

Jde o chybějící paritu během rekonstrukce pole, kde jeden disk vypadl.

[Jendа]

Oznámí systému chybu při čtení a ten ten disk pravděpodobně vyhodí z RAIDu.

Disk ten sektor nezkusí přečíst podruhé? Systém ten sektor nezkusí přečíst podruhé?

Provozovat RAID bez parity je samo o sobě docela problém.

Sorry, myslel jsem bez checksumů.

[lertimir]

Také nepozoruji problém. čtu cca 5 TB týdně. (check RAIDových polí na svém domácím serveru) plus cca 2 denní backupy pro 5 domácích strojů, to je cca 70GB na stroj, které se zapisují případně čtou a porovnávají protože něco jsou inkrementální backupy. v poli odešel před cca rokem disk, ale více mojí chybou a od té doby nic.

[NoXO]

Souhlasím s výše uvedenou odpověďí. Ještě není špatné jít možná do raid50 a nebo vyzkoušet hotové řešení a to freenas.

[Sten]

Problém je chyba při čtení během rekonstrukce. RAID 50 v tom není tak spolehlivý jako RAID 6, protože disky zatížené rekonstrukcí už nemají žádnou záložní paritu.

[dustin]

Jak tak velké pole plánuješ zálohovat?

[Josef Kufner]

Podle povahy dat, něco synchronizací na jiný server, něco na ty disky, které nyní vyndám, a něco vůbec (zálohy notebooků).

[NN]

Co se tyka toho vypadku elektriny, mohl bych ti venovat APC INET700, ktere uz par let nevyuzivam.

[PanZvedavy]

desktopovy seagate do raidu na spolehlivy provoz? To snad ne. Tady je samozrejmosti NAS verze u seagate nebo red u WD.

[dustin]

Máme několik sw raidů s 500GB Seagate 7200.12, vše raid10, většinou 4 disky, někde 8 disků. Jedou OK, průměrná životnost tak 4-5 let kontinuálního provozu, než se objeví chyby ve smartu. Je to disk svého času za litr.

[PanZvedavy]

To uz je postarsi řada. Mam taky nekolik desktopovych seagate(2-3 roky stare) a par jich uz odeslo pri beznem pouzivani v PC. To ze muze jedna specificka rada(ci specificka serie z vyrobni linky) desktopovych disku vydrzet vic nez se od ni ocekava..to je mozne, ale z dlouhodobych zkusenosti bych na to sva data nevsadil.
Treba u WD Red edice se tvrdilo, ze jediny rozdil oproti nejvetsimu WD lowendu - green rada - je jinej firmware. Nicmene pred nedavnem oficialni zastupce firmy potvrdil, ze tam davaj jiny plotny, verme tomu nebo ne, nicmene statistika poruchovosti Red edice to castecne potvrzuje.

Takze doporucuju priplatit par stovek za "NAS" edice, protoze tu je predpoklad potvrzeny dlouhodobejsimy zkusenostmi "storage komunity", ze se to z hlediska dlouhodobejsiho stabilniho provozu vyplati.

[Aleš Kapica]

Moje zkušenost je taková, že pokud disk přežije rok, většinou přežije i řadu let následujících. Z hlediska spolehlivosti mezi desktopovými a NAS disky nepozoruji větší rozdíl, většinou záleží spíše na sérii. Obecně špatnou zkušenost mám s disky WD, proto k nim mám silnou nedůvěru - bez ohledu na řadu.

Jak je tomu ale v současné době nemohu posoudit. Naposledy jsem pořizoval disky před dvěma lety - viz blogpost. Zmiňuji se tam, že jeden z půjčených disků chcípnul hned zkraje - a to byl disk pro NAS použití. Ty desktopové 2TB disky jsem tehdy pořídil dva od ALZY (ty stále jedou bez problémů) a dva z LAN-shopu. Z těch jeden chcípnul do 14 dnů a druhý cca po roce. Ty co přišly místo nich jedou ok, takže šlo evidentně o vadnou sérii.

[Josef Kufner]

Podle Blackbaze je to jeden z nejspolehlivějších disků. Na CZC uvádějí poruchovost a většina disků je v jednotkách procent, jen výjimečně pod 3 %. Ten vybraný Seagate má 0.7 %.

[PanZvedavy]

ano, Blackbaze ma uz slusnejsi statistiky. Tady je ovsem take potreba zohlednit specificke vlastnosti provozu jako 24/7/365 a klimatizovane prostory.

Statistika na czc...moc se v tom barevnych shitu jejich stranek neorientuji, takze jsem to mozna prehledl, ale kde je k poruchovosti uvaden i pocet prodanych kusu?

[Josef Kufner]

Server mám uložen v komoře, kde je stálá teplota i vlhkost a taktéž běží 24/7/365.

Počet prodaných kusů na CZC uveden nemají, ale u novinek a málo prodávaných typů nemají uvedenu poruchovost, takže nejspíš ta hodnota nebude úplně vycucaná z prstu.

[PanZvedavy]

to je bohuzel problem s podobnyma statistikama, i kdyby uvadeli pocty prodanych kusu, tak stejne pokud u nich nedelate na reklamacnim oddeleni, tak nikdy se na podobne verejne uvadene udaje nemuzete spolehnout. Mam dokonce jeden priklad z blizkeho okoli, kde rodinny prislusnik delal brigadu v jednom vetsim elektro retezci.

[Josef Kufner]

Proto jsem se poohlédl po nějakém dalším zdroji. Na tomto disku se shodli, tak jsem ho vzal.