Dotaz: Zelené raidové pole

[Domi]

Dobry den,

je to uz nejaky patek, co resim domaci file server. V tomto odvetvi zatim stale sbiram informace jak o HW, ktery vybrat, tak o SW, ktery pouzit. Potreboval bych poradit s vyberem pevnych disku. Nechci kupovat drahe, do raidu urcene disky, ale chtel bych nejaky levnejsi green power disk.

 

Nabizi se mi:

Samsung EcoGre​en F3 ​- 2TB

WD AV​-GP ​- 2TB

WD Caviar Green ​(WD20EARS​)

Seagate Barracu​da LP ​- 2TB

 

Mate nekdo zkusenosti s temito disky v poli? Kdyz procitam ruzne diskuze na toto tema, tak nekdo pise: "Ano, daji se pouzit, ale se zapnutim funkce TLER u disku od WD." Nekdo primo pise, ze je to blbost. Popripade napiste i ty funkce ktere vypnout ci zapnout. Popr. co jak nastavit.

Dalsi info o serveru: Chci pouzit debian s mdadm utilitou. Disky budou nakofigurovany do RAID5

 

HW: neni to konecna faze, ale predbezne jsem vybral toto.

Asus M4A78L-M LE - AMD 760G

AMD Sempron LE-140 (SDX140HBGQBOX) BOX

Kingston Value 1GB DDR2 800 (KVR800D2N5/1G)

5x disk

 

Predem dekuji za rady.

Odpovědi

[jirkamailto]

Ja mam western digital green 500GB 3x v raidu 5, a nemohu si je vynachvalit, jsou svizne, bezi v pohode, zatim je mam tak cca 3 mesice. Nebojim se je doporucit.

[pht]

Já mám green disky v R1 a dříve jsem používal "normální" disky v R5.

IMHO kupovat "disky do raidu" do raidu jsou vyhozené peníze, protože pro případ selhání máte ten raid, případně, pokud jde o cenná data, tak zálohy.

Jinak k té sestavě. Zkuste zvážit nějaký dvoujádrový procesor (Athlon X2 240 nebo 240e).

Doporučuju se podívat na článek proč nepoužívat R5. Nevím, kolik chcete ve výsledku místa, ale možná bych uvážil použití 6x 2TB v raid 10, což dá 6TB místa s celkem slušnou redundancí, podstatně menší zátěží na procesor, a vyšším výkonem.

[dustin]

Také bych doporučoval raid10.

[Heron]

Nevím, kolik chcete ve výsledku místa, ale možná bych uvážil použití 6x 2TB v raid 10, což dá 6TB místa s celkem slušnou redundancí, podstatně menší zátěží na procesor, a vyšším výkonem.

Ale také za výrazně větší cenu . Tazatel nenapsal, na co to pole chce používat. Jestli jako skladiště domácích fotek a videí (typ jednou ulož a pak jen čti), tak je raid-5 v pořádku a vysoce vhodný typ. Pokud na tom chce běžně pracovat (čtení zápis 1:1) nebo tam mít DB, tak je lepší raid-10. Nebo může mít část úložnou na raid-5 (4x2TB green == 6TB) a část pracovní na raid-0 (2x1TB black == rychlé 2TB). Možností je mnoho.

[pht]

Jestli jako skladiště domácích fotek a videí (typ jednou ulož a pak jen čti), tak je raid-5 v pořádku a vysoce vhodný typ.

Pokud je to, co se píše v tom článku pravda, tak je úplně jedno, jestli na tom raidu máte X terabajtů filmů nebo čehokoliv jiného.

[Heron]

Mě šlo o typ zátěže, nikoliv o cenu dat. Důležitá data mají být zálohovaná, raid není záloha.

[pht]

Pokud je to, co se píše v tom článku pravda, tak rovněž na typu zátěže při normálním provozu nezáleží.

[Heron]

Ten článek se zabývá chybami raidu, kapacitě a průměrné chybovosti disků, tedy parametry udaných výrobcem. Já hovořím o pracovní zátěži a výkonu různých typů raidu. Snad už to nebudu muset psát potřetí.

[pht]

Pište to kolikrát chcete, ale raid který má vysokou pravděpodobnost totálního selhání není "vysoce vhodný typ".

[Heron]

Vysokou teoretickou pravděpodobnost na základě papírových údajů. On ty své výpočty ani neověřil měřením -- do té doby to bude jen jeho neověřená teorie. Vidíte snad v praxi hromadně umírat r5 pole? Nikoliv. Umírají jednotlivé disky, smart o to v nadpoloviční většině případů dává vědět dopředu (a v případě chyby to mdadm začne sypat na spare disk). A pokud to už úplně umře, tak se data vytáhnou ze záloh, o data tedy nikdo nepřijde.

Raid se (alespoň na centosu) každý týden kontroluje tak, že přečte vše a (na r456) zkontroluje paritu, na mirrorech samozřejmě rovnou shodnost bloků. Pokud by platila situace nastíněná v tom článku, tak by mismatch_cnt (počet nesouhlasících bloků) bylo téměř vždy > 0 . Opět, v praxi tomu tak není a mismatch_cnt je nenulové prakticky pouze v případě nedokončeného zápisu při nevhodném ukončení práce OS a zapnuté write-cache na diskové jednotce. Dále, pokud se někdo skutečně bojí o svá data, může použít kontrolní samoopravné kódy (např. reed-solomon).

Samozřejmě, že R10 je v mnoha ohledech lepší. Ale také skoro dvojnásobně dražší. Ovšem R5 bych vůbec neodsuzoval. Má své výhody a své nasazení. Pro typ zátěže časté čtení, minimální zápis, je úplně ideální.

[Sten]

On ten článek má také zajímavý přístup ke statistice. 6 paralelních dějů s pravděpodobností 1 z 10¹⁴ totiž statisticky nemá v součtu pravděpodobnost 6 z 10¹⁴, ale stále 1 z 10¹⁴ (tedy objemy přečtených dat se nesčítají)

[frr]

Já bych tu statistiku formuloval jinak:

Ono je sice hezké, že výrobci udávají jakýsi poměr chyb na počet čtecích operací, ale reálně pro Vaše praktické potřeby se závady disků chovají spíš ve smyslu "počet chyb za jednotku času", resp. "riziko=pravděpodobnost, že v určitém časovém intervalu na disku vykvete vadný sektor nebo jiná chyba". A v tu chvíli ta RAIDová matika vypadá dost jinak, i pokud si za tu pravděpodobnost dosadíte nějakou konstantu.

Když pak konstruujete RAID z více disků, máte na výběr řekněmě mezi levely 5, 6 a 10. To znamená, že smí beztrestně nastat porucha nanejvýš jednoho disku, resp. nanejvýš libovolných dvou, resp. nanejvýš N/2 ale ne libovolných (s jistotou jeden libovolný). A teď počítejte pravděpodobnosti havárie :-b

Podle mého RAID6 ve spolehlivosti vede až do poměrně velkého počtu disků - na základě reálných zkušeností bych ho ale nenasazoval na víc než 16 disků a chce to pravidelné kontroly, což některé RAIDy neumí.

Před pár lety se RAID6 prakticky nevyskytoval, a běžně jsme konfigurovali RAID5 přes 8 disků - fakt je, že na tom nebyla příliš cenná data. Ale nikdy jsem nezaznamenal havárii dvou disků současně. Bylo to pravda v dobách před Barracudou 7200.10 1TB

Ano, poruchovost disku jistě může do jisté míry souviset s provozní zátěží disku, a tedy s "naběhanými" terabajty nebo seeky. Na druhou stranu záznam "stárne" a vadné sektory se objevují i na discích, které jsou zatížené spíš málo, nebo dokonce ležely dlouho ladem (několik let). Pokud se týče vibrací tak disky v RAIDové kastli mívají určitou vzájemnou mechanickou vazbu apod., což Vašemu pohledu na věc taky do jisté míry protiřečí.

Domnívám se, že přirozenému "stárnutí" záznamu by se dalo do jisté míry odpomoci tím, že by se data pravidelně obnovovala = přepisovala na místě identickými daty. Ale nevím o tom, že by to nějaký RAID dělal, a je otázkou, jakou zvolit periodicitu, aby naopak nedocházelo ke zvyšování výskytu chyb, které jdou na vrub zvýšené provozní zátěže. Nemám představu, nakolik je "vadnutí záznamu" způsobováno běžným provozem disku (magnetická pole od motoru, vychylovací cívky a zápisové hlavy nad sousední stopou) a v jaké míře je způsobováno "nekvalitou magnetického materiálu" naneseného na plotně. Podotýkám, že je třeba rozlišovat dva druhy "chyb čtení sektoru": CRC error (navedení na stopu proběhlo, ale sektor už nejde přečíst) a "track not found" (nejdou přečíst ani naváděcí značky). Totiž low-level formát (značky pro navádění na stopy) se vyrábějí ve fabrice speciálním strojem na samotných plotnách a jsou prakticky nezničitelné, jejich poškození znamená headcrash, což se vyskytuje poměrně zřídka - kdežto užitečná data jsou za provozu zapisována hlavou disku a jsou o poznání méně trvanlivá, ztráta jejich čitelnosti po delším čase je mnohem běžnější, a disk leckdy "vyléčí" už to, že ho přepíšete po celé ploše nulami (nebo náhodnými daty). dd if=/dev/zero of=/dev/hda bs=524288

[Domi]

Myslim, ze pro moji potrebu, ulozeni filmu, pisnicek,... a nejakych fotek, videii je RAID10 zbytecny. Opravdu mi staci jednou ulozit a pak jednou za cas precist. Pokud bych chtel vetsi redudanci, zmenil bych pole z R5 na R6. Soukroma data, budu zalohovat, ostatni se da vzdy nekde sehnat.

Jinak ten clanek, je zajimavy, ale v ramci setreni to riziko podstoupim. Popr. za 2 roky dokoupim disky a pole zmenim na R10.

[zzxx]

Myslim, ze pro moji potrebu, ulozeni filmu, pisnicek,... a nejakych fotek, videii je RAID10 zbytecny. Opravdu mi staci jednou ulozit a pak jednou za cas precist. Pokud bych chtel vetsi redudanci, zmenil bych pole z R5 na R6. Soukroma data, budu zalohovat, ostatni se da vzdy nekde sehnat.

Jinak ten clanek, je zajimavy, ale v ramci setreni to riziko podstoupim. Popr. za 2 roky dokoupim disky a pole zmenim na R10.

Ak ti ide len o taketo pouzitie, tak pouzi RAID1. Nevidim dovod tam davat RAID5 alebo vyssi. Davat RAID5, alebo dokonca RAID10 na ulozenie fotiek, pesniciek a videii je to vyhodenie penazi. Neziskas tym, nic len vyssie naklady na kupu a na prevadzku. Pri tvojom pouziti mas pri RAID1 najlepsi pomer cena,riziko. Ak by islo nejake narocnejsie nasadenie, tak sa da rozmyslat o inom RAIDe ale tu by som fakt nic ine nedaval. Je to nezmysel.Zbytocne vyhodis peniaze.

[dustin]

Jaký vidíš rozdíl v nákladech mezi raid1 a raid10? Když potřebuje větší pole než je kapacita stávajících disků, tak mu raid1 nepomůže. A raid10 v layoutu n2 nebo f2 má také kapacitu polovinu počtu disků, stejně jako dvoudiskový raid1. Výhodou sw linuxového raid1 je snad to, že když vymění všechny disky za větší, zvětší se mu automaticky celé pole a může resiznout filesystém. To pokud vím stávající implementace raid10 ještě neumí.

[Sten]

Disky do RAIDu nebývají dražší (třeba Barracudy naopak bývaly levnější) a jsou optimalizovány pro dlouhé běhy místo pro časté starty, takže záleží, jak je onen RAID využíván

Úvaha nad problematičností RAID 5 je sice pěkná, ale je to jenom teorie (navíc těm statistickým výpočtům nevěřím, protože 10¹⁴ bajtů není 12 TiB, ale 90 TiB, a už vůbec to neznamená, že to každých 90 TiB selže), v praxi jsem se s tím zatím nesetkal (a to tu v práci máme RAIDů 5 hodně a občas vypadávají). Navíc pokud použijete bitmapy, tak linuxový MD řadič umí tu chybu ve čtení při rekonstrukci opravit z původního (vypadlého) disku, kde se s velmi velmi vysokou pravděpodobností (o dost vyšší, než že vám zkolabuje RAID 10) ta data nacházejí nepoškozená

[pht]

10^14 bajtů není 12 TiB, ale 90 TiB

Článek zmiňuje 10^14 bitů.

a už vůbec to neznamená, že to každých 90 TiB selže

Podle článku "Which means that once every 100,000,000,000,000 bits, the disk will very politely tell you that, so sorry, but I really, truly can’t read that sector back to you."

Nevím jak jste si to vyložil, ale podle mne to znamená že to selže

Navíc pokud použijete bitmapy, tak linuxový MD řadič umí tu chybu ve čtení při rekonstrukci opravit z původního (vypadlého) disku

To asi záleží na typu závady, ale mně se při "výpadku disku" stalo častokrát to, že z disku nelze přečíst vůbec nic.

a to tu v práci máme RAIDů 5 hodně a občas vypadávají

Jakou velikost, jaké disky?

[Sten]

Článek zmiňuje 10^14 bitů.

Teď jsem si toho taky všiml. Výrobci ale uvádějí URE většinou jako 1 ze 10¹⁴ čtecích operací, nikoliv bitů (a ani bajtů)

Nevím jak jste si to vyložil, ale podle mne to znamená že to selže

Nesmíte věřit všemu napsanému. To, že výrobce udá takové URE, znamená, že se zříká záruky pro větší počet operací, ne že to selže. Ty disky, co mám v RAID-6, mají najeto více než pětkrát tolik a bez selhání (a ano, už dvakrát prováděly rebuild po výpadku jednoho disku a žádný další disk při tom nevypadl)

To asi záleží na typu závady, ale mně se při "výpadku disku" stalo častokrát to, že z disku nelze přečíst vůbec nic.

Používejte SMART, pak se vám to nestane, disk dá vědět dost dlouho dopředu (tedy s výjimkou toho, že vadný napájecí konektor disk spálí, ale to se mi stalo jenom jednou a rebuild z dalších disků byl bez problémů)

Jakou velikost, jaké disky?

SATA, SCSI, SAS. Velikosti od 16 GB (15 000 RPM) do 1 TB (7 200 RPM)

[Heron]

Výrobci ale uvádějí URE většinou jako 1 ze 10¹⁴ čtecích operací.

Počítám správně, že: 10^14 * 512B(velikost sektoru) = 46 566TB = 45,5 PB? Lze to takto chápat?

[Sten]

Čtecí operace nemusí číst jen jeden sektor. Podle mě jde o počet přesunů hlav (to je IMHO jediný, co tam vyvolává poškození), který se ale velmi špatně přepočítává na data (u sekvenčního přístupu se např. hlavy prakticky nepřesouvají, u random access skáčou jak pominutý), navíc u SATA jsou paralelní čtecí operace výrazně optimalizovanější, co se přesunů hlav týče, než u PATA (protože u SATA může čtení skončit v libovolném pořadí, u PATA je to klasická fronta)

[dustin]

Navíc pokud použijete bitmapy, tak linuxový MD řadič umí tu chybu ve čtení při rekonstrukci opravit z původního (vypadlého) disku, kde se s velmi velmi vysokou pravděpodobností (o dost vyšší, než že vám zkolabuje RAID 10) ta data nacházejí nepoškozená

Můžeš mi prosím toto blížeji objasnit? Bitmapy používám na raidu1, prosím rozšiř mé obzory :) Díky.

[Sten]

Bitmapy mdadm říkají, které části na kterých discích jsou synchronizované. Používá se to třeba při dočasném výpadku disku (vyjmutí v hotswap), aby nemusel rebuildovat celé pole (to dělá, když bitmapu nemá). Provádí to automaticky

[dustin]

Jasně, pokud se tam re-addne ten samý disk, tak to má smysl. Když nám vypadne disk z pole, tak ten disk reklamujeme za nový, takže tam bitmapa nepomůže. Ale asi v případě jen pouhé chyby čtení by ve smartu nic zásadního nebylo a tudíž bychom ten disk zasynchronizovali zpět, bez reklamace.

Bitmapy používáme v situacích, kde má přednost kratší rebuild před výkonem pole.

[Sten]

Bitmapa může pomoct i v tom případě, ale samozřejmě tam musí zůstat i ten vadný disk, aby to z něj mohlo číst (což při reklamaci a bez spare nezůstane)

[dustin]

Aha, to jsem netušil. A jak to tedy funguje? Vypadne disk z pole, budu tam mít další spare, jak se pak využije ta bitmapa z vypadlého disku při rekonstrukci pole na zatím nevyužitý spare disk?

[frr]

Ono by se to mohlo hodit pro rekonstrukci dat na poškozeném RAIDu, kde "nadkritický" počet disků vykazuje vadné sektory rozházené různě po plotnách (ale jinak jsou disky ochotné se bavit) = v situaci, kdy by nad tím konvenční logika RAIDu zlomila hůl. V praxi jsem to ještě neviděl v akci.

[Heron]

Nám už selhaly i dva disky ve čtyřdiskovém raid 10. Naštěstí ty "správné" dva, takže to jelo dál a data byla.

[Sten]

Což je ale v kontradikci se článkem, podle něj by měl selhat druhý disk z mirroru, ze kterého by se právě provádel rebuild

[d.c.]

Samsung EcoGre​en F3 ​- 2TB

Nechci vzbudit žádný flamewar, ale dobrý disk od Samsungu jsem ještě neviděl, jiné oblasti elektroniky jim jdou daleko lépe.

WD AV​-GP ​- 2TB

Neznám.

WD Caviar Green ​(WD20EARS​)

To jsou dobré disky, mají subtilnější konstrukci než "enterprise storage" od WD, ale jasně zazněla přednost ekonomické stránky (v tomto případě před odolností). Liší se oproti RE samozřejmě i dalšími věcmi.

Seagate Barracu​da LP ​- 2TB

Věčný konkurent WD. Jsou lidé, kteří je mají raději, čas od času má Seagate některé funkce dříve, já raději méně spěchu při vývoji a testování. Z toho, co jsem mohl srovnávat, WD méně topí, což je výrazné plus. S žádným dobrým diskem není v poli problém. Aspoň jsem na žádný zajímavý nenarazil a to mi již pěkných pár disků rukama prošlo. Zajímavější je třeba problém velikosti nativního sektoru.

[dustin]

Používáme již pár let disky od samsungu v SW raidu a zatím mají vyšší spolehlivost než seagaty 7200.12, resp. zatím jsme žádný ještě nemuseli měnit. Používáme 750GB a 1,5TB.

[Sten]

7200.12 a LP jsou stejný typ disků a jsou poměrně málo kvalitní (srovnání se Samsungem nemám, ale ani ten bych nepoužil). Starší Seagaty jsou na tom o dost lépe. Ale dnes bych již Seagaty také nedoporučoval

[dustin]

Máme několik polí namíchaných seagatů 7200.12 a samsung spinpointů (jedno 8x 500GB v raid10) a přijde mi to ok. Ten vypadlý disk jednou za rok vyměníme do druhého dne za jiný ze skladu, vyreklamujeme a nový z reklamace zase dáme do skladu. Je fakt, že zatím to byly jen seagaty, ale zase jsou při měření přes raw dd o maličko rychlejší :)

[Sten]

Jestli je výměna v pohodě, tak OK. Mě z těch mých dvanácti Barracud ES kromě problémů s napájecími konektory (za což ale nemůžou) za tři roky běhu nevypadla ani jedna. Možná by bylo zajímavé spočítat, co je výhodnější

[rADOn]

Seagate me uz nekolikrat seredne zklamaly a nesahnul bych na ne ani klackem.

[Begleiter]

Ktorej značke sa pri kúpe vyhnúť? (časť 1. HDD)

[r23]

Každý výrobe má lepší a horší kousky. Osobně preferuji WD, případně seagate. Pokud jsi hodně paranoidní, můžeš namíchat disky dvou výrobců. Pravděbodobnost selhání více disků najednou tím ještě rapidně klesne (pokud bys narazil na vadnou řadu jako jí jednou, kdy jsem měl v poli 3 disky, z toho 2 za stejné série, a oba mi ve stejný den lehli (známá firnware chybz řady 7200.11), naštěstí jsem je uměl oživit, jinak by byly data v pytli).

[Milan E.]

To me zajima muzete prosim popsat alespon zhruba jak jste je ozivil? cojsem ja zjistoval tak je k tomu potreba "specialni hardware"?

[Sten]

Pokud vím, stačí update firmware, ale nevím to jistě, ty disky jsem nikdy neměl

[Domi]

Dekuji za odpovedi, ale nejak me to neprivedlo k rozhodnuti co koupit. Diskuze se spise zvrhla ke spolehlivosti disku, ze ktere je patrne, ze vsichni vyrobci maji dobre a vadne kusy.

Vite nekdo zdali se u disku WD20EARS da obejit funkce TLER? Ci to softwarovemu raid poli nevadi? konkretne mam namysli mdadm utilitu. Popr. co nastavit.

Nebo je lepsi zvolit Samsung Ecogreen F3 u ktereho TLER (CCTL) zapnout jde pomoci utility SmartCTL?

Pak jsem se chtel zeptat, zdali zapinate ve vetsim poli (3 a vice disku) SSC http://www.hdat2.com/hdat2_faq_cz.html#q8

Pri realizaci pole, nastavoval jste nekdo parkovani hlavicek na delsi dobu? Nerad bych aby se mi disky po pul roce uparkovali k smrti.

[d.c.]

Vite nekdo zdali se u disku WD20EARS da obejit funkce TLER? Ci to softwarovemu raid poli nevadi? konkretne mam namysli mdadm utilitu. Popr. co nastavit.

Nevadi. Proc obchazet? Novejsi disky, resp. revize firmware, uz TLER IMHO nemaji.

Nebo je lepsi zvolit Samsung Ecogreen F3 u ktereho TLER (CCTL) zapnout jde pomoci utility SmartCTL?

Rozhodne bych dal prednost WD.

Pak jsem se chtel zeptat, zdali zapinate ve vetsim poli (3 a vice disku) SSC http://www.hdat2.com/hdat2_faq_cz.html#q8

SSC bych vubec neresil. Zvlast u jednotek disku.

Pri realizaci pole, nastavoval jste nekdo parkovani hlavicek na delsi dobu? Nerad bych aby se mi disky po pul roce uparkovali k smrti.

Neparkovat. Leda by pole lezelo opravdu drtivou vetsinu casu ladem a hluk/odber apod. byly vaznym problemem. Ale je to vcelku dobra poukazka na problemy.

[koulinek]

Doporučit konkrétní značku je asi pouze subjektivní, Mám zkušenosti z mnoha serverů ať už SW nebo HW RAID 1, 5, 10, ale za pokus by mohla stát rada kombinovat v poli více výrobců, pozor ale na začátku zejména u HW RAID na skutečnou velikost disku. Odchází disky všech výrobců, a někdy opravdu v sérii, zažil jsem třeba opakovanou výměnu 1.5TB WD v RAID 1, vždy do nekolika hodin až dnů po výměně vyreklamovaného kusu se nově přidanej disk odporoučel a až třetí vydržel.

[Ash]

Co pamatuju kupuji jen Seagate

dříve
ST3160812AS desktop, pak v externím usb boxu
ST3500630AS dtto
ST310005FPD2E3-RK externí usb/ieee1394/eSATA disk

nyní
ST320005FPD2E3-RK dtto aktuálně přopojen k NAS
ST32000542AS (LP, 2ks v RAID 1) aktuálně v NAS DS410j

při běžném denním domácím použití™ mi kupodivu žádný neodešel, odešel mi jen jeden starý 120G WD na kterém byly Windows na které jsem půl roku nešáh a ono to pak už nenaběhlo, a jeden (po)malej 120G WD disk co jsem půjčil kamarádovi a jeho bratříček s ním chtěl chytře urychlit Windows tak z něj udělat extra disk pro swap :)

Takže mám asi kliku a zcela opačné zkušenosti ohledně SG vs WD.