Dotaz: NAS - jaký systém?

[Honza]

Dávám dohromady nový NAS primárně pro NFS a nějak se nemůžu rozhodnout, jakým směrem se vydat. Plánuji 6 disků, zřejmě Raid10 (paritní Raid6 / RaidZ2 jsem vyloučil).

Zvažuji tyto možnosti:

1. OpenIndiana a Napp-It nebo FreeBSD se ZFS. Možná i FreeNAS, i když GUI nepotřebuji, leda by FreeNAS byl nějak lépe optimalizován pro ZFS než FreeBSD (a navíc to fiasko s Corralem).

2. Linux (Ubuntu nebo Debian) se ZFS. Pořád si ale myslím, že ZFS bude lépe integrováno na Illumosu nebo FreeBSD.

3. Linux (Debian) a mdadm Raid10. Nemám sice žádne praktické zkušenosti s mdadm, ale asi bych neměl problém to nastavit. Výhodou by asi byly menší nároky na RAM oproti ZFS, nějaké nevýhody?

4. Linux s Btrfs. Vím, že jsou stále problémy s paritou na Btrfs, jak je na tom Raid10?

Předem děkuji za jakýkoli názor.

---

---

Odpovědi

[Trubicoid2]

Odzadu: btrfs s raid 10 je v pohodě

Mdadm asi nedávat, spíš btrfs nebo zfs přímo nad disky. Výhoda je, že se pozná, který z disků vrací špatná data, což jen mdadm z principu neumí.

Zfs žere moc RAM jen při deduplikaci. Nezapínat! Btrfs umí deduplikaci na úrovni bloků, ale musíš to ručně pouštět, nebo z cronu. Je to pomalé, zato nežere RAM, můžeš využít soubor na disku.

A proč ne raid6 raidz2?

[Honza]

Díky. Raid10 vs. Raid6 / Raidz2 především kvůli rychlosti zápisu a případné obnovy.

[trubicoid2]

Na normálním i starých CPU a HDD ten výkonový rozdíl RAID10 - RAID6 vůbec nepocítíš, poznal bys to na rychlých SSD a nějakých slabých ARMech možná? Navíc se dopočítává jen XOR a to fičí na SSE.

A k tomu třeba u RAID10 na 4 discích nemohou vypadnout dva libovolné disky. Když nemáš štěstí, tak zůstanou ty dva se stejnými daty a data z druhé půlky budou chybět.

Oproti tomu RAID6 na 4 discích - libovolné dva disky mohou vypadnout.

Na btrfs (a xfs až to bude umět) k deduplikaci použij duperemove -r -d --hashfile=hash.sqlite

Ten hash můžeš použít znova, aby to bylo rychlejší, ale zdá se mi, že soubory v něm už jakoby pokládá za vyřešené a nekontroluje, jestli se nerozduplikovali třeba při defragmentaci.

Ještě zajímavý je snapraid.

[Honza]

Zkoušel jsem všechny varianty ve virtuálech, pravda hostitel i host na SSD. Rozdíl v rychlosti zápisu mezi RAID10 a RAID6/RAIDZ2 byl poměrně znatelný. Mimochodem rychlosti čtení a zápisu s NFS byl u všech variant +/- stejný (v případě stejného nastavení RAID) s výjimkou NFS na OpenIndianě, kde běhaly přenosy o cca 20% rychleji. Nehloubal jsem do důsledku proč, ale parametry virtuálů, RAID, nastavení NFS a přenášená vzorová data byla stejná.

Na Snapraid jsem koukal také, přišel mi zajímavý použít třeba s Unraid.

[trubicoid2]

na SSD to chápu, ale na HDD to podle mě nepoznáš

bych šel do RAID6 kvůli lepší bezpečnosti s tím, že bude zápis trošku pomalejší

nemá ten snapraid běžet jen nad disky s obyč. FS? ani nemusí být stejně velké a pak se to sloučí dohromady třeba mergefs do jednoho velkého

výhoda toho snapraidu je, že se parita počítá ne okamžitě, ale až chceš, třeba jednou za den z cronu? když něco omylem smažeš, můžeš se vrátit k poslednímu snapshotu

[Kit]

Raději bych šel do RAID 0 kvůli vyšší spolehlivosti jednotlivých disků v tomto uspořádání.

[Honza]

RAID 0?

[Kit]

Ano, RAID 0. Disky mají v tomto uspořádání menší zátěž a proto mají vyšší životnost.

[Petr Svoboda]

A navíc máš ještě s RAID0 větší dostupnou kapacitu a vyšší výkon...

Nicméně pokud ti záleží na datech, tak tudy opravdu ne.

[Kit]

Když mám data replikovaná ještě na dvou dalších serverech, tak se o ně s RAID 0 opravdu bát nemusím.

[Honza]

U RAID10 vs. RAIDZ2 v případě použití ZFS vycházím z tohoto.

[Trubicoid2]

Nepochopil jsem, k čemu se to vztahuje? Ano, to je obecný popis, jak ty raidy vypadají.

Jestli u raid10 vypadne zároveň data a odpovídající redundant data, tak jsi o ně přišel. Raidz2=Raid6 při ztrátě libovolných dvou disků má stále všechna data.

[Max]

Asi takhle, primárně je důležitá podpora hw, tu má OpenIndiana nejhorší, pak FreeBSD a nejlépe je na tom linux.
Pokud to chceš jako nfs server, tak asi neoceníš to, že jak OpenIndiana, tak FreeBSD podporují jen NFS4. Pokud chceš NFS4.1 / 4.2, tak linux.
Osobně jsem šel před pár lety do FreeBSD a ZFS (pro hodně velký storage ve firmě), nyní bych šel do linuchu a asi opět do ZFS
Zdar Max

[j]

Pokud vim, zfs ma pomerne hodne velkej politickej problem ... kdyz chces fs zvetsit, a zmensit to snad ani nejde. V tomhle ohledu je jedno i druhy nad btrfs brnkacka.

[Max]

To platí jen v případě, že chceš použít Raid-Z fci (raid5,6,7). Pokud použiješ něco jako RAID10, tak s rozšiřováním problém není.
btrfs má v tomto výhodu, že není problém ani snižování kapacity apod., ale zase pokud člověk prahne po výkonu, tak u ZFS má člověk mnohem větší možnosti pro ladění (ARC, ZLOG, SLOG apod.vs SSD atd.).
Před rokem o tom vyšel pěkný zápisek : Btrfs vs ZFS – srovnání pro a proti
Zdar Max

[trubicoid2]

oproti srovnání cp --reflink=auto už myslím nějakou dobu frčí i na zfs (zfsonlinux)

[lertimir]

ale také jsem mnohokrát četl že ZFS bez ECC pametí je hazard a v domácím prostředí to je trošku problém.

[trubicoid2]

jo, to se tak dřív říkalo, btrfs bez ECC je asi stejný problém

ECC doma mám pro jistotu :)

[Ladislav]

preto kupujem HP Microserver Gen 8

[MP]

A kdybys v te volbe mel zohlednit replikaci mezi 2 nody, porad by to byl linux+zfs?

[Max]

V takovém případě bych si prošel bugzillu, zda se tam neřeší nějaký problém + na google a pak bych si to otestoval a pak bych to případně nasadil do produkce. Asi jako se vším ostatním.
Zdar Max

[Honza]

Zdar Maxi,

co zásadního přináší NFS 4.1/4.2 v Linuxu oproti NFS 4 ve FreeBSD?

[Max]

ESXi podporuje jen NFS 4.1
To je třeba pro mně dost stěžejní věc, protože jinak bych musel používat NFS3.
Zdar Max

[MP]

Chybi tu zakladni premisa. K cemu ma ten NFS server slouzit?

[Honza]

Jako klasický souborový server - data, multimédia, ukládání streamů z kamer.

[Honza]

Když už jsme u toho: neměl by někdo tip na box s minimálně 6 , ideálně 8 disky? Mám doma rack, takže může i tam. HP Microserver budu brát pouze v případě, že nenajdu lepší alternativu....

[petr]

Mam nekolik tehle boxu http://www.lian-li.com/en/dt_portfolio/pc-d8000/ a jsou podle me supr az na predni panel s plastovymi uchyty. Jinak 20disku, pokud nepotrebujes velike pozice tak tam dostanes 26 disku.

[Honza]

Našel jsem tohle, nepoužíváte někdo?

[Tomáš Bžatek]

Mam Node 605 s podobnym systemem uchytu, jen po dvou. To zelezo je tak mekke, ze pri manipulaci do sebe disky narazeji s tvrdym, kovovym dorazem. Takze jedine pokud to bude slouzit stylem jednou postav a po pet letech disky vymen. Na nejakou castejsi manipulaci (tj. nekolikrat do roka) bych se bal, prip. pri vymene jen jednoho ze ctyr disku.

[Kit]

Pokud se nepletu, je to jen prázdná bedna.

[Honza]

Jasně je to jenom bedna, ale slušný a úsporný NAS by se s ní dal postavit.

[Kit]

Když do té bedny doplníš vnitřnosti, tak přešvihneš cenu Gen8 a stále budeš mít jen obyčejné PC. Gen8 je server a můžeš k němu později připojit přes USB3 další disky prostřednictvím nějakého šasi s JBOD a rozšířit tak kapacitu nebo redundanci.

[Tomáš Bžatek]

Sorry, ale davat USB jakekoliv generace na uroven internich SATA/SAS radicu je nesmysl. Ackoliv verim, ze existuji stabilni USB-SATA prevodniky, zatim jsem takovy nevidel. A problemy s hladovenim I/O fronty pri zapisu na USB v poslednich kernelech (ac to melo byt udajne opraveno) tomu nepridavaji.

[petrfm]

Přesně, nikdy bych přes USB nepřipojil disk jinak, než nouzově. Čili přenosný disk, flashku, apod. Ale jako SERVEROVÉ řešení? No to potěš. A to jsem to takhle pár měsíců provozoval, ale dobrý pocit jsem z toho neměl a čekal jsem, kdy se to odpojí a filesystém se rozbije.

[k3dAR]

pres USB2 neni problem mit pripojenej externi disk kde je dokonce DESKTOP reseni, a system tedy je pouzivan z toho ;)

[petrfm]

Tak on není problém jezdit na kole bez sedátka, ale proč to dělat, že. Dříve či později najedeš na kámen a rozbiješ si hubu.

[k3dAR]

to je opravdu dementni prirovnani, zatimco na tom kole si rozbijes hubu snadno, nebudes si mit na co sednou, nebo si zarazis tic do prdele, tak pouzitim USB 2.0 HDD jako systemovy disk je naprosto bezdrzkove (kdyz nepocitam to ze zbytecne drzkujes), stejne jako nekdo "potrebuje" 4 jadrovou (nejmin) i7 aby se podival na email, tak nekdo bude schopnej seriozne pracovat z USB2 HDD, kdyz se da provozovat Desktop z microSD karty, tak USB2 HDD je proti tomy formule 1 ;)

[petrfm]

No, desktop z microSD je taky uzasna vec Jeste nejakou perlu vymyslis? Treba pouzivat na nem vivaldi, ze? Ja neresim rychlost takoveho disku, ale SPOLEHLIVOST. Stalo se mi nekolikrat, ze se mi USB sam od sebe odpojil. Sata je mi jeste neodpojila. Je to dano uz fyzickym provedenim toho konektoru. Disk proste patri do bedny a pripojit poradnym kabelem, ne nejakym USBckem, to je tak na mobil, na fotak nebo na prenosny disk s pornem nebo zalohama.

V aute se da taky jezdit na sjetych gumach prisroubenych jen na dva srouby, ale jak dlouho? Do prvni ostre zatacky. A prosimte nezpochybnuj potrebu spolehlivosti pri ukladani dat jen kvuli sveho ega, ze jsem to napsal ja

[k3dAR]

chlapce, chlapce... ono se microSD (i pro desktop) bezne pouziva na Raspberry a dalsi ovocnejch deskach ;) ze ses prase co trha usb kabely do boku, mlati do toho kladivem a podobne je tvuj problem, e se USB disk sam od sebe rozhodne neodpojil ;)

ty sve prirovnani snad pises v alkoholovem deliriu... jestli srovnaas sjete gumy na kolech pres 2 srouby, tak to musis srovnavat s usb diskem co ma spoj jen s 2 kontaktama a z konektoru jiskri, ja ale mluvil o normalnim neokousanem USB konektoru kterej je zasunutej do normalniho nevyzvejkaneho USB...

a potrebu spolehlivosti pri ukladani dat? to je zas hlod mimomisovej... rec je o provozovani Desktopu z USB HDD, ne o spolehlivosti ukladani, jestli chces vymejslet ze USB HDD je nebezpecnej pro ukladani dat tak si jdi honit ego do blazince :)

[Honza]

Kucí běžte si oba honit co chcete kam chcete, ale zkuste nebýt úplně offtopic

[k3dAR]

mas to ontopic ;) vidis ze kdyz budes chtit, tak muzes "system pro NAS" provozovat klidne z USB nebo z microSD a veskere SATA a HDD/SSD venovat jen datum ;)

[Kit]

Původně jsem si myslel, že to tak má Synology: Systém na nějaké flešce a data na HDD. Jenže to vše mají na HDD s daty.

[R]

Synology ma na USB flash disku akurat /boot. Inak je cely OS na diskoch (RAID1 cez vsetky disky). Ak su disky prazdne, tak to zostane v recovery mode, z ktoreho sa daju disky inicializovat a nahrat tam OS.

[Honza]

Tak ale to vím, že můžu systém provozovat z microSD nebo USB a HDD věnovat datům. Třeba FreeNAS takhle funguje standardně. I když rozumím, ře tvoje poznámka byla asi směřována někomu jinému

[Honza]

Ono třeba na tom Microserveru to ani jinak nejde, než mít systém na microSD nebo USB, aniž bys přišel o čtyři pozice disků do RAIDU. Protože v případě použití ZFS musíš přepnout do AHCI a pak ale nejde bootovat z případného 5. disku místo CD ROM mechaniky...

[tom62]

Mělo by jít na tu microSD dát jen zavaděč, který spustí systém na tom pátém disku.

[Vantomas]

Provozoval jsem asi tři roky systém na microSD na dvou serverech HP DL320g8 a už nikdy víc. Dával jsem tam 32GB Class10 nebo UHS-1 kartu, protože servery byly spolu v master-slave clusteru, tak jsem do každého dal kartu od jiného výrobce, ale oba se chovaly stejně. Výrazně pomalé IO, apt-get upgrade s cca 150 balíčky trval asi hodinu, zhruba každý 5. reboot nebyl BIOS schopen z karty nabootovat, prostě ji neviděl, vždy pomohlo až přes iLO poweroff+poweron. U jednoho ze serveru se dokonce stalo, že se SD karta ztratila během běhu systému, dmesg plný IO errorů, ale naštěští to na běh nemělo vliv.

Výrobce karet už si přesně nepamatuji, jeden z nich byl určitě Kingston, je možné, že to druhé byl jen nějaký rebrand, ale user experience hrozná a normální Linux už na tom nikdy provozovat nebudu.

Díky pomalému IO docházelo k pravidelným zásekům ssh, když se něco většího ukládalo, vim se souborem na editaci se otevíral třeba 3 sekundy, zkrátka hrůza. Zkoušel jsem podle rad na internetu ladit v sysctl různé časy kolem vyprazdňování cache, ale to paradoxně situaci ještě víc zhoršilo.

Asi před půl rokem jsem tam místo toho vrazil normální SSD a je klid.

[k3dAR]

mam dobre zkusenosti s microSD Samsung EVO a pokud Kinston tak Industrial, take pak zalezi jak je resena ctecka, treba sem poridil ASUS Tinkerboard co ma micoSD povesene na SDIO 3.0 a rychlost i odezva je mnohem rychlejsi nez na RPi3 co ji ma na SDIO 2.0...
i kdyz sem jeden Desktop provozoval pul (3/4?) roku s nejekou obyc Kingston kartou v tehle ctecce a slo to to v poho :)

[Kit]

Pokud na microSD neustále zapisuješ, je uvedené chování běžné a ani jeho životnost nebývá vysoká. V takovém případě je výměna za SSD logická a správná.

[Kit]

Při zálohování je přece jedno, že jedu přes USB. Proto jsou porty pro USB-3 na předním panelu.

Na rozšíření serveru Gen8 můžeš přes eSATA připojit třeba ICY BOX s dalšími čtyřmi disky.

[Honza]

Tak když do něj dám vhodnou desku a ECC paměti tak je to stejný "server" jako Gen8. A mám 8 interních SATA disků. Externí disky přes USB3 si dokážu představit tak maximálně na backup...

[Kit]

Stejný server to nebude. Bude podstatně dražší než Gen8. Za tu cenu si pořídíš dva Gen8, které si budeš moct mirrorovat a získáš tak potřebnou redundanci.

[Tomáš Bžatek]

No podstatne, kdyz Gen 8 se da koupit za nejakych 6k momentalne, tak domaci bys slozil do 9k v pohode se Supermicro deskou. Ma ten Gen8 server vubec licenci na iLO v cene?

[Honza]

Souhlas, také si myslím že by ten případný rozdíl nemusel být dramatický.

Jinak Microserver Gen8 má myslím v ceně licenci iLO2.

[Kit]

Za těch 9k to možná složíš, ale bez potřebné redundance, takže stejně budeš dodělávat nějaký zálohovací systém. Přitom může být obsažen právě v těch dvou serverech Gen8. Počet a kapacita disků je stejná jako u řešení s jedním serverem, ale výkon a spolehlivost bude vyšší.

[GeorgeWH]

mno tak to by zaujimalo, ktoru dosku by si pouzil. na SK sa pod 200e kupit neda ziadna (dokonca s obycajnym j1900 stoji vyse 170e). k tomu najlacnejsie cpu cca 40e a ram 50e a si na 290e. prirataj kvalitnejsi zdroj a skrinku. to je dalsia 100. to si na 390e + prislusenstvo...

[GeorgeWH]

btw este vcera mali v jednom eshope microserver za necelych 170e (s dph). dnes uz je za brutalnych 576e.

[Honza]

Alza stále nabízí za 6.203,- Kč.

[petrfm]

On je tak krásný, skoro jako já Ještě si nějak obhájit tu cenu. NAS teď mám, slabý, ale mám. Kdybych na tom dokázal rozběhat i KODI, tak bych měl o důvod více. Ale rozběhat to virtualizovaně, aby NAS byla jedna VM a KODI druha, to bude jeba*ka a ja jsem ted pres leto desne linej

[R]

Pred par rokmi som riesil firemny NAS do datacentra - hlavne na zalohy. Najprv som zvazoval nejake hotove riesenie, ale nakoniec som vybral normalny 2U server (PowerEdge R520) s 8x 3.5" slotmi. Ma to dva zdroje, ECC, HW RAID, pre zaciatok dva 4 TB HDD v RAID1 (teraz su tam 4). Dal som tam normalny Debian s LVM, filesystemy pouzivam ext4. Na kazdu vec vytvorim LV - ked niekomu dojde miesto, tak staci pouzit lvextend a resize2fs. Niektore veci idu cez NFS, niektore cez Sambu.

[k3dAR]

btw: z man lvextend ;)

       -r, --resizefs
              Resize underlying filesystem together with the logical volume using fsadm(8).

[Honza]

Jak moc hlučný je ten R520?

[R]

Uz si nepamatam - odvtedy som mal na stole kopu inych veci a v datacentre ho nepocut vobec... Potrebujes na to hlboky rack.

[j]

Mas vrtacku? Si ji zapni a udelej si predstavu ... jako cokoli rackmout je lecos, ale tichy rozhodne ne, specielne mensi formaty maj pidivetraky, ktery tocej klido az 20k otacek.

[petrfm]

Samotné zdroje dělají rachot jako kráva. Jako taková menší aku vrtačka TO přirovnání opravdu sedí.

[R]

Vidim, ze pani su odbornici...mali ste ten server v rukach? Pri malej zatazi a beznej teplote tie ventilatory urcite nepojdu naplno.

[Honza]

No to je právě otázka: když kvůli ZFS obejdu RAID řadič a přepnu disky do AHCI módu, tak prý ventilátory jedou naplno... Samozřejmě nemám ověřeno, pouze jsem četl na zahraničních fórech.

[Vantomas]

Na to trpěla i DL320 a update biosu to opravuje.

[Vantomas]

Ah, spletl jsem si thread, myslel jsem, že je řeč o HP Microserver a ona je řeč úplně o něčem jiným. Tou DL320 jsem myslel právě vedlejší model u HP a tak jsem si to nějak celé spojil...

[R]

Mame tam PERC H710 a ten do ziadneho AHCI modu neprepnes, pretoze je to SAS radic s vlastnym CPU a RAM. Vlastne je to Megaraid s inym BIOSom a FW. Mozno by to islo objednat aj s nejakym fakeraidom, ale nikdy som to neskusal.