Dotaz: Externi RAID box s funkcni spravou pod linuxem

[ok2zar]

Ahoj,

hledam nejaky externi box pro dva 3.5" disky, kde by fungovala diagnostika i ovladani pod linuxem. Nebo to reknu uplne jinak a mozna jasneji. S timto druhem HW nemam zadnou zkusenost, proto se ptam.

Potrebuji externi box, kam strcim dva 3.5" disky, interne si to bude resit RAID 1, navenek se to bude tvarit jako obycejny disk. Pokud to bude mit vystup na eSATA nebo USB3.x je mi jedno. Potrebuji ale, aby se vytvareni pole nebo jeho diagnostika dala delat z nejakeho toolu v linuxu. Videl jsem, ze Orico ma SW pro widle a snad i MAC. Ty uplne "hloupe" boxy z Alli zase nemaji kolikrat zadne ovladani a po vlozeni disku vyrobi pole. Netusim, jak je to potom v pripade, ze se jeden disk vysype a je treba jej vymenit a nechat znovu udelat pole.

Sorry, pokud se ptam blbe, ale jak rikam, nemam s timto HW zadnou zkusenost.

Odpovědi

[Max]

Externí box neřeší žádný raid. Externí box je jen skříň na disky, které musíš někam připojit. Tím přípojným místem je většinou eSATA řadič (stojí pár stovek), nebo SAS (na to už potřebuješ mít trochu lepší řadič).
Pokud tedy z nějakého důvodu nechceš používat mdadm (sw pole v rámci Linuxu), tak si kup řadič, kde to nastavíš (LSI, Adaptec apod.) s možností eSATA.
Připojovat externí box přes usb je možné, ale počítej s malou rychlostí a větším vytížením CPU. Další problém pak bude, že by to musel být nějaký dražší box, co by v sobě měl u fci raidu (a k tomu nejspíš nějaká spešl tool, co to přes usb nastaví, prostě jedno velké kurvítko).
A vůbec nejlevnější je koupit normální skříň, kam se ti ty disky vejdou všechny a nějaký řadič k tomu.
Zdar Max

[ok2zar]

Nene, jsou boxy, kam strcis disky, switchema nasavis jaky to ma delat raid a pak uz se to ma chovat autonomne a na venek se to ukazuje jako jeden disk pripojeny pres SATA nebo USB.

[PetebLazar]

To ano, ale správa RAID bude v gesci přímo tohoto HW řešení. Z pohledu počítače se to bude jevit jako jediný disc device připojený např. USB/e-SATA.

[ok2zar]

Ano, presne tak - toto hledam a vim, ze treba Orico ma ke svym boxum ovladaci SW, kde se voli operace nad polem i disky. Proto hledam nejakou variantu, ktera by se toto umoznovala i v linuxu.

[PetebLazar]

To si myslím, že asi nejdete (z důvodu malého Linux trhu). Většina těchto řešení si patrně vystačí s fyzickou konfigurací/správou přímo pomocí ovládacích prvků samotného zařízení.

[Max]

Ale to jsem psal. Problém je, že to bude pomalejší, dražší a na hovno, než kdyby jsi si prostě koupil normální skříň, kam ty disky dáš všechny. A pokud od toho budeš chtít nějakou rychlost, tak stejně musíš koupit eSATA řadič. Takže proč kupovat nějaký externí box za 2500,-Kč s malým a hlučnějším větráčkem, když za polovic můžeš mít normální skříň, kam napereš hafec disků a všechno to budeš mít uhlazený a odolnější vůči nešikovnému vytažení.
Navíc u takových boxů nemáš moc možností kontroly, že to pole je konzistentní, prostě musíš věřit, že ten lowcost hw nemá bug ve firmware.
Jinak podobné boxy dělá ICY BOX, viz třeba: ICY BOX IB-RD3620SU3, kde máš připojení přes eSATA a ovládáš to pak přes USB, ale jak můžeš vidět, spolehlivost je tragická. Za 2500,-Kč si koupíš odpad.
Přitom za tisícovku můžeš mít COOLERMASTER Centurion 590, kam jsi schopný narvat tři klece na disky, každá pojme 4x 3,5SATA a do boků 2x 2,5" disky.
Zdar Max

[a1]

ok takze budu mit case, zdroj, 6 disku, jak je pak pripojim k cilovemu PC/serveru ?

[Max]

Nerozumím. Buď řešíš nějaký home server, kde to budeš mít všechno v jedné skříni. Nebo řešíš server v práci, kde už nejde dále v rámci stejné skříně rozšířit o disky. V prvním případě to vyřešíš větší skříní a řadičem.
V druhém případě je požadavek na externí box s podporou raidování naprosto špatný a řeší se to úplně jinak.
Bohužel, nepíšeš, o co ti přesně jde, jen jsi vznesl požadavky na totálně hloupou věc, která není vhodná ani na domácí, ani na firemní požití.
Zdar Max

[Jendа]

Podle mě řeší přenosný disk na přenášení velkého množství dat.

Ale tam si myslím že hrozí při přepravě poškození/ztráta celého zařízení najednou víc než selhání jednoho ze dvou disků, proto by bylo lepší koupit dva obyčejné externí disky, vždy na oba zapsat stejná data - na Linuxu jednoduché, jinde podle toho jak umí skriptovat - a pak je přenášet pokud možno odděleně.

Nebo má nějaké zařízení, které umí mass storage, ale nemá do něj přístup/má to osekaný operační systém, takže si tam nemůže udělat normální RAID (nebo by byl RAID přes USB moc pomalý, protože všechna data bude přenášet dvakrát), a potřebuje k tomu disk, který neztratí data až za pár let jeden disk odejde.

[a1]

ano, ptam se DIY externi diskovy box (BEZ PODPORY RAID) k nerozsiritelnemu serveru. lze to nejak ubastlit?

[dustin]

Pokud bys potřeboval echt velký externí box, budu mít v dohledné době volný náš Supermicro 4U 24 bays 3.5" hotswap backplane napřímo bez expandérů, 2xPSU s 6x externími porty SFF8088 + 6x SFF8088-SFF8088 kabely + 2x 16-portová karta PCI-e x8 SAS9200-16e JBOD. MB se základním CPU a minimem RAM jenom biosem řídí ventilátory, bez OS. Skvělé třeba pro ZFS, samozřejmě to žere trochu víc jako všechny boxy se silnými ventilátory.

[a1]

presne tohle jsem myslel, ale tak na 2-4 disky 3,5" disky s malou spotrebou a levne;

do ciloveho serveru pripojene jako jednotliva blokova zarizeni (abych nad tim mohl poskladat zfs/btrfs)

[Petr Tomášek]

2x 16-portová karta PCI-e x8 SAS9200-16e JBOD

Anebo vezmeš něco, co umí Fibre Channel...

[Max]

FC nechci ani do práce, je k to k hovnu. Drahý jak tři prdele a velmi omezený. Pochopil bych FCoE, ale to se moc nevidí a podpora nic moc, takže iSCSI přes 2x10Gbit nebo 2x40Gbit je mnohem lepší a levnější varianta. Nebo pokud je podpora na straně storage, tak ještě NFS4.1
Zdar Max

[Bobprasak]

Ne ze by to uzivatel potreboval a je to trochu offtopic, ale prosim co je na fc “k hovnu” a proc ho rada firem tedy stale pouziva ??

Btw fc umi (alespon je to ve specifikaci - ostatne je to jen jine scsi) p2p takze staci pouze hba a pole ktere nejak managujete. Kdysi davno jsem takovej boxik mel, delala to firma chaparral ale jestli. jeste vubec existuje vi buh.

[Max]

My jsme to používali, ale utekli jsme od toho při rozšiřování / upgradu, kde už nestačilo jen hloupé propojení dvou serverů s FC storagem. Je to drahá sranda, která potřebuje spoustu drahého dedikovaného hw. Pokud máš vybudovanou infrastrukturu, switche za mega apod., tak budovat to ještě jednou jen pro FC, to je prostě nerentabilní. S NFS 4.1 a iSCSI dnes uděláš spoustu muziky, a s rozšiřováním 10Gbit a dalších věcí se člověk dostává na krásné a levné rychlosti.
Zdar Max

[Bobprasak]

Jinak FCoE umi spousta convergovanych NIC a defacto je implementovano interne treba ve spouste blade serveru (HPE, Cisco ucs apod)

viz treba: https://www.cisco.com/c/dam/en/us/products/collateral/servers-unified-computing/ucs-b-series-blade-servers/ucs_kre_emulex_ds_pdf.pdf

[Max]

Spíš než na straně NIC jsem myslel podporu na straně storage řešení.
Zdar Max

[dustin]

FC zvládne i obyčejný SATA disk?

[Bobprasak]

FC a SATA jsou defacto 2 ruzne protokoly, nicmene v praxi bylo pomerne velke mnozstvi boxu (rozumej diskovych poli), do kterych jste dal daval SATA disky, tvoril nad nimi nejaky raid a ten pak publikoval jako FC/SCSI LUN. Vyhoda byla ta ze sata byla vcelku levna zalezitost a kdyz jste nepotreboval nejakej brutal i random i/o vykon tak to bylo super. Hodne se tahle cfg pouzivala treba jako cache pro zalohy (mate random i/o proti sekvencnim paskam).

Existovaly i boxy kde bylo treba 200+ SATA disku (naor. IBM XIV), nad nimi neco jako obri raid se spoustou parity a ten byl rozdelen ma spoustu logickych disku a ty pak publikovany ven pres FC. I/O se pak distribuovalo pres vsechny disky v tom poli :).

[PetebLazar]

Nebo taky 1024 HDD (SAN HP XP1024 okolo roku 2000).

[Bobprasak]

Pravda, na XP radu sem zapomnel, clovek je pry schopen traumaticke zazitky vytesnit docela rychle :))

[Max]

Já jedu ZFS (ZFS : Stavba a zkušenosti se ZFS storage (2)) a jako primární storage máme čistě SSD pole přes iSCSI v podání Nimble (HA, replikace, snapshotování atd. atd. atd.). Šli jsme do toho proto, protože to nebylo HPE :). A musím říci, že je to super řešení. Před tím jsme jeli NetApp v lowcost provedení, ale cena podobná a nic moc.
Zdar Max

[lertimir]

No v podstatě máš dvě možnosti.

1. Buď si postavíš něco jako malý servřík s radami, které ti tu již někdo poskytl. (a nebude to přenosné řešení)
2. Nebo se spolehneš na elektroniku v nějaké externí krabičce. Já jsem dvoudiskovou externí krabici nikdy nepotřeboval jako krabici, ale využívám dvoudiskovou dockinu na pohodlné připojení externích disků. Předpokládám, že elektronika u takových krabiček může být podobná. A v průběhu času jsem měl tyhle dvě negativní zkušenosti.
   • Někdy před cca 10 se dockina při připojení přes eSATA chovala chybně.
   • Druhý problém byl, že při současné zátěži na obou discích dělala dockina chyby. A mršila data.
   Velmi záleží na tom, jak je provedená elektronika řadičů, a je třeba to otestovat nebo vyhledat detaily.

[Jendа]

Buď USB exteráky/USB stojánky a doufat že se to nerozpadne, nebo plnohodnotný „storage“ počítač (na nějaké Synology šlo snad nainstalovat normální Linux, případně se prodávají nějaké krabice s Atomem co nejsou o moc větší než ty disky co do nich dáš) a připojit po síti (ideálně přes 2.5G/10GE pokud to server podporuje).

[X]

na nějaké Synology šlo snad nainstalovat normální Linux

Mas v tom linux s rootem a muzes si tam delat co chces.

[Jendа]

No ale jejich „distribuci“ s podivným kernelem. Na některé věci to bude použitelné, ale doporučil bych něco kam jde nainstalovat skutečně „čistý“ systém.

[Max]

Pokud jsi tazatel, tak jsou řešení dvě. Buď serverové řešení, že si prostě koupíš expander se zdrojem a řadičem a budeš mít další šasi na disky s podporou hw pole, hotswapem, keší na řadiči apod. Cena se odvíjí od toho, za kolik ten bazar seženeš. U řadiče počítej tak 4-6kkč. Prostě když chceš opici, musíš mít na banány.
Další možnost je, že si pořídíš něco jako toto: Icy Box IB-565SSK černá. K tomu nějaký rozumný sata řadič a máš rozumný výkon za hodně dobrou cenu. Pokud by jsi si k tomu pořídil lepší řadič, můžeš mít i hw raid s plným hotswapem.
Vše záleží na tom, jaký máš budget a jak moc chceš bastlit.
Zdar Max

[Max]

Jen pro představu, řadič alá tohleto: Raid řadič 3WARE 9650SE-4LPML 256mb sas/sata 4-port a k tomu šňůru na split na SATA, tj. SFF-8087 na 4x sata. Celá sranda by tě tedy vyšla na 3236 + 1290 + 410 = 4936 + pošta s DPH. Kdyby jsi chtěl zapojit všech 5 SATA portů v tom boxu, a né jen 4, tak by jsi si musel koupit o fous lepší kartu, např.: Raid řadič LSI 3WARE 9650SE-8LPML 8 port, 256MB a k tomu dvě ty redukce na SATA.
Ty kabely jsou dost dlouhý, takže půjdou přes slot vytáhnout ven ze skříně.
Další variantou je koupě řadičů, co mají externí konektory. Možností je spousta. Pokud tlačíš na cenu a je ti jedno, jak to bude vypadat, tak ta první varianta se mi zdá jako dostatečný bastl.
Zdar Max

[Max]

Jinak ten řadič podporuje i JBOD, takže ZFS / btrfs ideální.
Zdar Max

[Fredy72]

Přesně tak, za pár korun skříň COOLERMASTER Centurion 590 na min. devět kusů 3,5" disků, hafo prostoru, dají se zalepit díry a nechat jen horní na nasávání, přes horní dát filtr pod mřížku a na to BTRFS RAID1Cx a je prostor na jakoukoliv desku uvnitř a kapacita na home server více, než dostatečná. Mám v tom i hotswap 9x rámečky.

[X]

Dvoudiskove Synology?

[Andrej]

Celý plán je od základu špatně.

…interne si to bude resit RAID 1…

Nebude. Nic takového neexistuje. Bez integrace do souborového systému to může být maximálně AID, nikoliv RAID.

Pro všechny scamy typu „hardwarový“ „R“AID platí: Poškození dat na jednom disku zničí všechna data.

Nebrat. Nemá to smysl. Škoda, že se to tolik lidí musí dozvědět the hard way.

…navenek se to bude tvarit jako obycejny disk.

Proč by mělo? Že by snad Linux měl problém s více disky…?

Pokud to bude mit vystup na eSATA nebo USB3.x je mi jedno.

Mně by to tedy jedno nebylo.

Nejlepší možnost: Thunderbolt. Nic lepšího momentálně neexistuje.

Budget alternativa: USB-C 3.2.

eSATA je … prostě problém; doporučuji nebrat. Thunderbolt i USB připojím ke každému notebooku i rozumnému desktopu a díky přístupu k jednotlivým diskům budu mít skutečný RAID. eSATA výrazně omezuje kompatibilitu s různými zařízeními, přístup k jednotlivým diskům atd.

Potrebuji ale, aby se vytvareni pole nebo jeho diagnostika dala delat z nejakeho toolu v linuxu.

Přesně tak. Proto potřebuješ přístup k jednotlivým diskům, nikoliv tajemný proprietární blackbox.

Ten tool se jmenuje btrfs, mimochodem.

Netusim, jak je to potom v pripade, ze se jeden disk vysype a je treba jej vymenit a nechat znovu udelat pole.

Kladeš si příliš nízké cíle.

Co když chceš vyměnit postupně oba disky za disky zcela mimo tohle zařízení, připojené jinde / jinak?

Co když chceš výměnu provést za běhu a bez odmountování čehokoliv?

Co když chceš během výměny taky rozšířit počet disků na 4 a RAID1 upgradovat na RAID5?

To všechno je hravě možné, pokud máš přístup k jednotlivým diskům přímo v Linuxu a nespoléháš se na jakousi proprietární černou krabici.

Sorry, pokud se ptam blbe, ale jak rikam, nemam s timto HW zadnou zkusenost.

A to je dobře. Ta zkušenost (s proprietárním AID HW) totiž může být jedině špatná; nestojí za to. Doporučuji vsadit na dobrý software a opravdový RAID.

[J]

Tohle je Kapica o kterem se tady mluvi? Tak to chapu.

[Guest]

Ty boxy z Ali maji jumpery, kterymi se nastavuje rezim. Raid 0/1/jbod/linear. Nastavil bych to jako jbod a nad tim btrfs. Bude se to tvarit jako jeden disk a mountovat se to muze pres label ve fstabu. Jako box na prenaseni dulezitych dat nebo zaloh to muze byt spolehlive reseni.

[Jendа]

Doufám, že to bude opravdu dělat „hloupou kopii“, protože pokud to bude mít nějakou interní proprietární organizaci dat, tak o data přijde když neumře disk, ale elektronika toho boxu (a po vyndání disku a připojení do počítače ho nenamountuje).

Pak by ještě bylo dobré kdyby to umělo propouštět SMART data, ať ví, jestli mu jeden disk neodchází a nemusí ho vyměnit.

A aby to umělo check/resync/„scrub“ (zkontrolování že na obou discích je totéž a jsou čitelné).

Je těch požadavků právě hodně a může být nemožné zjistit, který z „náhodných boxů z Ali“ je splňuje.

[Max]

Podle mě žádný, je to potencionální černá díra, kde je jen otázkou času, kdy uživatel přijde o data.
Zdar Max

[Guest]

Podle uzivatelske prezdivky jsem ocekaval, ze to tazatel bude mit namotovane nekde na stozaru prevadece, kde je obtizny pristup. Proto ten raid. A pozadavek na 3,5" disky je kvuli velke kapacite. Neco jako warezove uloziste uprosted lesa na mobilni sajte operatora

Pokud ten ramecek bude mit nejaky "relativne civilizovany" chipset jako je JMicron jms561 nebo 561u, tak by to mohlo fungovat.

Protoze se diskuze zatim odehravala v teoreticke rovine, zasel jsem do garaze prehrabat stare sroty a vyzkousel to v praxi.

Nasel jsem dokovaci kolibku Axago pro dva disky. Je v ni pravdepodobne jms561. Disky mam Seagate Barracuda 7200.7 80 GB ST380013AS. Linux to vidi jako dva samostatne disky. Udelal jsem nad tim btrfs raid1 a namountoval. Papirova rychlost tech disku je 58 MB/s. Hdparm -t ukazal rychlost samostatneho disku 55 MB/s. Pri kopirovani 12GB souboru na pole pomoci dd s bs=1M do davalo 50 MB/s. Teoreticka propustnost USB 3.0 je 5 Gb, data tam pochopitelne potecou dvakrat, protoze to adresuje pres multi LUN jako dve zarizeni.

Smart fungoval OK. Vytahl jsem jeden disk, prenesl do jineho PC, pripojil primo na zakladni desku. Udelal rebalance btrfs na single, namountoval a jelo to.

Otazka je, proc tazatel trva na internim raidu? Nechce se mu "drbat" se sw raidem? A jaky na tom bude provoz? Chce to koupit nejaky box a vyzkouset. Treba s tim bude spokojen. A kdyz ne, tak to holt skonci nekde v garazi na hromade srotu.

[Jendа]

Otazka je, proc tazatel trva na internim raidu? Nechce se mu "drbat" se sw raidem?

Já to pochopil jako že to chce přenášet a připojovat k počítačům co nejsou Linux kde může sestavit RAID. Ale pomohlo by kdyby to třeba napsal…

[ok2zar]

Panove, diky za nazory. Ta diskuze se rozjela vic, nez jsem cekal a pak uz se ani nevedelo, kdo se ptal a kdo si pridal svoji otazku

Cilove urceni poptavaneho BOXu neni konkretni, jelikoz se mi sesly tri podobne aplikace/projekty. Ale spolecnymi rysy byly domaci pouziti bez durazu na rychlost/pruchodnost ale s nejakou ochranou dat. A to tedy budto ulozenim dat na vice strojich/mistech/lokalitach nebo treba zmineny box.

Takze diky za nazory i zkusenosti.

[[Jooky]]

Pozor na tie viacdiskove USB / eSATA krabice ... ako idea to znie sice pekne, ale realita je dost kruta -> Vacsina tych viacdiskovych krabic, co som skusal, pri I/O errore na jednom disku sposobi reset / restart celeho radica a vsetkych ostatnych diskov v jednej krabici ... To uspesne zlozi md / btrfs raid a prakticky stale sposobi poskodenie dat. Vo vysledku su nielen stratene data, ale este aj tazko urcit ktory disk to robi, lebo pri prvom I/O errore sa docasne odpoja vsetky ...

... uz lepsie riesenie je mat tie boxy dva a spajat si to na urovni operacneho systemu. Popripade napr dvojdiskove synology a cielovej masine to posunut napr cez iSCSI. V pripade napr. Synology sa daju disky cez interne nastroje monitorovat a spravne vytvorene pole umoznuje robit pravidelny scrub.

[frr]

Tzn. hledáte "direct attached storage".

Pro dva disky myslím nic moc rozumného nenajdete, ale od čtyř disků výš je k dispozici něco od Arecy: [1], [2]

Má to management přes HTTP. Připojení k hostiteli přes USB 2.0...3.2 resp. Thunderbolt (PCI-e?). To se týká řady 8050. Jiné/vyšší modely od Arecy umí eSATA, iSCSI, SAS nebo bejvalo i external PCI-e. Nevím jak FibreChannel... Čili je to převážně OS-independent. Fakt je, že Thunderbolt je poměrně jablečnej, dají se pořídit i rozhraní do PC. Nejsem si v těch jablečných vychytávkách úplně pevnej v kramflecích, třeba nad tím DisplayPort výstupem trochu kroutím hlavou. Pamatuju staré dobré externí DAS boxy, ty měly SCSI nebo SAS nebo natvrdo PCI-e a basta...

Osobně pro interní věci zhusta používám mdadm