Dotaz: Jak na ukládání velkého množství dat?

[camel1cz]

Ahoj,

potřebuju vyřešit archivaci velkého množství dat a vymýšlím jak na to.

Mé požadavky

• jde o postupný nárůst až na cca 25TB za 3 roky,
• data starší 3 let budu mazat a volný prostor používat pro data nová,
• nepotřebuju online přístup, stačí mi mít možnost data dohledat a případně obnovit/zpracovat,
• potřebuji mít jistotu, že o to nepříjdu - tedy naprostá redundance všeho,
• v nedposlední řadě bych rád rozumnou cenu.

Mé řešení

Logika

• data periodicky stahovat např. každou noc do 2 různých lokalit,
• po ověření, že jsou data uložena v obou lokalitách je z hlavního serveru smazat.

HW

• 2 identické "NAS" s cronem a SSH, teda asi linuxem,
• boot systému z flash/SD,
• data ukládat na SATA disk s optimálním poměrem cena/výkon,
• po naplnění disků je vyměním za nové a bezpečně uložím.

Otázky

• Napadá vás lepší řešení?
• Případně jaký HW použít? V podstatě by stačilo nějaké rPi s SD kartou a připojeným diskem, klidně se SATA over USB, nepotřebuju s tím závodit. Bude to dostatečně spolehlivé?
• Mám špatnou zkušenost s HDD, které se připojují a odpojují a ještě přes nespolehlivé adaptéry, trpí FS i samotný HW disku. Jak se potýkáte s tímhle?

Díky za komentáře - nemám nikoho s kým se o tom poradit.

Odpovědi

[Jendа]

data ukládat na SATA disk s optimálním poměrem cena/výkon

Tj. každý soubor budeš mít jen na dvou discích? Obávám se, že existuje možnost, že se oba disky po dvou letech nepodaří roztočit.

Zapojil bych vždycky 3 disky do RAID5. Ideálně kdyby byly na obou NASech úplně stejné, tj. jakoby RAID15.

Bude to dostatečně spolehlivé?

Ano, především díky tomu, že si těch RPi nakoupíš víc, a když jedno odejde, tak uklízečka vymění doslova kus za kus (btw. SD kartu doporučuji readonly).

Mám špatnou zkušenost s HDD, které se připojují a odpojují a ještě přes nespolehlivé adaptéry, trpí FS i samotný HW disku. Jak se potýkáte s tímhle?

Používáme spolehlivé adaptéry. Bohužel jsem ho kupoval docela dávno. Byl na 3 disky najednou a na obale byla vyfocená nahatá surikata.

Napadá vás lepší řešení?

Pro klid duše bych přidal error correction - například pomocí par2.

[trubicoid2]

raid5 je dobry, ale ne v pripade, kdyz se budou disky vytahovat a valet ve skrini, kdy pak kvuli precteni je potreba najit aspon dva, co k sobe patri

asi bych vzal vice obrovskych disku, asi pres e-sata adapter, co vypada jako toustovac, disk se zapichuje zhora, usb bych se vyhnul

e-sata disk muzes na dalku odpojit, uklizecka ho vymeni a ty ho pripojis, pres e-sata neni problem se smart s pokud disk bude mit problem, tak ddrescue bezi o hodne lip pres esata nez pres usb

misto nebo k par2 urcite nejaky checksum, neco na zpusob find /neco -type f -print0 | xargs -0 -n 1 -P 8 sha256sum > /sha256 a kontrola sha256sum -c sha256

[dustin]

S těmi toustovači mám špatné zkušenosti, po nějaké době se konektor ošoupe a disky začnou blbnout, používali jsme je pro offline zálohy na několik sad disků. Mám raději vestavěné šuplíky do velkého slotu na holé disky , disky v nich nemají vůli (jdou tedy do konektoru rovně) a drží nám výborně už několik let

[dustin]

Navíc těm toustovačům odcházely napájecí adaptéry. Vytáhl jsem napájení ze serveru, ale je to opruz a práce navíc...

[trubicoid2]

ja v pohode, asi mam lepsi znacku, nejakej raidsonic nebo co?

[lertimir]

Ještě k toustovačům. musí být fakt spolehlivý. potkal jsem před lety toustovač, který jednak uměl přes eSATA jen 2TB a přes USB libovolnou kapacitu a finálně mu odešel zdroj.

[camel1cz]

Měl bys tip na konkrétní "toustovač"? Budu to měnit jen několikrát za životnost zařízení, nemyslím, že by to odešlo mechanicky.

A ještě jedna otázka - zvládnu tu eSATA připojit k nějakému jednodeskovému PC s obyč interní SATA? Moc o tomhle nevím, jen to, že by to mělo jít :)

[Trubicoid2]

Jde to, existuje i kabel interní sata - esata. Ale lepší je, když má deska esata konektor

[dustin]

Pokud budeš to PC při výměně vypínat, můžeš si disk napojit napřímo na SATA kabel a žádnou kolébku nepotřebuješ.

[Trubicoid2]

Vono by to šlo asi i za chodu pomocí device/delete, ale je třeba zkusit

[dustin]

Jasně, jde hlavně, aby řadič uměl hotplug. Sice je to ve specs SATA, ale na starších integrovaných na desce mi to nefungovalo, disk se zdetekoval až po rebootu. Ale to už je dneska asi historie...

[trubicoid2]

je potreba mrknout na dmesg | grep ahci, je to flag asi sxs = Supports External SATA

jinak pro detekci funguje echo on > /sys/class/scsi_host/host4/device/power/control

echo "- - -" > /sys/class/scsi_host/host4/scan

nebo pak rescan-scsi-bus

disk odpojit echo 1 > /sys/block/sdx/device/delete

[Trubicoid2]

Mám jakýsi raidsonic usb2/esata. Asi se už nedělá, teď mívají usb3. Spolehlivost těch nových nevím, ale zase to stojí celkem málo a disk to pravděpodobně neodpálí.

[Jendа]

misto nebo k par2 urcite nejaky checksum

Checksum ti zjistí, že jsou data poškozená, což by stejně zjistil bzip/gzip, případně dm-integrity nebo nějaký FS s checksumy. par2 jsem doporučoval kvůli tomu, že dokáže poškozená data opravit, pokud není poškozeno více než 5 %.

[trubicoid2]

to ja chapu, rikam bud misto nebo k

hlavni ale asi bude chybu najit a pak si treba soubor "opravis" z druheho disku

[camel1cz]

Díky za reakci. Už jsem odpovídal, ale odpověď tu není - buď jsem ji neposlal nebo se nějak potratila.

To co píšeš přesně naráží na můj vnitřní boj mezi jednoduchostí a komplexností řešení - v extrému je to externí disk vs. diskové pole. Tady např. 1x disk vs. RAID5. Výhody komplexního řešení nesou i nevýhody a nedokážu si vnitřně 100% obhájit ani jednu variantu. Např. v RAID5 bude kapacita dvojnásobná, tedy dvakrát tak dlouhá doba plnění a provozu. Není lepší disk dříve vypnout? Subjektivně mi příjde, že RAID to spíš zkomplikuje - pokud máš dojem, že 2 kopie na singl disku jsou málo, co udělat 3? Mohu i prostřídat značky disků.

Mám tu hlavně obavu ze stálosti zápisu na disku (extrémně 3 roky bez proudu) a zatuhnutí mechaniky disku + následné odpálení při zapnutí.

Ten opravný kod je dobrý tip! Minimálně nějaký checksum bych určitě dal - škoda, že se bojím btrfs :)

[trubicoid2]

ja bych asi RAID nekomplikoval, btrfs asi taky ne, co jestli za 3 roky nahodou zmeni format na disku?

nejlip ext nebo xfs, ten jsem precetl z SGI disku i po hodne letech :)

jeden chcksum stejne mit musis, as po overeni smazes ze serveru, ne?

[camel1cz]

co jestli za 3 roky nahodou zmeni format na disku?

Na to bych si klidně vsadil :) Spíš to bylo postesknutí nad btrfs, je to offtopic. Doma na filmy btrfs mám a jsem spokojený, ale...

Jinak souhlasím, s XFS mám jen ty nejlepší zkušenosti.

[Jendа]

pokud máš dojem, že 2 kopie na singl disku jsou málo, co udělat 3?

Ano, to by šlo.

Např. v RAID5 bude kapacita dvojnásobná, tedy dvakrát tak dlouhá doba plnění a provozu. Není lepší disk dříve vypnout?

Není, nejspolehlivější je disk po dvou letech provozu.

Mám tu hlavně obavu ze stálosti zápisu na disku (extrémně 3 roky bez proudu)

Toho bych se nebál.

a zatuhnutí mechaniky disku + následné odpálení při zapnutí

Já dlouhodobé zálohy jednou za půl roku přečtu a zkontroluju checksumy (par2). To stejně chceš dělat, abys zjistil, že ti disky odchází víc než jsi čekal.

[dustin]

Ta data přichází postupně, takže můžeš průběžně vyměňovat disky za prázdné? To pak není až tolik dat, jenom víc disků v několika skříních na různých místech.

[camel1cz]

Ano, data postupně generujeme a potřebuju je mít 3 roky. Pak mě nezajímají. Přístup k nim je "občasný" až žádný a přístupová rychlost stačí kolem 10ms (možná v sobotu

[dustin]

Takže jestli to dobře chápu, stačí ti mít v několika lokalitách stroje, v nich jeden disk, které vždycky někdo přes den před zaplněním vymění za nový, původní popíše a strčí do skříně. Nová data pak přijdou zase až v noci na prázdný disk.

Pokud se nemůže stát, že by nová data začala přicházet i přes den a ty bys neměl čas disky přehodit, pak je to úplně triviální řešení. Realita ale bývá košatější a na pouze noční provoz se určitě spoléhat nebude moci.

Rovněž bych se nespoléhal jen na jeden disk, ale v kompu bych měl druhý a ukládal to do md raid1. Ten vnitřní by se pořád přepisoval, ale při smrti některého z disků jej můžeš kdykoliv nahradit, zasynchronizovat a jedeš dál. Degradovaný mdraid na zálohách snadno namontuješ.

Nebo můžeš i ten interní mít venku a jednou vyhodit jeden, podruhé ten druhý - běžící disky by byly pořád poslední dva nejnovější. Když je popleteš a odebereš ten novější, nic se neděje, odebere se příště.

Ten checksum je dobrý nápad, můžeš využít pro každé řešení bez ZFS/btrfs.

[camel1cz]

Ano, chápeš to správně.

Skoro se začínám klonit ke 3 lokalitám. Pokud všechny potvrdí úspěšné uložení dat, tak data smažu z primárního stroje. Primární stroj bude vlastně sloužit jako buffer, který mi dává prostor pro opravy, výměny plných disků. Několik dní by to mělo dát.

mirror je sice trochu lepší než RAID5, ale příjde mi to krok stejným směrem - teda spolehlivosti vykoupené komplikovaností. Prostě když odejde disk, nebude to žádný velký problém. Vezmu nový disk, dokopíruju na něj data z jiné lokality, zapojím a jedu dál.

Začíná se to hezky usazovat. Děkuju! :)

[romanch]

A jak rychlé máš linky mezi lokalitama ? Jestli je to LAN a místnosti "vedle sebe", tak to není bezpečné !

[dustin]

Pokud těch pár TB zvládneš stihnout z jiné lokality dostatečně rychle, než dojde k zaplnění a výměně (může to padnout těsně před plánovanou výměnou), pak samozřejmě raid nepotřebuješ. Já nemám lokality propojené gigabitem, takže bych si tam ten disk přidal, aby to bylo za pár hodin zasynchronizované. Je to jenom navýšení o počet lokalit x 1 disk.

[camel1cz]

Ty lokality budu volit "mně blízké" - doma, kancelář, rodiče, kolega z práce - primární data jsou v housingu. Vzdálenosti mezi lokalitami jsou v desítkách km a jsem schopný si pro ně zajet fyzicky a zkopírovat je SATA/SATA.

Samozřejmě záleží, jak často budou disky odcházet - zatím bych to zkusil bez mirroru a když se to neosvědčí, tak to změním.

[lertimir]

Vždycky se samozřejmě lepší mít data doma, ale pokud je to dost spolehlivý housing, tak smlouva na lepší provádění záloh může mít také provozní a ekonomický smysl.

[romanch]

Jesli chceš spolehlivost a robusnost, tak bych zvolil 2x nějaký repas opravdový server 8x LFF (třeba na Ebayi nebo mi napiš mám jich hodně) do něj SD kartu s linuxem, nové LFF sata disky + ZFS (třeba raid5)

- bude to hw nezávislé, žádný HW RAID řadič, tj po x-letech zandáš HDD do jakéhokoliv jiného serveru, zpool import a máš data - má to rozumný dohled, 2x PSU, žádné kabely, redukce apod, hot-swap disky za chodu vyměnitelné - nějaký systémový management (ilo apod), tj. nemusíš k tomu fyzicky jezdit

Starší kvalitní server se dá sehnat za stejný peníze jako plastové NAS apod. tj. do 10t Kč

Práci čest soudruzi IT. :)

[camel1cz]

Pokud bych potřeboval online dostupnost, tak určitě rád tohle řešení beru, ale myslím, že v mém případě není třeba všechno držet na živém stroji. Táhne mě to k řešení, kde mi bude jedno, že cokoliv odejde a snadno a levně to nahradím.

Nicméně díky za nabídku a nápad!

[Jendа]

Jesli chceš spolehlivost a robusnost, tak bych zvolil 2x nějaký repas opravdový server

To by mě zajímalo, jestli je spolehlivější repasovaný server, nebo hromada Raspberry za stejnou celkovou cenu, které bude měnit kus za kus (mimochodem RPi neodcházejí, protože nemají mechanické díly ani půlkilowattový síťový zdroj). Podle mě to druhé.

[romanch]

Myslíš Raspberry s 5V plastovým zdrojem, ke kterému máš USB kabelem připojenou redukci na SATA s dalším 5v zdrojem a k tomu připojený 3.5" HDD s 12v zdrojem, to celé poskládané v "krabici od bot" ?

vůbec netvrdím, že odejde Raspberry :) Ale myslím, že bys na to neměl ani dýchat, nedej bože se toho dotýkat.

PS: mám v síti 38 serverů, 5ks RPi + dalších cca 600 zařízení s 12v zdrojem. A největší slabina ? Zdroje - vždycky zdroje, zvláště ty malé plastové na 5,9,12,24V apod.

[camel1cz]

Souhlasím, že problém dostatečně kvalitního bastlu je primárně v napájení. Ve finále bych zrovna zdroj koupil nějaký slabý PC popř. něco např. od Meanwellu s 5V a 12V v jednom zdroji.

Použil jsem rPi jako zjednodušené pojmenování jednodeskových PC. Určitě bych se snažil najít systém s integrovanou SATA (klidně interně přes USB). Mám např. v šuplíku nějaké cubie... Očekával bych od toho lepší výsledky než od externího SATA to USB.

Obecně nemyslím, že je tak důležité, jestli ta nebo ona komponenta je lepší nebo horší - pokud dodržím trojí redundanci dat, myslím, že šance na současné selhání vedoucí ke ztrátě dat je dostatečně malá. Bude se pohybovat někde v řádu promile, možná níž. Jestli mi budou odcházet nekritické komponenty (cokoliv mimo disku), příjdu na to praxí a pořeším to.

[Filip Jirsák]

Nejdříve si musíte definovat, co je to ta „jistota, že o data nepřijdete“. Mít ta data uložená jen na dvou discích, které navíc budou strčené někde ve skříni, a že nejde disk přečíst se zjistí až tehdy, když to někdo zkusí, bych nazýval spíš jistotou, že o ta data přijdete. Ale třeba vám to tak stačí.

Pokud byste chtěl řešení, které bude podle mne o něco bezpečnější a podstatně levnější, hubiC má tarif 10 TB za 50 EUR (bez DPH) na rok, tedy 30 TB na 3 roky za nějakých 15 tisíc Kč. Pokud byste to chtěl testovat, můžu vám poslat affil odkaz,na kterém získáte 30 GB zdarma místo 25, které nabízejí standardně.

Pokud byste chtěl ještě spolehlivější řešení, na Amazon Glacier uložíte 25 TB na 3 roky za nějakých 80 tisíc Kč – plus ještě připočítejte poplatky za přenos.

[Jendа]

hubiC

To vypadá velmi dobře, ale nikde jsem tam nenašel (nevěnoval jsem tomu víc než pár minut, ale podle mě by tohle mělo být někde hned na začátku), jaké protokoly to umí.

[Filip Jirsák]

OpenStack Object Storage. Informace jsou na api.hubic.com. A přístupné je to také přes webový prohlížeč a aplikace pro desktopy a mobily.

[camel1cz]

Ano, díky za nápad. Cloud je řešení, které jsem také zvažoval - nicméně nemám s ním praktické zkušenosti na dostatečné úrovni. Přesto bych o ten link poprosil, zkusím si s tím pohrát. Jinak má aplikace není výhledově čístý archiv - je tu určitá možnost, že se budou data i zpracovávat, proto je chci mít "blíž".

OT: Ta skepse ohledně "ležení disku ve skříni" mi příjde naprosto mimo realitu a hraničí s manipulací (na úrovni: jeď si do Brna autem, ale zabiješ se. Každý dneska přece létá!). Dost to shazuje váš jinak přínosný příspěvek.

[Jendа]

Ale on má pravdu. Podle mě máš 5% šanci, že disk po dvou letech ležení nenajede, čili 0.25% šanci že nenajedou oba. Dvojic budeš mít 6 a chceš to provozovat 10 let, máš tedy šanci 1-(0.975**(6*5)) = 53 %, že o data přijdeš, ne?

[camel1cz]

Donutilo mě to si osvěžit statistiku :)

V tvých parametrech je šance na přežití alespoň jednoho disku z každé dvojice (1 - 0,0025)^(6 + 5) = 92,8% Při výše vydiskutovaných 3 kopiích je to 99,6%.

Je to ale fakt teorie - disky určitě budou umírat po 8 letech s vyšší pravděpodobností než 5% atd.

[Filip Jirsák]

Když je pravděpodobnost selhání jedné dvojice disků 0,25 %, je pravděpodobnost selhání některé z šestice disků 6 * 0,25 %. Pravděpodobnost zachování dat alespoň na jednom disku z každé šestice tedy je 98,5 %.

[camel1cz]

...a když má backblaze 25k disků s poruchovostí řekněme 5%, tak je pst selhání jednoho disku 125.000%?

Takhle to počítat nelze - musíte jít přes doplňkový jev a požadovat současné splnění dějů (násobení). Selhání jedné dvojice má pst 0,25% a já se ptám na pst selhání alespoň jedné dvojice ze šesti. Toto převedu na úlohu pst přežití dvojice disků je 99,75% a já chci, aby se mi to povedlo 6x současně - teda 99,75^6

[Filip Jirsák]

Ano, (99,75 %)⁶, teď už to máte správně. Já to mám také špatně, soustředil jsem se na to, že se tam nemůže vyskytovat ta 5, a napsal jsem to špatně. Pro šest dvojic je to šest na sobě nezávislých jevů, že zůstanou zachována data na jedné dvojici.

[Filip Jirsák]

Odkaz je zde: pozvánka na hubiC – 30 GB.

Jde o to, že abyste mohl spoléhat na to, že máte data někde archivovaná nebo zálohovaná, je potřeba to průběžně ověřovat – ověřovat, že ta data jdou přečíst. Což je nejlepší dělat automaticky – pokud budete muset disky odněkud vzít a dávat do nějakého zařízení, asi se vám nebude chtít dělat to moc často. Disky prostě docházejí – proto se dávají do RAIDu, mimo jiné proto se data zálohují. Nepředpokládám, že byste si myslel, že tam budete mít jednu sadu disků na věky. Kdybyste je měnil? Až by disk odešel? Nebo preventivně třeba po třech letech? A proč právě po takové době? Backblaze vydává pravidelně statistiky poruchovosti jejich disků – disk může odejít kdykoli, klidně po pár měsících. Kdy disk odejde je jenom věcí náhody – a asi nechcete ta data tak pracně ukládat jenom proto, abyste o ně přišel kvůli hloupé náhodě. Na uložení těch 25 TB byste potřeboval 2×5 6TB disků, to už je ta pravděpodobnost, že alespoň jeden odejde, docela vysoká.

[camel1cz]

Máte naprostou pravdu... ale jak tohle rozštípnout (řečnická)? :)
On ani ten cloud nebude mít 100%, zvlášť, když k tomu připočtu šanci mé chyby z důvodu nezkušenosti, nezaplacení, co já vím čeho...

[Filip Jirsák]

Ani cloud nebude mít 100 %, ale např. Glacier má 99.999999999 %. hubiC uvádí, že jsou data uložená vícenásobně, ale podrobněji to myslím neuvádí (je to hol velmi levné). Co se týče spolehlivosti uložení, je myslím i hubiC o dost spolehlivější, než „samodomo“ řešení se dvěma sadami disků. Nejriskantnější na tom cloudovém úložišti je chyba uživatele, případně chyba softwaru. Samozřejmě je možné to uložit dvakrát i do cloudu, to se ale prodražuje (i když hubiC by pořád vyšlo levněji, než to řešení s vlastními disky). Navíc ty disky asi budou mít větší poruchovost, pokud se budou fyzicky převážet/přenášet a budou uložené někde doma ve skříni.

[cronin]

V akých dávkach a ako často údaje prichádzajú? Ja len či by nevyriešila problém archivácia na BlueRay...

[camel1cz]

Na pálení je to myslím moc... a vyšlo by to i draze - jestli dobře koukám, tak 100GB medium stojí 400.

Data přichází prakticky konstantní rychlostí přibližně 20GB/den... jsem schopný bufrovat pár dní. Je to kolem 20GB za den.

[Kit]

Spíš bych se koukal po 25GB médiích, která vyjdou mnohem levněji.

Ovšem pálit každý den jedno médium také není zrovna to pravé.

[cronin]

Poobzeraj sa, ako riešia ukladanie videí youtuberi. Kľúčové slová su unRaid a Storinator. Napr. kanál "Linus TechTips" tieto veci riesil celkom serioznym sposobom tak pre svoju firmu, ako aj pre pár ďalších.

[Kit]

To jsou placené produkty, s těmi bych byl opatrný.

Jak je na tom třeba GlusterFS?

[cronin]

Ak niekto generuje takéto objemy serióznych údajov, je IMHO vporiadku poobzerať sa po komerčnom riešení s príslušným supportom, enterprise-grade hardvéri, atď. YMMV

[Kit]

Komerčním řešením moc nedůvěřuji, Open Source mi připadá kvalitnější a spolehlivější. Když by se to nasadilo na Gen8, tak by to ani nemuselo být drahé.

[camel1cz]

Přesně - nepoužívám linux, protože nemám na windows/jiný komerční OS, ale protože jsem s ním produktivnější a služby, které provozuji jsou na něm spolehlivější. Nechci tu flameovat, ale subjektivně jsem si před lety zvolil cestu linuxu a open source a jsem v tom prostředí řádově schopnější než v jakémkoliv jiném.

glusterfs znám z dob před akvizicí - tuším je koupil RH. Bývala to skupina několika Indů a celkem jim to běhalo. Kloním se ale spíš k něčemu jako zaskriptovanému rsync - nepotřebuju si hrát na distribuovaný FS.

[Kit]

Ještě jsem našel Ceph, který by se na to také mohl hodit.

[MP]

A kde je SW stranka cele veci? Protoze cron rozhodne neni na backup vhodny.

[camel1cz]

SW chci svůj vlastní - a zrovna řešení na bázi cronu a jednoduchého bashe mi příjde velice vhodné a plánuji ho.

Není to typický backup, spíš archivace, ale to je spíš formalita... co je špatného na zálohování z cronu?

[the.max]

To chceš zálohovat tolik porna? Na netu je ho kvanta a denně nové

[Max]

Proč nikdo nezmínil zálohování/archivaci na pásky? Jedna 6TB páska stojí asi 3kkč a data se na ní a z ní dají nahrávat/stahovat 300MiB/s. Umí to i online komprimaci, takže pokud jde třeba o dumpy db, tak netřeba komprimovat a zálohovat, ale rovnou zálohovat. Nekomprimovaných dat se na LTO7 vejde až 15TiB. Je to jen páska, životnost garantována asi 30let.
Dále už existuje FS pro pásky, který se jmenuje LTFS, takže se s páskou pracuje jak s klasickým diskem, jen to má pár omezení (smazaný soubor neuvolní místo pokud jsou za ním další soubory apod.).
Větší investice je jen mechanika, tam bych si u LTO7 připravil tak 70kkč + případně nějaký SAS řadič. Pokud ale vezmeme v potaz kapacitu, rychlost, životnost a cenu pásek, tak cena za tu mechaniku se postupně vrátí (oproti ukládání na klasický disk, nebo SATA storage).
Další možností je nejít do nejnovějšího LTO7, ale třeba LTO6, kde jsme na nějakých 2,5TiB a 150MiB/s a jdou jak pásky, tak mechaniky sehnat mnohem levněji.
Možnost je samozřejmě i nějaký storage, ale kvůli bezpečnosti dat by musely být dva a to už se cena zase zvedá.
Zdar Max

[cronin]

Áno, pásky sú vlastne elegantným riešením na daný prípad použitia, obávam sa ale, že pri objeme údajov 25TB za tri roky pri súčasných kapacitách diskov 12TB sa to proste nevyplatí. Keby tých údajov bolo 10x viac, tak to už pásky začínajú byť prudko zaujímavé.

Keďže údaje prichádzajú postupne a predikovateľne, netreba riešiť storage naraz na tri roky dopredu. Dva 8TB disky v RAID1 pravdepodobne vyriešia problém na približne jeden rok. Počas tohto roka:

- Sa môžu zmeniť požiadavky na objem uchovávaných údajov či dobu uchovávania, pôvodný odhad sa stane irelevantným.

- Budú dostupné disky vyšších kapacít, resp. rovnaké kapacity za -- maybe, sigh -- nižšiu cenu.

- Nastane potreba nahradiť existujúce disky novými, celý storage sa bude presúvať.

- Nastane potreba riešiť storage aj pre iné účely centrálne, úplne sa zmení koncept ukladania.

Nota bene, najlepší spôsob, ako investovať do úložiska dát, je neinvestovať vôbec, alebo aspoň neinvestovať teraz.

[Kit]

Pokud bude data ukládat na třech lokalitách, je jakýkoli RAID zcela zbytečný.

[dustin]

Pokud chce mít ukládání ve třech lokalitách současně, obávám se, že by se ty mechaniky prodražily.

[lertimir]

na třech lokalitách stačí mít pásky.

[dustin]

Stejně tak tam může mít ty disky, ne? Pochopil jsem, že chce distribuovat i to ukládání, kdyby se s jednou lokalitou něco stalo.

[camel1cz]

Tak nějak... Nechci vyrobit SPOF. A to ani v podobe závislosti na kusu HW, který nemám víckrát ani uzavřeném řešení jako jsou malé NAS. Ty malé NAS mě mrzí nejvíc. Bylo by to ideální - koupit 3 nějaké Synology/qnap a stahovat to na ně... Používají ale upravený diskový filesystém a toho se bojím. Ještě o tom ale trochu počtu.

[Filip Jirsák]

Synology NAS mají uvnitř Linux a jako souborový systém ext4 nebo btrfs. Pokud použijete některý z jejich RAIDů, je to něco nad LVM. Takže ty disky případně snadno přečtete na jakémkoli Linuxu.

Podle mě se jedná o normální mdadm vytvořené raidy, nad kterými je lvm. Akorát mají vymyšlený fígl, jak využít veškerý prostor disků i v tom případě, že disky nejsou stejně veliké. Ale není to nic, co by se nedalo vymyslet a udělat pomocí mdadm ručně. Takže disky v případě potřeby jdou připojit i do jiného počítače. A když člověk nechce použít ten jejich hybridní shr raid, tak nemusí.

[Filip Jirsák]

Ano, tak jsem to myslel – pouze vhodně používají standardní linuxové nástroje, takže disky lze přečíst na jakémkoli linuxu.

[lertimir]

hm měl jsem pocit že jednak jde o to mít o něco levnější řešení. Pokud není principielní problém s velikoctí místa v lokalitách tak kromě synology/qnap stejnou službu udělá i postavit si svůj NAS. At již nad RPí a disky na usb nebo ITX základní desku jako třeba tuhle, s krabicí, zdrojem a jen nějakými 4Gb pamětí jsme pod cenou prázdného 4diskového Synology a ne moc daleko od ceny dvoudiskového. s mnohem komfotnějšími možnostmi než synology, ať již přes FreeNAS nebo standardní distra linuxu nebo třeba distro s zajímavou webovou administrací jako je ClearOS.

[Filip Jirsák]

Je pravda, že Synology má perfektně vyladěný software, a to pak v ceně toho zařízení také platíte. Když se pak to zařízení použije skoro jen jako „držák na disky“, ten software se nevyužije a je to zbytečná investice. Synology umí synchronizovat data mezi sebou, ale to v tomto případě asi nevyužijete.