abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 19:22 | Nová verze

Byla vydána verze 11.3 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností i s náhledy v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
22.9. 13:00 | Komunita

Do 30. října se lze přihlásit do dalšího kola programu Outreachy (Wikipedie), jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 4. prosince 2018 do 4. března 2019, v participujících organizacích lze vydělat 5 500 USD.

Ladislav Hagara | Komentářů: 91
21.9. 22:22 | Komunita

Společnost Purism představila kryptografický token Librem Key. Koupit jej lze za 59 dolarů. Token byl vyvinut ve spolupráci se společností Nitrokey a poskytuje jak OpenPGP čipovou kartu, tak zabezpečení bootování notebooků Librem a také dalších notebooků s open source firmwarem Heads.

Ladislav Hagara | Komentářů: 8
21.9. 20:33 | Nová verze

Společnost NVIDIA oficiálně vydala verzi 10.0 toolkitu CUDA (Wikipedie) umožňujícího vývoj aplikací běžících na jejich grafických kartách. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
21.9. 20:00 | Upozornění

Příspěvek Jak přežít plánovanou údržbu DNS na blogu zaměstnanců CZ.NIC upozorňuje na historicky poprvé podepsání DNS root zóny novým klíčem dne 11. října 2018 v 18:00. Software, který nebude po tomto okamžiku obsahovat nový DNSSEC root klíč, nebude schopen resolvovat žádná data. Druhým důležitým datem je 1. února 2019, kdy významní výrobci DNS softwaru, také historicky poprvé, přestanou podporovat servery, které porušují DNS standard

… více »
Ladislav Hagara | Komentářů: 11
21.9. 15:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 156. brněnský sraz, který proběhne v pátek 21. září od 18:00 v restauraci Na Purkyňce na adrese Purkyňova 80.

Ladislav Hagara | Komentářů: 0
21.9. 13:22 | Nová verze

Alan Griffiths z Canonicalu oznámil vydání verze 1.0.0 display serveru Mir (GitHub, Wikipedie). Mir byl představen v březnu 2013 jako náhrada X serveru a alternativa k Waylandu. Dnes Mir běží nad Waylandem a cílen je na internet věcí (IoT).

Ladislav Hagara | Komentářů: 0
20.9. 22:00 | Nasazení Linuxu
Stabilní aktualizace Chrome OS 69 (resp. Chromium OS), konkrétně 69.0.3497.95, přináší mj. podporu linuxových aplikací. Implementována je pomocí virtualizace, a proto je tato funkce také omezena na zařízení s dostatkem paměti a podporou hardwarové akcelerace, tudíž nejsou podporovány chromebooky s 32bitovými architekturami ARM, či Intel Bay Trail (tzn. bez Intel VT-x).
Fluttershy, yay! | Komentářů: 6
20.9. 21:32 | Zajímavý projekt

Došlo k uvolnění linuxové distribuce CLIP OS, vyvíjené francouzským úřadem pro kybernetickou bezpečnost ANSSI, jako open source. Vznikla za účelem nasazení v úřadech, kde je potřeba omezit přístup k důvěrným datům. Je založená na Gentoo.

Fluttershy, yay! | Komentářů: 2
20.9. 16:00 | Komerce

Zjistěte více o bezpečné a flexibilní architektuře v cloudu! IBM Cloud poskytuje bezpečné úložiště pro Vaše obchodní data s možností škálovatelnosti a flexibilitou ukládání dat. Zároveň nabízí prostředky pro jejich analýzu, vizualizaci, reporting a podporu rozhodování.

… více »
Fluttershy, yay! | Komentářů: 12
Na optické médium (CD, DVD, BD aj.) jsem naposledy vypaloval(a) data před méně než
 (13%)
 (14%)
 (21%)
 (23%)
 (24%)
 (3%)
 (0%)
Celkem 402 hlasů
 Komentářů: 34, poslední dnes 12:54
Rozcestník

Dotaz: Jak na ukládání velkého množství dat?

21.12.2017 23:17 camel1cz | skóre: 24
Jak na ukládání velkého množství dat?
Přečteno: 862×
Ahoj,

potřebuju vyřešit archivaci velkého množství dat a vymýšlím jak na to.

Mé požadavky
  • jde o postupný nárůst až na cca 25TB za 3 roky,
  • data starší 3 let budu mazat a volný prostor používat pro data nová,
  • nepotřebuju online přístup, stačí mi mít možnost data dohledat a případně obnovit/zpracovat,
  • potřebuji mít jistotu, že o to nepříjdu - tedy naprostá redundance všeho,
  • v nedposlední řadě bych rád rozumnou cenu.
Mé řešení

Logika
  • data periodicky stahovat např. každou noc do 2 různých lokalit,
  • po ověření, že jsou data uložena v obou lokalitách je z hlavního serveru smazat.
HW
  • 2 identické "NAS" s cronem a SSH, teda asi linuxem,
  • boot systému z flash/SD,
  • data ukládat na SATA disk s optimálním poměrem cena/výkon,
  • po naplnění disků je vyměním za nové a bezpečně uložím.
Otázky
  • Napadá vás lepší řešení?
  • Případně jaký HW použít? V podstatě by stačilo nějaké rPi s SD kartou a připojeným diskem, klidně se SATA over USB, nepotřebuju s tím závodit. Bude to dostatečně spolehlivé?
  • Mám špatnou zkušenost s HDD, které se připojují a odpojují a ještě přes nespolehlivé adaptéry, trpí FS i samotný HW disku. Jak se potýkáte s tímhle?
Díky za komentáře - nemám nikoho s kým se o tom poradit.

Odpovědi

Jendа avatar 21.12.2017 23:48 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
data ukládat na SATA disk s optimálním poměrem cena/výkon
Tj. každý soubor budeš mít jen na dvou discích? Obávám se, že existuje možnost, že se oba disky po dvou letech nepodaří roztočit.

Zapojil bych vždycky 3 disky do RAID5. Ideálně kdyby byly na obou NASech úplně stejné, tj. jakoby RAID15.
Bude to dostatečně spolehlivé?
Ano, především díky tomu, že si těch RPi nakoupíš víc, a když jedno odejde, tak uklízečka vymění doslova kus za kus (btw. SD kartu doporučuji readonly).
Mám špatnou zkušenost s HDD, které se připojují a odpojují a ještě přes nespolehlivé adaptéry, trpí FS i samotný HW disku. Jak se potýkáte s tímhle?
Používáme spolehlivé adaptéry. Bohužel jsem ho kupoval docela dávno. Byl na 3 disky najednou a na obale byla vyfocená nahatá surikata.
Napadá vás lepší řešení?
Pro klid duše bych přidal error correction - například pomocí par2.
22.12.2017 10:16 trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
raid5 je dobry, ale ne v pripade, kdyz se budou disky vytahovat a valet ve skrini, kdy pak kvuli precteni je potreba najit aspon dva, co k sobe patri

asi bych vzal vice obrovskych disku, asi pres e-sata adapter, co vypada jako toustovac, disk se zapichuje zhora, usb bych se vyhnul

e-sata disk muzes na dalku odpojit, uklizecka ho vymeni a ty ho pripojis, pres e-sata neni problem se smart s pokud disk bude mit problem, tak ddrescue bezi o hodne lip pres esata nez pres usb

misto nebo k par2 urcite nejaky checksum, neco na zpusob find /neco -type f -print0 | xargs -0 -n 1 -P 8 sha256sum > /sha256 a kontrola sha256sum -c sha256
22.12.2017 10:33 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
S těmi toustovači mám špatné zkušenosti, po nějaké době se konektor ošoupe a disky začnou blbnout, používali jsme je pro offline zálohy na několik sad disků. Mám raději vestavěné šuplíky do velkého slotu na holé disky , disky v nich nemají vůli (jdou tedy do konektoru rovně) a drží nám výborně už několik let
22.12.2017 10:35 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Navíc těm toustovačům odcházely napájecí adaptéry. Vytáhl jsem napájení ze serveru, ale je to opruz a práce navíc...
22.12.2017 11:34 trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
ja v pohode, asi mam lepsi znacku, nejakej raidsonic nebo co?
22.12.2017 12:16 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ještě k toustovačům. musí být fakt spolehlivý. potkal jsem před lety toustovač, který jednak uměl přes eSATA jen 2TB a přes USB libovolnou kapacitu a finálně mu odešel zdroj.
22.12.2017 11:39 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Měl bys tip na konkrétní "toustovač"? Budu to měnit jen několikrát za životnost zařízení, nemyslím, že by to odešlo mechanicky.

A ještě jedna otázka - zvládnu tu eSATA připojit k nějakému jednodeskovému PC s obyč interní SATA? Moc o tomhle nevím, jen to, že by to mělo jít :)
22.12.2017 13:09 Trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Jde to, existuje i kabel interní sata - esata. Ale lepší je, když má deska esata konektor
22.12.2017 13:13 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Pokud budeš to PC při výměně vypínat, můžeš si disk napojit napřímo na SATA kabel a žádnou kolébku nepotřebuješ.
22.12.2017 13:26 Trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Vono by to šlo asi i za chodu pomocí device/delete, ale je třeba zkusit
22.12.2017 13:37 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Jasně, jde hlavně, aby řadič uměl hotplug. Sice je to ve specs SATA, ale na starších integrovaných na desce mi to nefungovalo, disk se zdetekoval až po rebootu. Ale to už je dneska asi historie...
22.12.2017 15:38 trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
je potreba mrknout na dmesg | grep ahci, je to flag asi sxs = Supports External SATA

jinak pro detekci funguje echo on > /sys/class/scsi_host/host4/device/power/control

echo "- - -" > /sys/class/scsi_host/host4/scan

nebo pak rescan-scsi-bus

disk odpojit echo 1 > /sys/block/sdx/device/delete
22.12.2017 13:14 Trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Mám jakýsi raidsonic usb2/esata. Asi se už nedělá, teď mívají usb3. Spolehlivost těch nových nevím, ale zase to stojí celkem málo a disk to pravděpodobně neodpálí.
Jendа avatar 22.12.2017 14:21 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
misto nebo k par2 urcite nejaky checksum
Checksum ti zjistí, že jsou data poškozená, což by stejně zjistil bzip/gzip, případně dm-integrity nebo nějaký FS s checksumy. par2 jsem doporučoval kvůli tomu, že dokáže poškozená data opravit, pokud není poškozeno více než 5 %.
22.12.2017 15:48 trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
to ja chapu, rikam bud misto nebo k

hlavni ale asi bude chybu najit a pak si treba soubor "opravis" z druheho disku

22.12.2017 11:30 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Díky za reakci. Už jsem odpovídal, ale odpověď tu není - buď jsem ji neposlal nebo se nějak potratila.

To co píšeš přesně naráží na můj vnitřní boj mezi jednoduchostí a komplexností řešení - v extrému je to externí disk vs. diskové pole. Tady např. 1x disk vs. RAID5. Výhody komplexního řešení nesou i nevýhody a nedokážu si vnitřně 100% obhájit ani jednu variantu. Např. v RAID5 bude kapacita dvojnásobná, tedy dvakrát tak dlouhá doba plnění a provozu. Není lepší disk dříve vypnout? Subjektivně mi příjde, že RAID to spíš zkomplikuje - pokud máš dojem, že 2 kopie na singl disku jsou málo, co udělat 3? Mohu i prostřídat značky disků.

Mám tu hlavně obavu ze stálosti zápisu na disku (extrémně 3 roky bez proudu) a zatuhnutí mechaniky disku + následné odpálení při zapnutí.

Ten opravný kod je dobrý tip! Minimálně nějaký checksum bych určitě dal - škoda, že se bojím btrfs :)
22.12.2017 11:39 trubicoid2
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
ja bych asi RAID nekomplikoval, btrfs asi taky ne, co jestli za 3 roky nahodou zmeni format na disku?

nejlip ext nebo xfs, ten jsem precetl z SGI disku i po hodne letech :)

jeden chcksum stejne mit musis, as po overeni smazes ze serveru, ne?
22.12.2017 11:43 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
co jestli za 3 roky nahodou zmeni format na disku?
Na to bych si klidně vsadil :) Spíš to bylo postesknutí nad btrfs, je to offtopic. Doma na filmy btrfs mám a jsem spokojený, ale...

Jinak souhlasím, s XFS mám jen ty nejlepší zkušenosti.
Jendа avatar 22.12.2017 14:24 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
pokud máš dojem, že 2 kopie na singl disku jsou málo, co udělat 3?
Ano, to by šlo.
Např. v RAID5 bude kapacita dvojnásobná, tedy dvakrát tak dlouhá doba plnění a provozu. Není lepší disk dříve vypnout?
Není, nejspolehlivější je disk po dvou letech provozu.
Mám tu hlavně obavu ze stálosti zápisu na disku (extrémně 3 roky bez proudu)
Toho bych se nebál.
a zatuhnutí mechaniky disku + následné odpálení při zapnutí
Já dlouhodobé zálohy jednou za půl roku přečtu a zkontroluju checksumy (par2). To stejně chceš dělat, abys zjistil, že ti disky odchází víc než jsi čekal.
22.12.2017 09:24 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ta data přichází postupně, takže můžeš průběžně vyměňovat disky za prázdné? To pak není až tolik dat, jenom víc disků v několika skříních na různých místech.
22.12.2017 11:35 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ano, data postupně generujeme a potřebuju je mít 3 roky. Pak mě nezajímají. Přístup k nim je "občasný" až žádný a přístupová rychlost stačí kolem 10ms (možná v sobotu :-)
22.12.2017 11:52 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Takže jestli to dobře chápu, stačí ti mít v několika lokalitách stroje, v nich jeden disk, které vždycky někdo přes den před zaplněním vymění za nový, původní popíše a strčí do skříně. Nová data pak přijdou zase až v noci na prázdný disk.

Pokud se nemůže stát, že by nová data začala přicházet i přes den a ty bys neměl čas disky přehodit, pak je to úplně triviální řešení. Realita ale bývá košatější a na pouze noční provoz se určitě spoléhat nebude moci.

Rovněž bych se nespoléhal jen na jeden disk, ale v kompu bych měl druhý a ukládal to do md raid1. Ten vnitřní by se pořád přepisoval, ale při smrti některého z disků jej můžeš kdykoliv nahradit, zasynchronizovat a jedeš dál. Degradovaný mdraid na zálohách snadno namontuješ.

Nebo můžeš i ten interní mít venku a jednou vyhodit jeden, podruhé ten druhý - běžící disky by byly pořád poslední dva nejnovější. Když je popleteš a odebereš ten novější, nic se neděje, odebere se příště.

Ten checksum je dobrý nápad, můžeš využít pro každé řešení bez ZFS/btrfs.
22.12.2017 12:08 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ano, chápeš to správně.

Skoro se začínám klonit ke 3 lokalitám. Pokud všechny potvrdí úspěšné uložení dat, tak data smažu z primárního stroje. Primární stroj bude vlastně sloužit jako buffer, který mi dává prostor pro opravy, výměny plných disků. Několik dní by to mělo dát.

mirror je sice trochu lepší než RAID5, ale příjde mi to krok stejným směrem - teda spolehlivosti vykoupené komplikovaností. Prostě když odejde disk, nebude to žádný velký problém. Vezmu nový disk, dokopíruju na něj data z jiné lokality, zapojím a jedu dál.

Začíná se to hezky usazovat. Děkuju! :)
22.12.2017 12:26 romanch | skóre: 5
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
A jak rychlé máš linky mezi lokalitama ? Jestli je to LAN a místnosti "vedle sebe", tak to není bezpečné !
22.12.2017 12:58 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Pokud těch pár TB zvládneš stihnout z jiné lokality dostatečně rychle, než dojde k zaplnění a výměně (může to padnout těsně před plánovanou výměnou), pak samozřejmě raid nepotřebuješ. Já nemám lokality propojené gigabitem, takže bych si tam ten disk přidal, aby to bylo za pár hodin zasynchronizované. Je to jenom navýšení o počet lokalit x 1 disk.
22.12.2017 14:53 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ty lokality budu volit "mně blízké" - doma, kancelář, rodiče, kolega z práce - primární data jsou v housingu. Vzdálenosti mezi lokalitami jsou v desítkách km a jsem schopný si pro ně zajet fyzicky a zkopírovat je SATA/SATA.

Samozřejmě záleží, jak často budou disky odcházet - zatím bych to zkusil bez mirroru a když se to neosvědčí, tak to změním.
24.12.2017 12:58 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Vždycky se samozřejmě lepší mít data doma, ale pokud je to dost spolehlivý housing, tak smlouva na lepší provádění záloh může mít také provozní a ekonomický smysl.
22.12.2017 11:24 romanch | skóre: 5
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Jesli chceš spolehlivost a robusnost, tak bych zvolil 2x nějaký repas opravdový server 8x LFF (třeba na Ebayi nebo mi napiš mám jich hodně) do něj SD kartu s linuxem, nové LFF sata disky + ZFS (třeba raid5)

- bude to hw nezávislé, žádný HW RAID řadič, tj po x-letech zandáš HDD do jakéhokoliv jiného serveru, zpool import a máš data - má to rozumný dohled, 2x PSU, žádné kabely, redukce apod, hot-swap disky za chodu vyměnitelné - nějaký systémový management (ilo apod), tj. nemusíš k tomu fyzicky jezdit

Starší kvalitní server se dá sehnat za stejný peníze jako plastové NAS apod. tj. do 10t Kč

Práci čest soudruzi IT. :)
22.12.2017 11:47 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Pokud bych potřeboval online dostupnost, tak určitě rád tohle řešení beru, ale myslím, že v mém případě není třeba všechno držet na živém stroji. Táhne mě to k řešení, kde mi bude jedno, že cokoliv odejde a snadno a levně to nahradím.

Nicméně díky za nabídku a nápad!
Jendа avatar 22.12.2017 14:29 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Jesli chceš spolehlivost a robusnost, tak bych zvolil 2x nějaký repas opravdový server
To by mě zajímalo, jestli je spolehlivější repasovaný server, nebo hromada Raspberry za stejnou celkovou cenu, které bude měnit kus za kus (mimochodem RPi neodcházejí, protože nemají mechanické díly ani půlkilowattový síťový zdroj). Podle mě to druhé.
22.12.2017 15:56 romanch | skóre: 5
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Myslíš Raspberry s 5V plastovým zdrojem, ke kterému máš USB kabelem připojenou redukci na SATA s dalším 5v zdrojem a k tomu připojený 3.5" HDD s 12v zdrojem, to celé poskládané v "krabici od bot" ?

vůbec netvrdím, že odejde Raspberry :) Ale myslím, že bys na to neměl ani dýchat, nedej bože se toho dotýkat.

PS: mám v síti 38 serverů, 5ks RPi + dalších cca 600 zařízení s 12v zdrojem. A největší slabina ? Zdroje - vždycky zdroje, zvláště ty malé plastové na 5,9,12,24V apod.

26.12.2017 22:51 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Souhlasím, že problém dostatečně kvalitního bastlu je primárně v napájení. Ve finále bych zrovna zdroj koupil nějaký slabý PC popř. něco např. od Meanwellu s 5V a 12V v jednom zdroji.

Použil jsem rPi jako zjednodušené pojmenování jednodeskových PC. Určitě bych se snažil najít systém s integrovanou SATA (klidně interně přes USB). Mám např. v šuplíku nějaké cubie... Očekával bych od toho lepší výsledky než od externího SATA to USB.

Obecně nemyslím, že je tak důležité, jestli ta nebo ona komponenta je lepší nebo horší - pokud dodržím trojí redundanci dat, myslím, že šance na současné selhání vedoucí ke ztrátě dat je dostatečně malá. Bude se pohybovat někde v řádu promile, možná níž. Jestli mi budou odcházet nekritické komponenty (cokoliv mimo disku), příjdu na to praxí a pořeším to.
22.12.2017 13:41 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Nejdříve si musíte definovat, co je to ta „jistota, že o data nepřijdete“. Mít ta data uložená jen na dvou discích, které navíc budou strčené někde ve skříni, a že nejde disk přečíst se zjistí až tehdy, když to někdo zkusí, bych nazýval spíš jistotou, že o ta data přijdete. Ale třeba vám to tak stačí.

Pokud byste chtěl řešení, které bude podle mne o něco bezpečnější a podstatně levnější, hubiC má tarif 10 TB za 50 EUR (bez DPH) na rok, tedy 30 TB na 3 roky za nějakých 15 tisíc Kč. Pokud byste to chtěl testovat, můžu vám poslat affil odkaz,na kterém získáte 30 GB zdarma místo 25, které nabízejí standardně.

Pokud byste chtěl ještě spolehlivější řešení, na Amazon Glacier uložíte 25 TB na 3 roky za nějakých 80 tisíc Kč – plus ještě připočítejte poplatky za přenos.
Jendа avatar 22.12.2017 14:33 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
hubiC
To vypadá velmi dobře, ale nikde jsem tam nenašel (nevěnoval jsem tomu víc než pár minut, ale podle mě by tohle mělo být někde hned na začátku), jaké protokoly to umí.
22.12.2017 15:15 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
OpenStack Object Storage. Informace jsou na api.hubic.com. A přístupné je to také přes webový prohlížeč a aplikace pro desktopy a mobily.
22.12.2017 19:06 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ano, díky za nápad. Cloud je řešení, které jsem také zvažoval - nicméně nemám s ním praktické zkušenosti na dostatečné úrovni. Přesto bych o ten link poprosil, zkusím si s tím pohrát. Jinak má aplikace není výhledově čístý archiv - je tu určitá možnost, že se budou data i zpracovávat, proto je chci mít "blíž".

OT: Ta skepse ohledně "ležení disku ve skříni" mi příjde naprosto mimo realitu a hraničí s manipulací (na úrovni: jeď si do Brna autem, ale zabiješ se. Každý dneska přece létá!). Dost to shazuje váš jinak přínosný příspěvek.
Jendа avatar 22.12.2017 19:32 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ale on má pravdu. Podle mě máš 5% šanci, že disk po dvou letech ležení nenajede, čili 0.25% šanci že nenajedou oba. Dvojic budeš mít 6 a chceš to provozovat 10 let, máš tedy šanci 1-(0.975**(6*5)) = 53 %, že o data přijdeš, ne?
22.12.2017 21:06 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Donutilo mě to si osvěžit statistiku :)

V tvých parametrech je šance na přežití alespoň jednoho disku z každé dvojice (1 - 0,0025)^(6 + 5) = 92,8% Při výše vydiskutovaných 3 kopiích je to 99,6%.

Je to ale fakt teorie - disky určitě budou umírat po 8 letech s vyšší pravděpodobností než 5% atd.
22.12.2017 21:21 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Když je pravděpodobnost selhání jedné dvojice disků 0,25 %, je pravděpodobnost selhání některé z šestice disků 6 * 0,25 %. Pravděpodobnost zachování dat alespoň na jednom disku z každé šestice tedy je 98,5 %.
22.12.2017 22:17 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
...a když má backblaze 25k disků s poruchovostí řekněme 5%, tak je pst selhání jednoho disku 125.000%?

Takhle to počítat nelze - musíte jít přes doplňkový jev a požadovat současné splnění dějů (násobení). Selhání jedné dvojice má pst 0,25% a já se ptám na pst selhání alespoň jedné dvojice ze šesti. Toto převedu na úlohu pst přežití dvojice disků je 99,75% a já chci, aby se mi to povedlo 6x současně - teda 99,75^6
22.12.2017 22:54 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ano, (99,75 %)6, teď už to máte správně. Já to mám také špatně, soustředil jsem se na to, že se tam nemůže vyskytovat ta 5, a napsal jsem to špatně. Pro šest dvojic je to šest na sobě nezávislých jevů, že zůstanou zachována data na jedné dvojici.
22.12.2017 20:05 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Odkaz je zde: pozvánka na hubiC – 30 GB.

Jde o to, že abyste mohl spoléhat na to, že máte data někde archivovaná nebo zálohovaná, je potřeba to průběžně ověřovat – ověřovat, že ta data jdou přečíst. Což je nejlepší dělat automaticky – pokud budete muset disky odněkud vzít a dávat do nějakého zařízení, asi se vám nebude chtít dělat to moc často. Disky prostě docházejí – proto se dávají do RAIDu, mimo jiné proto se data zálohují. Nepředpokládám, že byste si myslel, že tam budete mít jednu sadu disků na věky. Kdybyste je měnil? Až by disk odešel? Nebo preventivně třeba po třech letech? A proč právě po takové době? Backblaze vydává pravidelně statistiky poruchovosti jejich disků – disk může odejít kdykoli, klidně po pár měsících. Kdy disk odejde je jenom věcí náhody – a asi nechcete ta data tak pracně ukládat jenom proto, abyste o ně přišel kvůli hloupé náhodě. Na uložení těch 25 TB byste potřeboval 2×5 6TB disků, to už je ta pravděpodobnost, že alespoň jeden odejde, docela vysoká.
22.12.2017 21:10 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Máte naprostou pravdu... ale jak tohle rozštípnout (řečnická)? :)
On ani ten cloud nebude mít 100%, zvlášť, když k tomu připočtu šanci mé chyby z důvodu nezkušenosti, nezaplacení, co já vím čeho...
22.12.2017 21:35 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ani cloud nebude mít 100 %, ale např. Glacier má 99.999999999 %. hubiC uvádí, že jsou data uložená vícenásobně, ale podrobněji to myslím neuvádí (je to hol velmi levné). Co se týče spolehlivosti uložení, je myslím i hubiC o dost spolehlivější, než „samodomo“ řešení se dvěma sadami disků. Nejriskantnější na tom cloudovém úložišti je chyba uživatele, případně chyba softwaru. Samozřejmě je možné to uložit dvakrát i do cloudu, to se ale prodražuje (i když hubiC by pořád vyšlo levněji, než to řešení s vlastními disky). Navíc ty disky asi budou mít větší poruchovost, pokud se budou fyzicky převážet/přenášet a budou uložené někde doma ve skříni.
23.12.2017 19:38 cronin | skóre: 49
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
V akých dávkach a ako často údaje prichádzajú? Ja len či by nevyriešila problém archivácia na BlueRay...
23.12.2017 21:16 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Na pálení je to myslím moc... a vyšlo by to i draze - jestli dobře koukám, tak 100GB medium stojí 400.

Data přichází prakticky konstantní rychlostí přibližně 20GB/den... jsem schopný bufrovat pár dní. Je to kolem 20GB za den.
24.12.2017 00:51 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Spíš bych se koukal po 25GB médiích, která vyjdou mnohem levněji.

Ovšem pálit každý den jedno médium také není zrovna to pravé.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
24.12.2017 11:38 cronin | skóre: 49
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Poobzeraj sa, ako riešia ukladanie videí youtuberi. Kľúčové slová su unRaid a Storinator. Napr. kanál "Linus TechTips" tieto veci riesil celkom serioznym sposobom tak pre svoju firmu, ako aj pre pár ďalších.
24.12.2017 13:23 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
To jsou placené produkty, s těmi bych byl opatrný.

Jak je na tom třeba GlusterFS?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
26.12.2017 17:11 cronin | skóre: 49
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ak niekto generuje takéto objemy serióznych údajov, je IMHO vporiadku poobzerať sa po komerčnom riešení s príslušným supportom, enterprise-grade hardvéri, atď. YMMV
26.12.2017 17:49 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Komerčním řešením moc nedůvěřuji, Open Source mi připadá kvalitnější a spolehlivější. Když by se to nasadilo na Gen8, tak by to ani nemuselo být drahé.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
26.12.2017 22:34 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Přesně - nepoužívám linux, protože nemám na windows/jiný komerční OS, ale protože jsem s ním produktivnější a služby, které provozuji jsou na něm spolehlivější. Nechci tu flameovat, ale subjektivně jsem si před lety zvolil cestu linuxu a open source a jsem v tom prostředí řádově schopnější než v jakémkoliv jiném.

glusterfs znám z dob před akvizicí - tuším je koupil RH. Bývala to skupina několika Indů a celkem jim to běhalo. Kloním se ale spíš k něčemu jako zaskriptovanému rsync - nepotřebuju si hrát na distribuovaný FS.
24.12.2017 14:06 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ještě jsem našel Ceph, který by se na to také mohl hodit.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
24.12.2017 14:01 MP
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
A kde je SW stranka cele veci? Protoze cron rozhodne neni na backup vhodny.
26.12.2017 22:37 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
SW chci svůj vlastní - a zrovna řešení na bázi cronu a jednoduchého bashe mi příjde velice vhodné a plánuji ho.

Není to typický backup, spíš archivace, ale to je spíš formalita... co je špatného na zálohování z cronu?
the.max avatar 24.12.2017 21:06 the.max | skóre: 46 | blog: Smetiště
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
To chceš zálohovat tolik porna? Na netu je ho kvanta a denně nové :-D
KERNEL ULTRAS Fan Team || Sabaton - nejlepší učitel dějepisu || Gentoo - dokud nás systemd nerozdělí.
Max avatar 26.12.2017 23:25 Max | skóre: 66 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Proč nikdo nezmínil zálohování/archivaci na pásky? Jedna 6TB páska stojí asi 3kkč a data se na ní a z ní dají nahrávat/stahovat 300MiB/s. Umí to i online komprimaci, takže pokud jde třeba o dumpy db, tak netřeba komprimovat a zálohovat, ale rovnou zálohovat. Nekomprimovaných dat se na LTO7 vejde až 15TiB. Je to jen páska, životnost garantována asi 30let.
Dále už existuje FS pro pásky, který se jmenuje LTFS, takže se s páskou pracuje jak s klasickým diskem, jen to má pár omezení (smazaný soubor neuvolní místo pokud jsou za ním další soubory apod.).
Větší investice je jen mechanika, tam bych si u LTO7 připravil tak 70kkč + případně nějaký SAS řadič. Pokud ale vezmeme v potaz kapacitu, rychlost, životnost a cenu pásek, tak cena za tu mechaniku se postupně vrátí (oproti ukládání na klasický disk, nebo SATA storage).
Další možností je nejít do nejnovějšího LTO7, ale třeba LTO6, kde jsme na nějakých 2,5TiB a 150MiB/s a jdou jak pásky, tak mechaniky sehnat mnohem levněji.
Možnost je samozřejmě i nějaký storage, ale kvůli bezpečnosti dat by musely být dva a to už se cena zase zvedá.
Zdar Max
Měl jsem sen ... :(
27.12.2017 12:47 cronin | skóre: 49
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Áno, pásky sú vlastne elegantným riešením na daný prípad použitia, obávam sa ale, že pri objeme údajov 25TB za tri roky pri súčasných kapacitách diskov 12TB sa to proste nevyplatí. Keby tých údajov bolo 10x viac, tak to už pásky začínajú byť prudko zaujímavé.

Keďže údaje prichádzajú postupne a predikovateľne, netreba riešiť storage naraz na tri roky dopredu. Dva 8TB disky v RAID1 pravdepodobne vyriešia problém na približne jeden rok. Počas tohto roka:

- Sa môžu zmeniť požiadavky na objem uchovávaných údajov či dobu uchovávania, pôvodný odhad sa stane irelevantným.

- Budú dostupné disky vyšších kapacít, resp. rovnaké kapacity za -- maybe, sigh -- nižšiu cenu.

- Nastane potreba nahradiť existujúce disky novými, celý storage sa bude presúvať.

- Nastane potreba riešiť storage aj pre iné účely centrálne, úplne sa zmení koncept ukladania.

Nota bene, najlepší spôsob, ako investovať do úložiska dát, je neinvestovať vôbec, alebo aspoň neinvestovať teraz.
27.12.2017 13:29 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Pokud bude data ukládat na třech lokalitách, je jakýkoli RAID zcela zbytečný.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
27.12.2017 12:51 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Pokud chce mít ukládání ve třech lokalitách současně, obávám se, že by se ty mechaniky prodražily.
27.12.2017 20:31 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
na třech lokalitách stačí mít pásky.
27.12.2017 20:49 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Stejně tak tam může mít ty disky, ne? Pochopil jsem, že chce distribuovat i to ukládání, kdyby se s jednou lokalitou něco stalo.
27.12.2017 21:28 camel1cz | skóre: 24
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Tak nějak... Nechci vyrobit SPOF. A to ani v podobe závislosti na kusu HW, který nemám víckrát ani uzavřeném řešení jako jsou malé NAS. Ty malé NAS mě mrzí nejvíc. Bylo by to ideální - koupit 3 nějaké Synology/qnap a stahovat to na ně... Používají ale upravený diskový filesystém a toho se bojím. Ještě o tom ale trochu počtu.
27.12.2017 21:47 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Synology NAS mají uvnitř Linux a jako souborový systém ext4 nebo btrfs. Pokud použijete některý z jejich RAIDů, je to něco nad LVM. Takže ty disky případně snadno přečtete na jakémkoli Linuxu.
28.12.2017 00:23
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Podle mě se jedná o normální mdadm vytvořené raidy, nad kterými je lvm. Akorát mají vymyšlený fígl, jak využít veškerý prostor disků i v tom případě, že disky nejsou stejně veliké. Ale není to nic, co by se nedalo vymyslet a udělat pomocí mdadm ručně. Takže disky v případě potřeby jdou připojit i do jiného počítače. A když člověk nechce použít ten jejich hybridní shr raid, tak nemusí.
28.12.2017 09:01 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Ano, tak jsem to myslel – pouze vhodně používají standardní linuxové nástroje, takže disky lze přečíst na jakémkoli linuxu.
28.12.2017 00:08 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
hm měl jsem pocit že jednak jde o to mít o něco levnější řešení. Pokud není principielní problém s velikoctí místa v lokalitách tak kromě synology/qnap stejnou službu udělá i postavit si svůj NAS. At již nad RPí a disky na usb nebo ITX základní desku jako třeba tuhle, s krabicí, zdrojem a jen nějakými 4Gb pamětí jsme pod cenou prázdného 4diskového Synology a ne moc daleko od ceny dvoudiskového. s mnohem komfotnějšími možnostmi než synology, ať již přes FreeNAS nebo standardní distra linuxu nebo třeba distro s zajímavou webovou administrací jako je ClearOS.
28.12.2017 09:04 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
Je pravda, že Synology má perfektně vyladěný software, a to pak v ceně toho zařízení také platíte. Když se pak to zařízení použije skoro jen jako „držák na disky“, ten software se nevyužije a je to zbytečná investice. Synology umí synchronizovat data mezi sebou, ale to v tomto případě asi nevyužijete.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.