abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 12:33 | Zajímavý projekt

Kernel.org představil lore.kernel.org, tj. archiv diskusního listu vývojářů linuxového jádra LKML (Linux Kernel Mailing List) s řadou zajímavých funkcí. Archiv běží na softwaru Public Inbox.

Ladislav Hagara | Komentářů: 0
dnes 10:55 | Nová verze

Po devíti měsících vývoje od vydání verze 10.0 byla vydána verze 11.0 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu a na YouTube.

Ladislav Hagara | Komentářů: 0
včera 20:44 | Nová verze

Po více než 3 měsících vývoje od vydání verze 238 oznámil Lennart Poettering vydání verze 239 správce systému a služeb systemd (GitHub, NEWS).

Ladislav Hagara | Komentářů: 6
včera 15:00 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.28 a beta verze 1.29 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání. Atom 1.28 je postaven na Electronu 2.0.

Ladislav Hagara | Komentářů: 1
včera 14:00 | Nová verze

Byla vydána nová verze 2.3.0 multiplatformního svobodného frameworku pro zpracování obrazu G'MIC (GREYC's Magic for Image Computing, Wikipedie). Přehled novinek i s náhledy na PIXLS.US.

Ladislav Hagara | Komentářů: 0
včera 13:00 | Komunita

Akční RPG hra Shadowrun Returns Deluxe, kterou lze hrát i na Linuxu je nyní zdarma na Humble Bundle. Hra vyšla díky kampani na Kickstarteru v roce 2013.

tajny_007 | Komentářů: 0
včera 01:00 | Nová verze

Byla vydána verze 1.27 programovacího jazyka Rust (Wikipedie). Z novinek je nutno zmínit podporu SIMD (Single Instruction Multiple Data). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 7
21.6. 16:22 | IT novinky

CEO Intelu Brian Krzanich rezignoval (tisková zpráva). Oficiálním důvodem je "vztah na pracovišti". S okamžitou platností se dočasným CEO stal Robert Swan.

Ladislav Hagara | Komentářů: 39
21.6. 14:11 | Komunita

Konsorcium Linux Foundation ve spolupráci s kariérním portálem Dice.com zveřejnilo 2018 Open Source Jobs Report. Poptávka po odbornících na open source neustále roste.

Ladislav Hagara | Komentářů: 1
21.6. 12:44 | Zajímavý článek

Na stránkách linuxové distribuce Ubuntu Studio byla publikována příručka Ubuntu Studio Audio Handbook věnována vytváření, nahrávaní a úpravě zvuků a hudby nejenom v Ubuntu Studiu. Jedná se o živý dokument editovatelný na jejich wiki.

Ladislav Hagara | Komentářů: 0
Jak čtete delší texty z webových stránek?
 (78%)
 (22%)
 (4%)
 (7%)
 (2%)
 (10%)
Celkem 246 hlasů
 Komentářů: 39, poslední 21.6. 17:44
    Rozcestník

    Dotaz: Jak na ukládání velkého množství dat?

    21.12.2017 23:17 camel1cz | skóre: 24
    Jak na ukládání velkého množství dat?
    Přečteno: 848×
    Ahoj,

    potřebuju vyřešit archivaci velkého množství dat a vymýšlím jak na to.

    Mé požadavky
    • jde o postupný nárůst až na cca 25TB za 3 roky,
    • data starší 3 let budu mazat a volný prostor používat pro data nová,
    • nepotřebuju online přístup, stačí mi mít možnost data dohledat a případně obnovit/zpracovat,
    • potřebuji mít jistotu, že o to nepříjdu - tedy naprostá redundance všeho,
    • v nedposlední řadě bych rád rozumnou cenu.
    Mé řešení

    Logika
    • data periodicky stahovat např. každou noc do 2 různých lokalit,
    • po ověření, že jsou data uložena v obou lokalitách je z hlavního serveru smazat.
    HW
    • 2 identické "NAS" s cronem a SSH, teda asi linuxem,
    • boot systému z flash/SD,
    • data ukládat na SATA disk s optimálním poměrem cena/výkon,
    • po naplnění disků je vyměním za nové a bezpečně uložím.
    Otázky
    • Napadá vás lepší řešení?
    • Případně jaký HW použít? V podstatě by stačilo nějaké rPi s SD kartou a připojeným diskem, klidně se SATA over USB, nepotřebuju s tím závodit. Bude to dostatečně spolehlivé?
    • Mám špatnou zkušenost s HDD, které se připojují a odpojují a ještě přes nespolehlivé adaptéry, trpí FS i samotný HW disku. Jak se potýkáte s tímhle?
    Díky za komentáře - nemám nikoho s kým se o tom poradit.

    Odpovědi

    Jendа avatar 21.12.2017 23:48 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    data ukládat na SATA disk s optimálním poměrem cena/výkon
    Tj. každý soubor budeš mít jen na dvou discích? Obávám se, že existuje možnost, že se oba disky po dvou letech nepodaří roztočit.

    Zapojil bych vždycky 3 disky do RAID5. Ideálně kdyby byly na obou NASech úplně stejné, tj. jakoby RAID15.
    Bude to dostatečně spolehlivé?
    Ano, především díky tomu, že si těch RPi nakoupíš víc, a když jedno odejde, tak uklízečka vymění doslova kus za kus (btw. SD kartu doporučuji readonly).
    Mám špatnou zkušenost s HDD, které se připojují a odpojují a ještě přes nespolehlivé adaptéry, trpí FS i samotný HW disku. Jak se potýkáte s tímhle?
    Používáme spolehlivé adaptéry. Bohužel jsem ho kupoval docela dávno. Byl na 3 disky najednou a na obale byla vyfocená nahatá surikata.
    Napadá vás lepší řešení?
    Pro klid duše bych přidal error correction - například pomocí par2.
    Klimakemp ve zkratce: Účastníci jeli vlakem na naftu a autobusem na naftu protestovat proti těžbě fosilních paliv.
    22.12.2017 10:16 trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    raid5 je dobry, ale ne v pripade, kdyz se budou disky vytahovat a valet ve skrini, kdy pak kvuli precteni je potreba najit aspon dva, co k sobe patri

    asi bych vzal vice obrovskych disku, asi pres e-sata adapter, co vypada jako toustovac, disk se zapichuje zhora, usb bych se vyhnul

    e-sata disk muzes na dalku odpojit, uklizecka ho vymeni a ty ho pripojis, pres e-sata neni problem se smart s pokud disk bude mit problem, tak ddrescue bezi o hodne lip pres esata nez pres usb

    misto nebo k par2 urcite nejaky checksum, neco na zpusob find /neco -type f -print0 | xargs -0 -n 1 -P 8 sha256sum > /sha256 a kontrola sha256sum -c sha256
    22.12.2017 10:33 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    S těmi toustovači mám špatné zkušenosti, po nějaké době se konektor ošoupe a disky začnou blbnout, používali jsme je pro offline zálohy na několik sad disků. Mám raději vestavěné šuplíky do velkého slotu na holé disky , disky v nich nemají vůli (jdou tedy do konektoru rovně) a drží nám výborně už několik let
    22.12.2017 10:35 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Navíc těm toustovačům odcházely napájecí adaptéry. Vytáhl jsem napájení ze serveru, ale je to opruz a práce navíc...
    22.12.2017 11:34 trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    ja v pohode, asi mam lepsi znacku, nejakej raidsonic nebo co?
    22.12.2017 12:16 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ještě k toustovačům. musí být fakt spolehlivý. potkal jsem před lety toustovač, který jednak uměl přes eSATA jen 2TB a přes USB libovolnou kapacitu a finálně mu odešel zdroj.
    22.12.2017 11:39 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Měl bys tip na konkrétní "toustovač"? Budu to měnit jen několikrát za životnost zařízení, nemyslím, že by to odešlo mechanicky.

    A ještě jedna otázka - zvládnu tu eSATA připojit k nějakému jednodeskovému PC s obyč interní SATA? Moc o tomhle nevím, jen to, že by to mělo jít :)
    22.12.2017 13:09 Trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Jde to, existuje i kabel interní sata - esata. Ale lepší je, když má deska esata konektor
    22.12.2017 13:13 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Pokud budeš to PC při výměně vypínat, můžeš si disk napojit napřímo na SATA kabel a žádnou kolébku nepotřebuješ.
    22.12.2017 13:26 Trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Vono by to šlo asi i za chodu pomocí device/delete, ale je třeba zkusit
    22.12.2017 13:37 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Jasně, jde hlavně, aby řadič uměl hotplug. Sice je to ve specs SATA, ale na starších integrovaných na desce mi to nefungovalo, disk se zdetekoval až po rebootu. Ale to už je dneska asi historie...
    22.12.2017 15:38 trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    je potreba mrknout na dmesg | grep ahci, je to flag asi sxs = Supports External SATA

    jinak pro detekci funguje echo on > /sys/class/scsi_host/host4/device/power/control

    echo "- - -" > /sys/class/scsi_host/host4/scan

    nebo pak rescan-scsi-bus

    disk odpojit echo 1 > /sys/block/sdx/device/delete
    22.12.2017 13:14 Trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Mám jakýsi raidsonic usb2/esata. Asi se už nedělá, teď mívají usb3. Spolehlivost těch nových nevím, ale zase to stojí celkem málo a disk to pravděpodobně neodpálí.
    Jendа avatar 22.12.2017 14:21 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    misto nebo k par2 urcite nejaky checksum
    Checksum ti zjistí, že jsou data poškozená, což by stejně zjistil bzip/gzip, případně dm-integrity nebo nějaký FS s checksumy. par2 jsem doporučoval kvůli tomu, že dokáže poškozená data opravit, pokud není poškozeno více než 5 %.
    Klimakemp ve zkratce: Účastníci jeli vlakem na naftu a autobusem na naftu protestovat proti těžbě fosilních paliv.
    22.12.2017 15:48 trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    to ja chapu, rikam bud misto nebo k

    hlavni ale asi bude chybu najit a pak si treba soubor "opravis" z druheho disku

    22.12.2017 11:30 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Díky za reakci. Už jsem odpovídal, ale odpověď tu není - buď jsem ji neposlal nebo se nějak potratila.

    To co píšeš přesně naráží na můj vnitřní boj mezi jednoduchostí a komplexností řešení - v extrému je to externí disk vs. diskové pole. Tady např. 1x disk vs. RAID5. Výhody komplexního řešení nesou i nevýhody a nedokážu si vnitřně 100% obhájit ani jednu variantu. Např. v RAID5 bude kapacita dvojnásobná, tedy dvakrát tak dlouhá doba plnění a provozu. Není lepší disk dříve vypnout? Subjektivně mi příjde, že RAID to spíš zkomplikuje - pokud máš dojem, že 2 kopie na singl disku jsou málo, co udělat 3? Mohu i prostřídat značky disků.

    Mám tu hlavně obavu ze stálosti zápisu na disku (extrémně 3 roky bez proudu) a zatuhnutí mechaniky disku + následné odpálení při zapnutí.

    Ten opravný kod je dobrý tip! Minimálně nějaký checksum bych určitě dal - škoda, že se bojím btrfs :)
    22.12.2017 11:39 trubicoid2
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    ja bych asi RAID nekomplikoval, btrfs asi taky ne, co jestli za 3 roky nahodou zmeni format na disku?

    nejlip ext nebo xfs, ten jsem precetl z SGI disku i po hodne letech :)

    jeden chcksum stejne mit musis, as po overeni smazes ze serveru, ne?
    22.12.2017 11:43 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    co jestli za 3 roky nahodou zmeni format na disku?
    Na to bych si klidně vsadil :) Spíš to bylo postesknutí nad btrfs, je to offtopic. Doma na filmy btrfs mám a jsem spokojený, ale...

    Jinak souhlasím, s XFS mám jen ty nejlepší zkušenosti.
    Jendа avatar 22.12.2017 14:24 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    pokud máš dojem, že 2 kopie na singl disku jsou málo, co udělat 3?
    Ano, to by šlo.
    Např. v RAID5 bude kapacita dvojnásobná, tedy dvakrát tak dlouhá doba plnění a provozu. Není lepší disk dříve vypnout?
    Není, nejspolehlivější je disk po dvou letech provozu.
    Mám tu hlavně obavu ze stálosti zápisu na disku (extrémně 3 roky bez proudu)
    Toho bych se nebál.
    a zatuhnutí mechaniky disku + následné odpálení při zapnutí
    Já dlouhodobé zálohy jednou za půl roku přečtu a zkontroluju checksumy (par2). To stejně chceš dělat, abys zjistil, že ti disky odchází víc než jsi čekal.
    Klimakemp ve zkratce: Účastníci jeli vlakem na naftu a autobusem na naftu protestovat proti těžbě fosilních paliv.
    22.12.2017 09:24 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ta data přichází postupně, takže můžeš průběžně vyměňovat disky za prázdné? To pak není až tolik dat, jenom víc disků v několika skříních na různých místech.
    22.12.2017 11:35 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ano, data postupně generujeme a potřebuju je mít 3 roky. Pak mě nezajímají. Přístup k nim je "občasný" až žádný a přístupová rychlost stačí kolem 10ms (možná v sobotu :-)
    22.12.2017 11:52 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Takže jestli to dobře chápu, stačí ti mít v několika lokalitách stroje, v nich jeden disk, které vždycky někdo přes den před zaplněním vymění za nový, původní popíše a strčí do skříně. Nová data pak přijdou zase až v noci na prázdný disk.

    Pokud se nemůže stát, že by nová data začala přicházet i přes den a ty bys neměl čas disky přehodit, pak je to úplně triviální řešení. Realita ale bývá košatější a na pouze noční provoz se určitě spoléhat nebude moci.

    Rovněž bych se nespoléhal jen na jeden disk, ale v kompu bych měl druhý a ukládal to do md raid1. Ten vnitřní by se pořád přepisoval, ale při smrti některého z disků jej můžeš kdykoliv nahradit, zasynchronizovat a jedeš dál. Degradovaný mdraid na zálohách snadno namontuješ.

    Nebo můžeš i ten interní mít venku a jednou vyhodit jeden, podruhé ten druhý - běžící disky by byly pořád poslední dva nejnovější. Když je popleteš a odebereš ten novější, nic se neděje, odebere se příště.

    Ten checksum je dobrý nápad, můžeš využít pro každé řešení bez ZFS/btrfs.
    22.12.2017 12:08 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ano, chápeš to správně.

    Skoro se začínám klonit ke 3 lokalitám. Pokud všechny potvrdí úspěšné uložení dat, tak data smažu z primárního stroje. Primární stroj bude vlastně sloužit jako buffer, který mi dává prostor pro opravy, výměny plných disků. Několik dní by to mělo dát.

    mirror je sice trochu lepší než RAID5, ale příjde mi to krok stejným směrem - teda spolehlivosti vykoupené komplikovaností. Prostě když odejde disk, nebude to žádný velký problém. Vezmu nový disk, dokopíruju na něj data z jiné lokality, zapojím a jedu dál.

    Začíná se to hezky usazovat. Děkuju! :)
    22.12.2017 12:26 romanch | skóre: 4
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    A jak rychlé máš linky mezi lokalitama ? Jestli je to LAN a místnosti "vedle sebe", tak to není bezpečné !
    22.12.2017 12:58 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Pokud těch pár TB zvládneš stihnout z jiné lokality dostatečně rychle, než dojde k zaplnění a výměně (může to padnout těsně před plánovanou výměnou), pak samozřejmě raid nepotřebuješ. Já nemám lokality propojené gigabitem, takže bych si tam ten disk přidal, aby to bylo za pár hodin zasynchronizované. Je to jenom navýšení o počet lokalit x 1 disk.
    22.12.2017 14:53 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ty lokality budu volit "mně blízké" - doma, kancelář, rodiče, kolega z práce - primární data jsou v housingu. Vzdálenosti mezi lokalitami jsou v desítkách km a jsem schopný si pro ně zajet fyzicky a zkopírovat je SATA/SATA.

    Samozřejmě záleží, jak často budou disky odcházet - zatím bych to zkusil bez mirroru a když se to neosvědčí, tak to změním.
    24.12.2017 12:58 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Vždycky se samozřejmě lepší mít data doma, ale pokud je to dost spolehlivý housing, tak smlouva na lepší provádění záloh může mít také provozní a ekonomický smysl.
    22.12.2017 11:24 romanch | skóre: 4
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Jesli chceš spolehlivost a robusnost, tak bych zvolil 2x nějaký repas opravdový server 8x LFF (třeba na Ebayi nebo mi napiš mám jich hodně) do něj SD kartu s linuxem, nové LFF sata disky + ZFS (třeba raid5)

    - bude to hw nezávislé, žádný HW RAID řadič, tj po x-letech zandáš HDD do jakéhokoliv jiného serveru, zpool import a máš data - má to rozumný dohled, 2x PSU, žádné kabely, redukce apod, hot-swap disky za chodu vyměnitelné - nějaký systémový management (ilo apod), tj. nemusíš k tomu fyzicky jezdit

    Starší kvalitní server se dá sehnat za stejný peníze jako plastové NAS apod. tj. do 10t Kč

    Práci čest soudruzi IT. :)
    22.12.2017 11:47 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Pokud bych potřeboval online dostupnost, tak určitě rád tohle řešení beru, ale myslím, že v mém případě není třeba všechno držet na živém stroji. Táhne mě to k řešení, kde mi bude jedno, že cokoliv odejde a snadno a levně to nahradím.

    Nicméně díky za nabídku a nápad!
    Jendа avatar 22.12.2017 14:29 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Jesli chceš spolehlivost a robusnost, tak bych zvolil 2x nějaký repas opravdový server
    To by mě zajímalo, jestli je spolehlivější repasovaný server, nebo hromada Raspberry za stejnou celkovou cenu, které bude měnit kus za kus (mimochodem RPi neodcházejí, protože nemají mechanické díly ani půlkilowattový síťový zdroj). Podle mě to druhé.
    Klimakemp ve zkratce: Účastníci jeli vlakem na naftu a autobusem na naftu protestovat proti těžbě fosilních paliv.
    22.12.2017 15:56 romanch | skóre: 4
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Myslíš Raspberry s 5V plastovým zdrojem, ke kterému máš USB kabelem připojenou redukci na SATA s dalším 5v zdrojem a k tomu připojený 3.5" HDD s 12v zdrojem, to celé poskládané v "krabici od bot" ?

    vůbec netvrdím, že odejde Raspberry :) Ale myslím, že bys na to neměl ani dýchat, nedej bože se toho dotýkat.

    PS: mám v síti 38 serverů, 5ks RPi + dalších cca 600 zařízení s 12v zdrojem. A největší slabina ? Zdroje - vždycky zdroje, zvláště ty malé plastové na 5,9,12,24V apod.

    26.12.2017 22:51 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Souhlasím, že problém dostatečně kvalitního bastlu je primárně v napájení. Ve finále bych zrovna zdroj koupil nějaký slabý PC popř. něco např. od Meanwellu s 5V a 12V v jednom zdroji.

    Použil jsem rPi jako zjednodušené pojmenování jednodeskových PC. Určitě bych se snažil najít systém s integrovanou SATA (klidně interně přes USB). Mám např. v šuplíku nějaké cubie... Očekával bych od toho lepší výsledky než od externího SATA to USB.

    Obecně nemyslím, že je tak důležité, jestli ta nebo ona komponenta je lepší nebo horší - pokud dodržím trojí redundanci dat, myslím, že šance na současné selhání vedoucí ke ztrátě dat je dostatečně malá. Bude se pohybovat někde v řádu promile, možná níž. Jestli mi budou odcházet nekritické komponenty (cokoliv mimo disku), příjdu na to praxí a pořeším to.
    22.12.2017 13:41 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Nejdříve si musíte definovat, co je to ta „jistota, že o data nepřijdete“. Mít ta data uložená jen na dvou discích, které navíc budou strčené někde ve skříni, a že nejde disk přečíst se zjistí až tehdy, když to někdo zkusí, bych nazýval spíš jistotou, že o ta data přijdete. Ale třeba vám to tak stačí.

    Pokud byste chtěl řešení, které bude podle mne o něco bezpečnější a podstatně levnější, hubiC má tarif 10 TB za 50 EUR (bez DPH) na rok, tedy 30 TB na 3 roky za nějakých 15 tisíc Kč. Pokud byste to chtěl testovat, můžu vám poslat affil odkaz,na kterém získáte 30 GB zdarma místo 25, které nabízejí standardně.

    Pokud byste chtěl ještě spolehlivější řešení, na Amazon Glacier uložíte 25 TB na 3 roky za nějakých 80 tisíc Kč – plus ještě připočítejte poplatky za přenos.
    Jendа avatar 22.12.2017 14:33 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    hubiC
    To vypadá velmi dobře, ale nikde jsem tam nenašel (nevěnoval jsem tomu víc než pár minut, ale podle mě by tohle mělo být někde hned na začátku), jaké protokoly to umí.
    Klimakemp ve zkratce: Účastníci jeli vlakem na naftu a autobusem na naftu protestovat proti těžbě fosilních paliv.
    22.12.2017 15:15 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    OpenStack Object Storage. Informace jsou na api.hubic.com. A přístupné je to také přes webový prohlížeč a aplikace pro desktopy a mobily.
    22.12.2017 19:06 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ano, díky za nápad. Cloud je řešení, které jsem také zvažoval - nicméně nemám s ním praktické zkušenosti na dostatečné úrovni. Přesto bych o ten link poprosil, zkusím si s tím pohrát. Jinak má aplikace není výhledově čístý archiv - je tu určitá možnost, že se budou data i zpracovávat, proto je chci mít "blíž".

    OT: Ta skepse ohledně "ležení disku ve skříni" mi příjde naprosto mimo realitu a hraničí s manipulací (na úrovni: jeď si do Brna autem, ale zabiješ se. Každý dneska přece létá!). Dost to shazuje váš jinak přínosný příspěvek.
    Jendа avatar 22.12.2017 19:32 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ale on má pravdu. Podle mě máš 5% šanci, že disk po dvou letech ležení nenajede, čili 0.25% šanci že nenajedou oba. Dvojic budeš mít 6 a chceš to provozovat 10 let, máš tedy šanci 1-(0.975**(6*5)) = 53 %, že o data přijdeš, ne?
    Klimakemp ve zkratce: Účastníci jeli vlakem na naftu a autobusem na naftu protestovat proti těžbě fosilních paliv.
    22.12.2017 21:06 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Donutilo mě to si osvěžit statistiku :)

    V tvých parametrech je šance na přežití alespoň jednoho disku z každé dvojice (1 - 0,0025)^(6 + 5) = 92,8% Při výše vydiskutovaných 3 kopiích je to 99,6%.

    Je to ale fakt teorie - disky určitě budou umírat po 8 letech s vyšší pravděpodobností než 5% atd.
    22.12.2017 21:21 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Když je pravděpodobnost selhání jedné dvojice disků 0,25 %, je pravděpodobnost selhání některé z šestice disků 6 * 0,25 %. Pravděpodobnost zachování dat alespoň na jednom disku z každé šestice tedy je 98,5 %.
    22.12.2017 22:17 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    ...a když má backblaze 25k disků s poruchovostí řekněme 5%, tak je pst selhání jednoho disku 125.000%?

    Takhle to počítat nelze - musíte jít přes doplňkový jev a požadovat současné splnění dějů (násobení). Selhání jedné dvojice má pst 0,25% a já se ptám na pst selhání alespoň jedné dvojice ze šesti. Toto převedu na úlohu pst přežití dvojice disků je 99,75% a já chci, aby se mi to povedlo 6x současně - teda 99,75^6
    22.12.2017 22:54 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ano, (99,75 %)6, teď už to máte správně. Já to mám také špatně, soustředil jsem se na to, že se tam nemůže vyskytovat ta 5, a napsal jsem to špatně. Pro šest dvojic je to šest na sobě nezávislých jevů, že zůstanou zachována data na jedné dvojici.
    22.12.2017 20:05 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Odkaz je zde: pozvánka na hubiC – 30 GB.

    Jde o to, že abyste mohl spoléhat na to, že máte data někde archivovaná nebo zálohovaná, je potřeba to průběžně ověřovat – ověřovat, že ta data jdou přečíst. Což je nejlepší dělat automaticky – pokud budete muset disky odněkud vzít a dávat do nějakého zařízení, asi se vám nebude chtít dělat to moc často. Disky prostě docházejí – proto se dávají do RAIDu, mimo jiné proto se data zálohují. Nepředpokládám, že byste si myslel, že tam budete mít jednu sadu disků na věky. Kdybyste je měnil? Až by disk odešel? Nebo preventivně třeba po třech letech? A proč právě po takové době? Backblaze vydává pravidelně statistiky poruchovosti jejich disků – disk může odejít kdykoli, klidně po pár měsících. Kdy disk odejde je jenom věcí náhody – a asi nechcete ta data tak pracně ukládat jenom proto, abyste o ně přišel kvůli hloupé náhodě. Na uložení těch 25 TB byste potřeboval 2×5 6TB disků, to už je ta pravděpodobnost, že alespoň jeden odejde, docela vysoká.
    22.12.2017 21:10 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Máte naprostou pravdu... ale jak tohle rozštípnout (řečnická)? :)
    On ani ten cloud nebude mít 100%, zvlášť, když k tomu připočtu šanci mé chyby z důvodu nezkušenosti, nezaplacení, co já vím čeho...
    22.12.2017 21:35 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ani cloud nebude mít 100 %, ale např. Glacier má 99.999999999 %. hubiC uvádí, že jsou data uložená vícenásobně, ale podrobněji to myslím neuvádí (je to hol velmi levné). Co se týče spolehlivosti uložení, je myslím i hubiC o dost spolehlivější, než „samodomo“ řešení se dvěma sadami disků. Nejriskantnější na tom cloudovém úložišti je chyba uživatele, případně chyba softwaru. Samozřejmě je možné to uložit dvakrát i do cloudu, to se ale prodražuje (i když hubiC by pořád vyšlo levněji, než to řešení s vlastními disky). Navíc ty disky asi budou mít větší poruchovost, pokud se budou fyzicky převážet/přenášet a budou uložené někde doma ve skříni.
    23.12.2017 19:38 cronin | skóre: 49
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    V akých dávkach a ako často údaje prichádzajú? Ja len či by nevyriešila problém archivácia na BlueRay...
    23.12.2017 21:16 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Na pálení je to myslím moc... a vyšlo by to i draze - jestli dobře koukám, tak 100GB medium stojí 400.

    Data přichází prakticky konstantní rychlostí přibližně 20GB/den... jsem schopný bufrovat pár dní. Je to kolem 20GB za den.
    24.12.2017 00:51 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Spíš bych se koukal po 25GB médiích, která vyjdou mnohem levněji.

    Ovšem pálit každý den jedno médium také není zrovna to pravé.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    24.12.2017 11:38 cronin | skóre: 49
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Poobzeraj sa, ako riešia ukladanie videí youtuberi. Kľúčové slová su unRaid a Storinator. Napr. kanál "Linus TechTips" tieto veci riesil celkom serioznym sposobom tak pre svoju firmu, ako aj pre pár ďalších.
    24.12.2017 13:23 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    To jsou placené produkty, s těmi bych byl opatrný.

    Jak je na tom třeba GlusterFS?
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    26.12.2017 17:11 cronin | skóre: 49
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ak niekto generuje takéto objemy serióznych údajov, je IMHO vporiadku poobzerať sa po komerčnom riešení s príslušným supportom, enterprise-grade hardvéri, atď. YMMV
    26.12.2017 17:49 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Komerčním řešením moc nedůvěřuji, Open Source mi připadá kvalitnější a spolehlivější. Když by se to nasadilo na Gen8, tak by to ani nemuselo být drahé.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    26.12.2017 22:34 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Přesně - nepoužívám linux, protože nemám na windows/jiný komerční OS, ale protože jsem s ním produktivnější a služby, které provozuji jsou na něm spolehlivější. Nechci tu flameovat, ale subjektivně jsem si před lety zvolil cestu linuxu a open source a jsem v tom prostředí řádově schopnější než v jakémkoliv jiném.

    glusterfs znám z dob před akvizicí - tuším je koupil RH. Bývala to skupina několika Indů a celkem jim to běhalo. Kloním se ale spíš k něčemu jako zaskriptovanému rsync - nepotřebuju si hrát na distribuovaný FS.
    24.12.2017 14:06 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ještě jsem našel Ceph, který by se na to také mohl hodit.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    24.12.2017 14:01 MP
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    A kde je SW stranka cele veci? Protoze cron rozhodne neni na backup vhodny.
    26.12.2017 22:37 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    SW chci svůj vlastní - a zrovna řešení na bázi cronu a jednoduchého bashe mi příjde velice vhodné a plánuji ho.

    Není to typický backup, spíš archivace, ale to je spíš formalita... co je špatného na zálohování z cronu?
    the.max avatar 24.12.2017 21:06 the.max | skóre: 46 | blog: Smetiště
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    To chceš zálohovat tolik porna? Na netu je ho kvanta a denně nové :-D
    KERNEL ULTRAS Fan Team || Sabaton - nejlepší učitel dějepisu || Gentoo - dokud nás systemd nerozdělí.
    Max avatar 26.12.2017 23:25 Max | skóre: 66 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Proč nikdo nezmínil zálohování/archivaci na pásky? Jedna 6TB páska stojí asi 3kkč a data se na ní a z ní dají nahrávat/stahovat 300MiB/s. Umí to i online komprimaci, takže pokud jde třeba o dumpy db, tak netřeba komprimovat a zálohovat, ale rovnou zálohovat. Nekomprimovaných dat se na LTO7 vejde až 15TiB. Je to jen páska, životnost garantována asi 30let.
    Dále už existuje FS pro pásky, který se jmenuje LTFS, takže se s páskou pracuje jak s klasickým diskem, jen to má pár omezení (smazaný soubor neuvolní místo pokud jsou za ním další soubory apod.).
    Větší investice je jen mechanika, tam bych si u LTO7 připravil tak 70kkč + případně nějaký SAS řadič. Pokud ale vezmeme v potaz kapacitu, rychlost, životnost a cenu pásek, tak cena za tu mechaniku se postupně vrátí (oproti ukládání na klasický disk, nebo SATA storage).
    Další možností je nejít do nejnovějšího LTO7, ale třeba LTO6, kde jsme na nějakých 2,5TiB a 150MiB/s a jdou jak pásky, tak mechaniky sehnat mnohem levněji.
    Možnost je samozřejmě i nějaký storage, ale kvůli bezpečnosti dat by musely být dva a to už se cena zase zvedá.
    Zdar Max
    Měl jsem sen ... :(
    27.12.2017 12:47 cronin | skóre: 49
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Áno, pásky sú vlastne elegantným riešením na daný prípad použitia, obávam sa ale, že pri objeme údajov 25TB za tri roky pri súčasných kapacitách diskov 12TB sa to proste nevyplatí. Keby tých údajov bolo 10x viac, tak to už pásky začínajú byť prudko zaujímavé.

    Keďže údaje prichádzajú postupne a predikovateľne, netreba riešiť storage naraz na tri roky dopredu. Dva 8TB disky v RAID1 pravdepodobne vyriešia problém na približne jeden rok. Počas tohto roka:

    - Sa môžu zmeniť požiadavky na objem uchovávaných údajov či dobu uchovávania, pôvodný odhad sa stane irelevantným.

    - Budú dostupné disky vyšších kapacít, resp. rovnaké kapacity za -- maybe, sigh -- nižšiu cenu.

    - Nastane potreba nahradiť existujúce disky novými, celý storage sa bude presúvať.

    - Nastane potreba riešiť storage aj pre iné účely centrálne, úplne sa zmení koncept ukladania.

    Nota bene, najlepší spôsob, ako investovať do úložiska dát, je neinvestovať vôbec, alebo aspoň neinvestovať teraz.
    27.12.2017 13:29 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Pokud bude data ukládat na třech lokalitách, je jakýkoli RAID zcela zbytečný.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    27.12.2017 12:51 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Pokud chce mít ukládání ve třech lokalitách současně, obávám se, že by se ty mechaniky prodražily.
    27.12.2017 20:31 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    na třech lokalitách stačí mít pásky.
    27.12.2017 20:49 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Stejně tak tam může mít ty disky, ne? Pochopil jsem, že chce distribuovat i to ukládání, kdyby se s jednou lokalitou něco stalo.
    27.12.2017 21:28 camel1cz | skóre: 24
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Tak nějak... Nechci vyrobit SPOF. A to ani v podobe závislosti na kusu HW, který nemám víckrát ani uzavřeném řešení jako jsou malé NAS. Ty malé NAS mě mrzí nejvíc. Bylo by to ideální - koupit 3 nějaké Synology/qnap a stahovat to na ně... Používají ale upravený diskový filesystém a toho se bojím. Ještě o tom ale trochu počtu.
    27.12.2017 21:47 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Synology NAS mají uvnitř Linux a jako souborový systém ext4 nebo btrfs. Pokud použijete některý z jejich RAIDů, je to něco nad LVM. Takže ty disky případně snadno přečtete na jakémkoli Linuxu.
    28.12.2017 00:23
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Podle mě se jedná o normální mdadm vytvořené raidy, nad kterými je lvm. Akorát mají vymyšlený fígl, jak využít veškerý prostor disků i v tom případě, že disky nejsou stejně veliké. Ale není to nic, co by se nedalo vymyslet a udělat pomocí mdadm ručně. Takže disky v případě potřeby jdou připojit i do jiného počítače. A když člověk nechce použít ten jejich hybridní shr raid, tak nemusí.
    28.12.2017 09:01 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Ano, tak jsem to myslel – pouze vhodně používají standardní linuxové nástroje, takže disky lze přečíst na jakémkoli linuxu.
    28.12.2017 00:08 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    hm měl jsem pocit že jednak jde o to mít o něco levnější řešení. Pokud není principielní problém s velikoctí místa v lokalitách tak kromě synology/qnap stejnou službu udělá i postavit si svůj NAS. At již nad RPí a disky na usb nebo ITX základní desku jako třeba tuhle, s krabicí, zdrojem a jen nějakými 4Gb pamětí jsme pod cenou prázdného 4diskového Synology a ne moc daleko od ceny dvoudiskového. s mnohem komfotnějšími možnostmi než synology, ať již přes FreeNAS nebo standardní distra linuxu nebo třeba distro s zajímavou webovou administrací jako je ClearOS.
    28.12.2017 09:04 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Jak na ukládání velkého množství dat?
    Je pravda, že Synology má perfektně vyladěný software, a to pak v ceně toho zařízení také platíte. Když se pak to zařízení použije skoro jen jako „držák na disky“, ten software se nevyužije a je to zbytečná investice. Synology umí synchronizovat data mezi sebou, ale to v tomto případě asi nevyužijete.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.