abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 17:02 | Pozvánky

Přijďte si popovídat o open source obecně a openSUSE konkrétně s dalšími uživateli a vývojáři. Oslava nového vydání openSUSE Leap se uskuteční 16. prosince od 17:00 v nových prostorách firmy SUSE v Praze. K dispozici bude nějaké občerstvení a DVD pro ty, kdo je sbírají nebo ještě mají mechaniku. Po párty v kanceláři se bude pokračovat v některé z hospod v okolí.

Miška | Komentářů: 7
včera 14:55 | Zajímavý software

Byla vydána verze Alpha 1.0 otevřeného operačního systému pro chytré hodinky AsteroidOS. Podporovány jsou hodinky LG G Watch, LG G Watch Urbane, Asus ZenWatch 2 a Sony Smartwatch 3. Ukázka ovládání hodinek na YouTube. Jaroslav Řezník přednášel o AsteroidOS na chytrých hodinkách (videozáznam) na letošní konferenci OpenAlt.

Ladislav Hagara | Komentářů: 0
včera 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
včera 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
9.12. 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
9.12. 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
9.12. 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
9.12. 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (23%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 809 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Síťové zálohování / RAID1 over network - co vybrat?

12.8.2014 19:50 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Síťové zálohování / RAID1 over network - co vybrat?
Přečteno: 418×
Ahoj všem, stavím malou síť (v zásadě pro domácí potřeby), jejímž středobodem bude síťové úložiště dat. Většina HW je předem daná (zadáním je pokud možno maximálně využít stávající neslavné vybavení), takže ono centrální úložiště má být vytvořeno z počítače - staré šunky s jedním diskem (víc se do toho stroje dát nedá), to vše zapojené ve 100 Mbit síti (tady se možná podaří protlačit upgrade na 1Gbit, ale zatím počítám se 100M).

Jelikož se jedná o starý jetý disk, který se kdykoli může odebrat do věčných lovišť i se všemi centrálně uloženými daty, chci tato data někde zálohovat. Mám k dispozici pár dalších disků (některé jsou i typově totožné), které můžu připojit do desktopů umístěných v téže síti. Desktopy ale - narozdíl od šunkoserveru - budou zapnuté jen občas.

Pokud se ale data v rámci sítě mají duplikovat na více strojů, rád bych dosáhl stavu, kdy každý stroj držící zálohu mohl pracovat s lokálními daty (s tím, že změny se odzrcadlí na centrálu).

Věci jako high availability nebo nějaké drobné rozdíly ve výkonnosti nejsou podstatné - když se starý disk odporoučí, tak to holt nepojede, dokud se to nepřepojí/nepřekonfiguruje. Na prvním místě je nepřijít o všechna data, na druhém místě je nestrávit mládí stavbou takového řešení, všechno ostatní jsou jen třešničky na dortu.

Dosavadní zkoumání a hledání mě přivedlo na několik možných řešení:
  1. První a nejjednodušší volba - na desktopech po spuštění a/nebo pravidelně cronem spouštět rsync, případně nějaký sofistikovanější backup tool
  2. DRBD
  3. ChironFS, SeznamFS
  4. GlusterFS, Lustre apod.
Každý ale má nějaké nevýhody:
  1. veškerá data se budou tahat přes síť, i když bude existovat jejich lokální kopie, protože replikace nebude instantní; rsync po větším objemu změn na větším počtu souborů může trvat fakt dlouho
  2. jednak je to docela kanón na vrabce stavěný pro HA potřeby, jednak náročnost na kapacitu sítě je podle diskusí obrovská a na 100M síti je to recept na bolehlav
  3. ChironFS neumí zajistit počáteční sync úložišť, řeší jen průběžné změny, takže při startu desktopu bych stejně musel dělat rsync (který může trvat dlouho), během kterého by se asi nesmělo na centrále zapisovat; SeznamFS je zřejmě nemlich to samé v bledě modrém; ChironFS i SeznamFS
  4. zase kanón na vrabce - pro síť s vysokou zátěží by bylo zbytečné přemýšlet o čemkoli jiném, ale když tu jde (zjednodušeně) o to, aby rodina nepřišla o fotky z dovolených, nechce se mi věnovat čas konfiguraci toho celého
Takže otázka zní, co byste radili, jako cestou se vydat? Řešil někdo něco podobného? Aktuálně mi s mými požadavky vychází jako nejmenší zlo varianta č. 1. (tzn. dělat prostě jen backupy a mít v síti větší provoz).

Předem díky za každý tip.
~ w w w w (oo)   [oo] w w w w ~

Řešení dotazu:


Odpovědi

12.8.2014 20:52 Carth_Onasi
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Proč do toho starého serveru nedáš disky (ať už nové nebo použité, i za cenu, že budou viset jen na drátech a case bude otevřený (třeba i přilepit)) a tam dáš SW nebo HW RAID 1, nějaký Debian a CRON?
Řešení 1× (Eregon (tazatel))
12.8.2014 21:21 pavele
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Momentálně mám něco podobného a řeším to zatím přes unison.
Řešení 1× (Eregon (tazatel))
12.8.2014 21:47 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Unison je pro obousměrnou replikaci výborný.

Nicméně i tam samozřejmě hrozí konflikty, obzvláště pokud je těch strojů ještě více, než jen dva (tj. 1 centrální, oproti kterému se ostatní postupně dokola synchronizují).
15.8.2014 16:27 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Tak po hlubším průzkumu Unison asi nejvíc odpovídá požadavkům. Úplně dokonalé řešení to v dané situaci není, ale je zřejmě nejlepší dosažitlené se zdroji, které jsou k dispozici (mám teď na mysli hlavně nároky na implementaci a správu). Takže ještě jednou díky za tip!
~ w w w w (oo)   [oo] w w w w ~
15.8.2014 17:57 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Podle mne se na to díváte chybně. Primárně je třeba mít jasný workflow, jak se pracuje s daty, kdy a kde se se modifikují a kde se skladují. Unison je fajn na bezproblémovou sychnonizaci třeba notebooku a desktopu pro jednoho uživatele, kdy mám v podstatě jasno, které soubory jsem kde upravoval, s tím že na něčem jsem pracoval na desktopu a na něčem na notebooku a občas to srovnám. Pokud je to situace, kdy do souborů může zasahovat více lidí, tak bych naprosto jasně preferoval řešení, které zaručí, že aktuální data jsou na jednom základním místě a na další se duplikují, automatickými skripty do nichž nezasahuji interaktivně.
15.8.2014 21:59 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Určitě, nicméně někdy to prostě jinak nejde. Kolem roku 2005 jsme realizovali a provozovali pro jednu nadnárodní firmu low-costovou synchronizaci síťových disků pro jejich marketingová oddělení v několika evropských zemích. Videa, velké prezentace, tehdy linky nic moc, bylo potřeba to otevírat lokálně a mít to předem natahané. Takže to kolečko s unisony, sshčkové tunely (vpnky tehdy neměli). Překvapivě těch konfliktů nebylo mnoho. Ale je pravda, že se postupně zavedlo pravidlo, že každý stát měl vlastní read/write adresář a ty ostatní byly pro ně jen pro čtení. Pak už to samozřejmě byla úplná pohoda.

Všechny státy jely na win fileserverech (tedy naše řešení bylo spuštěné v cygwinu), jen v rakousku měli sambu se redhatem. O té zemi jsme ani nevěděli, nikdy s tím nebyl problém. Když měli admini na win serverech nastaven pravidelný restart, tak to šlo, ale myslím v itálii jim IT spravovala externí firma, která tomu moc nedávala a to byl docela boj.
15.8.2014 22:29 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Samozřejmě. Ale když je to server na "domáci fotky, videa a pár dokumentů" tak bych primárně šel na ten workflow. Třeba tak, že při importu přejmenovat fotku na unikátní identifikátor, zahrnující značku, kdo fotil, roztřídit do adresářů s tím, že to jsou jasné primární adresáře s nimiž se nepracuje (nemodifikují se v nich data), když by někdo s fotkami něco dělal, tak v definovaných podstromech, které má každý vlastní a do nich si fotky zkopíruje. Stejně i s jinými typy dat. Pak kolize nebudou. A jednoduché synchronizace typu při startu na klienta, při ukončení práce na server stačí, a synchronní to bude až na nějaké poslední modifikace.
16.8.2014 12:17 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Souhlasím, že nakonec je důležité mít vyřešený i workflow, ale to, jak zařídit, že si uživatelé nebudou hrabat pod ruce, je úplně jiná otázka do značné míry nezávislá na otázce, jak řešit samotné uložení dat (což je podstata mého původního dotazu). Workflow je třeba řešit i v rámci jediného počítače bez záloh, má-li více uživatelů write přístup ke stejným souborům. A je potřeba ho řešit i v případě, že data budou na clusterovaném filesystému.

Jelikož potřeba centrálního úložiště v tomto případě neplyne z potřeby sdílet data mezi uživateli v síti, ale z mobility některých uživatelů, je workflow otázka vyřešená. Stejně tak je vyřešená otázka, jakými službami budou ta data zpřístupněna dál, ale to je v rámci debaty o síťové synchronizaci souborů už úplně offtopic.

Hlavním smyslem mého dotazu bylo, jaké jsou možnosti replikace dat v síti v režimu master-master (o což se zajímám kvůli snížení síťové zátěže). Režim master-master zdůrazňuju proto, že právě to je ta podstata dotazu (prostá pravidelná replikace dat je s rsyncem nebo rdiff-backupem vcelku triviální, takže se na ni neptám). Workflow omezení z toho jistě plynou a pak je otázka, jestli jsou ta omezení přijatelnější, než nároky na vytvoření a údržbu robustnějšího systému. V mém konkrétním případě to skutečně přijatelné je, jinde a s jinými požadavky to může být jinak.

~ w w w w (oo)   [oo] w w w w ~
13.8.2014 11:04 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Díky za tip, prozkoumám to.
~ w w w w (oo)   [oo] w w w w ~
13.8.2014 11:02 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Dobrá otázka, díky za ni. Zapomněl jsem zmínit důležitý fakt - disky, které mám k dispozici, jsou SATA, ale šunkoserver má k dispozici jen jeden SATA port.
~ w w w w (oo)   [oo] w w w w ~
pepe_ avatar 13.8.2014 11:27 pepe_ | skóre: 46
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?

http://www.zbozi.cz/vyrobek/axago-rsi-x1/?q=%20AXAGO%20RSI-X1

13.8.2014 14:51 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Vyhodil bych desku. Jednoduchým výpočtem lze zjistit, že jeden jediný Watt stále spotřeby 24/7 se projeví 8,76 kWh celkové spotřeby za rok a to je tak cca 30Kč. Pokud je tam nějaké staré Pentium bez úsporných režimů se spotřebou někde kolem 50W, tak výměna za moderní desku, jako tohle může ušetřit až 90% spotřeby procesoru (Maximální spotřeba Zacate je 18W, ale většinu času systém pojede v úsporných režimech) A nějakých 40-45W úspory zaplatí desku za rok, 4 SATA porty + jeden eSATAx, a ještě jedna pozice PCIe na přídavný sata řadič.

Pokud živit tu mrtvolu tak asi konvertor umožní SATA disk připojit na IDE rozhraní, nebo ta stará deska bude mi PCI sběrnici tak řadič do ní. A při nejhorším multiplexer na sata.

15.8.2014 16:32 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Díky za tip, nicméně spotřeba není problém. Já jsem to v původním dotazu napsal blbě, šunkoserver není ani tak starý, jako spíš výpočetně nevýkonný stroj. Naopak má nízkou spotřebu a hlavně není hlučný, což jsou další zásadní požadavky na mé řešení (akorát to nepatří do diskuse o tom, jak dosáhnout replikace přes síť). Ale ten ASRock taky vypadá zajímavě, možná se bude hodit zase v jiné síti, takže díky za doporučení.
~ w w w w (oo)   [oo] w w w w ~
13.8.2014 11:26 \/
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Změřil bych, kolik žere šunkoserver a přepočítal bych to do korun za rok.

Koupil bych levný nový počítač a na něj bych nainstaloval linux a vytvořil bych raidové pole.

Nebo bych do šunkoserveru koupil sata řadič a nainstaloval bych na šunkoserver linux a vytvořil raidové pole.

Nebo bych koupil NAS server a udělal totéž. Výrobce NAS serverů k tomu dodávají různý software na zálohování dat z desktopů, ten bych uživatelům nainstaloval.
13.8.2014 14:30 NoXO
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
bohužel človíček co tady potřebuje poradit, svým řešním myslí i na totál selhání celého raid pole... prostě data má rozložené v síti - což je chválihodné....

Škoda, že jde o peníze, nejlepší je na takové záležitosti NASko + USB DISK jako železná pojistka ve skříni, toto by bylo ideální na domácí využití + kupa přidané hodnoty navíc: DLNA, SMBFS, Backup client OS, aj.

iSCSI je teké kanon na vrabce..., ale možná nejpoužitelnější, otázkou je co tam běží za klientský OS.

15.8.2014 16:45 Eregon | skóre: 22 | blog: Eregonovy_vymysly | Všudezdejší
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Spotřeba problém není, právě naopak je jedním z důvodů pro volbu toho HW, kterej se chystám použít (viz #11).

Koupit řadič nebo SATA multiplexer bych sice teoreticky mohl, ale proč kupovat další hardware, pokud to jde řešit s tím, co už mám (= síť a další disk v jiném stroji), žejo. Prakticky to v šunkoserveru není kam zapojit, ale to už je na úplně jinou debatu.

NAS server je prima v typické domácí síti s běžnými uživateli (už jsem taky někomu nasazoval), ale moji konkrétní situaci neřeší, na šunkoserveru poběží i jiné služby, než jen úložiště, a dostat je na NAS server by v konečném důsledku dalo i víc práce, než se sám patlat s tou synchronizací souborů. Holt, problémy ajťáků, zvlášť když si navymejšlej moc blbinek :D

Každopádně ale děkuju za rady a za snahu pomoct.

~ w w w w (oo)   [oo] w w w w ~
15.8.2014 22:35 Pavel | skóre: 16
Rozbalit Rozbalit vše Re: Síťové zálohování / RAID1 over network - co vybrat?
Něco podobného řeším doma také. Cca 4 PC se společnými daty. NEjvíc asi záleží co to je za data, a jak je velká hrozba možnosti konfliktu. Na serveru mám uloženou hudbu, filmy, obrázky - to jsou pro mě stálé a stabilní věci. Velikost toho je cca 500GB. Pak různé dokumenty a pracovní složky, cca 10GB. Stanice jsou mix linuxu a widlí. Na linuxu používám rsync, na widlích goodsync. Analýza změn, mezi serverem a stanicí trvá maximálně 5minut na 100MBit síti. Rychlejší síť by se stejně projevila až při přenosu větších souborů. Pokud je uživatel rozumný, při spuštění PC si počká na synchronizaci, mezitím může brouzdat třeba na netu. Pokud obsluhou bude netrpělivý uživatel, prostě zablokuju na tu chvíli jeho PC. Řešit se to dá i zprovozněním ActiveDirectory na win. Řešení je spousta, ale nesmí si uživatelé lést do zelí.

Jinak co se týče serveru, také jsem měl na to staré železo s příkonem cca 70W. Nakonec jsem zakoupil HP MicroServer N54L s příkonem 40W, šoupnul do něj dva WD RED 2TB disky s raid 1 a nevím o něm. Investice cca 8000Kč se Vám po čase vrátí, byť už jen v podobě času, kdy nemusíte řešit prkotiny. A hlučný taktéž není, mám jej ve skříni vedle postele na gumové podložce a víc slyším tikat hodiny na zdi.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.