Dotaz: Zálohování a synchronizace dat

[Standa]

Zdravím,

tentokrát bych potřeboval poradit s problém kolem zálohování a synchronizace a jelikož mé znalosti možností síťování jsou značně omezené, poprosím o doporučení případně navedení na správnou cestu.

V podstatě se jedná o synchronizaci dat mezi domovem a prací a případně i zálohování. Na obou místech mám pracovnu, počítač a potřebuji mít stejná data neustále k dispozici. Prozatím mi bohatě stačil Dropbox, kdy jsem pracoval přímo z podadresářů, vše se uploadovalo i do cloudu a kdykoliv/kdekoliv jsem měl veškerá data dostupná. Problém vznikl v momentě, kdy něco podobného potřebuji provést i pro manželku (účetní), která potřebuje synchronizovat tisíce drobných souborů. Rád bych, aby se vše dělo automaticky, proto řešení každý den něco sbalit, uložit do Dropboxu a na druhé straně rozbalit není cesta. Mít účetnictví přímo v Dropboxu také není úplně ono. Komplikací, nemalou, je i velice pomalé internetové připojení v práci, kdy je dostupné pouze DSL připojení 20/2Mb a tak nějaká větší práce online v internetu není reálná. Doma s internetem problém není, aktuálně jedu na tarifu 100/100Mb.

Tedy, potřeboval bych poradit jakým směrem se ubrat a co využít pro obousměrnou synchronizaci dat mezi oběma místy. Na obou místech mám v lokální síti (1Gb) dostupný linuxový server (Ubuntu server 16lts), který jsem schopen vystavit do DMZ, nasměřovat na něj libovolný port, vytvořit VPN apod. díky možnostem WiFi routeru (TP-link Archer C7 v práci, Asus RT-N66U doma). Data se nemusí přenášet neustále, stačí občasně, ale né ručně. Dále není třeba synchronizovat každý jednotlivý počítač, ale data jsem schopen pravidelně vystavovat na sdílené disky serveru (např. pomocí FreeFileSync) a synchronizace by tedy byla spíše prací serverů proti sobě.

Snad jsem popsal všechny klíčové informace a poprosím o radu co využít v rámci mých možností pro dlouhodobě funkční datovou synchronizaci. Zálohování, pokud nemáte nějaký optimální způsob, bych řešil jednoduše přes cron pravidelným zip+copy synchronizované složky.

Díky za rady a podněty!

Odpovědi

[Kit]

Řešením by mohlo být cloudové účetnictví. Kapacita uvedených linek je na to víc než vyhovující.

[gnat]

Pokoušet se automatizovat synchronizaci "účetnictví", které používá tisíce malých souborů, je sebevražda. Žádný skript nemá šanci poznat ve kterém okamžiku jsou data konzistentní ve všech souborech a tudíž je možné je odkopírovat.

[Jendа]

A jde o synchronizaci s jasně daným směrem, nebo se očekává, že bude potřeba řešit konflikty?

Na to první rsync (ideálně z LVM/btrfs snapshotu, pokud se to bude dělat v době, kdy účetnictví běží), na to druhé unison, ale kdo ví, jak dobře to bude fungovat, pokud konflikty budou přímo v souborech účetnictví -- záleží na konkrétním používaném formátu.

[dustin]

Unison sám o sobě nijak neřeší merge konfliktu. Takže pokud bude změna souboru na obou stranách a unison nebude mít některý z parametrů specifikujících pravidla řešení, zahlásí chybu a konfliktní soubor bude ignorovat. Na účetnictví určitě ne

[Adam]

Neporadím asi detailně, ale spíš hrubý náčrt, co mě právě napadá.

Tak jak se již zmiňovalo, je problém v tom, že se mohou měnit obě strany současně a data se tak mohou dostat do nekonzistetního stavu případně by se musely řešit konflikty změn souborů. Pokud se nějak zaručí (například jen tím, že uživatel vypne jedno účetnictví a pak zapne druhé), že nedojde ke změně najedné straně, když bude měněna strana druhá, pak lze použít už řadu postupů.

Můžete zkusit třeba syncthing, který sám hlídá změny souborů, řeší konflikty, lze nastavit master kopii a jde udělat přesměrování portů pro vzdálené připojení nebo přes prostředníka pomocí relay. Jak moc bude vadit spousta drobných změn u mnoha malých souborů nevím. Bude potřeba to zkusit v reálu, ale doporučoval bych zálohovat nebo pro začátek použít master kopii, aby nedošlo k nějakému zhroucení na obou stranách.

[Standa]

Nestane se, že by někdo pracoval na obou stranách současně (i když, stačí zapomenou vypnout počítač, známe to... :) ), takže nekonzistence dat reálně hrozí. Pokud není jasné a efektivní řešení, tak to raději vyřeším jinak. Virtuální PC s Windows čistě pro účetnictví stojí už nějakou kačku měsíčně, ale hlavně se bojím té odezvy při tak pomalém připojení jako je 20/2Mb, resp. jak to asi poběží, pokud začnou internet využívat další počítače. Proto primárně zkouším řešit synchronizaci, ale pouze v režimu "na jistotu".

Jelikož data z lokálního počítače se na příslušný server budou vystavovat jednocestně (mirror), tak je možné na serveru provést zip a balíček vystavit pro stažení z druhého pracoviště. Je na toto určena funkce VPN ve WiFi routerech nebo byste doporučili jinou cestu? Protože 500MB dat pro účetnictví po zabalení má spíše desítky MB a to v případě nutnosti přenést není zase takový problém, zvlášť když pak nehrozí nekonzistence a další problémy. Druhá možnost, protože na serveru také běží Dropbox, výsledný ZIP hodit do něj a data se automaticky přenesou sama a prostě se na druhé straně ručně rozbalí.

[filip]

Ja bych rekl automaticky treba denne skriptem zazipovat adresar ucta a vysledny zip dat do dropbox adresare.

[Standa]

No, zatím to asi takto dopadne, je to jednoduché a funkční. Taková řešení většinou fungují a vydrží.

[Kit]

Místo virtuálního PC s Windows by sis měl pořídit virtuální PC s účetnictvím. Režie je mnohem nižší a poběží to svižně.

[Standa]

Mohu poprosit o nějaký odkaz, kde něco takového realizovat? Konkrétně se jedná o účetnictví Premiér.

[Kit]

Stačí zagooglit "účetnictví v cloudu" a vybrat si.

Zmíněné účetnictví Premiér přímo nabízí hostování v cloudu.

[Standa]

Že by Premier někdo přepsal pro cloud, tomu se mi ani nechce věřit. Nicméně jsem takovou verzi aplikaci nenašel, mohu poprosit o přímý odkaz a cenu této služby? Díky!

[lertimir]

Jsou podle mne tu dvě věci. Jednak pracovní postup. Pokud manželka je schopna konzistentně pracovat tak, že "spustí účetnictví -> pracuje na něm -> ukončí účetnictví", tak je možně spouštění modfikovat tak, že při spustění proběhne synchronizace na klientu a po ukončení proběhne synchronizace na serveru. V tomto případě bych volik synchronizace pomocí rsync (na windows přes cygwin), který umí přesouvat jen rozdíly a přenášená data umí kompresovat, takže by to jistě bylo rychlejší než zipy do dropboxu. Server bych postavil na tom systému se 100/100 linkou pokud má veřejnou IP. Pokud by to nebylo možné, tak bych zkusil spustit Nextcloud a synchronizovat přes něj.

VPN je na něco jiného. Vytvoří IP tunel na cílové místo, takže z vně to pak vypadá, že jsi připojen jinam. Otazku přenosů vůbec neřeší jen otázku kam je konektivita.

[j]

Koukas na to z uplne spatnyho konce ... az ti pribude dalsi kolega, tak si z toho mrsknes, pokud ten pohled zasadne nezmenis.

1) soubory se ukladaji na jedno centralni uloziste (samo zalohovany atd ...). K tomu se muze pristupovat ruzne (vpn, rdp, ...). Kazdy ma svy pro a proti.

2) ucetnicvi a dalsi veci vymen za neco, co pouziva databazi a ne soubory. Databaze sou urceny k tomu, aby do nich lezlo 1-N lidi z 1-N aplikaci a 1-N stroju. Se souborama tohle delat vubec nejde, a driv nebo pozdejs si na tom rozbijes hubu (= prijdes o data).

[Josef Kufner]

Pokud to účetnictví umí používat databázi, např. PostgreSQL, tak si doma nahoď databázový server a nech účetnictví se připojit k němu. Konzistence bude zaručena a může to používat z několika míst současně dle libosti.