Syncthing (diskuse)

[Tom K]

Jak se to chova v pripade kolize, kdyz se zmeni soubory na dvou a vice mistech ?

[Bystroushaak]

Podobně jako Dropbox - vytvoří to kolizní soubory. Jeden to vezme a přejmenuje stylem conflict-20170523-205933. Je potom na tobě, abys konflikt vyřešil.

[archen]

Very good.

[archen]

Neco takovyho hledam uz dlouho. Jestli to chapu spravne, tak je dobre vytvorit "zavadec" na urovni nejakem public serveru jestlize mam zarizeni na ruznych lokacich. Jak je to s bezbecnosti? Pises tam, ze to funguje pres http, takze to pujde zabezpecit pres https, nebo radsi doporucujete VPN kanal a cele to zavrit do vnitrni vlany za firewallem?

[Bystroushaak]

Osobně mám jako zavaděč domácí počítač a HTTP rozhraní mám na serverech vyplé. Jinak jde zabezpečit jménem a heslem přes HTTPS kanál.

[noname001]

aktualne synchronizujem asi 18 gb fotiek a mam takyto load average: 07:12:22 up 53 min, 2 users, load average: 62.35, 48.40, 29.39

je to normalne ? :) da sa to nejak optimalizovat ?

[Bystroushaak]

To je afaik jen na začátek, protože to počítá delty všech souborů (aby to zbytečně nepřenášelo duplikáty). Určitě doporučuji zapnout inotify (viz ten balíček a nastavení), aby to nemuselo pravidelně scannovat jestli se něco nezměnilo ve filesystému, ale dostávalo upozornění, když se tak stane.

[Kosac]

Jak se popasuje se stavem, kdy jsou vsichni za NATem?

[Bystroushaak]

Ani nevím, nemám kde bych ten stav mohl vyvolat a otestovat. Předpokládám, že s tím můžou být problémy.

[Viky]

Syncthing projde úplně jakoukoliv sítí. Nejsem si jistá jak to dělá, ale NAT není vůbec žádný problém. Nejspíš to má co dočinění s rellay servery, kam se zařízení (myslím) hlásí.

[ja]

Jsou public relays provozovane dobrovolniky, takze by to asi melo fungovat. Prakticke zkusenosti nemam, provozuji jen pres lokalni sit, a to jde bez problemu.

[Jesus Jimenez]

Bez problemu

[archen]

No ja to prave presne takhle chci provozovat 2 stroje, kazdy za svym natem pres internet. Tak uvidim, jak se to chova.

[tibor]

Funguje to tak, ze syncthing klient sa spoji najprv s global discovery serverom, aby ho vedela najst druha protistrana. Ten global directory server je vlastne verejny zoznam peerov. Syncthing si na routri otvori komunikacny port cez upnp (je to vlastne portforwarding) takze sa da nan potom pripojit z inej siete. V pripade ze router nepodporuje upnp alebo je toto zakazane, klient sa moze pripojit cez relay servery, prevadzkovane dobrovolnikmi. Je to zvycajne riadne shapovana linka. Syncthing mozno pouzit aj v mode server-klient, kedy si admin nainstaluje discovery aj relay server u seba a klientov naforcuje pouzivat len tieto servery. Takze mozno dosiahnut aj uplnu izolovanost od verejnej siete. Trafic bezi na lubovolnom porte s SSL/TLS. Pouzivam niekolko rokov s vlastnym discovery serverom s povolenym upnp na routroch.

[xvasek]

Super, už to fičí. Už asi pět let se psychycky týrám myšlenkou, že si najdu nějaké cloudové úložiště, tam si budu synchronizovat zařízení a kam odevzdám svá data. Teď je hledání zdá se u konce, ani to nebolelo.

[drnest]

Stále se rozhoupávám podívat se unison. Je my jasné, že je to jen cmdline, musím to spouštět přes cron nebo inotify. Ale to mi nevadí.

A teď tady čtu o syncthing Používáte někdo unison? Nějaké porovnání +-?

PS: Po delší době nějakej pěknej článek. Díky Lišáku.

[K]

Jsem uživatelem Unisonu, ale zase neznám syncthing, takže je nemohu porovnat. Nicméně moje zkušenosti jsou následující:

• Unison je vhodný pouze pro synchronizaci dvou zařízení nebo topologii hvězda. Osobně používám trojúhelník, ale pak je potřeba řešit konflikty, které vlastně nejsou konflikty. To je ta část, kdy člověk potřebuje vědět, co dělá. (Při použití hvězdy se musí řešit jen „opravdové“ konflikty.)
• Unison slouží k proaktivní synchronizaci, ne průběžné, jak je popisováno o syncthing/Dropbox.
• Není to jen cmdline - používám GTK rozhraní. Ale konfiguraci dělám přímo v texťáku.
• Při skenování EXT na Linuxu a NTFS na Windows je velmi rychlý, při skenování NTFS na Linuxu je o něco pomalejší, ale počítám, že to není chyba Unisonu, ale FS implementace.
• Funguje tak, že nejprve provede sken, zobrazí co se bude synchronizovat, to lze ještě upravit pro každý jednotlivý soubor (teď ignorovat, synchronizovat v opačném směru) a pak potvrdit.
• Konflikty řeší tak, že dokud uživatel nevybere, co s ním, tak se souborů nedotkne.
• Moje hlavní minus je, že když synchronizuji dva lokální adresáře, nejprve skenuje jeden a pak druhý, i když se jedná o dvě fyzicky odlišné zařízení.
• Po zavedení a konfiguraci jej používám velmi pohodlně - spustím příkaz, potvrdím změny, počkám (v závislosti na velikosti dat) a je to.
• Spojení mezi PC neřeší žádnými speciálními prostředky, takže např. průchod NATem si člověk musí řešit sám. (Nikdy jsem nedělal, vždy jsem komunikoval lokálně + ssh.)
• Pak mám jednu výtku na GTK rozhraní - neumožňuje mi vybrat jednu složku, „zabalit“ ji a na všechny její položky na jednom místě použít konkrétní volbu. Příklad: synchronizuji si Firefox profil. Z nějakého důvodu jej potřebuji spustit na obou PC s tím, že změny v profilu jednoho PC budou zahozeny. Unison pak - samozřejmě - detekuje konflikty, ale místo toho, abych měl volbu „všechny soubory této složky synchronizuj z A do B“ musím vybrat všechny změněné soubory a provést pro ně tuto volbu. Je to ale celkem drobnost a pokud si udělám někdy čas (ha ha) (nejdřív příští rok v létě), tak se podívám na zdrojáky a příp. upravím.
• Při přerušené synchronizaci mívá tendenci po sobě zanechat neuklizené tmp soubory. Ty se při příští synchronizaci nezobrazí ani neuklidí.

[K]

Pozn.: nejsem ale expert na Unison, takže je klidně možné, že je tam nastavení, kdy při konfliktu se bude chovat jako v případě Dropboxu. A určitě je někde parametr, který říká „soubory bez konfliktů rovnou synchronizuj a nečekej na uživatelský vstup“.

[asdfadssssssssssss]

pri unisone mi vadi ze obe strany musia mat tu istu verziu - nie je to spatne kompatibilne. Teraz mam napr problem medzi ubuntu 17.04 a debianom stable

[Marián Kyral]

Jo. Je třeba na to dávat bacha. Už se mi stalo, že na jednom počítači nešel Unison z nějakého důvodu aktualizovat a na tom druhém zase downgradovat. Prekérka. Ale povedlo se vyřešit.

[K]

To jsem chtěl taky napsat a pak mi to vypadlo. Ukázalo se, že je docela problém najít buildy pro Windows and Linux ve stejné verzi.

[Marián Kyral]

To gtk rozhraní by určitě chtělo vylepšit. Kromě zmíněného chybí možnost lokalizace do češtiny a v případě, že během skenování nastane nějaká chyba (třeba problém se sítí), unison se ukončí a musím jej spustit znova. Stejně tak pokud není vzdálená strana dostupná, tak unison vypíše chybu a ukončí se namísto toho, aby umožnil opakování akce nebo výběr jiného profilu.

Ale jinak používám již několik let na synchronizaci fotek mezi počítači, kde uprostřed je Turris s připojeným USB3 diskem.

[Conscript89]

unison ma i gtk clienta

[Conscript89]

teda ani ne tak clienta jako spis frontend

[Petr Tomášek]

a k čemu? příkazová řádka je stejně nejpohodlnější...

[AAA]

Hodne uz popsal K. Z meho pohledu ma unison vyhodu ze poustim synchronizaci rucne, coz je dobre pro praci s velkymi soubory. Automaticky syncrhonizator by se jal soubory hned kopirovat, i kdyz ja treba vim ze s nimi budu jeste pracovat. A porad vypinat automaticky synchronizator je opruz. Osobne mam dropbox na par malych veci a nastaveni, unison synchronizuje obsah celeho disku.

Navic se mi libi ze unison nejprv nabidne prehled toho co bude delat. Uz se mi stalo, ze jsem docasne musel smazat velke soubory, abych mel misto na neco docasneho. No ale pak jsem je chtel zpatky, tak unisonu zadam ze nema prenaset 'mazani', ale ma je zpatky zkopirovat a bylo.

[tom62]

Používám Unison. Zkoušel jsem Syncthing před delší dobou a měl jsem problém s nastavením toho, co chci synchronizovat a co ne. V Unisonu mám nastaveno synchronizovat celý sice $HOME a pak mám mnoho řádků path = ..., kde mám postupně vyjmenované, které adresáře (včetně všeho v nich) a které soubory se mají synchronizovat. V případě Syncthing mi ta konfigurace takto snadná nepřišla, resp. pravidla, která bych musel sepsat, nebyla tak přímočará.

[Martin Lebeda]

Ahoj, jsem uživatelem obou programů.

Unison má bohatší nastavení, ale stanice na sebe musí vidět a pokud chci jednu ze stran pod windows, pak to není až tak jednoduché (musím řešit ssh server, kódování názvů souborů apod.). Unison mi umožňuje sync lokálních adresářů (např. pevný vs. přenosný disk). Unison vyžaduje aby na sebe stroje viděli, tj. musím předem tunelovat NAT, navazovat VPN apod. Využívat unison pro udržování obsahu na více strojů najednou vyžaduje trochu více přemýšlení. Sychronizace rozsáhlejších stromů už chvilku trvá a člověk si počká i několik minut, zvláště na windows (ntfs). Unison pro přenos používá rsync protokol zachová na linuxech souborové speciality jako symlinky a hardlinky a zachová maximum atributů (časy , práva atd.). Unison se musí spouštět "ručně" a je potřeba si zjistit zda je spojení online atd. Pokud to všechno překousnete, pak můžete využít nepřeberné množství nastavení a přizpůsobit si to opravdu na míru.

Syncthing většinu nepříjmeností uvedených výše zakryje. Schválně nepíši odstraní, neodstraní, ale přesune do pozadí, takže o nich nemusí uživatel přemýšlet. Pracuje na pozadí a při použití inotify doplňku ani nevyžaduje neustále scanovat adresáře. Sám si zajistí propojení ve chvíli kdy jsou zařízení onĺine. Nastavení je jednoduché a udržet kopii jedněch dat na více uzlech je automatické. Pro přenos používá protokol torrentu a na atributy souborů, stejně jako na symlinky apod. dost kašle. Lokálně vám není k ničemu, pracuje jen po síti (by design).

Takže pokud chcete s minimální námahou synchronizovat obsah mezi dvěma a více zařízeními, pak bych zvolil syncthing. Pokud chcete mít synchronizaci více pod kontrolou a/nebo udržet obsah synchronní vč. souborových atributů, zvolil bych unison. Já osobně používám pro různé příležitosti oba.

[Petr Tomášek]

Když se dívám na ten syncthing, tak se mi moc nelíbí. Jednak mě děsí ta závislost na systemd, jednak mě děsí ony rellay servery (mám svoje sítě s veřejnou IP a propojené pomocí OpenVpn, takže takové obludnosti nepotřebuji) a hlavně tomu nedůvěřuji, protože to očividně dělá příliš věcí samo od sebe.

Raději tedy zůstanu u unisonu, resp. u rsync tam, kde je lepší pouze jednosměrná synchronizace (kvůli riziku ransomeware)...

[Bystroushaak]

Jednostranná synchronizace se dá nastavit i u syncthingu.

hlavně tomu nedůvěřuji, protože to očividně dělá příliš věcí samo od sebe.

Samozřejmě je pravda, že to není triviální aplikace a můžou v ní být bugy, nevidím ale důvod, proč v tomhle víc věřit rsyncu, nebo unisonu. Nehledě tedy na to, že to je něco jiného, co z toho co jsem pochopil z diskuze, nefunguje vůbec jako syncthing. Osobně mám podstatně větší cringe z prohlížečů, které toho dělají tolik, že nejspíš neexistuje jeden člověk, který by byl vůbec schopný udržet v hlavě co všechno.

Pokud jde o paranoiu, asi bych to být tebou nacpal za apparmor.

[Honza Jaroš]

Nevím jak jinde, ale na Gentoo to po mně systemd nechce (nezkoušel jsem instalovat, ale v závislostech není)...

[cezz]

Syncthing pouzivam k plnej spokojnosti uz niekolko mesiacov a to ako na mobile, tak na serveroch a desktope, ale je jedna konfiguracia ktoru neviem dosiahnut, snad mi niekto pomoze:

Na mobile mam cez syncthing synchronizovane fotky a videa na NAS. Na NAS bezi skript, ktory tie fotky odzalohuje a foto starsie ako mesiac zmaze. Problem je, ze by som chcel dosiahnut aby sa tie fotky zmazane na NAS zmazali aj v mobile, namiesto toho aby mobil vzdy nasynchronizoval tie fotky naspat na NAS.

Ma niekto podobny setup?

[Viky]

Na Androidu je složka s fotkama by default "master adresář", tzn nic se z ní nemaže. Nemůže to být jenom tím?

[cezz]

Moze, skusim to overit!

[David Indra]

Jj, řekl bych, že tím to určitě je.

[cezz]

Vies mi poradit, kde viem to nastavenie zmenit na mobilnom syncthing? Skusal som to najst, ale nikde to nevidim.

[Josef Kufner]

Moje zkušenost se Syncthing, asi tak rok stará, je celkem mizerná. Tak nějak se to tváří funkčně, ale občas to synchronizuje, občas ne, občas jen něco, obzvlášť na špatném hotelovém WiFi spojení, kdy to je potřeba nejvíc.

Pokud jde jen o zálohování SD karty telefonu, tak mám raději prostý jednosměrný sync postavený na rsync. Pro Android je Syncopoli, které je sice stále ještě v plenkách, ale je mnohem předvídatelnější a spolehlivější.

Pro přenosy jednotlivých souborů (např. PDF se vstupenkou do kina, kam zrovna jdu, nebo čerstvě zaznamenaný GPX log z výletu), doporučuju KDE Connect. Pro interaktivní použití to má i další hezké vymoženosti (spouštění předdefinovaných příkazů, touchpad, …), avšak na synchronizaci to není.

[Bystroushaak]

Moje zkušenost se Syncthing, asi tak rok stará, je celkem mizerná. Tak nějak se to tváří funkčně, ale občas to synchronizuje, občas ne, občas jen něco, obzvlášť na špatném hotelovém WiFi spojení, kdy to je potřeba nejvíc.

Syncthing se neustále posouvá, nová verze vychází co pár týdnů, doporučuji zkusit tomu dát druhou šanci. Osobně to provozuji i na různých nic moc wifi a nikdy jsem s tím neměl nejmenší problém, vždycky se odsynchronizovalo všechno. Mám v tom narváno několik set tisíc souborů (git repozitáře..) a funguje to spolehlivě. Samozřejmě to může být jen bias.

[Jesus Jimenez]

Pouzivam to tak dva roky - nejdriv kombinace linux, nekolik androidu, FreeNas a ted kombinace linux, androidy a Synology. Naprosto bez problemu, asi dvakrat mi to zachranilo prdel :)

[kralyk z abclinuxu]

To jsou všechno dost různé use-cases. Třeba na zálohu dat z telefonu mám skript, který přes ADB/USB vytvoří celý instalovatelný image telefonu + synchronizuje "sd kartu" pomocí adb-sync (doporučuju - moc dobré).

[Josef Kufner]

Na ADB je blbé, že to nefunguje bez počítače. Já chci, aby sync proběhl i bez čehokoliv jiného, než telefonu, wifi a serveru kdesi daleko.

[kralyk z abclinuxu]

Díky za článek! Mám dotaz: Má to je nějaké webové rozhraní á la OwnCloud? Pochopil jsem, že to webové rozhraní je administrační, ale asi nenabízí přístup k souborům, že?

[Bystroushaak]

Pro přístup k souborům tam skutečně nic není. Cílem imho není dělat cloudové úložiště, ale spíš synchronizovat soubory.

[xvasek]

Může si nad ty soubory nainstalovat owncloud.

[motyq]

Jeste by bylo luxusni to na tom public serveru mit pod securelink/securedownload modulem v nginxu a tim pythonem v nautilusu generovat secure odkazy platne treba jen hodinu... Mno dalsi vec na dlouhe zimni vecery...

[xss]

http://kitakitsune.org/sync/<h1>test

[Bystroushaak]

Fixnuto.

[cronin]

Je možné nastaviť include a/alebo exclude patterny, napr. aby sa synchronizovali iba súbory s nejakou príponou?

[Bystroushaak]

Je možné ignorovat soubory na základě pravidel.

[Harvie.CZ]

Skoda, ze to nechodi pres SSH... kdyz teda pominu moznost forwardingu...

[Multi-user?]

Zajímavý projekt. Tušíte někdo, jestli to nějak řeší uživatele? Jakože mám v domácí síti server, na kterém mají účet různí lidé, tak jestli každý z nich musí mít spuštěnou svoji vlastní instanci syncthing, aby si tam povoloval sdílení svých adresářů se svými dalšími zařízeními, anebo to jde nějak udělat v rámci jedné instance.

Díky,

-Yenya

[Martin Lebeda]

Obávám se uživatele neřeší, IMHO pracuje jen s instancemi a adresáři.

[Yenya]

OK, to asi nevadí.

Ještě jsem zjistil, že v openrepos.net je i nativní klient a GUI pro SailfishOS. Skvělé.

-Yenya

[tom62]

Tak jsem si řekl, že po delší době opět vyzkouším, ale nejde mi správně nastavit. Mám nastaveno, aby se synchronizoval celý /home/user, přičemž když do /home/user/.stignore vložím

!/.remmina
*

správně se synchronizuje obsah zadaného adresáře. Pokud ale vložím

!/.config/autostart
*

nesychronizuje se nic. Zadaný adresář existuje a není prázdný. Neví někdo prosím, kde je problém?

[Bystroushaak]

Nemělo by to být:

!/.config/autostart*
*

? Já tenhle model, kdy bych něco potřeboval ignorovat nepoužívám, tak jen hádám.

Osobně synchronizuji prostě jen složku Syncthing na ploše a konfiguraci, kterou chci přenášet řeším tak, že složku zkopíruju do Syncthing/conf/.. a vytvořím z původního umístění symlink.

[tom62]

Díky, ale to nepomůže. Nakonec je řešení toto:

!/.config/autostart
/.config/
!/.config
*

Musí to být v tomto pořadí, přičemž pro pochopení je třeba to číst od konce - ignorujeme vše, ale neignorujeme adresář .config včetně jeho obsahu, ale ignorujeme jeho obsah, ale neignorujeme adresář .config/autostart včetně jeho obsahu.

[zofrey]

systemd

[Jesus Jimenez]

A dál?

[Petr Tomášek]

na hovno

[Jesus Jimenez]

Nevim jak vy, ale ja provozoval Syncthing i na BSD, takze s tou zavislosti na systemd bych to nevidel az tak vazne. Jestli nejste schopen napsat si skript pro svuj init, tak je to 'na hovno' na miste...

[LuděkS]

Děkuji za článek! Já poměrně dlouho a úspěšně používal Seafile a na toto se rád podívám.