abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 05:55 | Zajímavý projekt

Dle příspěvku na blogu zaměstnanců CZ.NIC byl spuštěn ostrý provoz služby Honeypot as a Service (HaaS). Zapojit se může kdokoli. Stačí se zaregistrovat a nainstalovat HaaS proxy, která začne příchozí komunikaci z portu 22 (běžně používaného pro SSH) přeposílat na server HaaS, kde honeypot Cowrie (GitHub) simuluje zařízení a zaznamenává provedené příkazy. Získat lze tak zajímavé informace o provedených útocích. K dispozici jsou globální statistiky.

Ladislav Hagara | Komentářů: 0
dnes 04:44 | Komunita

Před týdnem společnost Feral Interactive zabývající se vydáváním počítačových her pro operační systémy macOS a Linux oznámila, že pro macOS a Linux vydají hru Rise of the Tomb Raider. Včera společnost oznámila (YouTube), že pro macOS a Linux vydají také hru Total War Saga: Thrones of Britannia. Verze pro Windows by měla vyjít 19. dubna. Verze pro macOS a Linux krátce na to.

Ladislav Hagara | Komentářů: 0
včera 21:33 | Nová verze

Byla vydána nová major verze 7.10 svobodného systému pro řízení vztahů se zákazníky (CRM) s názvem SuiteCRM (Wikipedie). Jedná se o fork systému SugarCRM (Wikipedie). Zdrojové kódy SuiteCRM jsou k dispozici na GitHubu pod licencí AGPL.

Ladislav Hagara | Komentářů: 0
včera 16:44 | Nová verze

Byla vydána nová verze 0.30 display serveru Mir (Wikipedie) a nová verze 2.31 nástrojů snapd pro práci s balíčky ve formátu snap (Wikipedie). Z novinek Miru vývojáři zdůrazňují vylepšenou podporu Waylandu nebo možnost sestavení a spouštění Miru ve Fedoře. Nová verze snapd umí Mir spouštět jako snap.

Ladislav Hagara | Komentářů: 0
včera 14:00 | Komunita

Na Indiegogo běží kampaň na podporu Sway Hackathonu, tj. pracovního setkání klíčových vývojářů s i3 kompatibilního dlaždicového (tiling) správce oken pro Wayland Sway. Cílová částka 1 500 dolarů byla vybrána již za 9 hodin. Nový cíl 2 000 dolarů byl dosažen záhy. Vývojáři přemýšlejí nad dalšími cíli.

Ladislav Hagara | Komentářů: 1
včera 11:11 | Nasazení Linuxu

Před dvěma týdny se skupina fail0verflow (Blog, Twitter, GitHub) pochlubila, že se jim podařilo dostat Linux na herní konzoli Nintendo Switch. O víkendu bylo Twitteru zveřejněno další video. Povedlo se jim na Nintendo Switch rozchodit KDE Plasmu [reddit].

Ladislav Hagara | Komentářů: 3
včera 05:55 | Komunita

Byla vydána vývojová verze 3.2 softwaru Wine (Wikipedie), tj. softwaru, který vytváří aplikační rozhraní umožňující chod aplikací pro Microsoft Windows také pod GNU/Linuxem. Z novinek lze zdůraznit například podporu HID gamepadů. Aktuální stabilní verze Wine je 3.0, viz verzování. Nejistá je budoucnost testovací větve Wine Staging s řadou experimentálních vlastností. Současní vývojáři na ni již nemají čas. Alexandre Julliard, vedoucí projektu Wine, otevřel v diskusním listu wine-devel diskusi o její budoucnosti.

Ladislav Hagara | Komentářů: 2
18.2. 16:55 | Komunita

Do 22. března se lze přihlásit do dalšího kola programu Outreachy (Wikipedie), jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 14. května do 14. srpna 2018, v participujících organizacích lze vydělat 5 500 USD.

Ladislav Hagara | Komentářů: 46
17.2. 15:44 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice dnes slaví 6 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně ale byla založena až 17. února 2012. Poslední lednový den byl vydán LibreOffice 6.0. Dle zveřejněných statistik byl za dva týdny stažen již cca milionkrát.

Ladislav Hagara | Komentářů: 1
17.2. 04:44 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že byla vydána nová verze 1.2.3 svobodného routovacího démona Quagga (Wikipedie) přinášející několik bezpečnostních záplat. Při nejhorší variantě může dojít až k ovládnutí běžícího procesu, mezi dalšími možnostmi je únik informací z běžícího procesu nebo odepření služby DoS. Konkrétní zranitelnosti mají následující ID CVE-2018-5378, CVE-2018-5379, CVE-2018-5380 a CVE-2018-5381.

Ladislav Hagara | Komentářů: 0
Který webový vyhledávač používáte nejčastěji?
 (2%)
 (28%)
 (62%)
 (2%)
 (3%)
 (1%)
 (1%)
 (1%)
Celkem 374 hlasů
 Komentářů: 34, poslední 14.2. 18:44
    Rozcestník

    Dotaz: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.

    17.5.2015 17:12 lertimir | skóre: 61 | blog: Par_slov
    Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Přečteno: 693×
    Chci se jen ujistit, že tomu co jsem si načet rozumím správně. Situace je taková. Mám desktop a server, část datového prostoru server je exportováno jako NFS share a mounuto k desktopu řekněme adresář /mnt/server. V části tohoto připojeného prostoru je datová kopie (záloha) důležitého stromu (fotky dokumenty). Zkopírovat to samozřejmě mohu různými způsoby, od cp přes synchronizaci adresáře v krusaderu, rsync lokálně mezi ~/data /mnt/server/data pak rsync --rsh="ssh -l uzivatel" . 10.0.0.1:/mnt/export1/data. Ale obávám se, že všechno tohle přes síť fakticky přetlačí všechnno z data a jediná možnost je na serveru mít rsyncd a kopírovat to s ním. Dat už je celkem dost tak. Je to mu tak nebo to jde i jinak?

    Řešení dotazu:


    Odpovědi

    17.5.2015 17:27 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.

    Mezi rsyncd a rsync pres SSH by neměl být rozdíl.

    rsync normálně používá metadata (čas změny a velikost), aby považoval soubory za stejné a nezkoumal jejich obsah. Ve zbývajících případech samozřejmě musí přečíst obsah. Takže pokud nechceš tahat data po síti tam a zpět, tak místo kopírování na rsyncu do přípojeného NFS použij rsync proti serveru.

    Na konec v upovídaném režimu klient hlásí, kolik dat přenesl po síti. Tak si můžeš změřit.

    Jendа avatar 17.5.2015 17:28 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Ale obávám se, že všechno tohle přes síť fakticky přetlačí všechnno z data a jediná možnost je na serveru mít rsyncd a kopírovat to s ním.
    Ne, rsync přes ssh je ekvivaletní rsyncd a přenáší taky jen změny (ze zvyku teda dávám --partial). Ostatně můžeš si to zkusit…

    rsync lokálně bude kopírovat jen změněné soubory, ale celé, protože by stejně musel ten druhý soubor přečíst.
    17.5.2015 21:08 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    takže ten rsync přes ssh spustí na druhé straně také rsync, protože když mám 100M soubor se změněným 1M musí to oba lokálně na svém systému přečíst, nějak nasekat a vyměnit si hashe těch částí a na základě zjištění rozdílných částí, jen ty přenést, jinak si to představit nedokážu.
    17.5.2015 22:30 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Přesně tak to funguje
    21.5.2015 12:28 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    A je rsync schopen i najit když do souboru je něco vloženo (vystříhnuto)? Protože to by nebylo jen porovnání bloků, ale nalezení (libovolného) bitového posunu něco jako diff pro binárku a ne text.
    21.5.2015 18:36 Filip Jirsák
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Ano, je toho schopen. Tedy pokud to vložené je zarovnané na bajty, bitové posuny rsync nehledá (protože i ostatní software pracuje s bajty a ne s bity).

    Rsync používá pro nalezení shodných bloků kontrolní součet, který se snadno aktualizuje, když ten blok postupně posouváte po souboru. Tj. spočítá se kontrolní součet bloku, pak se blok o bajt posune, a se znalostí toho předchozího součtu, bajtu, který vypadl, a nového bajtu rychle spočítáte kontrolní součet nového bloku. Takhle si rsync rychle spočívá kontrolní součty všech bloků souboru na cílové straně. Odesílající strana pak jen odešle „1. blok má součet XY, 2. blok ZZ“ atd. Příjemce se pak podívá, jestli blok s takovým kontrolním součtem zná, pokud ano, tak ho použije, pokud ne, řekne si odesílající straně o celý blok. Celé je to samozřejmě trošku složitější, např. ten rychlý kontrolní součet bloku není kryptograficky bezpečný (může se stát, že dva různé bloky mají stejný součet), takže se pak shoda ověřuje ještě nějakou kryptograficky bezpečnou hashovací funkcí.
    alles32 avatar 20.5.2015 17:40 alles32 | skóre: 15 | Evropa
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    zdar, a nebo muzes pouzit nejakej verzovaci system, treba svn. pri commitu ~/data do /mnt/server/data se dostanou jen novy a nebo zmeneny fajly.
    20.5.2015 19:20 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Verzovací systém na fotky a videa není asi vhodné. Prostě když sáhnu na 50 GB fotek tím že upravuji metadata, a jen 2-5G je fakticky upravených, ale fakticky všechny mají nové časy, tak přenášet jen to, co se změnilo. navíc verzování je hlavně když potřebuji držet historii. To když bych použil tak mám desítky TB fotek.
    Josef Kufner avatar 20.5.2015 20:19 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Mohl bys zkusit použít Git Annex. Ten je dělaný na verzování velkých souborů a s tímto by se měl vyrovnat. Na pozadí pro samotný přenos také používá rsync.
    Hello world ! Segmentation fault (core dumped)
    alles32 avatar 23.5.2015 13:43 alles32 | skóre: 15 | Evropa
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    zdar verzovaci systemy jsou stejne pouzitylny aj pro verzovani binarnich fajlu, akorat neukazuje diff. zmena timestampu neznamena pro svn zmenu v souboru, nybrz pouziva binary-differencing algorithm. rtfm ;]
    23.5.2015 16:19 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Ale otázka je, jak pozná rozdíl, aniž by přenášel data po síti. ten rsync problém řeší. Ale u verzování to stejně musím přečíst. takže musím to NFS přenést po síti. Jedna RAW fotka má 30-50MB, pokud do jednoho focení s akce, což je třeba 500 fotek dodám později pár metatagů, tak ten verzovací systém musí přečít data originálu a data kopie a zjistit že v originálu mám o metatagy navíc a co bude dělat? Pošle celé nové soubory do cílového adresáře. Takže data pojedou přes NFS dvakrát. jednou aby se zjistilo, co je obsahem kopie. a po druhé, když se zjistí, že originál je novější tak se pošle originál a zase poteče přes síť. Kdežto ten rsync jak tomu rozumím a už jsem si i zkusil pošle jen CRCčka a hashe jednotlivých částí a pak pošle jen skutečné rozdíly a čtení probíhá lokální rychlostí disků, vzhledem k tomu že na obou stranách jsou raidy tak je to přes 200MB/s, i na gigabitu jsem někde u 90 MB/s.
    20.5.2015 18:30 smartass
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    delta-xfer algoritmus jde vynutit i pro lokální cesty pomocí --no-whole-file, což se může právě v případě NFS hodit. Je ale dost pravděpodobné, že bude účinnější použít přímo kód rsyncu pro přenos dat po síti (pomocí rsyncd nebo ssh) místo NFS. Narozdíl od NFS přístupu totiž může rsync proces na serveru číst data na serveru rychleji, než lokální proces přes NFS a čas nutný k výpočtu rozdílu se tak přibližně z poloviny přesune na server. Samozřejmě toto jsou jen teoretické úvahy, asi mohou existovat případy, kdy to bude naopak.
    20.5.2015 20:08 Filip Jirsák
    Rozbalit Rozbalit vše Re: Použití rsync tak, aby se po sítí skutečně přenášely jen rozdíly dat.
    Pokud máte připojené NFS, musí se pro porovnání toho souboru nejprve celý soubor přes síť přenést (NFS protokolem). Právě proto je výhodnější rsync, protože ten čte data (rychle) z lokálního disku (na obou stranách), a po síti se přenese jen rozdíl.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.