abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:00 | Nová verze

    Byla vydána nová verze 9.18 z Debianu vycházející linuxové distribuce DietPi pro (nejenom) jednodeskové počítače. Nově také pro NanoPi R3S, R3S LTS, R76S a M5. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    dnes 00:22 | Nová verze

    bat, tj. vylepšený cat se zvýrazňováním syntaxe a integrací s gitem, byl vydán ve verzi 0.26.0.

    Ladislav Hagara | Komentářů: 1
    včera 19:33 | Nová verze

    Byla vydána první verze 0.0.1 [Mastodon] multipatformního renderovacího jádra webového prohlížeče Servo (Wikipedie). Vývoj Serva započal v roce 2012 v Mozilla Corporation. V roce 2020 bylo Servo předáno nadaci Linux Foundation. Servo je napsané v programovacím jazyce Rust.

    Ladislav Hagara | Komentářů: 0
    včera 15:11 | IT novinky

    Cloudovou službu Amazon Web Services (AWS) americké firmy Amazon dnes postihl globální výpadek. Omezil dostupnost řady aplikací a webů, například populární platformu Snapchat nebo aplikaci s prvky umělé inteligence (AI) Perplexity. Podle webu Downdetector hlásily problémy také uživatelé obchodu Amazon, streamovací platformy PrimeVideo nebo platební služby PayPal.

    Ladislav Hagara | Komentářů: 6
    včera 13:33 | Zajímavý software Ladislav Hagara | Komentářů: 0
    včera 12:44 | Pozvánky

    Od 3. do 16. listopadu proběhnou Dny AI 2025. V úterý 11. listopadu proběhne Open source AI day v Red Hatu v Brně.

    Ladislav Hagara | Komentářů: 0
    včera 12:22 | Zajímavý článek

    Nová čísla časopisů od nakladatelství Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 158 (pdf) a Hello World 28 (pdf).

    Ladislav Hagara | Komentářů: 0
    včera 01:44 | Komunita

    Vývojáři GIMPu nově vydávají oficiální snap balíčky GIMPu. Jsou sestavovány přímo v jejich CI (Continuous Integration) systému.

    Ladislav Hagara | Komentářů: 10
    19.10. 15:22 | Nová verze

    Správce sbírky fotografií digiKam byl vydán ve verzi 8.8.0. Jedná se o převážně opravné vydání provázené aktualizacemi knihoven. Novinky zahrnují implicitní použití systémového barevného profilu monitoru, import/export hierarchie štítků, editační nástroj rozostření aj.

    |🇵🇸 | Komentářů: 1
    17.10. 13:22 | IT novinky

    Steve Jobs a superpočítač Cray-1 budou vyobrazeny na pamětních jednodolarových mincích vyražených v příštím roce v rámci série Americká inovace. Série má 57 mincí, tj. 57 inovací. Poslední 4 mince budou vyraženy v roce 2032.

    Ladislav Hagara | Komentářů: 15
    Jaké řešení používáte k vývoji / práci?
     (37%)
     (47%)
     (20%)
     (20%)
     (23%)
     (18%)
     (21%)
     (18%)
     (18%)
    Celkem 246 hlasů
     Komentářů: 14, poslední 14.10. 09:04
    Rozcestník

    Ako dosiahnuť s rsync over ssh až 40MB/s ?

    20.5.2022 11:12 | Přečteno: 1884× | c0mput3rs | poslední úprava: 20.5.2022 11:21

    Takže dnes len mini zápis. Potrebujem robiť dosť často rsync celého systému z jedného servera do mirror adresára na druhom stroji (cez ssh) a dlhodobo som sa potýkal s problémom dostať sa nad 10 - 15MB/s. Trošku som sa pohral s nastaveniami rsync over ssh a tu je výsledok - cez 40 MB/s. Hádam sa to bude niekomu hodiť.

    Takže z lokálneho stroja robíme komplet rsync celého systému na stroj user@ip do adresára destination_dir (excludnuť si môže každý podľa želania čo len chce).

    rsync -aHAXxv --numeric-ids --delete --progress --human-readable -e "ssh -T -c aes256-gcm@openssh.com -o Compression=no -x" / --exclude={"/swapfile","/dev/*","/proc/*","/sys/*","/tmp/*","/run/*","/mnt/*","/media/*","/lost+found"} user@ip:/destination_dir
    


           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    David Heidelberg avatar 20.5.2022 12:08 David Heidelberg | skóre: 46 | blog: blog_
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    320 Mbit z 1 Gbit síťovky není takovej odvar, ale jde to přes ssh, takže to chápu, btw. hledání "rsync ssh 1gbit" 1. odkaz https://gist.github.com/sbamin/8c76fa146d43c5e4a287753921e1f05b
    20.5.2022 13:45 disorder | blog: weblog
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    vela stastia s pouzitim arcfour
    20.5.2022 13:53 Mayhem
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Proc ne obycejny rsync? Ale jinak +1.
    20.5.2022 13:54 MP
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Co zkusit paralelni rsync popr. rsync server?
    20.5.2022 16:32 t@fu
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Pustit 4 vlaky na jednokolejku ma jaky smysl? :D
    Jendа avatar 20.5.2022 17:51 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Protože to může hnít na latenci (sítě, ale třeba i disku -- dneska pro velké I/O chceš používat NCQ) nebo na výkonu jednoho jádra procesoru.
    20.5.2022 20:30 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Vzhledem k tomu, že autorovi stačilo změnit nastavení SSH, tak bych neřekl, že měl problém se sítí nebo diskem. V podstatě celý zápisek by se dal zkrátit na vypněte kompresi (-o Compression=no) a šifrujte pomocí AES-256 (-c aes256-gcm@openssh.com). To první má značný význam pro odlehčení procesoru, to druhé trochu také, pokud SSH/OpenSSL používá akceleraci SIMD instrukcemi procesoru. Při takto vysokých datových tocích se už může dostat na hranici výkonu jednoho jádra procesoru a vypnutí nepotřebných transformací může pomoci. Pro ověření hypotézy bych doporučil rsync na localhostu a sledovat vytížení procesoru.
    20.5.2022 21:44 t@fu
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Hnit na latenci? Dafuq? Se bavime o 1GB LAN kde jedina latence je vytukat na klavesnici prikaz rsync :-) A i kdyby cil byl za sedmero horama, za sedmero rekama, za sedmero kopci a sedmero lesy tak v dobe 4K youtube pres https je latence maximalne pri navazani spojeni a pak to frci! :-)
    Jendа avatar 20.5.2022 21:52 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Ty jsi nečetl odkazovaný článek?
    Jendа avatar 20.5.2022 21:53 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Vypichujeme to podstatné, chápu, že je to dlouhé:
    Bohužel, tohle OpenSSH nedělá. Přestože podkladové TCP spojení zvládne výrazně více, SSH nad ním přenášelo dříve data pouze po 64kB blocích. Později byl tento limit navýšen na 1024 kB.
    (vlastní flow control s moc malým oknem)
    21.5.2022 08:23 R.C.
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Na muj stroj OpenSSH nesmi! Do roku 20 bugu z toho 1-2 critical. Ja mam Dropbeara. Teleport taky neni spatny.
    20.5.2022 16:41 bandurek
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Jen pro zajímavost jak je ten systém velikej?
    cbrpnk avatar 20.5.2022 17:37 cbrpnk | skóre: 10 | blog: bl0gium
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    size: 250G  used: 150G   free: 100G
    20.5.2022 21:50 Grèta
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    Šifrování je neekologické. Kdyby se na jeden den upustilo od ssh, vpn a https tak se ušetří uhlíkových exhalátů v ekvivalentu spálení 6 tankerů ropy a 181 vagonů uhlí. Baterky v mobilech by měli o 37% větší výdrž. Bůh stejně vscheno vidí a zná tak vás šifrování před nebeským soudem stejně neochrání.
    Petr Tomášek avatar 20.5.2022 21:58 Petr Tomášek | skóre: 39 | blog: Vejšplechty
    Rozbalit Rozbalit vše Re: Ako dosiahnuť s rsync over ssh až 40MB/s ?
    A jéje, to zas bude jednou komix...
    multicult.fm | monokultura je zlo | welcome refugees!

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.