abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 1
včera 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
včera 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 0
včera 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 4
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
5.12. 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 50
5.12. 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 10
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 796 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Jak zjistit, kolik toho rsync přenese

7.2. 18:15 ttt
Jak zjistit, kolik toho rsync přenese
Přečteno: 1452×
Na cílovém stroji mám databázový dump (~5GB), na zdrojovém stroji jsem udělal nový dump. Dokážu to přenést pomocí rsyncu ze zdrojového na cílový stroj, ale předtím, než to udělám, by mě zajímalo, kolik dat bude potřeba opravdu přenést a kolik ušetřím díky shodným blokům. Jak to zjistit?

V manuálových stránkách rsyncu jsem zjistil jen jak vypsat, které soubory se budou přenášet. Možná nějaký jiný nástroj, který dělá jen porovnání a ne přenos? Skript to jistí, ale než se to něj pustím, rád bych věděl, ze nevynalézám kolo.


Řešení dotazu:


Odpovědi

Řešení 1× (Jindřich Makovička)
8.2. 08:57 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Od verze 3.1.0 má mít rsync volbu info, která s parametrem progress2 vypíše po skončení přenosu celkovou statistiku viz na stránce dole.
8.2. 16:37 OldFrog {Ondra Nemecek} | skóre: 25 | blog: Žabákův notes | Praha
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Jenže autor to chce vědet předem:
(...) ale předtím, než to udělám, by mě zajímalo, kolik dat bude potřeba opravdu přenést (...)
Možná přidat --dry-run ?
-- OldFrog
8.2. 21:13 rastos | skóre: 60 | blog: rastos
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Krátky experiment ukazuje, že s --dry-run dostane len počet bajtov potrebných na ten dry-run. Teda ak má 10 blokov po 1kB, a jeden blok sa líši. Tak to nepovie ~1kB, ale pár bajtov, ktoré potrebuje na to, aby zistil, že treba preniesť jeden blok.
8.2. 22:44 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Kdybyste se na ten link podívali pořádně, tak byste viděli, že je tam malý skript, který přesně tenhle problém řeší. Rsync při --dry-run jen vrací seznam souborů, které se budou přenášet, ten se rourou předává utilitě pv, která ho přežvýkává.
9.2. 17:50 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Nevidím z toho, jak mi pv pomůže.
pv shows the progress of data through a pipeline by giving information such as time elapsed, percentage completed (with progress bar), current throughput rate, total data transferred, and ETA.
Potřebuju ho dopředu nakrmit maximem, které ale neznám - je to předmětem dotazu. Na odkazované stránce je jak zjistit počet přenesených souborů, ale to já vím - bude to 1.

Ještě se musím zamyslet, jestli je to vůbec možné. Nejsem si jistý, jestli rsync s plovoucími hashi nepotřebuje mít přenesený všechno předešlé, aby dokázal dopočítat, jestli bude přenášet další blok.
10.2. 07:25 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Jestli je to jeden soubor, tak to bude objem jeho dát. Nevím o tom, že by rsync posílal data atomicky.
10.2. 10:16 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Objem dat by to byl, pokud bych neměl podobný soubor na cílovém stroji. Já tam mám dump, který je o 2 dny starší. A buď je to rsync friendly a bude potřeba přenést jen třeba 1 % nebo ne a musím zkopírovat 99 %. A tu informaci bych chtěl dřív než spustím přenos.
10.2. 11:33 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Podle mě to je ta informace, kterou jsi dostal. Dva dny starý dump se obsahově lišit nemusí. Jinak podle toho co jsem se dočetl, funguje rsync tak, že nejprve vytvoří dočasný soubor do kterého stahuje po síti pouze bloky, které jsou odlišné od bloků v cílovém souboru a tím pak cílový soubor nahradí. Pokud půjde o binární blob, který nebude mít shodné datové bloky, tak defakto přetáhne celý soubor, ale u databázového dumpu může být skutečně přenos minimální. Viz Jak pracuje rsync

10.2. 11:41 Filip Jirsák
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Ale o to přece tazateli celou dobu jde. Aby zjistil, kolik bloků v cílovém souboru není a kolik toho tedy bude nutné přenést.
10.2. 11:39 Filip Jirsák
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Moc nerozumím tomu, k čemu je ta informace dobrá. I když zjistíte, že je potřeba zkopírovat celý soubor, stejně ho budete muset zkopírovat, a je prakticky jedno, zda ho zkopírujete rsyncem nebo jinak. Nebo-li rsync řeší oba dva případy – ať se projeví výhoda rsync protokolu nebo ne.
10.2. 11:47 R
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Napriklad aby som vedel, ci prenos prebehne za 2 minuty alebo 2 hodiny.
10.2. 12:40 Filip Jirsák
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Není lepší pro to použít parametr --info=progress2?
10.2. 13:22 nobody
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
pokud ti jde nahodou o to aby to nezatezovalo 2h HDD, muzes pustit pustit pres ionice s volbou aby se pracovalo s hdd jen pokud nepracuje s hdd neco jineho, takze nebude nic brzdit...
ionice -c3 rsync ... ... ...
10.2. 13:43 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Tahám to po síti, přenos trvá několik hodin a vytěžuje síť. Můžu nastavit --bwlimit, ale pak se dostanu někam okolo 10 hodin. Pokud zjistím, že je potřeba přenést celý soubor (nebo třeba > 80 %), nebudu to přenášet vůbec a vyřeším to jinak. Třeba "kabelovým" přenosem. Idea byla, že to půjde zjistit efektivněji než experimentem.
10.2. 14:32 Filip Jirsák
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
--dry-run by mělo zabránit přenosu dat, --itemize-changes vypíše změny, --stats vypíše statistiky. Z toho nedostanete výstup potřebný pro váš odhad?
10.2. 15:05 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
rsync remote:dump.sql dump.sql --info=progress2    --human-readable --dry-run -vv --stats --itemize-changes

dá stejný výstup (až na čísla procesu, dobu běhu), ať mu podstrčím shodný soubor nebo prázdný soubor.
10.2. 16:44 nobody
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
napada me uchylnost... drzet si ten dump dvojmo na lokalu, takze provedes realnej sync local->local, zjistis mnozstvi zmen a podle toho pustis/nepustis sync local->remote :)
10.2. 16:54 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Ech... to mě taky mohlo napadnout :) Jo, to vyřeší můj problém, ten původní dump tam někde je.

10.2. 16:56 Filip Jirsák
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
To by ale bylo nutné rsync přesvědčit, aby se choval jako při síťovém přenosu. Protože rsync není napsán hloupě, a když jsou zdroj a cíl místní, soubor normálně zkopíruje a nezpomaluje to zbytečným načítáním z disku. Při síťovém přenosu je úzkým hrdlem síť, proto optimalizuje rsync přenos dat po síti. Při lokálním přenosu jsou ale úzkým hrdlem pevné disky, a nemá tedy smysl optimalizovat přenos přes operační paměť.
10.2. 17:42 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
tak ten lokální rsync pustí sítovým způsobem na localhost. to ba se choval rsync sítově.
10.2. 15:56 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Vylezou z toho požadovaná čísla?
Notably, a dry run does not send the actual data for file transfers, so --progress has no effect, the "bytes sent", "bytes received", "literal data", and "matched data" statistics are too small, and the "speedup" value is equivalent to a run where no file transfers were needed.
10.2. 17:48 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
5GB a 10 hodin? proboha co je to za síť? to je tak 100kB/s.
10.2. 18:34 Aleš Kapica | skóre: 45 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Tím chtěl naznačit asi, jak by to bylo, kdyby to hodně přiškrtil,
10.2. 22:39 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Je to server, který se používá v interní síti, spojení ven tam typicky není potřeba. Plná přenosová rychlost myslím byla asi 250 kB/s. Běs :)
Jendа avatar 10.2. 23:55 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Místa, kde jediné dostupné spojení je AžDSL a s trochou štěstí i zarušená mikrovlnka, nejsou zas tak vzácná.
12.2. 08:43 R
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
U nas je dost miest, kde nie je ani ADSL.
11.2. 07:10 Filip Jirsák
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Nebylo by lepší použít inkrementální zálohy? Nebude nutné dodatečně zjišťovat, co se změnilo, a zároveň můžete držet těch záloh více pro případ, kdy se zjistí až po několika dnech, že se něco pokazilo.
12.2. 09:49 ttt
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
Nejde o zálohování, ale o vytvoření kopie produkční databáze pro vývojáře - pokud je potřeba hledat chybu v datech. Zálohování je tam řešené jinak. Dělají se tam jen plné zálohy, v současné podobě to pro přenos použít nejde.
12.2. 09:53 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
A nelze tu kopii vytvářet průběžnou replikací na nějaký server na síti vývojářů? Z replikační instance si mohou dělat klony pro svou potřebu, klidně lokálním rsyncem nebo jen cp -a. Navíc nemusí dump nalévat, mají rovnou data připravená. A pořád aktuální.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.