abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:00 | Zajímavý software

    Americká společnost Reflection AI světu představila Beam, open-weight model s 501 miliardami parametrů (z toho 23 miliard aktivních), určený především pro programování a práci autonomních agentů. Podle autorů jejich model nabízí výkon srovnatelný s většími modely při výrazně nižších nárocích na výpočetní výkon. Beam nyní ještě prochází závěrečným testováním, na stránkách Reflection AI se však lze zaregistrovat a získat předběžný přístup. Váhy modelu, dokumentace a nástroje pro vývojáře mají být zveřejněny v průběhu tohoto měsíce.

    AfD 💙 | Komentářů: 0
    dnes 02:00 | Komunita

    OpenCourant je komunitní fork OpenRadioss, tj. open source softwaru pro simulace havárií, nárazů a vysoce nelineárních dynamických dějů metodou konečných prvků. Společnost Siemens v loňském roce dokončila akvizici společnosti Altair Engineering, jež před čtyřmi lety uvolnila open source verzi OpenRadioss svého proprietárního softwaru Radioss. Minulý týden Siemens OpenRadioss pohřbil. Integroval jej do svého softwaru Simcenter, webovou stránku OpenRadioss přesměroval na Simcenter a repozitář OpenRadioss na GitHubu odstranil.

    Ladislav Hagara | Komentářů: 0
    dnes 00:22 | Pozvánky

    Pořadatelé devátého ročníku komunitního setkání správců nejen českých a slovenských sítí – CSNOG 2027, které se uskuteční 20. a 21. ledna, vyhlásili Call for Abstracts. Náměty na vystoupení mohou zájemci přihlašovat do 31. října na webu akce a vybírat mohou ze tří sekcí – správa sítí, legislativa a regulace a akademické projekty. Zveřejněny byly také Call of Partners určené sponzorům a partnerům setkání, kteří by například chtěli mít na

    … více »
    VSladek | Komentářů: 0
    včera 16:11 | Zajímavý software

    Strata je open-source inferenční engine, který umožňuje lokálně provozovat rozsáhlý čínský model Qwen3.8-Flash-Next, který by jinak nejspíše vyžadoval serverovou infrastrukturu, na běžném herním počítači s alespoň 12 GB VRAM, 32 GB RAM a dostatkem místa na SSD. Nároky na paměť a rychlost generování se liší s použitou variantou modelu Qwen. Zdrojový kód je dostupný na GitHubu, pod licencí MIT.

    AfD 💙 | Komentářů: 2
    včera 15:11 | Humor

    Americký prezident Donald Trump oznámil vznik federální Jednotky pro superinteligenci (Super Intelligence Force), která má koordinovat postup vlády, technologických firem, náboženských organizací a dalších institucí v oblasti rychle se rozvíjející umělé inteligence (Trumpem oficiálně nazývanou superinteligencí). SIF, podřízená přímo Trumpovi, má pomoci Spojeným státům udržet v oblasti SI technologický náskok nad světem a

    … více »
    AfD 💙 | Komentářů: 4
    včera 13:11 | Zajímavý software

    Klient je e-mailový klient pro GNOME s nativní podporou Proton Mailu, PGP a spamfiltrem řízeným AI. Napsaný je v Go s GTK4 a libadwaita. Připojuje se přímo k Proton Mailu (bez Proton Bridge), ke Gmailu, k Seznam.cz a k libovolné schránce IMAP/SMTP. Každou novou zprávu nejdřív posoudí spamfiltr a teprve potom ji ukáže a ohlásí. Rozhraní je česky a anglicky.

    Ladislav Hagara | Komentářů: 5
    včera 10:44 | Humor

    Hra Doom nově běží také v SQL databázi CedarDB. Představen byl SQLDoom. Vyzkoušet lze online demo. Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    včera 04:44 | Nová verze

    Multiplatformní open source aplikace scrcpy (Wikipedie) pro zrcadlení připojeného zařízení se systémem Android na desktopu a umožňující ovládání tohoto zařízení z desktopu, byla vydána v nové verzi 5.0. S podporou hardwarového dekódování videa na desktopu.

    Ladislav Hagara | Komentářů: 0
    včera 04:33 | Nová verze

    Moderní linker mold, rychlejší alternativa k LLVM lld nebo wild, byl vydán v nové major verzi 3.0.0. Přepsán byl z C++ do Rustu.

    Ladislav Hagara | Komentářů: 3
    5.10. 20:22 | Nová verze

    Po osmi letech od vydání verze 2.0 byla vydána nová major verze 3.0 multiplatformního editoru tagů MusicBrainz Picard (Wikipedie). Přehled novinek, vylepšení a oprav v changelogu.

    Ladislav Hagara | Komentářů: 0
    Které desktopové prostředí na Linuxu používáte?
     (9%)
     (7%)
     (4%)
     (21%)
     (29%)
     (8%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 2804 hlasů
     Komentářů: 31, poslední 13.8. 00:27
    Rozcestník

    Dotaz: Jak zjistit, kolik toho rsync přenese

    7.2.2016 18:15 ttt
    Jak zjistit, kolik toho rsync přenese
    Přečteno: 2002×
    Na cílovém stroji mám databázový dump (~5GB), na zdrojovém stroji jsem udělal nový dump. Dokážu to přenést pomocí rsyncu ze zdrojového na cílový stroj, ale předtím, než to udělám, by mě zajímalo, kolik dat bude potřeba opravdu přenést a kolik ušetřím díky shodným blokům. Jak to zjistit?

    V manuálových stránkách rsyncu jsem zjistil jen jak vypsat, které soubory se budou přenášet. Možná nějaký jiný nástroj, který dělá jen porovnání a ne přenos? Skript to jistí, ale než se to něj pustím, rád bych věděl, ze nevynalézám kolo.


    Řešení dotazu:


    Odpovědi

    Řešení 1× (Jindřich Makovička)
    8.2.2016 08:57 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Od verze 3.1.0 má mít rsync volbu info, která s parametrem progress2 vypíše po skončení přenosu celkovou statistiku viz na stránce dole.
    8.2.2016 16:37 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Jenže autor to chce vědet předem:
    (...) ale předtím, než to udělám, by mě zajímalo, kolik dat bude potřeba opravdu přenést (...)
    Možná přidat --dry-run ?
    -- OldFrog
    8.2.2016 21:13 rastos | skóre: 63 | blog: rastos
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Krátky experiment ukazuje, že s --dry-run dostane len počet bajtov potrebných na ten dry-run. Teda ak má 10 blokov po 1kB, a jeden blok sa líši. Tak to nepovie ~1kB, ale pár bajtov, ktoré potrebuje na to, aby zistil, že treba preniesť jeden blok.
    8.2.2016 22:44 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Kdybyste se na ten link podívali pořádně, tak byste viděli, že je tam malý skript, který přesně tenhle problém řeší. Rsync při --dry-run jen vrací seznam souborů, které se budou přenášet, ten se rourou předává utilitě pv, která ho přežvýkává.
    9.2.2016 17:50 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Nevidím z toho, jak mi pv pomůže.
    pv shows the progress of data through a pipeline by giving information such as time elapsed, percentage completed (with progress bar), current throughput rate, total data transferred, and ETA.
    Potřebuju ho dopředu nakrmit maximem, které ale neznám - je to předmětem dotazu. Na odkazované stránce je jak zjistit počet přenesených souborů, ale to já vím - bude to 1.

    Ještě se musím zamyslet, jestli je to vůbec možné. Nejsem si jistý, jestli rsync s plovoucími hashi nepotřebuje mít přenesený všechno předešlé, aby dokázal dopočítat, jestli bude přenášet další blok.
    10.2.2016 07:25 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Jestli je to jeden soubor, tak to bude objem jeho dát. Nevím o tom, že by rsync posílal data atomicky.
    10.2.2016 10:16 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Objem dat by to byl, pokud bych neměl podobný soubor na cílovém stroji. Já tam mám dump, který je o 2 dny starší. A buď je to rsync friendly a bude potřeba přenést jen třeba 1 % nebo ne a musím zkopírovat 99 %. A tu informaci bych chtěl dřív než spustím přenos.
    10.2.2016 11:33 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Podle mě to je ta informace, kterou jsi dostal. Dva dny starý dump se obsahově lišit nemusí. Jinak podle toho co jsem se dočetl, funguje rsync tak, že nejprve vytvoří dočasný soubor do kterého stahuje po síti pouze bloky, které jsou odlišné od bloků v cílovém souboru a tím pak cílový soubor nahradí. Pokud půjde o binární blob, který nebude mít shodné datové bloky, tak defakto přetáhne celý soubor, ale u databázového dumpu může být skutečně přenos minimální. Viz Jak pracuje rsync

    10.2.2016 11:41 Filip Jirsák
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Ale o to přece tazateli celou dobu jde. Aby zjistil, kolik bloků v cílovém souboru není a kolik toho tedy bude nutné přenést.
    10.2.2016 11:39 Filip Jirsák
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Moc nerozumím tomu, k čemu je ta informace dobrá. I když zjistíte, že je potřeba zkopírovat celý soubor, stejně ho budete muset zkopírovat, a je prakticky jedno, zda ho zkopírujete rsyncem nebo jinak. Nebo-li rsync řeší oba dva případy – ať se projeví výhoda rsync protokolu nebo ne.
    10.2.2016 11:47 R
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Napriklad aby som vedel, ci prenos prebehne za 2 minuty alebo 2 hodiny.
    10.2.2016 12:40 Filip Jirsák
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Není lepší pro to použít parametr --info=progress2?
    10.2.2016 13:22 nobody
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    pokud ti jde nahodou o to aby to nezatezovalo 2h HDD, muzes pustit pustit pres ionice s volbou aby se pracovalo s hdd jen pokud nepracuje s hdd neco jineho, takze nebude nic brzdit...
    ionice -c3 rsync ... ... ...
    10.2.2016 13:43 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Tahám to po síti, přenos trvá několik hodin a vytěžuje síť. Můžu nastavit --bwlimit, ale pak se dostanu někam okolo 10 hodin. Pokud zjistím, že je potřeba přenést celý soubor (nebo třeba > 80 %), nebudu to přenášet vůbec a vyřeším to jinak. Třeba "kabelovým" přenosem. Idea byla, že to půjde zjistit efektivněji než experimentem.
    10.2.2016 14:32 Filip Jirsák
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    --dry-run by mělo zabránit přenosu dat, --itemize-changes vypíše změny, --stats vypíše statistiky. Z toho nedostanete výstup potřebný pro váš odhad?
    10.2.2016 15:05 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    rsync remote:dump.sql dump.sql --info=progress2    --human-readable --dry-run -vv --stats --itemize-changes

    dá stejný výstup (až na čísla procesu, dobu běhu), ať mu podstrčím shodný soubor nebo prázdný soubor.
    10.2.2016 16:44 nobody
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    napada me uchylnost... drzet si ten dump dvojmo na lokalu, takze provedes realnej sync local->local, zjistis mnozstvi zmen a podle toho pustis/nepustis sync local->remote :)
    10.2.2016 16:54 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Ech... to mě taky mohlo napadnout :) Jo, to vyřeší můj problém, ten původní dump tam někde je.

    10.2.2016 16:56 Filip Jirsák
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    To by ale bylo nutné rsync přesvědčit, aby se choval jako při síťovém přenosu. Protože rsync není napsán hloupě, a když jsou zdroj a cíl místní, soubor normálně zkopíruje a nezpomaluje to zbytečným načítáním z disku. Při síťovém přenosu je úzkým hrdlem síť, proto optimalizuje rsync přenos dat po síti. Při lokálním přenosu jsou ale úzkým hrdlem pevné disky, a nemá tedy smysl optimalizovat přenos přes operační paměť.
    10.2.2016 17:42 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    tak ten lokální rsync pustí sítovým způsobem na localhost. to ba se choval rsync sítově.
    10.2.2016 15:56 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Vylezou z toho požadovaná čísla?
    Notably, a dry run does not send the actual data for file transfers, so --progress has no effect, the "bytes sent", "bytes received", "literal data", and "matched data" statistics are too small, and the "speedup" value is equivalent to a run where no file transfers were needed.
    10.2.2016 17:48 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    5GB a 10 hodin? proboha co je to za síť? to je tak 100kB/s.
    10.2.2016 18:34 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Tím chtěl naznačit asi, jak by to bylo, kdyby to hodně přiškrtil,
    10.2.2016 22:39 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Je to server, který se používá v interní síti, spojení ven tam typicky není potřeba. Plná přenosová rychlost myslím byla asi 250 kB/s. Běs :)
    Jendа avatar 10.2.2016 23:55 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Místa, kde jediné dostupné spojení je AžDSL a s trochou štěstí i zarušená mikrovlnka, nejsou zas tak vzácná.
    12.2.2016 08:43 R
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    U nas je dost miest, kde nie je ani ADSL.
    11.2.2016 07:10 Filip Jirsák
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Nebylo by lepší použít inkrementální zálohy? Nebude nutné dodatečně zjišťovat, co se změnilo, a zároveň můžete držet těch záloh více pro případ, kdy se zjistí až po několika dnech, že se něco pokazilo.
    12.2.2016 09:49 ttt
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    Nejde o zálohování, ale o vytvoření kopie produkční databáze pro vývojáře - pokud je potřeba hledat chybu v datech. Zálohování je tam řešené jinak. Dělají se tam jen plné zálohy, v současné podobě to pro přenos použít nejde.
    12.2.2016 09:53 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: Jak zjistit, kolik toho rsync přenese
    A nelze tu kopii vytvářet průběžnou replikací na nějaký server na síti vývojářů? Z replikační instance si mohou dělat klony pro svou potřebu, klidně lokálním rsyncem nebo jen cp -a. Navíc nemusí dump nalévat, mají rovnou data připravená. A pořád aktuální.

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.