abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:44 | IT novinky

    Společnost Meta na dvoudenní konferenci Meta Connect 2025 představuje své novinky. První den byly představeny nové AI brýle: Ray-Ban Meta (Gen 2), sportovní Oakley Meta Vanguard a především Meta Ray-Ban Display s integrovaným displejem a EMG náramkem pro ovládání.

    Ladislav Hagara | Komentářů: 1
    dnes 01:11 | Nová verze

    Po půl roce vývoje od vydání verze 48 bylo vydáno GNOME 49 s kódovým názvem Brescia (Mastodon). S přehrávačem videí Showtime místo Totemu a prohlížečem dokumentů Papers místo Evince. Podrobný přehled novinek i s náhledy v poznámkách k vydání a v novinkách pro vývojáře.

    Ladislav Hagara | Komentářů: 1
    včera 16:22 | Nová verze

    Open source softwarový stack ROCm (Wikipedie) pro vývoj AI a HPC na GPU od AMD byl vydán ve verzi 7.0.0. Přidána byla podpora AMD Instinct MI355X a MI350X.

    Ladislav Hagara | Komentářů: 0
    včera 15:22 | Nová verze

    Byla vydána nová verze 258 správce systému a služeb systemd (GitHub).

    Ladislav Hagara | Komentářů: 5
    včera 15:11 | Nová verze

    Byla vydána Java 25 / JDK 25. Nových vlastností (JEP - JDK Enhancement Proposal) je 18. Jedná se o LTS verzi.

    Ladislav Hagara | Komentářů: 0
    včera 14:44 | Humor

    Věra Pohlová před 26 lety: „Tyhle aféry každého jenom otravují. Já bych všechny ty internety a počítače zakázala“. Jde o odpověď na anketní otázku deníku Metro vydaného 17. září 1999 na téma zneužití údajů o sporožirových účtech klientů České spořitelny.

    Ladislav Hagara | Komentářů: 4
    včera 11:33 | Zajímavý článek Ladislav Hagara | Komentářů: 0
    16.9. 21:44 | Nová verze

    Byl vydán Mozilla Firefox 143.0. Přehled novinek v poznámkách k vydání a poznámkách k vydání pro vývojáře. Nově se Firefox při ukončování anonymního režimu zeptá, zda chcete smazat stažené soubory. Dialog pro povolení přístupu ke kameře zobrazuje náhled. Obzvláště užitečné při přepínání mezi více kamerami. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 143 bude brzy k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 0
    16.9. 17:22 | Nová verze

    Byla vydána betaverze Fedora Linuxu 43 (ChangeSet), tj. poslední zastávka před vydáním finální verze, která je naplánována na úterý 21. října.

    Ladislav Hagara | Komentářů: 0
    16.9. 12:22 | Nová verze

    Multiplatformní emulátor terminálu Ghostty byl vydán ve verzi 1.2 (𝕏, Mastodon). Přehled novinek, vylepšení a nových efektů v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    Jaké řešení používáte k vývoji / práci?
     (44%)
     (56%)
     (0%)
     (6%)
     (11%)
     (6%)
     (17%)
     (6%)
     (11%)
    Celkem 18 hlasů
     Komentářů: 1, poslední včera 13:49
    Rozcestník
    Štítky: není přiřazen žádný štítek

    Dotaz: Opakovany RSYNC pri zmene nazvu souboru

    29.9.2023 00:05 JojoANe
    Opakovany RSYNC pri zmene nazvu souboru
    Přečteno: 3413×

    Resim nasledujici - mam hlavni adresar v kterém jsou podadresare do 3-4 urovne. V techto adresarich jsou mkv, ktere budou po rsyncu na sekundarnim storage konvertovany na mp4. Vzhledem k tomu, ze rsync se bude z hlavniho na sekundarni storage v pravidelne opakovat, protoze nove soubory neustale pribyvaji, hledam jak provest opakovany rsync tak, aby se nahraly pouze nove mkv a ne originalne rsyncovane, aktualne uz na sekundarnim storage prejmenovane na mp4. Jak na to?

    Odpovědi

    29.9.2023 09:20 X
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Nejdrive oba adresare porovnej a to porovnavani podle nazvu a kopirovani si proste doskriptujes. Rsync fakt nepozna, ze si cilovy soubor zkonvertoval do jineho formatu a jinou velikosti.
    Jendа avatar 29.9.2023 10:20 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Napadá mě třeba podle času, a nebo ručním porovnáním (ssh sekundární "ls -lr" > tmp1, ls -lr > tmp2, ... | sed -re "s/mp4/mkv/" | ..., comm -3 tmp1 tmp2).
    29.9.2023 21:19 JojoANe
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Uf, doufal jsem, že existuje "neco" co tohle resi, ale vypada to na nějakou silenou rouru. V kazdym pripade diky za tip, zkusim to nejak doprasit, pokud se neozve nekdo s nejakym zazracnym resenim.
    Ruža Becelin avatar 30.9.2023 10:32 Ruža Becelin | skóre: 40 | blog: RuzaBecelinBlog
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Řešení by mohlo být několik.

    1. Hlavní adresář na primárním storage verzovat např. časovou značkou a pak rsync source_$časováznačka na sekundární storage. Předpokládám, že tvůj rsync nepoužívá --delete-xxx, takže to nebude mazat soubory, co jsou chybí na primáru.

    2. Alternativa může být pouštět rsync tak, jak doposud s tím, že po konverzi mkv->mp4 se udělá truncate na mkv soubory a rsync dostane parametr --ignore-existing, který zabrání přepisu existujících souborů.
    30.9.2023 14:18 X
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    K variante 2] by mozna stacil symlink, nebo proste prazdny "placeholder" soubor.
    2.10.2023 14:33 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru

    Předpokládám, že na cílovém disku se mají původní .mkv po konverzi na .mp4 smazat, jinak by celá otázka měla velmi triviální řešení (nemazat).

    Inu, tady mě napadá ošklivé, prasácké, ale účinné řešení založené na rsync: Místo mazání původní .mkv ponechat na místě, ale zmenšit je (například pomocí truncate) na nulu a obnovit jejich původní datum změny. Pak si rsync bude myslet, že už tam jsou, ale zároveň nebudou zabírat místo. Při konverzi do .mp4 je pak potřeba odfiltrovat ty .mkv, které mají nulovou velikost. Problém tohoto postupu: bitrot — Tedy nelze použít rsync -c (ze zjevných důvodů) a není tam vůbec žádná „end to end“ ochrana proti silent data corruption. Ale pokud jde jen a pouze o to „přeskočit“ už zpracované soubory, tohle by mohlo fungovat.

    2.10.2023 15:12 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Doprdele, mám to špatně.

    Gah. No to se mi povedlo, tahle↑ „rada“. Tohle je problém:

    rsync finds files that need to be transferred using a "quick check" algorithm (by default) that looks for files that have changed in size or in last-modified time.

    Dobře, tak úplně jednoduše a „implicitně“ to nepůjde. Existuje sice --size-only, ale není tam žádný ekvivalent --time-only, který by pomohl v tomto případě.

    Takže podle mě by mohlo být řešením --ignore-existing (skip updating files that exist on receiver). To vypadá, že by to mohlo (správně) přeskočit přenos již zpracovaných .mkv souborů — pokud na cíli budou ponechané ty placeholdery zmenšené na nulu (kvůli úspoře místa).

    2.10.2023 16:52 exclude-from
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Jak vypadá výstup rsync už vlastně nevím. Nešel by zapisovat(přidávat) do souboru a ten pak použít jako exclude? Nebo log po dokončení "očistit" a připojit do exclude. Jak moc může ovlivnit velké množství souborů v exclude čas synchronizace těžko říct.
    3.10.2023 10:26 JojoANe
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Hm, toz ten rsync vypada na clusterfuck in waiting. Kdyz odlozime rsync, co pouzit jineho vhodnejsiho pro tento scenar?
    3.10.2023 11:41 X
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Dal by se pouzit git. Na sekundani server jako master budes prenaset zmeny nehlede na jeho stav.
    3.10.2023 21:38 JojoANe
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Uf, s gitem moc neumím, ale s takovouhle za chvilku budem rozjizdet vypocetni cluster s sql DB :)
    3.10.2023 22:22 X
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Je to jeden prikaz. Nebal bych se toho..
    3.10.2023 13:35 Vantomas | skóre: 32 | Praha
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Šlo by na to použít parametr --exclude-from, kterému se subshellem strčí výsledek z find a u kterého se přes sed změní .mp4 na .mkv.

    Pozor, funguje to pouze pokud se bude spouštět bashem a když se to bude spouštět z cílového stroje, kde se find dostane k těm mp4 souborům.

    Pro referenci třeba: Copy recursively, completely ignoring matching directories in Bash [closed]
    7.10.2023 18:23 Ivan
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Obycenjny rsync tohle nezvladne. Kdysi jsem pouzival zalohovaci SW id fy. IBM - TSM. Ten mel demona ktery poslouchal pres rozhrani i-notify. Kernel mu sdeloval ktere soubory se zmenily/pribyly/prejmenovaly a pak inkrementalne zalohoval jen to co se zmenilo.

    Myslim, ze ti kdo se dodnes snazi pouzivat rsync pro zalohovani uz prisli s necim podobnym. Ze existuje verzi rsync, ktera umi pouzit zurnal zmen od i-notify. IMHO zadna jina cesta, nez i-notify neni. Musis si nechat od kernelu rict co pribylo, co se prejmenovalo,...

    Pokud si budes hrat s i-notify jeste vic, tak mozna dospajes k tomu, ze to ma modul pro python, ze a bude nejjednossi rsync uplne opustit a napsat si vlastni synchronizacni SW v pythonu.
    9.10.2023 19:56 JojoANe
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    Mno takhle jsem si to jednodussi a efektivnejsi reseni nepredstavoval...to vypada na cim dal vetsi clusterFuck.
    Petr Tomášek avatar 1.9.2024 00:59 Petr Tomášek | skóre: 39 | blog: Vejšplechty
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    unison
    multicult.fm | monokultura je zlo | welcome refugees!
    17.11.2024 15:27 GPTv.4
    Rozbalit Rozbalit vše Re: Opakovany RSYNC pri zmene nazvu souboru
    #!/bin/bash
    
    # Directory to watch for new MKV files
    WATCH_DIR="/path/to/watch"
    
    # Loop to keep checking for new MKV files
    inotifywait -m -e create --format "%f" "$WATCH_DIR" | while read NEW_FILE
    do
        # Check if the new file is an MKV file
        if [[ "$NEW_FILE" =~ \.mkv$ ]]; then
            # Full path to the new MKV file
            MKV_FILE="$WATCH_DIR/$NEW_FILE"
            # Full path to the target MP4 file
            MP4_FILE="${MKV_FILE%.mkv}.mp4"
            
            # Convert the MKV file to MP4 using ffmpeg
            ffmpeg -i "$MKV_FILE" -codec:v libx264 -codec:a aac -strict experimental "$MP4_FILE"
            
            # Check if conversion was successful
            if [[ $? -eq 0 ]]; then
                # Remove the original MKV file after successful conversion
                rm "$MKV_FILE"
                echo "Converted and removed $MKV_FILE"
            else
                echo "Error converting $MKV_FILE"
            fi
        fi
    done
    

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.