abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    17.5. 13:44 | Nová verze

    Byla vydána (𝕏) nová major verze 17 softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech GitLab (Wikipedie). Představení nových vlastností i s náhledy a videi v oficiálním oznámení.

    Ladislav Hagara | Komentářů: 0
    17.5. 12:22 | Komunita

    Sovereign Tech Fund, tj. program financování otevřeného softwaru německým ministerstvem hospodářství a ochrany klimatu, podpoří vývoj FFmpeg částkou 157 580 eur. V listopadu loňského roku podpořil GNOME částkou 1 milion eur.

    Ladislav Hagara | Komentářů: 0
    17.5. 01:55 | Komunita

    24. září 2024 budou zveřejněny zdrojové kódy přehrávače Winamp.

    Ladislav Hagara | Komentářů: 12
    16.5. 23:33 | Nová verze

    Google Chrome 125 byl prohlášen za stabilní. Nejnovější stabilní verze 125.0.6422.60 přináší řadu oprav a vylepšení (YouTube). Podrobný přehled v poznámkách k vydání. Opraveno bylo 9 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře.

    Ladislav Hagara | Komentářů: 1
    16.5. 21:11 | Nová verze

    Textový editor Neovim byl vydán ve verzi 0.10 (𝕏). Přehled novinek v příspěvku na blogu a v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    16.5. 20:55 | Nová verze

    Byla vydána nová verze 6.3 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl povýšen na verzi 13.0.15.

    Ladislav Hagara | Komentářů: 0
    16.5. 13:33 | IT novinky

    Dnes ve 12:00 byla spuštěna první aukce domén .CZ. Zatím největší zájem je o dro.cz, kachnicka.cz, octavie.cz, uvycepu.cz a vnady.cz [𝕏].

    Ladislav Hagara | Komentářů: 10
    16.5. 13:22 | Nová verze

    JackTrip byl vydán ve verzi 2.3.0. Jedná se o multiplatformní open source software umožňující hudebníkům z různých částí světa společné hraní. JackTrip lze instalovat také z Flathubu.

    Ladislav Hagara | Komentářů: 0
    16.5. 12:22 | Pozvánky

    Patnáctý ročník ne-konference jOpenSpace se koná 4. – 6. října 2024 v Hotelu Antoň v Telči. Pro účast je potřeba vyplnit registrační formulář. Ne-konference neznamená, že se organizátorům nechce připravovat program, ale naopak dává prostor všem pozvaným, aby si program sami složili z toho nejzajímavějšího, čím se v poslední době zabývají nebo co je oslovilo. Obsah, který vytváří všichni účastníci, se skládá z desetiminutových

    … více »
    Zdenek H. | Komentářů: 0
    16.5. 03:11 | Nová verze

    Program pro generování 3D lidských postav MakeHuman (Wikipedie, GitHub) byl vydán ve verzi 1.3.0. Hlavní novinkou je výběr tvaru těla (body shapes).

    Ladislav Hagara | Komentářů: 9
    Podle hypotézy Mrtvý Internet mj. tvoří většinu online interakcí boti.
     (77%)
     (5%)
     (10%)
     (8%)
    Celkem 355 hlasů
     Komentářů: 16, poslední 14.5. 11:05
    Rozcestník

    Dotaz: sed, awk - smazání jedné řádky mezi prázdnými řádkami?

    12.5. 23:03 Fredy72 | skóre: 8
    sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    Přečteno: 453×
    Mám soubor, kde jsou řádky a prázdné řádky. Potřebuji smazat každou jednu řádku, pokud před ní a za ní je prázdná řádka (nebo začátek či konec souboru), tj. ponechat pouze víceřádkové texty oddělené prázdnými řádkami. Soubor vypadá třeba takto:
    jedna
    dva
    
    tři
    
    čtyři
    pět
    šest
    
    sedm
    
    osm
    devět
    deset
    
    
    Výsledek je smazání řádky tři a sedm a ke každé též jedné prázdné řádky, aby vzniklo:
    jedna
    dva
    
    čtyři
    pět
    šest
    
    osm
    devět
    deset
    
    

    Řešení dotazu:


    Odpovědi

    13.5. 00:46 jejda | skóre: 24 | blog: jejda
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    Bych na to šel asi tak, že bych to všecko spojil do jednoho řádku na kterém bych newlines nahradil nějakým speciálním znakem. Třeba křížkem '#'. Teda dva křížky po sobě znamenají prázdný řádek. Potom by se muselo to slovo ohraničené dvouma křížkama vyříznout a to místo nějak označit. Třeba závináčem '@'. Dál už se jenom nahradí ten závináč dvěma newlines a křížek jednou newline. Na tom ukázkovém textu co napsals mi to docela funguje.
    cat soubor.txt | paste -sd# | sed 's/##[[:alnum:]]*##/@/g;s/@/\n\n/g;s/#/\n/g'
    Jestli se v tom tvojem textu vyskytujou křížky nebo závináče, budeš muset místo nich zvolit jinačí znaky.
    13.5. 01:19 jejda | skóre: 24 | blog: jejda
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    Hm teď to zkouším a moc dobře to nefunguje. Když je těch jednořádkových trojřádků :-D víc po sobě, je potřeba celý ten cirkus aplikovat taky víckrát po sobě. Ale nakonec to dopadne.
    13.5. 02:10 jejda | skóre: 24 | blog: jejda
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    On se vlastně může ten závináč taky uplně vynechat ...
    paste -sd# | sed 's/##[[:alnum:]]*##/\n\n/g;s/#/\n/g'
    Nějak mi to nemyslí.
    13.5. 08:51 BFU
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    Nestacilo by "| sed '/^$/ { N;N; /^\n.\+\n$/ s@.*@@ }'" ?

    Nejdrive to namatchuje na prazdny radek, pak appendne dva nasledujici radky do pattern space, a pokud tam je newline-text-newline, tak to nahradi newlinem .

    Tak se podívejme, jestli by to stačilo:

    sed '/^$/ { N;N; /^\n.\+\n$/ s@.*@@ }' \
    <<< $'\n\na\n\nb\n\nc\nd\n\ne\n\n\nf\n\ng\n\n\nh\n\ni\nj\nk\n\nl'
    

    Očekávání:

    c
    d
    
    i
    j
    k
    

    Tvrdá realita:

    
    
    a
    
    c
    d
    
    
    g
    
    
    h
    
    i
    j
    k
    
    l
    

    Tyhle domácí úkoly obvykle vyžadují pár triků — právě proto, aby se nedaly tak snadno „vyřešit“ na ABCLinuxu.

    13.5. 16:38 Fredy72 | skóre: 8
    Rozbalit Rozbalit vše Re:
    Děkuji za snahu. Nejde o domácí úkol, jen jsem se snažil upravit řešení pod bodem 3. tady https://unix.stackexchange.com/questions/678461/finding-duplicate-files-with-same-filename-and-exact-same-size/678485#678485 Mám velké datové pole s BTRFS, kde věci jako duperemove, bees, fdupes trvají neúměrně dlouho a přitom se mi tam v podstatě objevují násobně jen úplně shodné soubory (název, délka). Tak jsem využil ten skript z odkazu, který však vynechává jeden (první) z duplicitních souborů. Upravil jsem proto diff tak, aby mi vypsal unikátní soubory se všemi soubory, a právě ty unikátní jsou ve výpisu osamocené mezi dvěma prázdnými řádky. Takže to potřebuji proparsovat, aby to duperemove vzalo jako formát fdupes (tedy už jen seznam těch duplicitních oddělených mezerou). Možná objevuji Ameriku, ale přijde mi ten skript rychlý, na úrovni rychlosti příkazu find.
    13.5. 18:23 Aleš Kapica | skóre: 51 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re:
    Nebyl by pro tebe řešením rmlint?
    13.5. 18:45 Fredy72 | skóre: 8
    Rozbalit Rozbalit vše Re:
    Kouknu na parametry rmlint. Ty soubory jsou pro představu něco jako fotky, takže mají dost unikátní název, nejsou moc cenné (duperemove --fdupes nepočítá hash) a nemění se jejich velikost. Samozřejmě by bylo lepší přidat tam kontrolu hash, takže optimálně nějaký nástroj, co by na počátku jen vyhledal stejné názvy a pokud mají i stejnou velikost, tak pak teprve spočítal kontrolní součet a pokud v pořádku, tak poslal do duperemove.
    13.5. 20:14 Fredy72 | skóre: 8
    Rozbalit Rozbalit vše Re:
    Z netu jsem poskládal něco, co vypadá schopně:
    find DIR -not -empty -type f -printf "%s\t%f%-260s\t%p\n" | sort -k 1,2 -t$'\t' | uniq -w260 -D | cut -f 3 -d $'\t' | xargs md5sum | sort | uniq -w32 --all-repeated=separate | cut -c 34-
    
    13.5. 21:00 Want
    Rozbalit Rozbalit vše Re:
    No já jen, že jsem tehdy řešil přesně to samé co ty.
    13.5. 23:05 Fredy72 | skóre: 8
    Rozbalit Rozbalit vše Re:
    A jak dopadl výsledek?
    14.5. 09:24 Aleš Kapica | skóre: 51 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re:
    Podle očekávání. Jak jinak? Jinak bych nepsal ten blogpost. Jenom zdůrazňuji – přečti si ho pozorně a hlavně to, jaký je rozdíl mezi hardlinkem, symlinkem a reflinkem.
    Řešení 1× (Andrej)
    13.5. 18:39 čavo | skóre: 14
    Rozbalit Rozbalit vše Re:
    Trošku som sa pohral, použil som na test vygenerovaný jednopísmenný zoznam.

    Aby sa nebolo treba hrať so začiatkom a koncom, som tam pridal nové riadky, ktoré som nakonci zrušil.

    No a môže byť aj viac ako jeden nový riadok:
    (echo; echo; cat data.txt; echo;echo ) |  paste --serial --delimiters=\# | sed 's/##\+\([^#]\+##\+\)\+/##/g;s/^##\+//;s/##\+$//;s/#/\n/g'
    c
    d
    
    i
    j
    k
    
    13.5. 20:49 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re:

    Jo, mým testem to prochází v pohodě.

    13.5. 15:47 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?

    Tohle je návod, jak to vyřešit, nikoliv řešení. Existuje na to one-liner, to je jisté; on se tu hned vynoří někdo s Perlem.

    Já bych to udělal megatěžkopádně, s pořádnými testy. Tady je totiž hned několik zajímavých situací, které je potřeba napřed přesně dodefinovat a poté správně ošetřit, například:

    • prázdné řádky na začátku a na konci vstupů,
    • několik osamocených řádků oddělených prázdnými řádky po sobě,
    • víc než jeden prázdný řádek mezi skupinami řádků, ať už dostatečně dlouhými nebo ne,
    • dostatečně a nedostatečně velké skupiny řádků jako první na začátku a konci vstupu.

    Nuže, pojďme vymyslet testovací nástroj, říkejme mu test.sh, který bude chrlit vstupy se všemi možnými podrazy. Je sice jednoduchý, ale při dostatečně velkém počtu vstupů nakonec vygeneruje všechny výše zmíněné patologické případy, protože taky umí „náhodně“ generovat bloky řádků o velikostech 0 a 1, z nichž některé skončí na začátku a konci souboru, některé možná hned po sobě atp.

    #!/bin/bash
    set -euo pipefail
    if (($# < 1)); then echo 'Expected arguments.' 1>&2; exit 11; fi
    
    print_input() {
      local -ir random="$1" blocks=10 limit=2 range='limit + 2'
      local -i j k r
      local nl=
      RANDOM=random
      for ((j = 0; j < blocks; ++j)); do
        ((r = RANDOM % range)) || :
        ((r < limit)) && line='unwanted' || line='wanted'
        printf "$nl"
        for ((k = 0; k < r; ++k)); do
          printf '%s %u/%u/%u\n' "$line" "$i" "$j" "$k"
        done
        nl=$'\n'
      done
    }
    
    RANDOM=0 || :
    declare -ir files=1000
    declare -i i random
    for ((i = 0; i < files; ++i)); do
      printf '%s%s%s%s%s%s%s%s\n' '=========='{,,,,,,,}
      random=RANDOM
      diff -y --color <(print_input "$random") <(print_input "$random" | "$@") || :
      printf '%s%s%s%s%s%s%s%s\n' '=========='{,,,,,,,}
    done
    

    Napřed pojďme otestovat test.sh. Zkusíme tam dát kočku. Tady očekáváme výsledek bez rozdílů, tedy diff -y neukáže žádné šipky a pravá (DSSS) i levá (KSČM) strana diffů bude stejná. Tím se také potvrdí (dobře, ne tak úplně), že celý trik s pseudonáhodnými čísly a se stabilními (tedy na prostěradle zaschlými) náhodnými semeny funguje. Tedy, pravděpodobně!

    ./test.sh cat
    

    Další krok bude, že si teď místo kočky vytvoříme skutečnou implementaci toho algořiťmu. Říkejme mu třeba window.awk. Má v sobě malou optimalizaci, která hlídá, aby se nikdy nedrželo v paměti víc řádků, než je nezbytné, ale jinak je to obyčejný, tupý stavový automat:

    #!/usr/bin/awk -f
    
    function finalize_block(i) {
      if (length(block_window) >= MIN_BLOCK_LENGTH) {
        if (newline_due) print ""
        newline_due = 1
        for (i = begin; i < end; ++i) print block_window[i]
      }
      delete block_window
      begin = end = 0
    }
    
    BEGIN {
      MIN_BLOCK_LENGTH = 2
      delete block_window[0]
      begin = end = 0
    }
    
    !$0 {
     finalize_block()
     next
    }
    
    { block_window[end++] = $0 }
    
    length(block_window) > MIN_BLOCK_LENGTH {
      if (newline_due) print ""
      newline_due = 0
      print block_window[begin]
      delete block_window[begin++]
    }
    
    END { finalize_block() }
    

    Když to splácáme všechno dohromady, bude to dokonce i fungovat:

    ./test.sh ./window.awk
    

    Výsledné diffy ukazují, že to skutečně požírá unwanted řádky, že to mezi bloky wanted řádků nechává vždy právě jeden prázdný řádek, ať už prázdných řádků a příliš krátkých bloků mezi nimi bylo, kolik chtělo, že to netrousí prázdné řádky na začátku a konci výstupu, atd.

    Leč když to aplikujeme na jedno níže uvedené řešení, tak … ejhle, je to rozbité:

    ./test.sh sed '/^$/ { N;N; /^\n.\+\n$/ s@.*@@ }'
    
    Řešení 1× (Andrej)
    wamba avatar 15.5. 17:34 wamba | skóre: 38 | blog: wamba
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    perl -00nE 'print  if split("\n", $_) >= 2'
    Jen pro pořádek tady je ten Perl.
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    Řešení 1× (Andrej)
    wamba avatar 15.5. 17:42 wamba | skóre: 38 | blog: wamba
    Rozbalit Rozbalit vše Re: sed, awk - smazání jedné řádky mezi prázdnými řádkami?
    popřípadě
    perl -F'\n' -00E 'print  if @F >= 2'
    This would have been so hard to fix when you don't know that there is in fact an easy fix.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.