Dotaz: sed, awk - smazání jedné řádky mezi prázdnými řádkami?

[Fredy72]

Mám soubor, kde jsou řádky a prázdné řádky. Potřebuji smazat každou jednu řádku, pokud před ní a za ní je prázdná řádka (nebo začátek či konec souboru), tj. ponechat pouze víceřádkové texty oddělené prázdnými řádkami. Soubor vypadá třeba takto:

jedna
dva

tři

čtyři
pět
šest

sedm

osm
devět
deset

Výsledek je smazání řádky tři a sedm a ke každé též jedné prázdné řádky, aby vzniklo:

jedna
dva

čtyři
pět
šest

osm
devět
deset

---

---

Odpovědi

[jejda]

Bych na to šel asi tak, že bych to všecko spojil do jednoho řádku na kterém bych newlines nahradil nějakým speciálním znakem. Třeba křížkem '#'. Teda dva křížky po sobě znamenají prázdný řádek. Potom by se muselo to slovo ohraničené dvouma křížkama vyříznout a to místo nějak označit. Třeba závináčem '@'. Dál už se jenom nahradí ten závináč dvěma newlines a křížek jednou newline. Na tom ukázkovém textu co napsals mi to docela funguje.

cat soubor.txt | paste -sd# | sed 's/##[[:alnum:]]*##/@/g;s/@/\n\n/g;s/#/\n/g'

Jestli se v tom tvojem textu vyskytujou křížky nebo závináče, budeš muset místo nich zvolit jinačí znaky.

[jejda]

Hm teď to zkouším a moc dobře to nefunguje. Když je těch jednořádkových trojřádků víc po sobě, je potřeba celý ten cirkus aplikovat taky víckrát po sobě. Ale nakonec to dopadne.

[jejda]

On se vlastně může ten závináč taky uplně vynechat ...

paste -sd# | sed 's/##[[:alnum:]]*##/\n\n/g;s/#/\n/g'

Nějak mi to nemyslí.

[BFU]

Nestacilo by "| sed '/^$/ { N;N; /^\n.\+\n$/ s@.*@@ }'" ?

Nejdrive to namatchuje na prazdny radek, pak appendne dva nasledujici radky do pattern space, a pokud tam je newline-text-newline, tak to nahradi newlinem .

[Andrej]

Tak se podívejme, jestli by to stačilo:

sed '/^$/ { N;N; /^\n.\+\n$/ s@.*@@ }' \
<<< $'\n\na\n\nb\n\nc\nd\n\ne\n\n\nf\n\ng\n\n\nh\n\ni\nj\nk\n\nl'

Očekávání:

c
d

i
j
k

Tvrdá realita:

a

c
d


g


h

i
j
k

l

Tyhle domácí úkoly obvykle vyžadují pár triků — právě proto, aby se nedaly tak snadno „vyřešit“ na ABCLinuxu.

[Fredy72]

Děkuji za snahu. Nejde o domácí úkol, jen jsem se snažil upravit řešení pod bodem 3. tady https://unix.stackexchange.com/questions/678461/finding-duplicate-files-with-same-filename-and-exact-same-size/678485#678485 Mám velké datové pole s BTRFS, kde věci jako duperemove, bees, fdupes trvají neúměrně dlouho a přitom se mi tam v podstatě objevují násobně jen úplně shodné soubory (název, délka). Tak jsem využil ten skript z odkazu, který však vynechává jeden (první) z duplicitních souborů. Upravil jsem proto diff tak, aby mi vypsal unikátní soubory se všemi soubory, a právě ty unikátní jsou ve výpisu osamocené mezi dvěma prázdnými řádky. Takže to potřebuji proparsovat, aby to duperemove vzalo jako formát fdupes (tedy už jen seznam těch duplicitních oddělených mezerou). Možná objevuji Ameriku, ale přijde mi ten skript rychlý, na úrovni rychlosti příkazu find.

[Aleš Kapica]

Nebyl by pro tebe řešením rmlint?

[Fredy72]

Kouknu na parametry rmlint. Ty soubory jsou pro představu něco jako fotky, takže mají dost unikátní název, nejsou moc cenné (duperemove --fdupes nepočítá hash) a nemění se jejich velikost. Samozřejmě by bylo lepší přidat tam kontrolu hash, takže optimálně nějaký nástroj, co by na počátku jen vyhledal stejné názvy a pokud mají i stejnou velikost, tak pak teprve spočítal kontrolní součet a pokud v pořádku, tak poslal do duperemove.

[Fredy72]

Z netu jsem poskládal něco, co vypadá schopně:

find DIR -not -empty -type f -printf "%s\t%f%-260s\t%p\n" | sort -k 1,2 -t$'\t' | uniq -w260 -D | cut -f 3 -d $'\t' | xargs md5sum | sort | uniq -w32 --all-repeated=separate | cut -c 34-

[Want]

No já jen, že jsem tehdy řešil přesně to samé co ty.

[Fredy72]

A jak dopadl výsledek?

[Aleš Kapica]

Podle očekávání. Jak jinak? Jinak bych nepsal ten blogpost. Jenom zdůrazňuji – přečti si ho pozorně a hlavně to, jaký je rozdíl mezi hardlinkem, symlinkem a reflinkem.

[Andrej]

Trošku som sa pohral, použil som na test vygenerovaný jednopísmenný zoznam.

Aby sa nebolo treba hrať so začiatkom a koncom, som tam pridal nové riadky, ktoré som nakonci zrušil.

No a môže byť aj viac ako jeden nový riadok:

(echo; echo; cat data.txt; echo;echo ) |  paste --serial --delimiters=\# | sed 's/##\+\([^#]\+##\+\)\+/##/g;s/^##\+//;s/##\+$//;s/#/\n/g'
c
d

i
j
k

[Andrej]

Jo, mým testem to prochází v pohodě.

[Andrej]

Tohle je návod, jak to vyřešit, nikoliv řešení. Existuje na to one-liner, to je jisté; on se tu hned vynoří někdo s Perlem.

Já bych to udělal megatěžkopádně, s pořádnými testy. Tady je totiž hned několik zajímavých situací, které je potřeba napřed přesně dodefinovat a poté správně ošetřit, například:

• prázdné řádky na začátku a na konci vstupů,
• několik osamocených řádků oddělených prázdnými řádky po sobě,
• víc než jeden prázdný řádek mezi skupinami řádků, ať už dostatečně dlouhými nebo ne,
• dostatečně a nedostatečně velké skupiny řádků jako první na začátku a konci vstupu.

Nuže, pojďme vymyslet testovací nástroj, říkejme mu test.sh, který bude chrlit vstupy se všemi možnými podrazy. Je sice jednoduchý, ale při dostatečně velkém počtu vstupů nakonec vygeneruje všechny výše zmíněné patologické případy, protože taky umí „náhodně“ generovat bloky řádků o velikostech 0 a 1, z nichž některé skončí na začátku a konci souboru, některé možná hned po sobě atp.

#!/bin/bash
set -euo pipefail
if (($# < 1)); then echo 'Expected arguments.' 1>&2; exit 11; fi

print_input() {
  local -ir random="$1" blocks=10 limit=2 range='limit + 2'
  local -i j k r
  local nl=
  RANDOM=random
  for ((j = 0; j < blocks; ++j)); do
    ((r = RANDOM % range)) || :
    ((r < limit)) && line='unwanted' || line='wanted'
    printf "$nl"
    for ((k = 0; k < r; ++k)); do
      printf '%s %u/%u/%u\n' "$line" "$i" "$j" "$k"
    done
    nl=$'\n'
  done
}

RANDOM=0 || :
declare -ir files=1000
declare -i i random
for ((i = 0; i < files; ++i)); do
  printf '%s%s%s%s%s%s%s%s\n' '=========='{,,,,,,,}
  random=RANDOM
  diff -y --color <(print_input "$random") <(print_input "$random" | "$@") || :
  printf '%s%s%s%s%s%s%s%s\n' '=========='{,,,,,,,}
done

Napřed pojďme otestovat test.sh. Zkusíme tam dát kočku. Tady očekáváme výsledek bez rozdílů, tedy diff -y neukáže žádné šipky a pravá (DSSS) i levá (KSČM) strana diffů bude stejná. Tím se také potvrdí (dobře, ne tak úplně), že celý trik s pseudonáhodnými čísly a se stabilními (tedy na prostěradle zaschlými) náhodnými semeny funguje. Tedy, pravděpodobně!

./test.sh cat

Další krok bude, že si teď místo kočky vytvoříme skutečnou implementaci toho algořiťmu. Říkejme mu třeba window.awk. Má v sobě malou optimalizaci, která hlídá, aby se nikdy nedrželo v paměti víc řádků, než je nezbytné, ale jinak je to obyčejný, tupý stavový automat:

#!/usr/bin/awk -f

function finalize_block(i) {
  if (length(block_window) >= MIN_BLOCK_LENGTH) {
    if (newline_due) print ""
    newline_due = 1
    for (i = begin; i < end; ++i) print block_window[i]
  }
  delete block_window
  begin = end = 0
}

BEGIN {
  MIN_BLOCK_LENGTH = 2
  delete block_window[0]
  begin = end = 0
}

!$0 {
 finalize_block()
 next
}

{ block_window[end++] = $0 }

length(block_window) > MIN_BLOCK_LENGTH {
  if (newline_due) print ""
  newline_due = 0
  print block_window[begin]
  delete block_window[begin++]
}

END { finalize_block() }

Když to splácáme všechno dohromady, bude to dokonce i fungovat:

./test.sh ./window.awk

Výsledné diffy ukazují, že to skutečně požírá unwanted řádky, že to mezi bloky wanted řádků nechává vždy právě jeden prázdný řádek, ať už prázdných řádků a příliš krátkých bloků mezi nimi bylo, kolik chtělo, že to netrousí prázdné řádky na začátku a konci výstupu, atd.

Leč když to aplikujeme na jedno níže uvedené řešení, tak … ejhle, je to rozbité:

./test.sh sed '/^$/ { N;N; /^\n.\+\n$/ s@.*@@ }'

[Andrej]

perl -00nE 'print  if split("\n", $_) >= 2'

Jen pro pořádek tady je ten Perl.

[Andrej]

popřípadě

perl -F'\n' -00E 'print  if @F >= 2'

[mikrom]

podobne ako one-liner v perle sa da tiez pouzit one-liner v awk:
cat fredy72.txt | awk 'BEGIN{RS=""}{if(split($0,a,"\n")>=2)print $0"\n"}'

[Andrej]

To ale vyžaduje, aby se vešel celý blok (mezi osamocenými řádky) do paměti. Za to by zápočet nebyl. Ale je to cool, to bezesporu.

(Kromě toho to není správně; trousí to prázdné řádky na konci.)

awk 'BEGIN { RS = "" }
     split($0, a, "\n") >= 2 {
       print p "\n"
       p = $0
     }
     END { if (p) print p }'

Tahle↑ verze by vyřešila ty extra řádky, ale celý blok v paměti mi nepřijde jako výhra.

[wamba]

ale celý blok v paměti mi nepřijde jako výhra

RS = "\n\n", není řešením? možná něco jako

awk 'BEGIN{RS="\n\n";FS="\n";ORS="\n\n"}{if($2)print $0}'

ale AWK víceméně nepoužívám, takže jen odhaduji.

[Andrej]

FS = "\n" → zase celý blok v paměti. Když budu mít blok o velikosti 100 TB, než přijde první "\n\n", tak to na většině mašin nedám.

V testu to dopadne ještě hůř než minulý one-liner, protože (1) na konci to trousí hned 2 extra prázdné řádky a (2) i uprostřed to trousí prázdné řádky, například na tomhle:

wanted
wanted

unwanted


wanted
wanted

(Off-topic: „{if($2)print $0}“ se řekne prostě $2.)

[mikrom]

"To ale vyžaduje, aby se vešel celý blok (mezi osamocenými řádky) do paměti."

K tomu ma inspiroval ten perl on-liner hore, kde je pouzita command line option:

-00

Ta option, alebo nastavenie premennej v skripte

$/ = ""

sposobi, ze perl bude pracovat v tzv. paragraph mode, t.j. po blokoch.