Dotaz: porovnání 2 souborů

[Karel Borkovec]

Dobrý den. Mám 2 soubory:

aaa;200
bbbb;350
cc;467

a druhý:

aaa;1
bbbb;2
cc;3

Potřeboval bych je porovnat a vytvořit třetí soubor který bude vypadat takto:

1;aaa;200
2;bbbb;350
3;cc;467

Půjde to nějak jednoduše v bashi nebo awkem?

Odpovědi

[slano]

toto by mohlo nakopnut:

#!/bin/sh

cat $1 |while read line1
do
  pattern=`echo $line1 | cut -f 1 -d ";"`
  line2=`grep $pattern $2`
  echo `echo $line2 | cut -f 2 -d ";"`";$line1"
done

ako parameter tomu daj prvy a druhy subor, este je potrebne osetrovat return code grepu (ak by nahodou nenaslo hladany vzor v druhom subore, neviem ako to chces)

[Karel Borkovec]

Sorry uvedl sem špatný příklad, toto by fungovalo dobře, kdyby vždy souvisel první řádek v prvním souboru s prvním řádkem v druhém souboru... ale když to bude takto:

aaa;200
bbbb;350
cc;467

a druhý:

cc;1
aaa;2
bbbb;3

Tzn. když to bude různě proházené, tak ten skriptík nedube fungovat, proto sem psal v nadpisu "porovnání" souborů... Doufám, že jsem to napsal srozumitelně...

[Hynek (Pichi) Vychodil]

Hmm, tak to jsi měl říct hned

join -t ';' -o '2.2 1.1 1.2' <(sort file1) <(sort file2)

[Hynek (Pichi) Vychodil]

Pokud nemáš bash, ale pouze sh, tak ekvivalentní je

mkfifo fifo1 fifo2
sort <file1 >fifo1 &
sort <file2 >fifo2 &
join -t ';' -o '2.2 1.1 1.2' fifo1 fifo2
rm fifo1 fifo2

[Karel Borkovec]

Mám bash i sh, díky moc! Funguje to dobře!

[Hynek (Pichi) Vychodil]

Teda nevím jako moc velké jsou ty soubory, ale pro hodně velké soubory by byl rychlejší perl. Třeba trošku brutal oneliner

 perl -e 'sub p(){chomp;split /;/, $_, 2} open F, "<$ARGV[0]"; while(<F>){($k,$v) = p; $t{$k}=$v} close F; open F, "<$ARGV[1]"; while(<F>){($k,$v) = p;  print "$v;$k;$t{$k}$/"} close F' file1 file2

případně jako script

#!/usr/bin/env perl
@ARGV >= 2 or die 'Not enough paramters';
sub p () {
  chomp;
  split /;/, $_, 2
}
open F, "<$ARGV[0]" or die "Can't open $ARGV[0] for readin";
while(<F>){
  ($k,$v) = p;
  $t{$k}=$v
}
close F;
open F, "<$ARGV[1]" or die "Can't open $ARGV[1] for readin";
while(<F>){
  ($k,$v) = p;
  print "$v;$k;$t{$k}$/"
} close F

[Hynek (Pichi) Vychodil]

Ještě kratší perl oneliner, aneb vychutnejte sílu perlu

perl -e 'sub p(&$){open F, shift @ARGV;while(<F>){chomp;($k,$v)=split /;/,$_,2;&{$_[0]}}close F}p{$t{$k}=$v};p{print "$v;$k;$t{$k}$/"}' file1 file2

Je fakt, že to jde určitě napsat ještě méně čitelně, ale na mistry oboru ještě dlouho mít nebudu.

[Hynek (Pichi) Vychodil]

Oh, chybička se vloudila

perl -e 'sub p(&){open F,shift @ARGV;while(<F>){chomp;($k,$v)=split /;/,$_,2;&{$_[0]}}close F}p{$t{$k}=$v};p{print "$v;$k;$t{$k}$/"}' file1 file2

Kdo chce ušetřit ještě pár znaků, může vynechat close F

[David Watzke]

Wow a tohle dáváš opravdu jen tak z hlavy? Ani to nemusíš zkoušet?

[Hynek (Pichi) Vychodil]

No jasně, při troše praxe to jde samo

[slano]

no, dovolim si tvrdit ze fungovat bude ;) kazdopadne join je elegantnejsie riesenie

[Hynek (Pichi) Vychodil]

Kromě toho, že tahle implementace je silně suboptimální, protože se ten druhý soubor čte tolikrát, kolik je počet řádků prvního souboru je ten shell pěkně nevyužitej.

IFS=';'
while read key rest
do
  echo "$rest;$(grep "^$key;" "$1")"
done <"$2"

[Hynek (Pichi) Vychodil]

Tak jde to implementovat i bashi stejně jednoprůchodově.

uniqprefix=yuwg
IFS=';'
while read key rest
do
  eval "$uniqprefix$key=$rest"
done <"$1"
while read key rest
do
  var="$uniqprefix$key"
  [ -n "${!var}" ] && echo "$rest;$key;${!var}"
done <"$2"

Dvě drobné záludnosti, je nutnost definovat jednoznačný prefix a první cyklus se nesmí spustit jako subproces. Takže ani žádné roury. Jde to samozřejmě vyřešit pro bash (... done < <(filter "$1")) i pro sh (teda pokud to celé vůbec v sh funguje).

[Michal Čihař]

join(1)?

[Hynek (Pichi) Vychodil]

join -t ';' -o '2.2 1.1 1.2' file1 file2

[Hynek (Pichi) Vychodil]

Oneliner demonstration (only for bash):

join -t ';' -o '2.2 1.1 1.2' <(echo -e 'aaa;200\nbbbb;350\ncc;467') <(echo -e 'aaa;1\nbbbb;2\ncc;3')

[Andrej]

To je zajímavé, kolik je na jeden problém řešení. Ještě tu nebyl awk, zde tedy je:

cat vstup1.txt vstup2.txt | awk '
BEGIN { FS = ";" }
/^$/ { druhySoubor = 1; }
/.+/ { if ( druhySoubor ) { pole[ $1 ] = $2 ";" pole[ $1 ]; } else { pole[ $1 ] = $0; } }
END  { for ( i in pole ) { print pole[ i ]; } } ' | \
sort -n -t";" -k1

• Vstupní soubory jsou ve stejném pořadí jako v zadání.
• První soubor musí končit prázdnou řádkou.
• Je to dost ošklivý kus kódu ve srovnání s jinými návrhy.

[Hynek (Pichi) Vychodil]

Tak ten problém s přidáním prázdného řádku i s vyloučením prázdných řádků ve vstupních souborech jde taky udělat takto

(egrep -v '^$' file1; echo; egrep -v '^$' file2) |
awk ...

Ale musím uznat, že to už je fakt maso Nadruhou stranu by to mělo být srovnatelné s tím řešením v perlu.

[Andrej]

Tak to je ovšem pěkně hustý! To mě nenapadlo. Ale kratší než join to už stejně nevymyslíme...

[Hynek (Pichi) Vychodil]

Tenhle algoritmus jde udělat i v perlu a je to dokonce kratší než perlish řešení

perl -ne 'chomp;m/^$/&&++$d&&next;($k,$v)=split /;/,$_,2;$d?print "$v;$k;$t{$k}$/":($t{$k}=$v)'

Osobně se mi to ale moc nelíbí.