Dotaz: Automaticke porovnani a oznaceni odlisnosti v txt souboru

[tomes.io]

Ahoj,

mam dva textove soubory a oba potrebuju skriptem porovnat radek po radku tak, aby skript nestejne radky oznacil.

Tak me napadlo ze

 diff -c 

oznaci radky, ktere jsou jine, vykricnikem:(!) na zacatku radku.

No a napadlo me brat dycky radek po radku z kazdeho souboru do nejakeho tmp (tmp='tmpfile' kvuli bezpecnosti), ty porovnat diffem, pokud je radek stejny, tak appendnout

>>

do tmp souboru, pokud je radek jiny, diff ho oznaci a taky (oznaveny) radek pripne do tmp soubor. Pak tmp prepise puvodni soubor.

Pseudoskript by vypadal nejak takto:

#!/bin/bash
while read line; do 
    echo $line > tmp          #vezme radek
                              #zde porovnava s druhym, ale jak, nejakou vhodnou funkci?
    cat tmp >> temporary      #pripina do dalsiho docasneho postupne radek po radku, vcetne oznacenych
done < "sample.txt"

Byl bych rad, kdyby me nekdo nakopnul spravnym smerem.

---

---

Odpovědi

[NN]

Kvuli bezpecnosti brat radek po radku ?? Proc tedy neskopirovat rovnou cele soubory a porovnat je diffem ?

[tomes.io]

Sorry, tam melo byt kvuli bezpecnosti

tmpfile=`mktemp`

. Je lepsi pouzit mktemp nez vytvoreni noveho docasneho souboru (kvuli symlink vulnerability). Pro potreby pseudokodu je to vsak irelevantni (navic mktemp umozni bezproblemove spusteni skriptu na jednom pocitaci vicekrat).

Kdyby slo porovnat soubory diffem tak, aby mi tako vystup hodil jiz oznacene soubory, bylo by to fajn. Ale nevim, jak to udelat, nikde jsem takovou moznost nevygooglil, proto me napadl ten postup s porovnanim radek po radku.

Zkratka, kdyz mam v jednom souboru:

aaaaa
bbbbb

a v druhem:

aaaaa
ccccc

tak chci, aby vystup skriptu byly soubory, ve kterych by byly nejak oznacene radky, ktere se neshoduji, napr v prvnim souborU:

aaaaa
(!)bbbbb

v druhem:

aaaaa
(!)ccccc

[Patrik Uhrak]

#! /bin/bash

input1="$1"
input2="$2"

while read line
do
        if grep -e "$line" "$input2" &>/dev/null
        then
                sed -i "s/$line/\!$line/" "$input1" "$input2"
        fi 
done <./"$input1"

Ako zaklad by to mohlo byt. Docasnymi subormi by som sa netrapil, iba to komplikuje vec. Staci spravit zalohu originalu pre spustenim skriptu.

[Patrik Uhrak]

Treba opravit sed, lebo v danom skripte pri prvej zhode konci. Spravne to ma byt:

sed -i "s/$line/\!$line/g" "$input1" "$input2"

[tomes.io]

Super, tohle me docela nakoplo, zbytek vyzjistim uz z manualu. Diky.

[tomes.io]

No tak to jako zaklad reseni selhava. neuvedomil jsem si, ze ten while bere pouze jeden radek z prvniho souboru.

Prochazi WHILE soubor1, ale co ten soubor2? ten prece neprochazi radek po radku... Skript zkratka neudela vybec nic... neco jsem prehledl? Skrze ten cyklus to asi nepujde...

[Patrik Uhrak]

Aj ste to skusali spustit ??? Bo robi to, co ste chceli. Ak porovnavam dva subory a hladam zhodu, tak ak sa prejde cely prvy subor riadok po riadku, tak nie je dovod kontrolovat kazdy riadok z druheho a porovnavat s riadkami v prvom subore.

Vid ukazku:

#! /bin/bash
 
input1="$1"
input2="$2"
 
while read line
do
        if grep -w -e "$line" "$input2" &>/dev/null
        then
                sed -i "s/$line/\!$line/" "$input1" "$input2"
        fi
done <"$input1"

test2.file

aaaaa
fdsafasdsdafbbbbb
cccccsfdsfsd
fffffff
gggggasfsdf
hjlkk
ewiorjodsfsdfsdf
ad;kl
jlkfsfafaf
xxxxxxdfsdfaf

test1.file

aaaaa
bbbbb
ccccc
fffffff
ggggg
hjlkk
ewiorjo
ad;kl
jlk
xxxxxx

Po spusteni skriptu je vysledok nasledovny:

Lucias-MacBook-Pro:~ lucka$ grep -n ^! test*.file
test1.file:1:!aaaaa
test1.file:2:!bbbbb
test1.file:4:!fffffff
test1.file:6:!h!jlkk
test1.file:8:!ad;kl
test2.file:1:!aaaaa
test2.file:4:!fffffff
test2.file:6:!h!jlkk
test2.file:8:!ad;kl
Lucias-MacBook-Pro:~ lucka$ grep -v -n ^! test*.file
test1.file:3:ccccc
test1.file:5:ggggg
test1.file:7:ewiorjo
test1.file:9:jlk
test1.file:10:xxxxxx
test2.file:2:fdsafasdsdaf!!bbbbb
test2.file:3:cccccsfdsfsd
test2.file:5:gggggasfsdf
test2.file:7:ewiorjodsfsdfsdf
test2.file:9:jlkfsfafaf
test2.file:10:xxxxxxdfsdfaf

Subory vyzeraju samozrejme inak, len som chcel ukazat zhody osve od riadkov, kde ku zhodam nedoslo, aby si si to mohol porovnat a videl dovod, preco je iba mrhanim prostriedkov konat inak.

[tomes.io]

Jasneze jsem to zkousel :) Ale v praci na win pres cygwin. Doma na Fedore to pracuje, takze se omlouvam za paniku. Fakt jsem myslel, ze je to ve spatnem cyklu . Takze uz to jede, sice to oznacuje shodne radky (chtel jsem neshodne) ale to je uz malickost.

Horsi je, ze sed ma evifentne problem s tagy. Ja potrebuji takto porovnavat a oznacovat soubory, ktere maji jednu vetuna kazdem radku a kazda veta zacina < s > a konci < lomitko s>. Pdobne, jako mi zdejsi diskuse nepovoli ukoncovaci tag a musel jsem napsat slovy "lomitko" tak sed s tim ma taky problem:

sed: -e expression #1, char 47: unknown option to `s'
sed: -e expression #1, char 40: unknown option to `s'
sed: -e expression #1, char 44: unknown option to `s'
sed: -e expression #1, char 51: unknown option to `s'

Jeda se vzdy o ukoncovaci tagy.

Da se tohle nejak obejit?

[Michal Kubeček]

Proč neukážete i ten příkaz, který jste zkoušel? Takhle můžu jen hádat: tipuji problém s lomítkem, které bylo vyhodnoceno jako oddělovač, takže následující "s" sed chápal jako (neznámou) option. Je-li to tak, buď před to lomítko, které má být součástí vzorku, dejte backslash, nebo použijte jiný oddělovač, který nemáte ve vzorku ani v replacement textu.

[tomes.io]

Jaky prikaz mate na mysli? Spusteni skriptu? Ten povazuji za zrejmy:

]$ ./compare.sh file1.txt file2.txt
sed: -e expression #1, char 84: unknown option to `s'
sed: -e expression #1, char 28: unknown option to `s'
sed: -e expression #1, char 74: unknown option to `s'

Poukazuji na to, ze problem je v samotnych textovych souborech, ktere obsahuji tagy.

Vypada to nejak takto:

<s> veta </s>
<s>druha veta </s>

Soubory samotne modifikovat modifikovat nijak nemuzu, format vety uzavrenych mezi tagy musi zustat zachovan.

[tomes.io]

Snad by slo misto sed vyuzit awk.

[Michal Kubeček]

Jaky prikaz mate na mysli? Spusteni skriptu?

Ne, pochopitelně příkaz sed, který vám tu chybu hlásí. Bez toho, abyste ukázal, s jakými parametry ho voláte, můžu jen hádat naslepo.

[Michal Kubeček]

Aha, on je to ten skript výše. Tak lomítko by ještě šlo ošetřit pomocí

  sed -e "s/^${line//\//\\/}$/\!&/"

(stříška a dolar jsou nutné, aby to nenašlo i řádky, které obsahují řádek z prvního souboru jako podřetězec), ale stejně tam budou dělat problémy všechny ostatní konstrukce regulárních výrazů, např. tečka. Další chyba je v použití "read line", které odstraní počáteční a koncové mezery. A konečně se při upravování druhého souboru mění soubor, vůči kterému porovnáváme další řádky. Takže když už to dělat takhle, tak spíš

#!/bin/bash

matches1=`mktemp`
matches2=`mktemp`

i=1
while read; do
    line="$REPLY"

     j=1
     while read; do
         if [ "$line" = "$REPLY" ]; then
             echo $i >>"$matches1"
             echo $j >>"$matches2"
         fi
         : $[j++]
     done <"$2"

    : $[i++]
done <"$1"

aux=`mktemp`
prev=0
exec 3<"$1"
sort -n -u "$matches1" | while read next; do
    for ((i=prev; i<next; i++)); do
         read <&3
         echo "$REPLY" >>"$aux"
    done
    read <&3
    echo "!$REPLY" >>"$aux"
done
rm -f "$matches1"
mv -f "$aux" "$1"

aux=`mktemp`
prev=0
exec 3<"$2"
sort -n -u "$matches2" | while read next; do
    for ((i=prev; i<next; i++)); do
         read <&3
         echo "$REPLY" >>"$aux"
    done
    read <&3
    echo "!$REPLY" >>"$aux"
done
rm -f "$matches2"
mv -f "$aux" "$2"

(píšu to z hlavy a nemám čas to zkoušet, takže tam asi budou nějaké chybičky)

[tomes.io]

No nakonec to slo vyresit bez lomitek:

sed -i "s#$line#!$line#g" "$input1" "$input2"

A zda se, ze to dela co potrebuju.

[Michal Kubeček]

Jen dokud tam někde nebude křížek.

[Michal Kubeček]

…nebo kterýkoli znak nebo kombinace znaků, které mají v regulárních výrazech speciální význam. A samozřejmě to bude matchovat i podřetězce.

Gratuluji, podařilo se vám úspěšně ignorovat všechno, co jsem napsal ve svém příspěvku. Hlavně že jste si to označil jako řešení…

[tomes.io]

Tam budou jen normalni ceske vety uzavrene vyse zminenymi tagy. A prave ty tagy, resp. backslash delaly problemy. Krizky ani jine regularnevyrazove tam nebudou...

ja dekuji za pomoc, ale moje reseni resi co ja potrebuji. nemusim osetrovat uplne vsechny pripady a moznosti. Pokud Vam to vadi, muzu se odznacit a jako reseni oznacit Vas prispevek... ja jen rikam, ze co jsem chtel, to jsem dostal..

[tomes.io]

navic Vase reseni zavorek:

sed -e "s/^${line//\//\\/}$/\!&/"

nefunguje. Skript neudela nic, nic neoznaci.

[Michal Kubeček]

Mně to funguje:

mike@unicorn:~> line=x/y
mike@unicorn:~> sed -e "s/^${line//\//\\/}$/\!&/" <<EOT
ax/yb
x/y
xy
EOT                                                                             
ax/yb                                                                           
!x/y                                                                            
xy                                                                              

[Michal Kubeček]

Mám nejasné tušení, že hledáte příkaz comm (ale pozor, funguje jen na seřazené soubory).

[Kit]

Opět mám tušení, že tady někdo vynalézá kolo, když si může z garáže vytáhnout auto. Když nám prozradíš, k čemu to potřebuješ, tak ti možná poradíme nějaký verzovací systém, který tvůj problém vyřeší komplexně.

[tomes.io]

Ja to dostal zkratka jako zadani ukolu pro skolni laborator... Rozkaz znel jasne: musi to byt bash script (verzovaci system tedy nepomuze) na porovnani textu (nejlepe schopny zpracovavat vice nez dva soubory zaraz) ktery bude nejak oznacovat vety/radky, ktere se neshoduji (vsechny texty jsem si uz predtim jinym skriptem upravil tak, aby 1 radka = 1 veta.

[Michal Kubeček]

Aha, takže domácí úkol. :-(

[tomes.io]

Dobrovolny ukol, nikoliv klasicky domaci. Koneckoncu jsou prazdniny, jenom ja blbec se chci neco porad ucit a delat ;) Proc ten smajlik, je na tom neco spatneho? Psal jsem, ze chci nakopnout, ne aby to za me nekdo vyresil (to bych se toho s takovou asi moc nenaucil, i kdyz jedna z cest jak se neco naucit je pry cist programy po druhych :)

[Michal Vyskočil]

Psal jsem, ze chci nakopnout

V tom případě použij oblíbený vyhledávač a zadej "bash mapfile" - ale raději si ověř, že v zadání bylo bash skript.