Dotaz: vlozenie riadku do textu

[Peter Farbiak]

Dobry den. Potreboval by som poradit. Mam textovy subor v takomto tvare

a

b

c

e

f

a medzi riadok obsahujuci text "c" a riadok obsahujuci text "e" chcem vlozit riadok s textom "d". Mozete mi poradit ako na to v awk alebo perle?

Dakujem

Odpovědi

[Peter Farbiak]

Zabudol som spomenut, ze ide o velke textove subory s velkostou do 15MB, takze podmienkou je aby bolo riesenie rychle. Spravil som to pomocou sedu,avsak ten bol pomaly,kedze som musel pouzit parametre P a D.

[Fuky]

Na 250MB soubor:

aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
ccccccccccccccccccccccccccccccccccccccccccccccccccc
eeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee
fffffffffffffffffffffffffffffffffffffffffffffffffff

Jsem poslal:

$ time cat in |sed 's/\(ccccccccccccccccccccccccccccccccccccccccccccccccccc\)/\1\nddd/' > out

A nepřijde mi to zas tak moc pomalé:

real    0m26.187s
user    0m14.973s
sys     0m5.016s

15MB zmákne za 1.5s, potřebuješ to ještě rychleji? (CPU 2.40GHz, cache 128 KB, rychlost disku 55.68 MB/sec)

[Peter Farbiak]

zle som to vysvetlil.moja chyba.dajme tomu,ze ten subor vyzera takto

a

b

c

e

a

b

c

f

a ak za sebou nasleduju riadky "c" a po nom riadok "e",tak medzi ne dopln riadok "d". V pripade,ze za riadkom "c" nasleduje nieco ine nepridaj medzi ne nic.

Dufam,ze teraz je to uz vysvetlene spravne.

[Fuky]

V tom případě:

/^PrvniRadek$/ {
    N
    s/DruhyRadek$/VlozenyRadek\nDruhyRadek/
}

[Franta Hanzlík]

Příloha:

• run.tgz (2830 bytů)

Pro zajímavost jsem zkusil porovnat rychlost zpracování při použití perlu, awku a sedu. Vstupní soubory s velikostí cca 15MB s různými délkami řádek (2,4,8,16,32,64,128,256 znaků vč. LF), řádky s posloupností písmen "abcebcf" podle zadání. Testoval jsem na dvou různě výkonných strojích, scripty a výsledky viz příloha, ve stručnosti:

• čím kratší jsou řádky (tj. na stejnou velikost souboru je jich v něm více) tím je zpracování delší.
• na krátkých řádkách o jednom znaku je awk cca 2x rychlejší než perl a sed cca 3x rychlejší než perl.
• soubor s řádky o délce 7 znaků je v perlu zpracován cca 4x rychleji než soubor s řádky o L=1, awk má zhryba stejnou rychlost zpracování jako perl, a sed je proti nim stále 2-3x rychlejší.
• soubor s řádky o délce 63 znaků awk zpracuje cca 2x pomaleji než perl, sed je oproti perlu cca 2x rychlejší.
• na souborech s dlouhými řádky (255 znaků) je perl cca 4-5x rychlejší než awk, sed je rychlejší jen o pár desitek procent rychlejší než perl.

[Jan Šimák]

Díky za hodnotné srovnání. Hold co se týká zpracování textu v linuxu, je sed nejlepší volbou Pokud bychom neměli řádky o délce >255 znaků, tam se to asi bude postupně otáčet ve prospěch perlu.

[Semo]

ed subor <<EOF
/c/
a
d
.
wq
EOF

[Jan Šimák]

Příloha:

• run.pl (851 bytů)

Řešení v perlu by mohlo být třeba následující, viz příloha.
benchmark:
1) 17MiB soubor:

real    0m6.656s
user    0m5.680s
sys     0m0.108s

2) 256MiB soubor:

real    1m34.719s
user    1m26.397s
sys     0m1.100s

pc je core2duo 2GHz, 1GB ram

[Peter Farbiak]

to je presne ono.dakujem pekne