Dotaz: vlozenie hodnoty zo suboru do suboru

[peter]

dobry den
chcel by som poradit nejaky skript ktory by mi vlozil za oznacene cislo 7806 cislo z ineho suboru kde budem mat definovanu hodnotu napr 2 7806 ,a prave tu hodnotu 2 potrebujem vlozit do ineho suboru ,ten subor na tento tvar
0101.03.0714:24:080000007806073000000000000000000000 tych cisel budem mat v subore viac ,ale hodnoty a cisla sa menit nebudu
dakujem

Odpovědi

[Henly]

Tak to nahrazeni treba takto:
sed "s/\($co\)/\1$pridat/" 2.txt
sed 's/\(7806\)/\12/' soubor.txt

Jedním příkazem se to dá napsat takhle ošklivě:
awk '{print "sed \"s/\\("$2"\\)/\\1"$1"/\" 2.txt"}' 1.txt | sh

testováno na:
$ cat 1.txt
2 7806
$ cat 2.txt
0101.03.0714:24:080000007806073000000000000000000000
$ awk '{print "sed \"s/\\("$2"\\)/\\1"$1"/\" 2.txt"}' 1.txt | sh
0101.03.0714:24:0800000078062073000000000000000000000

[peter]

super ,co ste napisali funguje dobre ,ale ja tych hodnot mam v subore viac ,1.txt napr
2 7806
1 7736
1 3352

asi cca 300 a to mi uz akosi neslo

[ams]

Toto reseni neni optimalizovano (napr. zadna predkompilace regexpu) ale funguje:

$ cat vlozit
#!/usr/bin/perl
print("Pouziti: $0 soubor_se_seznamem_nahrad soubor_s_puvodnimi_daty\n"), exit 
  unless @ARGV == 2;
open NAHRADY, "<", "$ARGV[0]" or die "Nemuzu otevrit $ARGV[0]";
while(<NAHRADY>){
        chomp;
        ($cim,$co)=split;
        $m{$co}=$cim;
}
close NAHRADY;
open DATA, "<", "$ARGV[1]" or die "Nemuzu otevrit $ARGV[1]";
while($radek = <DATA>){
        $radek=~s/$_/$_$m{$_}/g for keys %m;
        print $radek;
}
close DATA;

Priklad:

$ vlozit 1.txt data.txt > vystup.txt

[Hynek (Pichi) Vychodil]

Tak pro špetce optimalizací:

#!/usr/bin/env perl

use strict;
use warnings;

my %m;
while(<>){
	chomp;
	my ($cim,$co) = split;
	$m{$co} = $cim;
	last if eof;
}
my $searchPat = join '|', map quotemeta, keys %m;
while(<>){
	s/($searchPat)/$m{$1}/geo;
	print $_;
}

[ams]

Pokud jde o kratky zapis pak uz neco takoveho :) :

#!/usr/bin/env perl 
use strict;
use warnings;
undef $/;
my %m = reverse split /\s/, <>;
my $s = join "|", map quotemeta, keys %m;
s/($s)/$1.$m{$1}/ge, print for <>;

Uznavam, ze toto reseni je horsi tim, ze nacita cele soubory do pameti. Opravuje ale malou chybicku: v nahrazovaci casti musi byt $1.$m{$1} misto jednoducheho $m{$1}.

[Hynek (Pichi) Vychodil]

Tak to $_ v tom posledním printu je zbytečné, nebo jako oneliner:

perl -pe 'BEGIN{while(<>){chomp;push@m,(split)[0,1];last if eof}%m=reverse@m;$s=join"|",map quotemeta,keys%m}s/($s)/$m{$1}/geo' nahrady soubor(y)

Ještě kratší by bylo použít s/$s/$m{$&}/geo místo s/($s)/$m{$1}/geo ale je to pomalejší viz BUGS in perlvar.

[ams]

:)

perl -0777 -pe 'BEGIN{%m=reverse split /\s/,<>;$s=join"|",map quotemeta,keys%m}s/($s)/$1.$m{$1}/ge'

[Hynek (Pichi) Vychodil]

Aspoň ten(ty) měněný(é) soubor(y) by se nemusel(y) načístat do paměti celý(é). A ten regulár bych taky nekompiloval pořád dokola.

perl -pe 'BEGIN{local $/;%m=reverse split /\s/,<>;$s=join"|",map quotemeta,keys%m}s/($s)/$1.$m{$1}/geo'

[ams]

Toto asi bude nejlepsi reseni.

A ten regulár bych taky nekompiloval pořád dokola.

V mem reseni ten regexp se kompiluje jenom jednou, protoze se aplikuje hned na cely soubor (ano, predpokladal jsem, ze ten soubor bude jenom jeden).

[Jan Martinek]

Dalo by se použít třeba tohle:

#!/usr/bin/env python
nahrady = []
for line in file('1.txt'):
    a, b = line.split()
    nahrady.append((b, b + a))
    
for line in file('2.txt'):
    for num1, num2 in nahrady:
        new = line.replace(num1, num2)
        if new != line:
            print new.strip()
            break

Nejprve si to z prvního souboru vytvoří seznam, co se má čím nahradit, např

[('7806', '78062'), ('7736', '77361'), ('3352', '33521')]

A pak prochází druhý soubor a každý jeho řádek testuje, zda se v něm dá něco nahradit. Pokud ano, vypíše ho a ihned pokračuje ve zpracování dalšího řádku. Ale nevím, co se má stát, když se nic nahradit nepodaří, zda jsou náhrady vždy jednoznačné a jestli například nejsou čísla vždy na stejných pozicích - to by se pak dalo použít asociativní pole, které je zatraceně rychlé. Nemáš někde odkaz na oba soubory?

[Hynek (Pichi) Vychodil]

Huh, ten python je teda nic moc. Aby člověk mohl udělat rozumě srovnatelně rychlý a konfortní program, tak musí napsat něco takového:

#!/usr/bin/env python
import sys, sre

def nahrady_gen (seq):
	for line in seq:
		a, b = line.split()
		yield (b, b + a)

nahrady = dict(nahrady_gen(file(sys.argv[1])))
searcher = sre.compile('('+'|'.join(sre.escape(key) for key in nahrady.keys())+')')
def linechanger (line):
	return searcher.sub(lambda match: nahrady[line[match.start():match.end()]], line)

for filename in sys.argv[2:]:
	if filename == '-':
		f = sys.stdin
	else:
		f = file(filename)
	for line in f:
		print linechanger(line.strip())

Na tom kódu je pěkne vidět co v šechno udělá perl za mě. Je fakt, že v pythonu moc neprogramuju (prakticky vůbec), tak se nějakej pythonysta předveďte. Jen bych chtěl, aby to mělo srovnatelný výkon (nebude se to celé načítat do paměti, regulár se bude kompilovat jen jednou, překlad přes dict a ne ta cyklická hrůza) a podobně konfortní (bude to pracovat s parametrama z příkazové řádky a bude to pracovat s víc než jedním souborem).

[Hynek (Pichi) Vychodil]

No to je teda úroveň dokumentace :( Kde se krucinál dá najít dokumenatce k objektu SRE_match? To si ho mám snad vycucat z prstu? Aha, to musím hledat na webu, to není v pydocu :( No tak se nám ta implementace o chlup zjednoduší, ale furt je to proti perlu dost rozdíl:

#!/usr/bin/env python
import sys, sre

def nahrady_gen (seq):
	for line in seq:
		a, b = line.split()
		yield (b, b + a)

nahrady = dict(nahrady_gen(file(sys.argv[1])))
searcher = sre.compile('|'.join(sre.escape(key) for key in nahrady.keys()))
translator = lambda match: nahrady[match.group()]

for filename in sys.argv[2:]:
	if filename == '-':
		f = sys.stdin
	else:
		f = file(filename)
	for line in f:
		print searcher.sub(translator, line)

[Jan Martinek]

... tak se nějakej pythonysta předveďte. Jen bych chtěl, aby to mělo srovnatelný výkon (nebude se to celé načítat do paměti, regulár se bude kompilovat jen jednou, překlad přes dict a ne ta cyklická hrůza) a podobně konfortní (bude to pracovat s parametrama z příkazové řádky a bude to pracovat s víc než jedním souborem).

Hm, možná se očekává, že budu nějak bojovat na obranu pythonu, když ho používám. Ale moc se mi nechce, jsi nějaký moc agresivní.
No tak jsem aspoň pustil tu svou původní neoptimalizovanou verzi na dva soubory 1.txt -- 1000 řádků a 2.txt s 10000 řádky. Běželo to 10 sekund, stejně jako varianta v perlu. No a tvá závěrečná varianta v pythonu je asi dvacetkrát rychlejší, jenže ...
každý z nás chápe zadání jinak, a proto každé řešení dává trochu jiné výsledky, tak to nemá cenu srovnávat.
Testovací soubory jsem generoval tímhle:

#!/usr/bin/env python
import random

def gen1txt(N):
    fw = file('1.txt', 'w')
    for i in range(N):
        a = random.randint(0, 9)
        b = random.randint(1000, 9999)
        fw.write('%d %d\n' %(a, b))

def gen2txt(N):
    fw = file('2.txt', 'w')
    for i in range(N):
        a = random.randint(1000, 9999)
        fw.write('%s%d%s\n' %('0'*20, a, '0'*20))


gen1txt(1000)
gen2txt(10000)

Ale znovu podotýkám - dokud se neozve původní autor dotazu a nevyjasní detaily, tak nemá cenu se dál bavit.

[peter]

dakujem vsetkym za odozvu ,takze aby som to spresnil ,(mozno som sa zle vyjadril) :)

subor 1.txt ma v sebe 2 cisla

X XXXX
,X=je hodnota bud 1 2 alebo 3 ,XXXX je 4miestne cislo ,prezentuje to osobne cislo

subor 2.txt nesie v sebe log. z identifikacneho systemu ,kde je cas prihodu a ine ,zvyraznene cislo je to osobne cislo ,a co xcem urobit je, ze zo suboru 1.txt mam zoznam osobnych cisel a hodnutu, ktoru mam pridelit do suboru 2.txt za to zvyraznene cislo ,
PS ten log ma cez 50MB ,je to zaznam cca od 2005

[Jan Martinek]

Díky za upřesnění. Rád bych ještě věděl, jak se vlastně v tom logu pozná to čtyřmístné identifikační číslo. Má v řetězci vždycky stejnou pozici mezi 24. a 28. znakem? Pokud ano, dal by se ten program napsat třeba takto:

#!/usr/bin/env python

copridat = {}
for line in file('1.txt'):
    hodnota, os_cislo = line.split()
    copridat[os_cislo] = hodnota

zacatek, konec = 24, 28 # Jestlipak je tohle pravda ...

for line in file('2.txt'):
    line = line.strip()
    os_cislo = line[zacatek:konec]
    hodnota = copridat[os_cislo]
    print line[:konec] + hodnota + line[konec:]

Zkusil jsem tím zpracovat uměle vytvořený padesátimegový log, přičemž soubor 1.txt obsahoval 10000 položek, tedy všechna identifikační čísla se využila. Bylo to hotové za necelé čtyři sekundy, tak snad to bude stačit.

[peter]

ano ,to 4miestne cislo ma stale rovnaku poziciu ,dakujem za vas podnet ,hned to skusim ,dakujem este raz :)