Kouzla v konzoli: convmv (diskuse)

[Jan Včelák]

Tohle je moc krasnej nastroj. Ovsem bych potreboval jeste neco, co by mi podobne zkonvertovalo obsah souboru. iconv je dobry na jeden soubor, ale celou adresarovou strukturu je to dost na nic - mam teda napsanej malej scriptik, ale ocenil bych, kdyby to nejakej program resil jako convmv.

[Radek Podgorny]

No to by bylo trochu windowsacke mit na to samostatny program (bez urazky).

Napsal bych asi neco jako:

for f in $(find /); do iconv -f iso-8859-2 -t utf-8 $f >/tmp/xx && mv /tmp/xxx $f; done

Je to samozrejme nedokonale, ale staci vyresil nazvy s mezerami apod. (mozna to taky zahodi pravaa tak, ale to vse se da osetrit) a je to...

[Hynek (Pichi) Vychodil]

Je to samozrejme nedokonale, ale staci vyresil nazvy s mezerami apod. ...

Uááááá, no bodejď, když někdo použije for f in $(find /), tak si nic jiného nezaslouží než mít problémy a to hodně velké, nejlépe smažení v pekelných plamenech

[Radek Podgorny]

Ja ale psal, ze to je to nedokonale (rozumej hnus) a sam bych to nepouzil, jen jsem chtel demonstrovat, ze by to slo i jako one-liner...

Holt nemam cas to ted vymyslet a debugovat

[petr_p]

Tak proc jste to nenapsal aspon trochu lepe? Vzdyt i takovy find -type f -exec recode latin2..utf8 {} \; je bezpecnejsi a kratsi.

[Radek Podgorny]

Protoze to proste neumim . Jen vim, ze to jde a chtel jsem tazatele nasmerovat na patricne man-y. Ja jsem spis zvykly si napsat nejakou jednorazovku v pythonu...

...to vase reseni vypada velmi dobre a jednoduse, jdu zalezt zpet pod kamen...

[Jan Včelák]

Koukam do historie a takhle jsem nedavno resil prevod cestiny pro phpBB z windows-1250 na utf-8

find lang_czech -type f -exec iconv -f windows-1250 -t utf-8 -o utf8_{} {} \;

Ale ma to jednu velkou nevyhodu. Nejdriv jsem si musel pripravit adresarovou strukturu podle te puvodni - coz zde nebyl problem, ale pro vetsi pouziti by mohl.

Ale prave je blby, ze iconv neumi udelat tohle: iconv aaa > aaa Musim to sypat do jinyho souboru a pak tim nahradit ten puvodni.

[Kníže Ignor]

Bohužel žádný nástroj nemůže vyřešit situaci, kdy se na soubor s diakritikou pomocí jména někdo odkazuje a kódování je pak změno. Nejen proto diakritiku v názvech souboru striktně odmítám, je zdrojem zbytečných problémů.

[Filip Jirsák]

To je pak někde chyba, ne? Neodkazuju se na soubor určený shlukem bytů, ale odkazuju se na něj názvem. Ten musím mít někde uložený, znaky tam musí být v nějakém kódování a to kódování by mělo být známo tomu, kdo se ty bity jako nějaký text v nějakém kódování snaží interpretovat.

V Unixu se názvy souborů neberou jako text, ale jako shluk bytů, takže aby to bylo kompatibilní s pojetím názvu souboru jako textu, musí mít příslušné aplikace a knihovny způsob, jak určit ono použité kódování pro celý filesystém. Problém je, pokud mám symlink mezi různými filesystémy, tam už se projeví tento nedostatek v tom, jak Unix chápe názvy souborů.

To, že je nutné uvádět různé metainformace (kódování, časy modifikace, MIME typ apod.) o souborech při síťové komunikaci, se dnes už považuje za normální. Jsem zvědav, zda se dožiju toho, že budou existovat standardní způsoby, jak tyto informace ukládat přímo k souborům. Ideálně se k tomu hodí extended attributes, jenom zbývá definovat nějakou standardní množinu a naučit s tím aplikace pracovat. Protože situace, kdy mám "v půlce" souboru napsáno, v jakém je ten soubor vlastně kódování, a v jakém kódování mám vlastně tu informaci o kódování číst, je poněkud … zvláštní.

[petr_p]

FS nativni pro MacOSX to tak ma. Teda, nejsem si jisty s kodovanim, ale MIME type tam je urcite.

[Kníže Ignor]

Ten musím mít někde uložený, znaky tam musí být v nějakém kódování a to kódování by mělo být známo tomu, kdo se ty bity jako nějaký text v nějakém kódování snaží interpretovat.

Jak to může být známo v případě obyčejného souboru? Pak se ten interpret musí spolehnout na nějakou informaci z vnějšku nebo použít nějakou implicitní volbu. Pokud uložím seznam souborů ve Windows, pak určitě ani po překódování názvů souborů nebudou položky toho seznamu správně ukazovat na soubory. Musel bych ještě překódovat ten soubor se seznamem. Pokud nepoužiju diakritiku, tento problém odpadá.

[Nikola Ciprich]

no jo, to jsou takove chytre rady odmitnout diakritiku, zvlaste ve dvacatem prvnim stoleti. nekteri uzivatele si proste chcou ukladat cesky pojmenovane soubory, a spravce to mnohdy asi tezko muze zakazat...

[Kníže Ignor]

To nejsou žádné rady a je mi taky úplně fuk, co chtějí nějací uživatelé. Já se držím své strategie, která se v praxi osvědčuje, a diakritiku v názvech nepoužívám.

Tvůj komentář vůbec nechápu.

[Filip Jirsák]

Stejně jako by to mělo být známo u jakéhokoli jiného typu souboru. Prostě někdo (třeba OS) si ukládá nějaký text (třeba jméno souboru). A protože převádí text na posloupnost bytů, musí provést nějaké kódování. Když pak zase chce z posloupnosti bytů získat text, musí provést dekódování. Jak pozná, jaké dekódování má použít, to je věc implementace. Může to být nějaké kódování natvrdo definované pro určitý druh filesystému, může to být kódování určené pro nějaký oddíl a poznamenaný v metadatech souborového systému, může pro mne za mne použít pro každý soubor jiné kódování (názvu souboru) a to si někam poznamenat.

S tím, že unixy neberou název souboru jako text, ale jako posloupnost bytů, se budou muset unixy nějak vyrovnat, protože okolní svět nějaké byty nezajímají, okolní svět používá texty. Ono to nebude zase tak těžké – prostě každý souborový systém (myšleno jako oddíl na disku) bude mít přiřazené kódování aknihovny starající se o práci se soubory zabezpečí převod z bytů na text a opačně dle tohoto kódování. Symlinky budou obsahovat taky text, a je po problémech.

[petr_p]

convmv je vyborny nastroj, hlavne rekurzivni prochazeni s vykonavanim od spodu se vyplati.

To zajimave totiz zacne teprve az tehdy, az vam nekdo hodi nekolik stovek "®esky" pojmenovanych souboru, ktere byly kopirovany ze systemu na system nehlede na znakovou sadu. Pokud mate stesti a zmeny jsou teoreticky opravitelne, pak nastoupi vyssi magie: convmv na prochazeni a substitovany skript na resuscitaci retezcu.

Napr. tohle jsem pouzil po stazeni souboru z ISO8859-2 FTP serveru na NTFS a naslednem nakopirovani pres sambu na UTF-8 server:

convmv -f latin2 -t utf8 \
--exec 'NEW=`echo #1 |recode -f utf8..latin1|recode latin2..utf8`; mv #1 "$NEW"' \
--nosmart --qto --notest -r *