Dotaz: Hromadné zjištění kódování souborů

[Marek]

Ahoj, poradí nějaký profík prosím jak zjistit z příkazové řádky kódování souboru ? Potřebuji zkontrolovat cca 8000 souborů zda mají kódování UTF-8. Děkuji za pomoc. M.

Odpovědi

[Jendа]

Někdy to řekne příkaz file, jinak bych zkoušel detekovat četnost jednotlivých znaků pokud znáš alespoň jazyk/rodinu jazyků. A pak to můžeš zkusit jako UTF8 dekódovat jestli to bude validní. Ale obecně taková věc udělat nejde.

[Jindřich Makovička]

iconv -f utf-8 -t ucs-4 filename.txt > /dev/null

pokud ve filename.txt není validní utf8, iconv vrátí chybu

[Masca]

enca (např. v Debianu je v repozitáři)

[alles32]

pic.

tohle zobrazi vsechny ne utf-8 soubory v aktualnim adresari.

$ find . -type f | xargs -I '{}' bash -c "iconv -f utf-8 -t utf-16 '{}' &>/dev/null || echo '{}'"

[wamba]

pomocí Perlu s příslušnou knihovnou

find .|perl -MFile::LibMagic -nE 'chomp; my @coding= ("utf-8","us-ascii");my $magic = File::LibMagic->new();  say  $_ if ! $magic->info_from_filename("$_")->{encoding} ~~ @coding'

zkoušel jsem to na cca 15k souborech(i s netextovými 17k) a trvalo to nějakých 30s.(problém dělali symlinky na nexistující soubory, u těch to házelo chybu)

[alles32]

find zna file -type. '-type f' odfiltruje vse krom normalniho souboru ;].

[Marek]

Moc děkuji všem za tipy. Použil jsem kompletní řešení od alles32. Projde to celý strom což je super. Snažil jsem se to použít jen na php soubory a sustit příkaz odkudkoli ale nedaří se...

$ find . -type f /var/www/*.php | xargs -I '{}' bash -c "iconv -f utf-8 -t utf-16 '{}' &>/dev/null || echo '{}'"

[alles32]

find umi -name. odkudkoli to jde taky, jen to chce zamenit cestu kde se ma findovat, napr.

~$ find /var/www -name *php -type f ......

[chrono]

Nemá ísť to *php do apostrofov?

[Kit]

~$ find /var/www -name "*.php" -type f ......

[Radovan Garabik]

man isutf8:

isutf8 - check whether files are valid UTF-8

Balíček moreutils.