Dotaz: Zjištění kódování souboru

[Petr]

Dobrý den, existuje spolehlivý nástroj v linuxu na zjištění v jakém kódování je soubor uložen. Co se týče zjištění našel jsem nejoblíbenější příkaz

file -bi <filename>

Tak jsem si vytvořil ve windows php soubor v pspadu s kováním cp1250. Uložil jsem ho a zavolal tento příkaz. Odpověd je: text/x-php; charset=unknown-8bit To mě tedy moc neuspokojuje. Představovl bych si že odpověd bude cp1250. Proč to pspad dokáže a příkaz "file" nikoliv? A existuje nástroj který to dokáže? Díky za rady.

---

---

Odpovědi

[Petr Šobáň]

Spolehlivý příkaz neexistuje z jednoho důvodu textový soubor v sobě nenese žádnou informaci o kodování.

Kodování se hádá podle slov z diakritikou zda dávají smysl a zda jsou tam platné znaky z nějakého kodování.

[Petr]

A jak to ten pspad teda dělá že když uložím i třeba prázdný soubor a pak ho znovu otevřu tak je tam to kódování, které jsem tam nastavil. On si tam ukládá nějakou meta informaci nebo co? Díky

[Petr Šobáň]

To já nevím windows soubory nepoužívám takže nevím co tam ukládají, ale pak to asi nebude textový soubor.

[R]

V prazdnom subore sa dost tazko ukladaju nejake informacie, takze jedine vysvetlenie je: ten editor si niekam mimo uklada informacie o otvorenych suboroch a nastavenych kodovaniach.

[Josef Kufner]

... a poslední poloze kurzoru.

[tydyt]

Ty taky děláš v Redhatu?

[Josef Kufner]

Ne, proč?

[tydyt]

Tak proč děláš hned chytrýho, když to sám nevíš! že to není viditelně vidět po otevření třeba ve vi nebo Emacsu? To je tím, že asi není sw pro Linux, který umí zobrazit informaci ze sektoru na disku a třeba i upravit jedinej bit na něm. A kdybys náhodou o nějakém věděl, pak nechápu tvoji odpověď.

[Petr Šobáň]

Už jsem odpověděl jak se to dělá - prostě to hádá podle toho jaké znaky se v souboru vyskytují.

Jinak speciální editory si můžou různé údaje někam ukládat, z prázdného souboru nelze určit typ kodování pokud to není někde uložené a nebo pokud ten editor nepoužije kodování co bylo naposledy nebo co používá default OS a pod.....

Aby jsi to zjistil jak to pspad dělá tak koukni do jeho zdrojáků.

[leste]

Už jsem odpověděl jak se to dělá - prostě to hádá podle toho jaké znaky se v souboru vyskytují.

Přesně tak to dělá, prohlíží prvních nevímkolik (zapomněl jsem) znaků a podle toho hádá.

Na začátek všech souborů psaných v pspadu vrážím poznámku obsahující žš, abych mu to usnadnil. Vrazil bych tam i ť, ale kombinace vok+pspad mi pak nabídne nějakou blbost s velkými písmeny.

[Jendа]

To je tím, že asi není sw pro Linux, který umí zobrazit informaci ze sektoru na disku a třeba i upravit jedinej bit na něm.

dd + blhexflip

[j]

Dela to presne tak, ze to hada. Co na tom nechapes? Algoritmus hadani muze byt slusne uspesny, ale neni to proste 100%. V utf8 txt souboru muze (ale nemusi) byt Byte order mark. Jinak se to dela tak, ze proste vemes ASCII znaky, a vemes ostatni nonASCII, a udelas analyzu. Pokud je text dostatecne dlouhy a obsahuje pokud mozno vsechny hackocarkove znaky, tak se da s pomerne slusnou jistotou urcit, o jake kodovani jde. Predevsim proto, ze ac jsou nektere znaky kodovany trebas stejne, tak nektere jsou kodovany jinak => pokud najdu cojavim 9E ... tak sem na dobry ceste k tomu, rict, ze je to win-1250.

[tydyt]

Kodování se hádá podle slov z diakritikou zda dávají smysl a zda jsou tam platné znaky z nějakého kodování.

zdroj?

[Josef Kufner]

Viz zdrojáky programů file a enca.

[Josef Kufner]

Zkus tam nakopírovat kus českého textu a uvidíš, jestli to trefí líp.

[blondak]

Zkus enca.

[OldFrog {Ondra Nemecek}]

Enca je docela úspěšná, pokud není text příliš krátký:

$ cat /etc/motd 
Dobrý den, existuje spolehlivý nástroj v linuxu na zjištění v jakém kódování je soubor uložen? Co se týče zjištění našel jsem nejoblíbenější příkaz.

$ enca -L czech /etc/motd 
Universal transformation format 8 bits; UTF-8

[R]

CP1250 v PHP je brutalna prasacina. Zial, niektori ludia dodnes taketo veci robia.

[Vasek]

Taky nechápu lidi, kteří v době znakové sady Unicode, resp. v jejím nejčastěji používaném kódování UTF-8, stále ještě použivájí takovouto "prasečinu.

[tydyt]

Další pitomec! Na to se nikdo neptá!

[Vasek]

To už ani nemůže člověk napsat vlastní názor, aniž by byl nazván pitomcem?

[Peter Golis]

Toho si nevšímaj, to je miestne zvieratko pavelka, ňupáč a stoinýchmien. Toho si tu pestujú cenzori ako domáce zvieratko, aby mohli vykazovať nejakú činnosť. Obvykle inkllinujúcu k nule.

[Kit]

Zjišťování kódování českého textu je spíše hádáním.

$ echo "příšerně žluťoučký kůň úpěl ďábelské ódy" >text
$ file -bi text
text/plain; charset=utf-8

$ recode u8..1250 text
$ file -bi text
text/plain; charset=unknown-8bit

$ recode 1250..l2 text
$ file -bi text
text/plain; charset=iso-8859-1

$ recode l2..UTF-16 text
$ file -bi text
text/plain; charset=utf-16be

Jak je vidět, příkaz file spolehlivě detekuje pouze Unicode. Dnes už vlastně ostatní kódování postrádají na významu.

Poslední dobou do PHP pro jistotu české texty vůbec nedávám. Pouze do šablon - tam je při vynechání deklarace automaticky předpokládáno UTF-8 či UTF-16 s automatickou detekcí. A protože UTF-8 používám nativně, vůbec to nemusím řešit.

[neklan]

pokud predpokladas jazyk pomuze enca

cat cp1250file.txt | enca -L czech -g -c -x UTF-8

prevede cesky text do UTF-8.

nedavno jsem se prehraboval ve starych archivech pdb knizek a tohle mi pomohlo. zjevne to nemusi fungovat vzdycky. nektere soubory jsou dojebane totalne, napr. obsahuji vice ruznych kodovani, kdy je ruzni lide otevirali a ukladali jen casti a na zbytek kaslali. V tom pripade uz asi jedine rucne.