Dotaz: Konverze ruznych textovych formatu do jednoho

[polo23]

Ahoj,
potreboval bych poradit jak zkonvertovat hromadu textovych souboru do jenoho druhu formatu napr. ASCII nebo UTF8.

Tady je sezna typu formatu souboru co potrebuju zkonvertovat. Chtel jsem pouzit iconv ale ten chce zadat vzdy alepson vstupni typ formatu.

ASCII C++ program text
ASCII C++ program text
ASCII text
ASCII text
ASCII text, with escape sequences
ASCII text, with CRLF line terminators
ASCII text, with CRLF line terminators
ASCII text, with CRLF, LF line terminators
ASCII text
ISO-8859 text
ISO-8859 text
ASCII text
ASCII text, with CRLF line terminators, with escape sequences
ASCII text, with CRLF line terminators
ASCII text
ASCII text, with CRLF line terminators
ASCII C program text
Non-ISO extended-ASCII English text, with CRLF line terminators
ASCII text
ASCII text
ISO-8859 English text
ISO-8859 English text
ASCII English text
ASCII English text
ISO-8859 text, with CRLF line terminators
ASCII text, with escape sequences
ASCII text
ASCII text
ASCII text
ASCII text
ASCII English text
ASCII text, with CRLF line terminators
ASCII text, with CRLF line terminators
ASCII text, with CRLF line terminators
ASCII text, with CRLF line terminators
ASCII English text, with CRLF line terminators
Non-ISO extended-ASCII text
ASCII English text, with CRLF line terminators
UTF-8 Unicode English text
ASCII English text
ASCII text
ASCII English text
data
ASCII Pascal program text
ASCII Pascal program text
ASCII text
ASCII English text
ASCII English text
UTF-8 Unicode C program text
UTF-8 Unicode text
ASCII text, with CRLF line terminators
ASCII text, with CRLF line terminators
ASCII text
ASCII C++ program text
ASCII C++ program text
ASCII text
ASCII text
ASCII text
ASCII text
Non-ISO extended-ASCII text, with LF, NEL line terminators
MMDF mailbox
ASCII text, with CRLF line terminators
Non-ISO extended-ASCII text, with CRLF, NEL line terminators
ASCII assembler program text, with CRLF, CR line terminators
ASCII Pascal program text, with CRLF line terminators
Non-ISO extended-ASCII English text
Non-ISO extended-ASCII English text
Non-ISO extended-ASCII text
HTML document text
Non-ISO extended-ASCII text
ISO-8859 English text
Non-ISO extended-ASCII English text
ASCII text
directory

Odpovědi

[l4m4]

Potíž jsou ty Non-ISO extended-ASCII, protože mohou být naprosto cokoli. Zkusil bych enca, zda ti je detekuje správně.

Některé formáty budeš muset převést speciálně jiným programem, např. ten mailbox nebo HTML, pokud chceš na konci jen text (ale zase vesměs obsahují kódování, ve kterém jsou).

Převod do ASCII není definován. Nevím, jak převedeš do ASCII třeba tohle:

http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-demo.txt

[polo23]

Ta enca je nerozpoznala... Ma problem s rozpoznavanim i dalsich formatu... Nemusi to byt ASCII ale treba to UTF8. Proste neco co bezny txt prohlizec otevre.

[pavlix]

Ma problem s rozpoznavanim i dalsich formatu...

To se jí vůbec nedivím.

[polo23]

Jeste me napada otrocina otevirat to rucne treba v gedit a ukladat to v ASCII:) Ale do toho se mi nechce.

[l4m4]

Pokud ti stačí jakkoli zmršit ne-ASCII znaky, tak je prostě odstraň:

tr -d -c '[\001-\177]'

Požadavek konverze do UTF-8 a požadavek modifikace souboru, aby neobsahoval ne-ASCII znaky jsou velmi odlišné a musejí se odlišně řešit. Není jedno, co z toho se má provést.

[ahuska]

man konwert viz any/cs a crlf

[pavlix]

Rozhodnutí jestli konvertovat do ASCII nebo UTF-8 je docela zásadní. ASCII je zároveň i znakovou sadou, která je podmnožinou znakové sady Unicode (kóduje se mimojiné jako UTF-8).

Unicode je univerzální v tom, že dneska můžeš redefinovat všechna běžná ḱódování předefinovat jako (často neúplná) kódování znakové sady Unicode. Takže třeba kódování českého textu do ASCII je nutně ztrátové, zatímco překódování prakticky čehokoli do UTF-8 je bezztrátové.