Bash a UTF-16LE

20.6.2005 23:11 | Přečteno: 1527× | Linux

Práve som vyhral súboj nad bashom. Kamarát potreboval prekódovať divný textový súbor. Divný bol preto, že používal dve kódovania iso-latin-1 a utf-16. A teraz si predstavte, že takýchto súborov potrebujete spracovať veľa a v práci mu tvrdili, že to v bashi nejde :) samozrejme, že sa to dá napísať v perle, ale ak sa to nedá, tak je to slušná výzva, nie?

Predstavte si súbor, ktorý je až na jeden riadok v iso latin 1. Ten jeden riadok má v UTF-16LE len reťazec v úvodzovkách, ktorý je potrebné vyparsovať. Keďže som typickým predstaviteľom lineárneho programovania (čítaj program píš postupne za seba; nemá to súvis s lineárnym programovaním vyučovanýn na univerzitách), tak som sa do toho pustil nasledovne. Najprv nájdi ako rozdeliť súbor na tri časti, takže som našiel číslo riadku na ktorom je UTF-16. Následne som cez head/tail našiel tie latin1 časti a vznikli mi tmp.head a tmp.tail.

Odborník si určite povie, že som blbý a je hlúposť hladať tento riadok cez for a grep, keď na to stačí grep sám. Áno dá sa použiť grep --binary-files=text -n PHRASE foo , ale bohužiaľ sa mi už z toho nepodarilo získať číslo riadku. UTF-16LE má totiž tú vlastnosť, že pred normálnym ASCII znakom máte ešte 8bitový s hodnotou nula a tým pádom z toho sed zmagorí.

Keď už máme požadovaný riadok, tak ho rozdelíme na časť pred úvodzkami, časť v UTF-16LE a časť za nimi. Opäť musíme riešiť problém, že štandardné nástroje nefungujú tak ako majú. A tak odstránime pred-úvodzovkú časť a získame reťazec začínajúci na UTF-16. Pozor nemôžeme ho uložiť do premennej shellu pretože stratíme tie nuly a už to nebude UTF-16 [kým som to zistil :(]. A necháme to prekódovať cez recode do latin2. Recode spadne za posledným UTF-16 znakom (na kombinácii medzera+cifra), ale to čo prešlo máme na štandardnom výstupe. To vezmeme a odstránime z neho diakritiku pomocou cstocs (iconv a recode je na toto nepoužiteľné) a teraz to uložíme do premennej (už to nie je utf-16). Prednú a zadnú časť nemôžeme vysedovať priamo, ale musíme celý riadok uložiť do premennej shellu, čím nám zmiznú tie nulové znaky a začne fungovať sed. Potom to je už bezproblémové. A len na konci zase reťazec z tých úvodzoviek prekódujeme do UTF-16LE (tentokrát je tam zakódovaný bez diakritiky).

A teraz na možné skracovanie ešte kód. Viem, že sa dá nahradiť bc za matematickú expanziu v shelli, ale tú si nikdy nepamätám, takže to by som až tak nebral. Nie je to formátované, je to tak ako som s tým pracoval ja :)

subor="line1014_col.lip"; IFS=$'\n'; (i=0; problem=0; for line in `cat $subor`; do if [ `echo $line | grep PHR &> /dev/null; echo $?` -eq '0' ]; then problem=$i; else i=`echo "$i+1" | bc`; fi ; done; head -n $problem < $subor > tmp.head; tail -n `echo \`wc -l $subor | sed 's/\(.*\) .*/\1/'\`-$problem-1 | bc ` $subor > tmp.tail; stred=`head -n \`echo $problem+1 | bc\` < $subor | tail -n 1 | sed 's/^\(PHRASE unicode [0-9]*\) \(".*\).*/\2/' | recode utf-16le..latin2 2> /dev/null | cstocs il2 ascii`; zaciatok=`head -n \`echo $problem+1 | bc\` < $subor | tail -n 1`; zac1=`echo $zaciatok | sed 's/^\(PHRASE unicode [0-9]*\) \(".*\).*/\1/'`; zac2=`echo $zaciatok | sed 's/^\(.*".*"\) \(.*\)$/\2/'`; cat tmp.head; echo -n "$zac1 "; echo -n $stred | recode ascii..utf-16le; echo " $zac2"; cat tmp.tail) > $subor.tmp

       

Komentáře

[Michal Kubeček]

Jako cvičení v používání shellu a utilit je to krásné, ale mám neodbytný pocit, že kdyby se ten program napsal v C/C++, bude

• rychleji napsaný
• podstatně přehlednější
• řádově rychlejší

[Michal Marek (twofish)]

Mně to příjde tak nějak nastejno :o)

int system(char*); int main(void) { return system("subor=\"line1014_col.lip\"; IFS=$'\\n'; (i=0; problem=0; for line in `cat $subor`; do if [ `echo $line | grep PHR &> /dev/null; echo $?` -eq '0' ]; then problem=$i; else i=`echo \"$i+1\" | bc`; fi ; done; head -n $problem < $subor > tmp.head; tail -n `echo \\`wc -l $subor | sed 's/\\(.*\\) .*/\\1/'\\`-$problem-1 | bc ` $subor > tmp.tail; stred=`head -n \\`echo $problem+1 | bc\\` < $subor | tail -n 1 | sed 's/^\\(PHRASE unicode [0-9]*\\) \\(\".*\\).*/\\2/' | recode utf-16le..latin2 2> /dev/null | cstocs il2 ascii`; zaciatok=`head -n \\`echo $problem+1 | bc\\` < $subor | tail -n 1`; zac1=`echo $zaciatok | sed 's/^\\(PHRASE unicode [0-9]*\\) \\(\".*\\).*/\\1/'`; zac2=`echo $zaciatok | sed 's/^\\(.*\".*\"\\) \\(.*\\)$/\\2/'`; cat tmp.head; echo -n \"$zac1 \"; echo -n $stred | recode ascii..utf-16le; echo \" $zac2\"; cat tmp.tail) > $subor.tmp"); }

[Michal Marek (twofish)]

Zajímavé je měnit šířku okna prohlížeče a sledovat, jaké ten kód vytváří obrazce

[.]

[elviin]

Ja si myslím, že autor s chutí vytvořil tenhle oneliner. Zajimavý postřehy. Kód bych zařadil mezi "ASCII art". Pokud by se to správně "sedlo", "greplo" a "recodovalo", možná bychom viděli tvář autora:)

[doubleZ]

každopádně teď vidíme hov... nechce se mi to číst, ale zajímá mě to...

[..]

Kazdopadne neco v tom bude, ale jenom "...." vi co to je

[Hynek (Pichi) Vychodil]

Tak to je síla.

1. for line in `cat $subor`; do ... done

   while read line; do ... done <$subor

2. if [ `echo $line | grep PHR &> /dev/null; echo $?` -eq '0' ]

   if [ "$line" == *PHR* ]

3. i=`echo "$i+1" | bc`

   let i++

4. A dál už nemám sil ...

P.S.: To se někde vyučuje, nebo je to lidová tvořivost?

[Marek 'marx' Grác]

Trojka je jasná o tom som písal :) Problém s jednotkou a dvojkou je že tam sú tie nulové znaky (0x00) a preto mi štandardné postupy nefungujú. Jednotka by zrejme fungovala, ale príde mi, že ušetríš tak jeden znak.

[unchallenger]

Nepočítáme znaky, ale procesy.

[Marek 'marx' Grác]

Ok, na procesy moje riešenie skutočne exceluje. Kebyže rátame procesy (réžiu), tak musí vyhrať Cčkové riešenie, to bude mať zrejme aj najmenšiu réžiu. Ja si pamätám len zopár vecí a tak ich používam dokola. Také bc má tú výhodu, že nemusíš rozmýšlať nad syntaxou pre konkrétny shell. Stačí ti pamätať ako sa priraďuje do premennej. A keďže zátvorkovanie a escape-ovanie je všade rôzne, tak sa snažím používať veci o ktorých viem, že fungujú.

A ako píšem veci o ktorých si myslím, že fungujú bez problémov sú často komplikovanejšie. Napr. to strácanie znakov zadaných do premennej, keby to skončilo pri prvej nule, tak si myslím, že by som tomu celkom rozumel. Takto bohužiaľ nie.