abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 16:00 | Komunita

    Společnost Oracle vlastní ochrannou známku JAVASCRIPT. Komunita kolem programovacího jazyka JavaScript zastoupena společností Deno Land vede právní bitvu za její osvobození, viz petice a otevřený dopis na javascript.tm. Do 7. srpna se k nim má vyjádřit Oracle (USPTO TTAB).

    Ladislav Hagara | Komentářů: 0
    dnes 13:11 | IT novinky

    Byl představen samostatný rádiový modul Raspberry Pi Radio Module 2 s Wi-Fi a Bluetooth.

    Ladislav Hagara | Komentářů: 6
    dnes 12:44 | Upozornění

    Certifikační autorita Let’s Encrypt ukončila k 4. červnu zasílání e-mailových oznámení o vypršení platnosti certifikátů. Pokud e-maily potřebujete, Let’s Encrypt doporučuje některou z monitorovacích služeb.

    Ladislav Hagara | Komentářů: 0
    dnes 01:44 | Pozvánky

    Přemýšlíte, jak začít prázdniny? Už v úterý 1. července se bude konat Virtuální Bastlírna, tedy online setkání bastlířů, techniků, vědců i akademiků, kde se ve volné diskuzi probírají novinky ze světa techniky, ale i jiných zajímavých témat.

    Za poslední měsíc jsme byli svědky plamenů několika raket. Zatímco malá raketa od Hondy se úspěšně vznesla a opět přistála, raketa od SpaceX se rozhodla letět všemi směry najednou. Díkybohu méně … více »
    Uprdkávač | Komentářů: 0
    včera 23:44 | Komunita

    Linus Torvalds zmínil, že souborový systém Bcachefs zřejmě odstraní z mainline Linuxu v začleňovacím okně pro vydání 6.17. Kent Overstreet mu totiž posílá kód s novou funkcionalitou i pro začlenění do kandidátů na vydání, kdy očekává pouze opravy chyb. Kent Overstreet byl již dříve z vývoje vyloučen kvůli konfliktní komunikaci.

    Fluttershy, yay! | Komentářů: 10
    27.6. 11:55 | IT novinky

    Ministerstvo průmyslu a obchodu propaguje Microsoft. Ten ve spolupráci s Ministerstvem průmyslu a obchodu spouští AI National Skilling Plan v ČR. "Iniciativa Microsoftu přináší konkrétní a praktickou podporu právě tam, kde ji nejvíc potřebujeme – do škol, firem i veřejné správy.", říká ministr průmyslu a obchodu Lukáš Vlček.

    Ladislav Hagara | Komentářů: 30
    27.6. 10:55 | Zajímavý projekt

    Jste český ISP? Vyplněním krátkého dotazníku můžete pomoci nasměrovat vývoj nové generace routerů Turris Omnia [𝕏].

    Ladislav Hagara | Komentářů: 4
    27.6. 01:33 | IT novinky

    Celkové tržby společnosti Canonical za rok 2024 byly 292 milionů dolarů (pdf). Za rok 2023 to bylo 251 milionů dolarů.

    Ladislav Hagara | Komentářů: 3
    27.6. 01:22 | Nová verze

    Byla vydána verze 1.88.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    27.6. 01:11 | Nová verze

    Distribuce Tails specializující se ochranu online soukromí uživatele byla vydána ve verzi 6.17. Mimo jiné aktualizuje Tor Browser (14.5.4) a opravuje několik chyb.

    Fluttershy, yay! | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (59%)
     (29%)
     (7%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 333 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Bash a UTF-16LE

    20.6.2005 23:11 | Přečteno: 1428× | Linux

    Práve som vyhral súboj nad bashom. Kamarát potreboval prekódovať divný textový súbor. Divný bol preto, že používal dve kódovania iso-latin-1 a utf-16. A teraz si predstavte, že takýchto súborov potrebujete spracovať veľa a v práci mu tvrdili, že to v bashi nejde :) samozrejme, že sa to dá napísať v perle, ale ak sa to nedá, tak je to slušná výzva, nie?

    Predstavte si súbor, ktorý je až na jeden riadok v iso latin 1. Ten jeden riadok má v UTF-16LE len reťazec v úvodzovkách, ktorý je potrebné vyparsovať. Keďže som typickým predstaviteľom lineárneho programovania (čítaj program píš postupne za seba; nemá to súvis s lineárnym programovaním vyučovanýn na univerzitách), tak som sa do toho pustil nasledovne. Najprv nájdi ako rozdeliť súbor na tri časti, takže som našiel číslo riadku na ktorom je UTF-16. Následne som cez head/tail našiel tie latin1 časti a vznikli mi tmp.head a tmp.tail.

    Odborník si určite povie, že som blbý a je hlúposť hladať tento riadok cez for a grep, keď na to stačí grep sám. Áno dá sa použiť grep --binary-files=text -n PHRASE foo , ale bohužiaľ sa mi už z toho nepodarilo získať číslo riadku. UTF-16LE má totiž tú vlastnosť, že pred normálnym ASCII znakom máte ešte 8bitový s hodnotou nula a tým pádom z toho sed zmagorí.

    Keď už máme požadovaný riadok, tak ho rozdelíme na časť pred úvodzkami, časť v UTF-16LE a časť za nimi. Opäť musíme riešiť problém, že štandardné nástroje nefungujú tak ako majú. A tak odstránime pred-úvodzovkú časť a získame reťazec začínajúci na UTF-16. Pozor nemôžeme ho uložiť do premennej shellu pretože stratíme tie nuly a už to nebude UTF-16 [kým som to zistil :(]. A necháme to prekódovať cez recode do latin2. Recode spadne za posledným UTF-16 znakom (na kombinácii medzera+cifra), ale to čo prešlo máme na štandardnom výstupe. To vezmeme a odstránime z neho diakritiku pomocou cstocs (iconv a recode je na toto nepoužiteľné) a teraz to uložíme do premennej (už to nie je utf-16). Prednú a zadnú časť nemôžeme vysedovať priamo, ale musíme celý riadok uložiť do premennej shellu, čím nám zmiznú tie nulové znaky a začne fungovať sed. Potom to je už bezproblémové. A len na konci zase reťazec z tých úvodzoviek prekódujeme do UTF-16LE (tentokrát je tam zakódovaný bez diakritiky).

    A teraz na možné skracovanie ešte kód. Viem, že sa dá nahradiť bc za matematickú expanziu v shelli, ale tú si nikdy nepamätám, takže to by som až tak nebral. Nie je to formátované, je to tak ako som s tým pracoval ja :)

    subor="line1014_col.lip"; IFS=$'\n'; (i=0; problem=0; for line in `cat $subor`; do if [ `echo $line | grep PHR &> /dev/null; echo $?` -eq '0' ]; then problem=$i; else i=`echo "$i+1" | bc`; fi ; done; head -n $problem < $subor > tmp.head; tail -n `echo \`wc -l $subor | sed 's/\(.*\) .*/\1/'\`-$problem-1 | bc ` $subor > tmp.tail; stred=`head -n \`echo $problem+1 | bc\` < $subor | tail -n 1 | sed 's/^\(PHRASE unicode [0-9]*\) \(".*\).*/\2/' | recode utf-16le..latin2 2> /dev/null | cstocs il2 ascii`; zaciatok=`head -n \`echo $problem+1 | bc\` < $subor | tail -n 1`; zac1=`echo $zaciatok | sed 's/^\(PHRASE unicode [0-9]*\) \(".*\).*/\1/'`; zac2=`echo $zaciatok | sed 's/^\(.*".*"\) \(.*\)$/\2/'`; cat tmp.head; echo -n "$zac1 "; echo -n $stred | recode ascii..utf-16le; echo " $zac2"; cat tmp.tail) > $subor.tmp

           

    Hodnocení: -

    zatím nehodnoceno
            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    20.6.2005 23:20 Michal Kubeček | skóre: 72 | Luštěnice
    Rozbalit Rozbalit vše zamyšlení
    Jako cvičení v používání shellu a utilit je to krásné, ale mám neodbytný pocit, že kdyby se ten program napsal v C/C++, bude

    • rychleji napsaný
    • podstatně přehlednější
    • řádově rychlejší
    20.6.2005 23:37 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
    Rozbalit Rozbalit vše Re: zamyšlení
    Mně to příjde tak nějak nastejno :o)

    int system(char*); int main(void) { return system("subor=\"line1014_col.lip\"; IFS=$'\\n'; (i=0; problem=0; for line in `cat $subor`; do if [ `echo $line | grep PHR &> /dev/null; echo $?` -eq '0' ]; then problem=$i; else i=`echo \"$i+1\" | bc`; fi ; done; head -n $problem < $subor > tmp.head; tail -n `echo \\`wc -l $subor | sed 's/\\(.*\\) .*/\\1/'\\`-$problem-1 | bc ` $subor > tmp.tail; stred=`head -n \\`echo $problem+1 | bc\\` < $subor | tail -n 1 | sed 's/^\\(PHRASE unicode [0-9]*\\) \\(\".*\\).*/\\2/' | recode utf-16le..latin2 2> /dev/null | cstocs il2 ascii`; zaciatok=`head -n \\`echo $problem+1 | bc\\` < $subor | tail -n 1`; zac1=`echo $zaciatok | sed 's/^\\(PHRASE unicode [0-9]*\\) \\(\".*\\).*/\\1/'`; zac2=`echo $zaciatok | sed 's/^\\(.*\".*\"\\) \\(.*\\)$/\\2/'`; cat tmp.head; echo -n \"$zac1 \"; echo -n $stred | recode ascii..utf-16le; echo \" $zac2\"; cat tmp.tail) > $subor.tmp"); }
    20.6.2005 23:26 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
    Rozbalit Rozbalit vše Obrazce
    Zajímavé je měnit šířku okna prohlížeče a sledovat, jaké ten kód vytváří obrazce :-)
    21.6.2005 00:31 .
    Rozbalit Rozbalit vše Re: Obrazce na X
    :-D
    elviin avatar 20.6.2005 23:32 elviin | skóre: 29 | blog: elviin | Plzeň-Praha
    Rozbalit Rozbalit vše ASCII Art
    Ja si myslím, že autor s chutí vytvořil tenhle oneliner. Zajimavý postřehy. Kód bych zařadil mezi "ASCII art". Pokud by se to správně "sedlo", "greplo" a "recodovalo", možná bychom viděli tvář autora:)
    20.6.2005 23:48 doubleZ | skóre: 24 | blog: smazano
    Rozbalit Rozbalit vše Re: ASCII Art
    každopádně teď vidíme hov... :-) nechce se mi to číst, ale zajímá mě to...
    .. avatar 21.6.2005 11:24 .. | skóre: 4 | blog:
    Rozbalit Rozbalit vše Re: ASCII Art
    Kazdopadne neco v tom bude, ale jenom "...." vi co to je
    21.6.2005 11:40 Hynek (Pichi) Vychodil | skóre: 43 | blog: Pichi | Brno
    Rozbalit Rozbalit vše Uáááááá
    Tak to je síla.
    1. for line in `cat $subor`; do ... done
      while read line; do ... done <$subor
    2. if [ `echo $line | grep PHR &> /dev/null; echo $?` -eq '0' ]
      if [ "$line" == *PHR* ]
    3. i=`echo "$i+1" | bc`
      let i++
    4. A dál už nemám sil ...
    P.S.: To se někde vyučuje, nebo je to lidová tvořivost?
    XML je zbytečný, pomalý, nešikovný balast, znovu vynalézané kolo a ještě ke všemu šišaté, těžké a kýčovitě pomalované.
    21.6.2005 11:55 Marek 'marx' Grác | skóre: 21 | blog: Paralelný blog | Brno / Bratislava
    Rozbalit Rozbalit vše Re: Uáááááá
    Trojka je jasná o tom som písal :) Problém s jednotkou a dvojkou je že tam sú tie nulové znaky (0x00) a preto mi štandardné postupy nefungujú. Jednotka by zrejme fungovala, ale príde mi, že ušetríš tak jeden znak.
    21.6.2005 13:13 unchallenger | skóre: 69 | blog: unchallenger
    Rozbalit Rozbalit vše Re: Uáááááá
    Nepočítáme znaky, ale procesy.
    21.6.2005 13:44 Marek 'marx' Grác | skóre: 21 | blog: Paralelný blog | Brno / Bratislava
    Rozbalit Rozbalit vše Re: Uáááááá

    Ok, na procesy moje riešenie skutočne exceluje. Kebyže rátame procesy (réžiu), tak musí vyhrať Cčkové riešenie, to bude mať zrejme aj najmenšiu réžiu. Ja si pamätám len zopár vecí a tak ich používam dokola. Také bc má tú výhodu, že nemusíš rozmýšlať nad syntaxou pre konkrétny shell. Stačí ti pamätať ako sa priraďuje do premennej. A keďže zátvorkovanie a escape-ovanie je všade rôzne, tak sa snažím používať veci o ktorých viem, že fungujú.

    A ako píšem veci o ktorých si myslím, že fungujú bez problémov sú často komplikovanejšie. Napr. to strácanie znakov zadaných do premennej, keby to skončilo pri prvej nule, tak si myslím, že by som tomu celkom rozumel. Takto bohužiaľ nie.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.