abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:44 | IT novinky

    Společnost Meta na dvoudenní konferenci Meta Connect 2025 představuje své novinky. První den byly představeny nové AI brýle: Ray-Ban Meta (Gen 2), sportovní Oakley Meta Vanguard a především Meta Ray-Ban Display s integrovaným displejem a EMG náramkem pro ovládání.

    Ladislav Hagara | Komentářů: 0
    dnes 01:11 | Nová verze

    Po půl roce vývoje od vydání verze 48 bylo vydáno GNOME 49 s kódovým názvem Brescia (Mastodon). S přehrávačem videí Showtime místo Totemu a prohlížečem dokumentů Papers místo Evince. Podrobný přehled novinek i s náhledy v poznámkách k vydání a v novinkách pro vývojáře.

    Ladislav Hagara | Komentářů: 0
    včera 16:22 | Nová verze

    Open source softwarový stack ROCm (Wikipedie) pro vývoj AI a HPC na GPU od AMD byl vydán ve verzi 7.0.0. Přidána byla podpora AMD Instinct MI355X a MI350X.

    Ladislav Hagara | Komentářů: 0
    včera 15:22 | Nová verze

    Byla vydána nová verze 258 správce systému a služeb systemd (GitHub).

    Ladislav Hagara | Komentářů: 5
    včera 15:11 | Nová verze

    Byla vydána Java 25 / JDK 25. Nových vlastností (JEP - JDK Enhancement Proposal) je 18. Jedná se o LTS verzi.

    Ladislav Hagara | Komentářů: 0
    včera 14:44 | Humor

    Věra Pohlová před 26 lety: „Tyhle aféry každého jenom otravují. Já bych všechny ty internety a počítače zakázala“. Jde o odpověď na anketní otázku deníku Metro vydaného 17. září 1999 na téma zneužití údajů o sporožirových účtech klientů České spořitelny.

    Ladislav Hagara | Komentářů: 4
    včera 11:33 | Zajímavý článek Ladislav Hagara | Komentářů: 0
    16.9. 21:44 | Nová verze

    Byl vydán Mozilla Firefox 143.0. Přehled novinek v poznámkách k vydání a poznámkách k vydání pro vývojáře. Nově se Firefox při ukončování anonymního režimu zeptá, zda chcete smazat stažené soubory. Dialog pro povolení přístupu ke kameře zobrazuje náhled. Obzvláště užitečné při přepínání mezi více kamerami. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 143 bude brzy k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 0
    16.9. 17:22 | Nová verze

    Byla vydána betaverze Fedora Linuxu 43 (ChangeSet), tj. poslední zastávka před vydáním finální verze, která je naplánována na úterý 21. října.

    Ladislav Hagara | Komentářů: 0
    16.9. 12:22 | Nová verze

    Multiplatformní emulátor terminálu Ghostty byl vydán ve verzi 1.2 (𝕏, Mastodon). Přehled novinek, vylepšení a nových efektů v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    Jaké řešení používáte k vývoji / práci?
     (47%)
     (53%)
     (0%)
     (7%)
     (13%)
     (7%)
     (20%)
     (7%)
     (13%)
    Celkem 15 hlasů
     Komentářů: 1, poslední včera 13:49
    Rozcestník

    Občas není od věci vyslovit něco, za co se upaluje nebo ukamenovává. Nic není totiž tak jednoduché, aby byla pravda vždy jediná a na první pohled zřejmá.


    NAVRCHOLU.cz
    Aktuální zápisy

    Nejčtenější za poslední měsíc Nejkomentovanější za poslední měsíc

    Proč používám UTF-8

    12.7.2005 14:16 | Přečteno: 1809× | Rouhání největší

    Problém, jak řešit zakódování národně specifických znaků, se ve výpočetní technice řešil již od dřevních dob (přesněji řečeno od okamžiku, kdy chtěl někdo používat něco víc než holé anglickou abecedu). Pro české znaky se v historii používala mnohá kódování, každé mělo nějaké výhody a nevýhody (na legendární kódování bratří Kamenických si ještě leckdo vzpomene, občas ho ještě někdo použije i dnes). Po postupném vystřídání všeho možného jsem zjistil, že je nejvýhodnější používat UTF-8.

    Pominu-li zmiňované bratry Kamenické a různé pokusy o národní kódování (říkám pokusy, protože třeba kódování KOI8ČS se neujalo, přestože bylo určeno ČSN jako "jediné správné"), stejně tak jako používání proprietárních kódových stránek, za první skutečně významný krok lze považovat zavedení skupiny kódování podle normy ISO 8859. Znaky české abecedy jsou součástí ISO 8859-2 (což asi každý ví), proto bylo (a stále je) naprosto běžné používat tuto sadu.

    Protože přepínání kódových stránek se změnou jazyka je věc dost nepříjemná, objevil se fenomen zvaný Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně. Snaha o normalizaci tohoto systému vyústila v normu ISO/IEC 10646, která pokrývá hlavní část tohoto systému (a do budoucna se plánuje pokrytí celého standardu).

    Unicode si samozřejmě nevystačí s jedním bajtem pro každý znak. Nejobvykleji se každý znak ukládá dvoubajtově (UCS-2), lze použít i čtyřbajtovou reprezentaci (UCS-4). Tyto reprezentace se hodí hlavně pro vnitřní uložení v paměti, pro ukládání dat a jejich přenos jsou vhodnější tzv. transformační formáty (UTF). Jsou v zásadě tři: UTF-8, UTF-16 a UTF-32 (u dvou posledních se rozlišují ještě varianty podle pořadí bajtů). Formát UTF-8 zakódovává každý Unicode znak jako osmibitové hodnoty, a to tak, že podle potřeby (resp. podle hodnoty) používá 1-4 bajty.

    Právě UTF-8 jsem si v poslední době velmi oblíbil, zjistil jsem totiž, že mi přináší téměř samé výhody:

    Samozřejmě, že UTF-8 má i své nevýhody. Texty zabírají více místa, ne všechny programy s nimi umí správně pracovat (hlavně ty starší), jsou hůře čitelné v ASCII reprezentaci, pro výměnu dat s jinými lidmi (kteří UTF-8 zatím nepoužívají) je nutná konverze apod. Ale výhody jednoznačně převažují, proto je pro mě UTF-8 dobrou volbou.

           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    12.7.2005 14:28 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
    Rozbalit Rozbalit vše Nuly
    K "ASCII projde transparentě" bych přidal "nulový bajt znamená jedině znak s kódem nula", takže řetězce lze stále ukládat jako nulou ukončené posloupnosti bajtů.

    Srovnej s
    $ echo "Žluťoučký kůň" | recode utf-8..utf-16 | xxd
    0000000: feff 017d 006c 0075 0165 006f 0075 010d  ...}.l.u.e.o.u..
    0000010: 006b 00fd 0020 006b 016f 0148 000a       .k... .k.o.H..
    
    12.7.2005 15:34 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
    Rozbalit Rozbalit vše UTF
    Shodou okolností jsem teď chtěl napsat něco podobného. Já na Gentoo řešil pořád nějaké problémy s češtinou a nakonec bylo nejjednodušší celý systém překlopit do utf-8. Teď si říkám, škoda, že to tak není už defaultně.

    Myslím, že argument o větší velikosti utf-8 textů nemá u češtiny takovou váhu. Udělal jsem si pokus, kdy jsem tento příspěvek vložit tisíckrát do souboru a ten pak rekódoval do iso-8859-2
    $ ls -lh
    celkem 7,9M
    -rw-r--r--  1 misak users 3,7M čec 12 15:21 blog.iso.txt
    -rw-r--r--  1 misak users 4,2M čec 12 15:20 blog.utf8.txt
    $ gzip blog*
    $ ls -lh
    celkem 60K
    -rw-r--r--  1 misak users 25K čec 12 15:21 blog.iso.txt.gz
    -rw-r--r--  1 misak users 30K čec 12 15:20 blog.utf8.txt.gz
    
    Větším problémem mi přijde to, že většina odpovědí googlu na "něco utf-8" už začíná vést na neanglicky psané stránky :-(, protože angličané toto prakticky neřeší.
    When your hammer is C++, everything begins to look like a thumb.
    12.7.2005 22:52 Spike | skóre: 30 | blog: Communicator | Praha
    Rozbalit Rozbalit vše Re: UTF
    HOWTO: Using UTF-8 on Gentoo (edited) (Jen kdyby náhodou...)
    12.7.2005 23:50 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
    Rozbalit Rozbalit vše Re: UTF
    Vím a znám :-). Ostatně já to prováděl podle HOWTO Make your system use unicode/utf-8. Největší problém jsem měl s mplayerem, ale nakonec jsem zjistil, že musím vypnout podoru pro fribidi, takže LINGUAS="en"; USE="-bidi"; emerge mplayer.
    When your hammer is C++, everything begins to look like a thumb.
    12.7.2005 17:04 petr_p
    Rozbalit Rozbalit vše Par pripominek
    Vyborny clanek.

    Jen bych dodal, ze problem kodovani uz resil napr. pan Turing, coz bylo davno pred vznikem pocitacu, tak jak je zname dnes. Obecne kodovani znamena mapovani znaku jedne konecne abecedy na znaky jine konecne abecedy.

    Americani si vybraly 128-znakovou abecedu, Zapadoevropane 256 znaku a Japonci nebo Korejci 2^16.

    S tim souvisi tvrzeni Unicode - systém, který umožňuje snadnou práci s libovolným počtem národních abeced současně, ktere je platne jen zde na Zemi.

    Taky by bylo dobre ozrejmit rozdil mezi pojmy znakova sada a kodovani. UNICODE je znakova sada (tj. prirazeni ordinalnich cisel znakum abecedy), UTF-8 je kodovani (tj. zpusob zapisu ordinalniho cisla). Tazke v UTF-8 je napr. mozne zapsat znak Ž jak , tedy velke zet s hackem.

    Nedavno jsem si dal tu praci a doplnil si do systemu vsechy potrebne fonty na to, aby seznam jazykovych mutaci Wikipedie byl hezky "cesky" a nestrasili tam obdelnicky s hexadec. ord. hodnotu. Pri te prilezitosti jsem zjistil, ze napr. v Indii existuji asi 3 ruzna kodovani, pricemz i hlavy pomazane (jako vlada nebo LUG) zavrhuji UTF-8 jako neperspektivni cestu. No, jiny kraj, jiny mrav.
    12.7.2005 22:27 Pmx
    Rozbalit Rozbalit vše UTF-8 - Sem s ním
    Co se mě osobně líbí je, že v UTF-8 pracuje třeba GTK (Glib tím pádem poskytuje funkce pro práci s textem v UTF-8), takže se o kódování programátor nemusí vůbec starat.

    Že je text v UTF-8 náročnější na velikost zabrané paměti atd. je bezvýznamné oproti jeho výhodám. Tak mě napadá, má UTF-8 vůbec nějaké nevýhody? :) (Kromě případné nepodpory některého softwaru.)

    Mimochodem, vzpomněl jsem si na jeden odkaz: UTF-8 and Unicode FAQ for Unix/Linux
    13.7.2005 00:05 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
    Hlavní nevýhodou je proměnná délka znaku, což komplikuje "random access" řetězcové operace nebo třeba alokaci paměti (kontrolní otázka: kolik paměti potřebujete alokovat, aby se do ní určitě vešel UTF-8 řetězec o délce 100 znaků (nepočítám-li ukončující značku)? Hint: 100 B, 200 B, ba ani 300 B není správně).
    Luk avatar 13.7.2005 11:20 Luk | skóre: 47 | blog: Kacířské myšlenky | Kutná Hora
    Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
    Vnitřně to lze ukládat jako UCS-2, i když se tím zase zanesou jiné problémy.

    V původním smyslu příspěvku jsem měl na mysli především uživatelské použití UTF-8; protože dělám hlavně v Javě, problémy s alokací paměti pro C řetězec mě netrápí :-)
    Šifrování je absolutní nutnost a pomáhá chránit před nekalými živly
    13.7.2005 18:30 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
    No, UCS-2… Docela se těším na to, až začnou padat jako hrušky všechny ty windowsové aplikace, které používají UCS-2 a říkají mu UTF-16… To se teprve nasmějeme… :-) Což, mimochodem souvisí i s tou mou otázkou: většina lidí je totiž (na základě současného stavu) přesvědčena, že stačí 300 B, jenže ono je to 600 B…
    Luk avatar 13.7.2005 19:00 Luk | skóre: 47 | blog: Kacířské myšlenky | Kutná Hora
    Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
    No, pod Windows programuji už nějaký ten pátek, ale práci s Unicode ve Windows jsem dodnes nepochopil :-)
    Šifrování je absolutní nutnost a pomáhá chránit před nekalými živly
    13.7.2005 21:40 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: UTF-8 - Sem s ním
    Z dob, kdy jsem ještě pod Windows pracoval a programoval, jsem nabyl dojmu, že snaha něco tam pochopit je chybou, protože to výrazně snižuje produktivitu práce… :-) S trochou cynismu bych řekl, že základní problém s linuxovými začátečníky, kteří přišli z platformy Windows, je naučit je, že
    • má smysl (a je žádoucí) číst dokumentaci
    • má smysl (a je žádoucí) číst chybové hlášky
    protože jejich dlouhodobá zkušenost je naučila pravý opak. :-)

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.