abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 03:44 | Komunita

    Všem na AbcLinuxu vše nejlepší k Valentýnu aneb Dni lásky ke svobodnému softwaru (I love Free Software Day, Mastodon, 𝕏).

    Ladislav Hagara | Komentářů: 0
    včera 19:22 | Komunita

    Vývojáři openSUSE Tumbleweed oznámili, že u nových instalací se ve výchozím stavu přechází z AppArmor na SELinux. Uživatelé, kteří chtějí zůstat na AppArmor si mohou AppArmor vybrat v instalátoru.

    Ladislav Hagara | Komentářů: 0
    včera 16:44 | Komunita

    Hector "marcan" Martin skončil jako vedoucí projektu Asahi Linux aneb Linux na Apple Siliconu. Projekt ale pokračuje dál.

    Ladislav Hagara | Komentářů: 7
    včera 16:33 | Nová verze

    PostgreSQL byl vydán ve verzích 17.3, 16.7, 15.11, 14.16 a 13.19. Řešena je zranitelnost CVE-2025-1094 s CVSS 8.1 a více než 70 chyb.

    Ladislav Hagara | Komentářů: 0
    včera 14:22 | Humor

    Dnes je Světový den rádia. Použili jste někdy GNU Radio?

    Ladislav Hagara | Komentářů: 3
    včera 12:33 | IT novinky

    Před 33 lety, ve čtvrtek 13. února 1992, se tehdejší Česká a Slovenská Federativní Republika oficiálně (a slavnostně) připojila k Internetu.

    Ladislav Hagara | Komentářů: 1
    12.2. 19:44 | Nová verze

    Byla vydána nová verze 9.10 z Debianu vycházející linuxové distribuce DietPi pro (nejenom) jednodeskové počítače. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    12.2. 16:55 | Nová verze

    Český LibreOffice tým vydává překlad příručky LibreOffice Math 24.8. Math je modul editoru vzorců v kancelářském balíku LibreOffice a poskytuje možnosti rozvržení pro zobrazení matematických, chemických, elektrických nebo vědeckých vzorců ve standardní písemné notaci. Příručka je ke stažení na stránce dokumentace.

    ZCR | Komentářů: 0
    12.2. 05:11 | Zajímavý článek

    Společnost Backblaze zveřejnila statistiky spolehlivosti pevných disků používaných ve svých datových centrech za rok 2024. Ke konci roku 2024 vlastnila 305 180 pevných disků. Průměrná AFR (Annualized Failure Rate), tj. pravděpodobnost, že disk během roku selže, byla 1,57 %. V roce 2023 to bylo 1,70 %. V roce 2022 to bylo 1,37 %.

    Ladislav Hagara | Komentářů: 16
    12.2. 04:22 | Bezpečnostní upozornění

    Intel vydal 34 upozornění na bezpečnostní chyby ve svých produktech. Současně vydal verzi 20250211 mikrokódů pro své procesory řešící 5 bezpečnostních chyb.

    Ladislav Hagara | Komentářů: 0
    Rozcestník

    Dotaz: ruby a invalid byte sequence in UTF-8

    23.7.2010 02:24 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    ruby a invalid byte sequence in UTF-8
    Přečteno: 416×
    Chcem v Ruby(1.9 a 1.9.1) nacitat normalne subor mailu (co subor to mail) a ked ho zacnem citat a pride na riadok kde je dake kodovanie napise tieto chyby:

    invalid byte sequence in UTF-8 (ruby 1.9.1) broken UTF-8 string (ruby 1.9.0

    Precita zo subora aj 18 az 28 riadkov a potom p[adne na chybe zistil som ze vzdy tam kde je diakritika.

    Subor je mail a teda moze byt v kodovani 1250, 1251, utf-8 8859-2 atd

    Ako teda v Ruby nacitat tieto znaky tak aby nepisali chybu bez ohladu na kodovanie ? Napr ich prekodovat do 7 bit ? Skusal som vsetko mozne aj "r:UTF-8". Please poradte.

    Kod je jednoducy:
    begin
         File.new(cesta_subor,"r").each { |line|
              puts line
         }
    rescue
          puts "Chyba citania suboru #{subor}: #{$!}"
          next
    end

    Odpovědi

    23.7.2010 12:58 ET
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    Zdar, koukni se na ty soubory hexa editorem a koukni jestli tam neni naka prasarna, mozna by to mohlo bejt tohle - http://en.wikipedia.org/wiki/Byte_order_mark
    23.7.2010 22:27 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    Su to normalne maily a ked ich otvorim v kodovani v akom su tak sa pekne daju precitat. Len ide o to ze maily maju rozne kodovania textu od 1250, 1251, 8859-1, 8859-2 az po utf-8 a ruby nevie za pana ich precitat.

    Ked ten subor precitam funkciou arr=IO.readlines(dir+subor), tak to pekne komplet nacit ado array ael dalej ked to chcem spracovavat tak to iste ako ked to citam

    na tomto to spadne tiez: arr.each {|line| }
    23.7.2010 22:27 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    Su to normalne maily a ked ich otvorim v kodovani v akom su tak sa pekne daju precitat. Len ide o to ze maily maju rozne kodovania textu od 1250, 1251, 8859-1, 8859-2 az po utf-8 a ruby nevie za pana ich precitat.

    Ked ten subor precitam funkciou arr=IO.readlines(dir+subor), tak to pekne komplet nacit ado array ale dalej ked to chcem spracovavat tak to iste ako ked to citam

    na tomto to spadne tiez: arr.each {|line| }
    23.7.2010 22:27 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    Su to normalne maily a ked ich otvorim v kodovani v akom su tak sa pekne daju precitat. Len ide o to ze maily maju rozne kodovania textu od 1250, 1251, 8859-1, 8859-2 az po utf-8 a ruby nevie za pana ich precitat.

    Ked ten subor precitam funkciou arr=IO.readlines(dir+subor), tak to pekne komplet nacita do array ale dalej ked to chcem spracovavat tak to iste ako ked to citam

    na tomto to spadne tiez: arr.each {|line| }
    25.7.2010 08:53 Michal Karas | skóre: 45 | blog: /dev/random
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    Tak z toho důvodu je v hlavičkách Content-Type, ne? Tak při čtení nastavuj řetězcům kódování, ve kterém opravdu jsou. Anebo použij nějakou knihovnu, která má tohle vyřešené, například mikel's mail vypadá nadějně.
    28.7.2010 12:47 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    A to by znamenalo ze mu pred kazdym citanim mailu musim nastavit v akom je kodovani? To je predsa nemyslitelne, to nevie ruby jednoducho spracovat text v akomkolvek kodovani?

    To ej ale citanie mailu z disku(ako subor) nie cez cez protokol POP3 a pod (a ani sa k nemu tak neda dostat)

    Tento program prerabam z pythona a ten to vedel spracovat v pohode, no chcel som prejist na ruby vo vsetkom co pouzivam.
    28.7.2010 14:59 l4m4
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    Buď s tím souborem pracuješ coby se sekvencí bajtů, tj. obsah souboru tě v podstatě nezajímá, nebo coby s textem (či dokonce se strukturovaným textem -- mailem), jeho obsah tě zajímá, a v tom případě ho musíš správně dekódovat a rozparsovat, na což existují knihovny.

    Ruby určitě umí i tu první možnost, ale pochybuji, že je to to, co chceš.

    Ostatně v Pythonu by taky každý normální člověk použil funkce pro parsování mailu, které jsou přímo ve standardní knihovně...
    28.7.2010 12:49 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    aj tak dik pozriem na ten mail, ale chcel som sa vyvarovat nieco "gemovat" koli tak niecomu trivialnemu, chcel som pouzit cisty Ruby, to sa neda?
    2.8.2010 03:27 Ivanhoej | skóre: 26 | blog: ss2_Debian | Bratislava
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    mail.read som skusal ale neriesi to moj problem tiez vyhadzuje problem s kodovanin pri niektorych mailoch (mozno cisnke)

    Alebo existuej moznost ako arra (tam sa mi to da nacitat) komplet skonvertovat do napr. 8859-1 alebo utf-8 ?

    Vdaka.
    3.8.2010 08:59 Michal Karas | skóre: 45 | blog: /dev/random
    Rozbalit Rozbalit vše Re: ruby a invalid byte sequence in UTF-8
    pole.map! {|x| x.encode('UTF-8')}
    Ale stejně ti tam bude pořád lítat výjimka, pokud si pomocí String#force_encoding nenastavíš kódování, ve kterém ty řetězce opravdu jsou.

    Yehuda Katz pěkně popisuje současný stav s kódováním v Ruby 1.9: Encodings, Unabridged. Možná ti to trochu pomůže.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.