abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 0
včera 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 16
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 8
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 2
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 0
2.12. 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
1.12. 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
1.12. 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 767 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: CURL a kodování

24.5.2010 12:02 Rendijer
CURL a kodování
Přečteno: 984×
Ahoj, někdy před týdnem jsem založil diskusi o automatickém stahování dat přes curl, bohůže ji nemůžu najít a nalinkovat, asi se nedokážu stotožnit s tímhle forem :D

Mno tak k věci

Přes Curl stáhnu Log, kde jsou zaznamenány přistupy uživatelů s diakritikou, jenže když ten soubor otevřu, tak diakritika je v sypaném čaji. Jde to přimo udělat parametrem curlu, nebo to musím něčím "upravit"?

díky

Řešení dotazu:


Odpovědi

24.5.2010 12:12 Gaudentius
Rozbalit Rozbalit vše Re: CURL a kodování

Ahoj, nevím - nejsem si jistej, že to u CURLU nastavit lze, nic m=ně si můžeš výstup překódovat: 

<?php
// cashuje prohlizec, tak bacha...
// header("Content-Type: text/html; charset=UTF-8");
$f  = file_get_contents('mcast.sql');

// zjisteni kodovani
function detect($s)
{
if (preg_match('#[\x80-\x{1FF}\x{2000}-\x{3FFF}]#u', $s))
return 'UTF-8';

if (preg_match('#[\x7F-\x9F\xBC]#', $s))
return 'WINDOWS-1250';

return 'ISO-8859-2';
}

// automaticky prevod do UTF-8
function autoUTF($s)
{
// detect UTF-8
if (preg_match('#[\x80-\x{1FF}\x{2000}-\x{3FFF}]#u', $s))
return $s;

// detect WINDOWS-1250
if (preg_match('#[\x7F-\x9F\xBC]#', $s))
return iconv('WINDOWS-1250', 'UTF-8', $s);

// assume ISO-8859-2
return iconv('ISO-8859-2', 'UTF-8', $s);
}


print detect($f)."<br/>".autoUTF($f);

Autorem je Vrána

24.5.2010 12:20 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Na serveru mi neběží php ...
24.5.2010 12:27 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
ale co mi běží je iconv.

Problém je ten, že nevím, v jakém kodovani ten soubor je. Přitom stránka, ze které curl stahuje je utf-8, stáhne a diakritika v souboru je fuč.
24.5.2010 12:36 Gaudentius
Rozbalit Rozbalit vše Re: CURL a kodování
počkej, tak to se bavíme asi oba o něčem jiném - já mluvím o curl v php. iconv je i v jiném programovacím jazyce? nebo jako používáš ten iconv ty?
24.5.2010 12:46 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Linux samozřejmně
24.5.2010 13:05 misch | skóre: 3
Rozbalit Rozbalit vše Re: CURL a kodování
Rendijer chtěl pravděpodobně říct, že z příkazového řádku volá "curl URL ...", jen na to nějak zapoměl.

Když ale Rendijer sdělí světu co přesně tedy vlastně používá a s jakými přepínači to volá, možná mu někdo pomůže ...
24.5.2010 13:14 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Pardon mno, já jsem nemohl najít ten předcházející příspěvek

Tohle je demostránka výrobce čteček, ze které stahuji data. Tady jsou uživatelé fiktivní a nemají diakritiku. Všechno se stáhne, super. ALe když to chci aplikovat už na reálnou čtečku, kde jsou lidi v logu zobrazeni s diakritikou, tak narazím na problém...

curl -c curlcookies.txt -d "loginName=A999&loginPass=1&loginLevel=B&command=1" http://74.219.212.106/cgi-bin/login.cgi

curl -b curlcookies.txt 'http://74.219.212.106/cgi-bin/report.cgi?command=0&elemployeename=&elemployeeid=&elperiod=2&dayFrom=0&dayTo=0&elemployeedept=-999&eltrigger=-1&format=1' > data.csv

zkoušel jsem pak v data převést kodovaní, ale nešlo to

iconv -f ISOblabla -t UTF-8 data.csv > ddata.csv

24.5.2010 15:31 chrono
Rozbalit Rozbalit vše Re: CURL a kodování
A si si istý, že ten súbor otváraš/zobrazuješ v utf-8 kódovaní? (pretože nevidím dôvod, prečo by mal curl niečo s tým kódovaním robiť)
24.5.2010 15:39 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: CURL a kodování
Zmiňovaný problém, jsme řešily zde, fčul 3. stránka „Starší dotazy“ :).
Co mám ještě staženo odpovídalo by to kódování utf-8, bo přihlásit se mi na to demo fčulnedaří.
Přiložte (jako přílohu) sem stažený data.csv nebo jeho část, ale ořezanou tak aby nedošlo ke změně sem položeného obsahu, myslím si, že se na ta data jen „špatně“ díváte.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
24.5.2010 15:52 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Příloha:
Právě že už při tomhle:

#curl -c curlcookies.txt -d "loginName=A999&loginPass=1&loginLevel=B&command=1" http://74.219.212.106/cgi-bin/login.cgi

#curl -b curlcookies.txt 'http://74.219.212.106/cgi-bin/report.cgi?command=0&elemployeename=&elemployeeid=&elperiod=2&dayFrom=0&dayTo=0&elemployeedept=-999&eltrigger=-1&format=1'

, když to nechám normálně v stdout a nevypíšu to do souboru, tak už tam to zobrazuje tu diaktritiku divně.
24.5.2010 16:00 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: CURL a kodování
Jak říkám, data jsou normálně v utf-8, v čem je otvíráte? – TO zlobí
.
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
24.5.2010 17:14 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Ale nezáleží v čem je otvírám, pokud na stdoud se zobrazí špatně, tak dál sněma ani nemůžu pracovat... Ty data si pak potřebuju upravit a následně snima pracuje účetní program...
24.5.2010 17:15 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Vám se snad zobrazí diakritika? Otvírám je normálně v Excelu
24.5.2010 17:38 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: CURL a kodování
Jasně, vidim hacky/carky :)

Excel 2003:
  • Přejmenujte si koncovku na txt
  • V Excelu si dejte otevřít a zvolte Všechny soubory *.* a vyberte soubor VasSoubor.txt
  • Zvolte kódování UTF-8 a „Oddělovač“ a tl. Další
  • Oddělovač zvolte JEN čárka a textový kvalifikátor "
  • A pak již třeba dokončit
OpenOffice 3.x:
  • Zvolte otevřít a vyberte soubor csv
  • Nastavte znakovou sadu Unicode UTF-8, odělovač jen čárka, oddělovač textu "
  • A pak již třeba OK
VIM:
  • Otevřete soubor
  • zapište: :set encoding=utf-8
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
24.5.2010 18:07 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
Hmhm, děkujů pěkně.. A dá se to nějakým způsobem zautomatizovat? Do přikazového řádku? Nechce mi to nějak fungovat
24.5.2010 19:12 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: CURL a kodování
Co nefunguje, popsaný postup, nebo automatizace ?

Pokud si jste jistý, že ty znaky pokryje windows-1250 (to jest maximálně ö,ä :)), tak to přešupačte pomocí iconv do windows-1250 při exportu.
iconv -f UTF-8 -t WINDOWS-1250 -o in.csv out.csv
pak již může účetní klikat.
Anebo (asi lepší)
Doplňte 'byte-order marker'
Před tím než do souboru vysypete ten výstup nasypte tam dva znaky
echo -ne "\0273\0376" > muj.csv
a data z curl přídávejte:
curl -c ... page.cgi >> muj.csv
Nebo případně po exportu upravte příkazem:
vim -e -s -c ':set bomb' -c ':wq' muj.csv

…už to excel žere ?
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
24.5.2010 19:41 Rendijer
Rozbalit Rozbalit vše Re: CURL a kodování
díky pane, už to fičí :)
24.5.2010 17:44 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: CURL a kodování
Ne-ne, ne :),
stdout je sype jak to je (o žádném kódování nic neví), a záleží na vašem kódování terminálu a terminálu obecně co vidíte.

CSV soubor neobsahuj informace o znakové sadě, tudíž je třeba aplikaci explicitně říct explicitně říct jaká to je, že excel je pako a myslí si, že to je poblázněná 1250-ka, je smůla, použijte lepší software, nebo postup viz níže :):):).
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
24.5.2010 17:46 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
Rozbalit Rozbalit vše Re: CURL a kodování
…viz výše :):):).
To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
pavlix avatar 24.5.2010 22:56 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: CURL a kodování
Rendijer chtěl pravděpodobně říct, že z příkazového řádku volá "curl URL ...", jen na to nějak zapoměl.
Já jsem ho pochopil správně, o PHP nic nepsal.
GentooFedoraSCRAM – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.