Dotaz: CURL a kodování

[Rendijer]

Ahoj, někdy před týdnem jsem založil diskusi o automatickém stahování dat přes curl, bohůže ji nemůžu najít a nalinkovat, asi se nedokážu stotožnit s tímhle forem :D

Mno tak k věci

Přes Curl stáhnu Log, kde jsou zaznamenány přistupy uživatelů s diakritikou, jenže když ten soubor otevřu, tak diakritika je v sypaném čaji. Jde to přimo udělat parametrem curlu, nebo to musím něčím "upravit"?

díky

---

---

Odpovědi

[Gaudentius]

Ahoj, nevím - nejsem si jistej, že to u CURLU nastavit lze, nic m=ně si můžeš výstup překódovat: 

<?php
// cashuje prohlizec, tak bacha...
// header("Content-Type: text/html; charset=UTF-8");
$f  = file_get_contents('mcast.sql');

// zjisteni kodovani
function detect($s)
{
if (preg_match('#[\x80-\x{1FF}\x{2000}-\x{3FFF}]#u', $s))
return 'UTF-8';

if (preg_match('#[\x7F-\x9F\xBC]#', $s))
return 'WINDOWS-1250';

return 'ISO-8859-2';
}

// automaticky prevod do UTF-8
function autoUTF($s)
{
// detect UTF-8
if (preg_match('#[\x80-\x{1FF}\x{2000}-\x{3FFF}]#u', $s))
return $s;

// detect WINDOWS-1250
if (preg_match('#[\x7F-\x9F\xBC]#', $s))
return iconv('WINDOWS-1250', 'UTF-8', $s);

// assume ISO-8859-2
return iconv('ISO-8859-2', 'UTF-8', $s);
}


print detect($f)."<br/>".autoUTF($f);

Autorem je Vrána

[Rendijer]

Na serveru mi neběží php ...

[Rendijer]

ale co mi běží je iconv.

Problém je ten, že nevím, v jakém kodovani ten soubor je. Přitom stránka, ze které curl stahuje je utf-8, stáhne a diakritika v souboru je fuč.

[Gaudentius]

počkej, tak to se bavíme asi oba o něčem jiném - já mluvím o curl v php. iconv je i v jiném programovacím jazyce? nebo jako používáš ten iconv ty?

[Rendijer]

Linux samozřejmně

[misch]

Rendijer chtěl pravděpodobně říct, že z příkazového řádku volá "curl URL ...", jen na to nějak zapoměl.

Když ale Rendijer sdělí světu co přesně tedy vlastně používá a s jakými přepínači to volá, možná mu někdo pomůže ...

[Rendijer]

Pardon mno, já jsem nemohl najít ten předcházející příspěvek

Tohle je demostránka výrobce čteček, ze které stahuji data. Tady jsou uživatelé fiktivní a nemají diakritiku. Všechno se stáhne, super. ALe když to chci aplikovat už na reálnou čtečku, kde jsou lidi v logu zobrazeni s diakritikou, tak narazím na problém...

curl -c curlcookies.txt -d "loginName=A999&loginPass=1&loginLevel=B&command=1" http://74.219.212.106/cgi-bin/login.cgi

curl -b curlcookies.txt 'http://74.219.212.106/cgi-bin/report.cgi?command=0&elemployeename=&elemployeeid=&elperiod=2&dayFrom=0&dayTo=0&elemployeedept=-999&eltrigger=-1&format=1' > data.csv

zkoušel jsem pak v data převést kodovaní, ale nešlo to

iconv -f ISOblabla -t UTF-8 data.csv > ddata.csv

[chrono]

A si si istý, že ten súbor otváraš/zobrazuješ v utf-8 kódovaní? (pretože nevidím dôvod, prečo by mal curl niečo s tým kódovaním robiť)

[Šangala]

Zmiňovaný problém, jsme řešily zde, fčul 3. stránka „Starší dotazy“ :).
Co mám ještě staženo odpovídalo by to kódování utf-8, bo přihlásit se mi na to demo fčulnedaří.
Přiložte (jako přílohu) sem stažený data.csv nebo jeho část, ale ořezanou tak aby nedošlo ke změně sem položeného obsahu, myslím si, že se na ta data jen „špatně“ díváte.

[Rendijer]

Příloha:

• data.csv (945 bytů)

Právě že už při tomhle:

#curl -c curlcookies.txt -d "loginName=A999&loginPass=1&loginLevel=B&command=1" http://74.219.212.106/cgi-bin/login.cgi

#curl -b curlcookies.txt 'http://74.219.212.106/cgi-bin/report.cgi?command=0&elemployeename=&elemployeeid=&elperiod=2&dayFrom=0&dayTo=0&elemployeedept=-999&eltrigger=-1&format=1'

, když to nechám normálně v stdout a nevypíšu to do souboru, tak už tam to zobrazuje tu diaktritiku divně.

[Šangala]

Jak říkám, data jsou normálně v utf-8, v čem je otvíráte? – TO zlobí
.

[Rendijer]

Ale nezáleží v čem je otvírám, pokud na stdoud se zobrazí špatně, tak dál sněma ani nemůžu pracovat... Ty data si pak potřebuju upravit a následně snima pracuje účetní program...

[Rendijer]

Vám se snad zobrazí diakritika? Otvírám je normálně v Excelu

[Šangala]

Jasně, vidim hacky/carky :)

Excel 2003:

• Přejmenujte si koncovku na txt
• V Excelu si dejte otevřít a zvolte Všechny soubory *.* a vyberte soubor VasSoubor.txt
• Zvolte kódování UTF-8 a „Oddělovač“ a tl. Další
• Oddělovač zvolte JEN čárka a textový kvalifikátor "
• A pak již třeba dokončit

OpenOffice 3.x:

• Zvolte otevřít a vyberte soubor csv
• Nastavte znakovou sadu Unicode UTF-8, odělovač jen čárka, oddělovač textu "
• A pak již třeba OK

VIM:

• Otevřete soubor
• zapište: :set encoding=utf-8

[Rendijer]

Hmhm, děkujů pěkně.. A dá se to nějakým způsobem zautomatizovat? Do přikazového řádku? Nechce mi to nějak fungovat

[Šangala]

Co nefunguje, popsaný postup, nebo automatizace ?

Pokud si jste jistý, že ty znaky pokryje windows-1250 (to jest maximálně ö,ä :)), tak to přešupačte pomocí iconv do windows-1250 při exportu.
iconv -f UTF-8 -t WINDOWS-1250 -o in.csv out.csv
pak již může účetní klikat.
Anebo (asi lepší)
Doplňte 'byte-order marker'
Před tím než do souboru vysypete ten výstup nasypte tam dva znaky
echo -ne "\0273\0376" > muj.csv
a data z curl přídávejte:
curl -c ... page.cgi >> muj.csv
Nebo případně po exportu upravte příkazem:
vim -e -s -c ':set bomb' -c ':wq' muj.csv

…už to excel žere ?

[Rendijer]

díky pane, už to fičí :)

[Šangala]

Ne-ne, ne :),
stdout je sype jak to je (o žádném kódování nic neví), a záleží na vašem kódování terminálu a terminálu obecně co vidíte.

CSV soubor neobsahuj informace o znakové sadě, tudíž je třeba aplikaci explicitně říct explicitně říct jaká to je, že excel je pako a myslí si, že to je poblázněná 1250-ka, je smůla, použijte lepší software, nebo postup viz níže :):):).

[Šangala]

…viz výše :):):).

[pavlix]

Rendijer chtěl pravděpodobně říct, že z příkazového řádku volá "curl URL ...", jen na to nějak zapoměl.

Já jsem ho pochopil správně, o PHP nic nepsal.