abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 14:24 | Nová verze

Opera 46, verze 46.0.2597.26, byla prohlášena za stabilní. Nejnovější verze tohoto webového prohlížeče je postavena na Chromiu 59. Z novinek lze zmínit například podporu APNG (Animated Portable Network Graphics). Přehled novinek pro vývojáře na blogu Dev.Opera. Oznámení o vydání zmiňuje také první televizní reklamu.

Ladislav Hagara | Komentářů: 0
včera 13:37 | IT novinky

I čtenáři AbcLinuxu před dvěma lety vyplňovali dotazníky věnované Retro ThinkPadu. Nyní bylo potvrzeno, že iniciativa Retro ThinkPad je stále naživu a Lenovo připravuje speciální edici ThinkPadu jako součást oslav jeho 25. výročí.

Ladislav Hagara | Komentářů: 8
včera 10:22 | Komunita

Bylo oznámeno, že frontend a runtime programovacího jazyka D bude začleněn do kolekce kompilátorů GCC (GNU Compiler Collection). Správcem byl ustanoven Iain Buclaw.

Ladislav Hagara | Komentářů: 4
21.6. 18:47 | IT novinky
Bulharská firma Olimex je známá jako výrobce kvalitních mini arm desek, u nichž se snaží být maximálně open source. Kromě velké otevřenosti taktéž zaručují dlouhodobou podporu výroby, což je vítáno ve firemním prostředí. Nyní firma ohlásila ESP32-GATEWAY, malou IoT desku s Wifi, Bluetooth, Ethernetem a 20 GPIO porty za 22EUR. Tato malá deska je ořezanou verzí ESP32-EVB.
Max | Komentářů: 19
21.6. 18:00 | Zajímavý článek

LinuxGizmos (v dubnu loňského roku přejmenován na HackerBoards a v lednu letošního roku zpět na LinuxGizmos) zveřejnil výsledky čtenářské ankety o nejoblíbenější jednodeskový počítač (SBC) v roce 2017. Letos se vybíralo z 98 jednodeskových počítačů (Tabulky Google). Nejoblíbenějšími jednodeskovými počítači v letošním roce jsou Raspberry Pi 3 Model B, Raspberry Pi Zero W a Raspberry Pi 2 Model B.

Ladislav Hagara | Komentářů: 0
21.6. 14:22 | Pozvánky

Ne-konference jOpenSpace 2017 se koná od 13. do 15. října 2017 v hotelu Farma u Pelhřimova. Registrace účastníků je nutná. Více informací na stránkách ne-konference.

Zdenek H. | Komentářů: 0
21.6. 14:11 | Nová verze

Vyšla nová verze 1.2 audio kodeku Opus, která přináší mnoho drobných optimalizací a tím i celkové vylepšení poměru bitrate/kvalita. Fullband (do 20 kHz) stereo hudba je možná již od 32 kbit/s, fullband mono řeč již od 14 kbit/s. Více informací sepsal vývojář Opusu J. M. Valin formou již tradiční demo stránky.

Petr Tomášek | Komentářů: 19
21.6. 14:00 | Zajímavý článek

Na MojeFedora.cz byl zveřejněn překlad příspěvku na blogu Christiana Schallera, vedoucího desktopového týmu v Red Hatu, v němž se zabývá novinkami ve Fedoře Workstation 26 a následujících vydáních. Například již ve Fedoře 27 by se měl objevit jednotný server pro audio a video v Linuxu PipeWire. Ten byl představen před dvěma lety. Tenkrát ještě pod názvem Pinos (PulseVideo).

Ladislav Hagara | Komentářů: 0
21.6. 05:55 | Bezpečnostní upozornění

V KMailu byla nalezena a opravena bezpečnostní chyba CVE-2017-9604 týkající se uživatelů, již své maily podepisují a šifrují pomocí OpenPGP. Pokud uživatel KMailu při odesílání mailu zvolil možnost Odeslat později, tak byl mail odeslán nepodepsaný a v otevřeném tvaru.

Ladislav Hagara | Komentářů: 15
21.6. 04:44 | Pozvánky

Mozilla.cz zve na Mozilla meetupy v Brně a Praze. Brněnské setkání proběhne vůbec poprvé, a to tento pátek 23. 6. v Beer & Grill U Dřeváka. To pražské bude příští čtvrtek 29. 6. v Diversion Bistru.

Ladislav Hagara | Komentářů: 0
Chystáte se pořídit CPU AMD Ryzen?
 (6%)
 (31%)
 (1%)
 (9%)
 (44%)
 (9%)
Celkem 820 hlasů
 Komentářů: 65, poslední 1.6. 19:16
    Rozcestník

    Dotaz: Upload a zpracování velkého souboru - PHP - PostgreSQL

    23.3.2010 15:03 JFK
    Upload a zpracování velkého souboru - PHP - PostgreSQL
    Přečteno: 1171×
    Ahoj, mam velkej dump z jine DB, kterej potrebuju nacpat do PostgreSQL - ten dump ma asi 100MB a kdyz to uploadnu a parsruju PHPkem a nasledne rvu do PostgreSQL, tak to trva fakt dlouho (optimalizace-ano mam tam vicenasobne vkladani radku a transakce) az do doby, kdy nejspis dojde k timeoutu prohlizece a zpracovani se zastavi, prohlizec skonci. Predpokladam, ze potrebuju nakym zpusobem ten import na chvilku prerusit, aby prohlizec dostal naky data, tim se mu obnovil cas k timeoutu a dal mohl pokracovat, ale nevim jak ... :-) prosim o radu zkusenejsi ... dekuji.

    Odpovědi

    23.3.2010 16:43 Messa | skóre: 39 | blog: Messa
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Můžeš vysvětlit, proč to tam cpeš prohlížečem přes PHP? Pro přístup k databázi jsou programy (jsou dodávané s PostgreSQL), které nejsou omezeny nějakými time nebo memory limity. Nebo aspoň ten PHP skript spustit jako každý jiný normální skript (tzn. ne přes prohlížeč, ale v terminálu nebo přes SSH).
    24.3.2010 08:16 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Protože se jedna o system do ktereho by to melo zvladat importovat vic lidi, v podstate kde kdo z rozsahlejsi site, tzn. nemuzu si dovolit davat lidem pristup primo k DB a navic to chtit po nakych lamach, chtel jsem to vyresit cely pres www hozhrani-jde o co nejvetsi jednoduchost. Lama da vybrat soubor k importu a udela jeden cvak a ono se to udela samo. Navic by to melo byt schopny bezet na hostingu kde si asi moc dovolovat nebudu moct, takze jsem to chtel spachat cely v PHPku pres prohlizec. Tohle prece nejak musi jit ... jak to dela treba rapidshare pri nahravani velkych souboru pri pomalych prenosovych rychlostech? Ten timeout prece taky musi nastat, kdybych tam tahal 1GB po modemu, tak to bude trvat 1/2 roku a prohlizec to prestane taky bavit. Chce to udelat nak per-partes.

    Mozna by to taky bylo mozny po radcich nacpat do docasne tabulky v PostgreSQL a pri vlozeni posledniho radku ze souboru do DB zavolat nakou proceduru v PostgreSQL, ktera by to preparsrovala a naimportovala do DB, tim by se neprerusilo zpracovani, protoze by to bezelo uz mimo prohlizec ... aspon myslim, nezkousel jsem to, ale PostgreSQL neni na praci s retezci zas tak dobre vybavene jako PHP-ko.
    24.3.2010 12:32 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Taková situace lze řešit několika způsoby, např.:
    • Připravit na serveru ID transakce, odeslat soubor s cílem do neviditelného frame současně s daným ID pro identifikaci na straně serveru.
      Ve stránce si ajaxem pinkat na server s dotaze na stav transakce dle ID, který kontroluje stav transakce/akce dle ID a vypisuje (Ještě to nedošlo,Ještě to nedošlo, Zpracovávám atd.).
      To že v neviditelném iframe vyšumí timeout je putna, pokud nevyšumí timeout scriptu.
      Takže potřebujete dva PHP scripty uploadovací-zpracovávací a 2. zjišťovací. Stav transakce třeba ukládat do DB.
    • Pokud soubor v PHP zpracováváte, tak je nejsnazší vracet něco zpět v každé iteraci (či n-té iteraci) třeba tečku a nezapomenout na příkaz flush().
      U tohoto záleží ještě na bufferování apache a někdy mohou pozlobit proxy-ny v cestě. Tady Vám stačí jen jeden script, a pokud se to dobře udělá, tak v kontrolovaném prostředí (intranet), to poslouží dobře.
    • Stáhnout soubor klasicky ve stávajícím „frame“ a příkaz insertu do DB třeba pustěte v jiném procesu třeba externě pře nohup, tím padem se stránka načte v momentě uploadu.
      Pak je třeba zjišťovat periodicky stav (parsovat vystupni soubor nohup-u, který musí být jedinečný).
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 08:13 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Myslim, ze metoda 2 a 3 jsou schudne (tj. zvladnu a diky za nakopnuti), metoda 1 je asi nejlepsi, ale nevim jak zjistit ID transakce ... :-). Nevidel jste nahodou nekde poceste na netu nakej priklad ... strejdu googla jsem zdimal, ale asi hledam spatna klicova slova, bo o tom vim prd. Diky za koment.
    25.3.2010 09:23 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Malá drobnost úvodem, vyšel jsem z předpokladu, že doba běhu PHP skriptu není limitována (nebo s dostatečnou rezervou) a celý problém je jen „timeout“ na straně klienta a nejdná se o ukončení běhu ze strany serveru viz set_time_limit().

    Co se týče prvního řešení, termín „ID transakce“ jsem myslel obecně a možná slúvko transakce je matoucí (nemyslel jsem SQL transakci), toto ID může být uloženo třeba v DB.
    Myšlenka je následující:
    Pozn. píši to z patra a ošetřování vstupů není obsaženo, sql jsou jen naznačena, php kód také, javascript zde není :(.
    1. Při otvírání/generování stránky, která umožňuje zmiňovaný upload, vytvořit jedinečné ID (uložit záznam v DB). Tento identifikátor dát do skrytého pole formuláře pro upload souboru.
      $myuid = dechex(time()) . dechex(rand());
      sql: "INSERT tuids (uid,stav) VALUES('$myuid',-1)"
      ..
      .. <form>
      ..
      print '<input type="hidden" name="hupld_id" value="'.$myuid.'" />';
      ..
      ...</form>
      
      • Stránka zpracovávající upload, zapisuje k tomuto ID informaci o stavu zpracování souboru.
        .. //stahnul jsem to, start zpracovávání 
        $uid = mysql_escape_string($_POST['hupld_id']);
        
        sql: "UPDATE tuids SET stav=0 WHERE uid='$uid'"
        .. //fčul už víte, že se soubor stáhnul a začíná se zpracovávat
        ..
        .. //zjistit si třeba počet iterací (nebo co potřebujete),
        .. // pokud chcete udělat progressbar přepočíst na % a v daných iteracích měnit.
        sql: "UPDATE tuids SET stav=stav+1 WHERE uid='$uid'"
        
      • Stránka informační, na kterou si pinkáte (třeba po 30sec) ajaxem (HttpRequest-em) vrací stav.
        na něco jako http://server/getinfo.php?hupld_id=74f4224a118
        $uid = mysql_escape_string($_POST['hupld_id']);
        ..
        sql: "SELECT state FROM tuids WHERE uid='$uid'"
        ..
        print $vyvetchovany_result['state']; //:)
        exit;
        
    Provedené transakce (záznamy o uID) se dají promazávat, například k nim uložit časové razítko,a před vytvořením každé nové smazat záznamy starší 48 hodin něco jako
    DELETE FROM tuids WHERE DATE_ADD(vytvoreno, INTERVAL 48 hour) < NOW();

    Takovéto řešení má dvě základní výhody:
    • Uživatel má plný komfort a vidí stav zpracování, případně je možné i reportovat warningy/errory v průběhu (stránka informační vrací více údajů).
    • Ze strany správce jsou záznamy kdy se co dělo, a vhodným rozšířením (a nepromazáváním) tabulky, případně tabulek, máte statistiku doby zpracovávané, informace o problémech apod.
    Neplácám to jen z vody, podobný systém používám na import a parsování až 2Gb logů, které se očešou a parsují do DB (statistika přístupu k internetu uživatelů a PC), s tím rozdílem, že většinou se jedná o proces na pozadí bez interakce uživatele, ale správce má možnost tento upload a zpracování provést i „interaktivně - online“. Tyto importy trvají i 30 minut a je jich někdy i několik, a díky automatickým importům se v DB uchovávají údaje o proběhlých importech, času, varování apod. - a samozřejmě se nemažou.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 12:20 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Drobná opravička namající vliv na myšlénku:

    $myuid = dechex(time()) . dechex(rand() * 16777216);

    (Lze samozřejmě použít MD5 SHA1 a pod.)

    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 13:31 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Co rici nez WOW :-), diky za temer napsanej kod ... :-). Myslenka zajimava, s AJAXem jeste neumim, ale to nak pujde. Takze diky jeste jednou, jdu na to ... .
    Tarmaq avatar 23.3.2010 17:17 Tarmaq | skóre: 39
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    volil bych cestu:
    1. $ scp sql_dump stroj
    2. $ ssh stroj
    3. $ psql -f sql_dump databaze
    Don't panic!
    AraxoN avatar 24.3.2010 13:03 AraxoN | skóre: 45 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Dal by som na začiatok skriptu
    error_reporting(E_ALL ^ E_NOTICE);
    echo "zaciatok PHP\n";
    a počkal si čo to vypíše...

    Btw. upload v PHP funguje štandardne tak, že najprv sa odošle celý súbor a až keď je celý na serveri, tak až potom sa začne vykonávať PHP skript. Tzn. je treba rozlíšiť, či to zdochlo na uploade, alebo až na následnom spracovaní dát v PHP. Keď nám dáš vedieť kde to skončilo, potom Ti možno poradíme konkrétnejšie.
    A fine is a tax for doing wrong. A tax is a fine for doing well.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.