abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 09:22 | Pozvánky

V Praze dnes probíhá Konference e-infrastruktury CESNET. Na programu je řada zajímavých přednášek. Sledovat je lze i online na stránce konference.

Ladislav Hagara | Komentářů: 0
9.12. 20:11 | Nová verze

Byl vydán Debian 9.3, tj. třetí opravná verze Debianu 9 s kódovým názvem Stretch a Debian 8.10, tj. desátá opravná verze Debianu 8 s kódovým názvem Jessie. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Instalační média Debianu 9 a Debianu 8 lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 0
9.12. 00:44 | Nová verze

Po 6 měsících vývoje od vydání verze 0.13.0 byla vydána verze 0.14.0 správce balíčků GNU Guix a na něm postavené systémové distribuce GuixSD (Guix System Distribution). Na vývoji se podílelo 88 vývojářů. Přibylo 1 211 nových balíčků. Jejich aktuální počet je 6 668. Aktualizována byla také dokumentace.

Ladislav Hagara | Komentářů: 3
8.12. 21:33 | Nová verze

Po půl roce vývoje od vydání verze 5.9 byla vydána nová stabilní verze 5.10 toolkitu Qt. Přehled novinek na wiki stránce. Současně byla vydána nová verze 4.5.0 integrovaného vývojového prostředí (IDE) Qt Creator nebo verze 1.10 nástroje pro překlad a sestavení programů ze zdrojových kódů Qbs.

Ladislav Hagara | Komentářů: 0
7.12. 11:11 | Komunita

Naprostá většina příjmů Mozilly pochází od výchozích webových vyhledávačů ve Firefoxu. Do konce listopadu 2014 měla Mozilla globální smlouvu se společností Google. Následně bylo místo jedné globální smlouvy uzavřeno několik smluv s konkrétními vyhledávači pro jednotlivé země. V USA byla podepsána pětiletá smlouva s vyhledávačem Yahoo. Dle příspěvku na blogu Mozilly podala společnost Yahoo na Mozillu žalobu ohledně porušení této

… více »
Ladislav Hagara | Komentářů: 0
7.12. 05:55 | Zajímavý článek

V Londýně probíhá konference věnovaná počítačové bezpečnosti Black Hat Europe 2017. Průběžně jsou zveřejňovány prezentace. Videozáznamy budou na YouTube zveřejněny o několik měsíců. Zveřejněna byla například prezentace (pdf) k přednášce "Jak se nabourat do vypnutého počítače, a nebo jak v Intel Management Engine spustit vlastní nepodepsaný kód". Dle oznámení na Twitteru, aktualizace vydaná společností Intel nevylučuje možnost útoku.

Ladislav Hagara | Komentářů: 5
7.12. 04:44 | Komunita

Virtualizační nástroj GNOME Boxy ve Fedoře 27 umožňuje jednoduše stáhnout a nainstalovat Red Hat Enterprise Linux, který je pro vývojáře zdarma. Vývojová verze GNOME Boxy již umožňuje jednoduše stáhnout a nainstalovat další linuxové distribuce. Ukázka na YouTube. Seznam distribucí a jejich verze, nastavení a cesty k ISO obrazům je udržován v knihovně a databázi libosinfo (GitLab).

Ladislav Hagara | Komentářů: 0
7.12. 03:33 | Nová verze

Google Chrome 63 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 63.0.3239.84 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře. Opraveno bylo 37 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 10
6.12. 22:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 147. brněnský sraz, který proběhne v pátek 15. prosince od 18:00 hodin v restauraci Severka na rohu Tučkové a Zahradníkové.

Ladislav Hagara | Komentářů: 0
6.12. 22:33 | Komunita

V roce 2013 byl představen projekt Debsources, jehož cílem bylo a je poskytnout webové rozhraní ke zdrojovým kódům balíčků obsažených v Debianu. Projekt doteď běžel na doméně debian.net. Dnes bylo oznámeno, že projekt byl přesunut na oficiální infrastrukturu Debianu. Služba Debian Sources nově běží na doméně debian.org. V plánů je řada vylepšení. Již dnes je ke službě k dispozici API a procházet lze také patche a licence.

Ladislav Hagara | Komentářů: 0
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (8%)
 (1%)
 (1%)
 (1%)
 (75%)
 (14%)
Celkem 947 hlasů
 Komentářů: 45, poslední 1.12. 19:00
    Rozcestník

    Dotaz: Upload a zpracování velkého souboru - PHP - PostgreSQL

    23.3.2010 15:03 JFK
    Upload a zpracování velkého souboru - PHP - PostgreSQL
    Přečteno: 1172×
    Ahoj, mam velkej dump z jine DB, kterej potrebuju nacpat do PostgreSQL - ten dump ma asi 100MB a kdyz to uploadnu a parsruju PHPkem a nasledne rvu do PostgreSQL, tak to trva fakt dlouho (optimalizace-ano mam tam vicenasobne vkladani radku a transakce) az do doby, kdy nejspis dojde k timeoutu prohlizece a zpracovani se zastavi, prohlizec skonci. Predpokladam, ze potrebuju nakym zpusobem ten import na chvilku prerusit, aby prohlizec dostal naky data, tim se mu obnovil cas k timeoutu a dal mohl pokracovat, ale nevim jak ... :-) prosim o radu zkusenejsi ... dekuji.

    Odpovědi

    23.3.2010 16:43 Messa | skóre: 39 | blog: Messa
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Můžeš vysvětlit, proč to tam cpeš prohlížečem přes PHP? Pro přístup k databázi jsou programy (jsou dodávané s PostgreSQL), které nejsou omezeny nějakými time nebo memory limity. Nebo aspoň ten PHP skript spustit jako každý jiný normální skript (tzn. ne přes prohlížeč, ale v terminálu nebo přes SSH).
    24.3.2010 08:16 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Protože se jedna o system do ktereho by to melo zvladat importovat vic lidi, v podstate kde kdo z rozsahlejsi site, tzn. nemuzu si dovolit davat lidem pristup primo k DB a navic to chtit po nakych lamach, chtel jsem to vyresit cely pres www hozhrani-jde o co nejvetsi jednoduchost. Lama da vybrat soubor k importu a udela jeden cvak a ono se to udela samo. Navic by to melo byt schopny bezet na hostingu kde si asi moc dovolovat nebudu moct, takze jsem to chtel spachat cely v PHPku pres prohlizec. Tohle prece nejak musi jit ... jak to dela treba rapidshare pri nahravani velkych souboru pri pomalych prenosovych rychlostech? Ten timeout prece taky musi nastat, kdybych tam tahal 1GB po modemu, tak to bude trvat 1/2 roku a prohlizec to prestane taky bavit. Chce to udelat nak per-partes.

    Mozna by to taky bylo mozny po radcich nacpat do docasne tabulky v PostgreSQL a pri vlozeni posledniho radku ze souboru do DB zavolat nakou proceduru v PostgreSQL, ktera by to preparsrovala a naimportovala do DB, tim by se neprerusilo zpracovani, protoze by to bezelo uz mimo prohlizec ... aspon myslim, nezkousel jsem to, ale PostgreSQL neni na praci s retezci zas tak dobre vybavene jako PHP-ko.
    24.3.2010 12:32 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Taková situace lze řešit několika způsoby, např.:
    • Připravit na serveru ID transakce, odeslat soubor s cílem do neviditelného frame současně s daným ID pro identifikaci na straně serveru.
      Ve stránce si ajaxem pinkat na server s dotaze na stav transakce dle ID, který kontroluje stav transakce/akce dle ID a vypisuje (Ještě to nedošlo,Ještě to nedošlo, Zpracovávám atd.).
      To že v neviditelném iframe vyšumí timeout je putna, pokud nevyšumí timeout scriptu.
      Takže potřebujete dva PHP scripty uploadovací-zpracovávací a 2. zjišťovací. Stav transakce třeba ukládat do DB.
    • Pokud soubor v PHP zpracováváte, tak je nejsnazší vracet něco zpět v každé iteraci (či n-té iteraci) třeba tečku a nezapomenout na příkaz flush().
      U tohoto záleží ještě na bufferování apache a někdy mohou pozlobit proxy-ny v cestě. Tady Vám stačí jen jeden script, a pokud se to dobře udělá, tak v kontrolovaném prostředí (intranet), to poslouží dobře.
    • Stáhnout soubor klasicky ve stávajícím „frame“ a příkaz insertu do DB třeba pustěte v jiném procesu třeba externě pře nohup, tím padem se stránka načte v momentě uploadu.
      Pak je třeba zjišťovat periodicky stav (parsovat vystupni soubor nohup-u, který musí být jedinečný).
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 08:13 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Myslim, ze metoda 2 a 3 jsou schudne (tj. zvladnu a diky za nakopnuti), metoda 1 je asi nejlepsi, ale nevim jak zjistit ID transakce ... :-). Nevidel jste nahodou nekde poceste na netu nakej priklad ... strejdu googla jsem zdimal, ale asi hledam spatna klicova slova, bo o tom vim prd. Diky za koment.
    25.3.2010 09:23 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Malá drobnost úvodem, vyšel jsem z předpokladu, že doba běhu PHP skriptu není limitována (nebo s dostatečnou rezervou) a celý problém je jen „timeout“ na straně klienta a nejdná se o ukončení běhu ze strany serveru viz set_time_limit().

    Co se týče prvního řešení, termín „ID transakce“ jsem myslel obecně a možná slúvko transakce je matoucí (nemyslel jsem SQL transakci), toto ID může být uloženo třeba v DB.
    Myšlenka je následující:
    Pozn. píši to z patra a ošetřování vstupů není obsaženo, sql jsou jen naznačena, php kód také, javascript zde není :(.
    1. Při otvírání/generování stránky, která umožňuje zmiňovaný upload, vytvořit jedinečné ID (uložit záznam v DB). Tento identifikátor dát do skrytého pole formuláře pro upload souboru.
      $myuid = dechex(time()) . dechex(rand());
      sql: "INSERT tuids (uid,stav) VALUES('$myuid',-1)"
      ..
      .. <form>
      ..
      print '<input type="hidden" name="hupld_id" value="'.$myuid.'" />';
      ..
      ...</form>
      
      • Stránka zpracovávající upload, zapisuje k tomuto ID informaci o stavu zpracování souboru.
        .. //stahnul jsem to, start zpracovávání 
        $uid = mysql_escape_string($_POST['hupld_id']);
        
        sql: "UPDATE tuids SET stav=0 WHERE uid='$uid'"
        .. //fčul už víte, že se soubor stáhnul a začíná se zpracovávat
        ..
        .. //zjistit si třeba počet iterací (nebo co potřebujete),
        .. // pokud chcete udělat progressbar přepočíst na % a v daných iteracích měnit.
        sql: "UPDATE tuids SET stav=stav+1 WHERE uid='$uid'"
        
      • Stránka informační, na kterou si pinkáte (třeba po 30sec) ajaxem (HttpRequest-em) vrací stav.
        na něco jako http://server/getinfo.php?hupld_id=74f4224a118
        $uid = mysql_escape_string($_POST['hupld_id']);
        ..
        sql: "SELECT state FROM tuids WHERE uid='$uid'"
        ..
        print $vyvetchovany_result['state']; //:)
        exit;
        
    Provedené transakce (záznamy o uID) se dají promazávat, například k nim uložit časové razítko,a před vytvořením každé nové smazat záznamy starší 48 hodin něco jako
    DELETE FROM tuids WHERE DATE_ADD(vytvoreno, INTERVAL 48 hour) < NOW();

    Takovéto řešení má dvě základní výhody:
    • Uživatel má plný komfort a vidí stav zpracování, případně je možné i reportovat warningy/errory v průběhu (stránka informační vrací více údajů).
    • Ze strany správce jsou záznamy kdy se co dělo, a vhodným rozšířením (a nepromazáváním) tabulky, případně tabulek, máte statistiku doby zpracovávané, informace o problémech apod.
    Neplácám to jen z vody, podobný systém používám na import a parsování až 2Gb logů, které se očešou a parsují do DB (statistika přístupu k internetu uživatelů a PC), s tím rozdílem, že většinou se jedná o proces na pozadí bez interakce uživatele, ale správce má možnost tento upload a zpracování provést i „interaktivně - online“. Tyto importy trvají i 30 minut a je jich někdy i několik, a díky automatickým importům se v DB uchovávají údaje o proběhlých importech, času, varování apod. - a samozřejmě se nemažou.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 12:20 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Drobná opravička namající vliv na myšlénku:

    $myuid = dechex(time()) . dechex(rand() * 16777216);

    (Lze samozřejmě použít MD5 SHA1 a pod.)

    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 13:31 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Co rici nez WOW :-), diky za temer napsanej kod ... :-). Myslenka zajimava, s AJAXem jeste neumim, ale to nak pujde. Takze diky jeste jednou, jdu na to ... .
    Tarmaq avatar 23.3.2010 17:17 Tarmaq | skóre: 39
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    volil bych cestu:
    1. $ scp sql_dump stroj
    2. $ ssh stroj
    3. $ psql -f sql_dump databaze
    Don't panic!
    AraxoN avatar 24.3.2010 13:03 AraxoN | skóre: 45 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Dal by som na začiatok skriptu
    error_reporting(E_ALL ^ E_NOTICE);
    echo "zaciatok PHP\n";
    a počkal si čo to vypíše...

    Btw. upload v PHP funguje štandardne tak, že najprv sa odošle celý súbor a až keď je celý na serveri, tak až potom sa začne vykonávať PHP skript. Tzn. je treba rozlíšiť, či to zdochlo na uploade, alebo až na následnom spracovaní dát v PHP. Keď nám dáš vedieť kde to skončilo, potom Ti možno poradíme konkrétnejšie.
    A fine is a tax for doing wrong. A tax is a fine for doing well.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.