abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 22:00 | Komunita

Portál Stack Overflow po roce opět vyzpovídal své uživatele, jedná se především o vývojáře softwaru, a zveřejnil (podcast) detailní výsledky průzkumu. Průzkumu se letos zúčastnilo více než 64 tisíc vývojářů. Jejich nejmilovanější platformou je linuxový desktop. Ten je také druhou nejpoužívanější platformou vývojářů.

Ladislav Hagara | Komentářů: 1
24.3. 11:55 | Komunita

Vývojový tým OpenSSL ve spolupráci s iniciativou Core Infrastructure konsorcia Linux Foundation spustil proces přelicencování této kryptografické knihovny ze současné licence na licenci Apache Licence v 2.0 (ASLv2). Nová licence usnadní začleňování OpenSSL do dalších svobodných a open source projektů. Všichni dosavadní vývojáři OpenSSL (Authors) obdrží v následujících dnech email s prosbou o souhlas se změnou licence.

Ladislav Hagara | Komentářů: 19
24.3. 01:11 | Komunita

Před třemi týdny Mozilla.cz představila projekt Photon, jehož cílem je návrh a implementace nového vzhledu Firefoxu. Včera zveřejnila první náhled vzhledu Photon. Práce na projektu Photon jsou rozděleny do pěti týmů, které celkem čítají 19 lidí. Zaměřují se na zlepšení prvního spuštění Firefoxu a zaujetí nových uživatelů, celkovou úpravu vzhledu, zlepšení animací, zrychlení odezvy uživatelského rozhraní a také upravení nabídek. Vývoj lze sledovat v Bugzille.

Ladislav Hagara | Komentářů: 44
23.3. 20:00 | Komunita

OneDrive pro firmy je již ve webových prohlížečích na Linuxu stejně rychlý jako na Windows. Microsoft opravil chybu z listopadu loňského roku. OneDrive pro firmy běžel na Linuxu mnohem pomaleji než na Windows. V popisu chyby bylo uvedeno, že stačilo v prohlížeči na Linuxu nastavit v user-agentu Windows a vše se zrychlilo. Odpovědí Microsoftu bylo (Internet Archive: Wayback Machine), že Linux není podporován. Po bouřlivých diskusích na redditu i Hacker News byla chyba nalezena a opravena.

Ladislav Hagara | Komentářů: 6
23.3. 19:00 | Zajímavý projekt

Byla vyhlášena soutěž Hackaday Prize 2017. Soutěž je určena vývojářům open source hardwaru. Pro výherce je připraveno celkově 250 tisíc dolarů. Každý ze 120 finalistů získá tisíc dolarů. Nejlepší pak navíc 50, 30, 20, 15, 10 a 5 tisíc dolarů. Jedná se již o čtvrtý ročník soutěže. V roce 2014 zvítězil projekt globální sítě open source pozemních satelitních stanic SatNOGS. V roce 2015 zvítězil open source systém pro řízení elektrických invalidních vozíků pohybem očí Eyedriveomatic. V roce 2016 zvítězil modulární robot Dtto.

Ladislav Hagara | Komentářů: 0
23.3. 15:00 | Bezpečnostní upozornění

Byla vydána Samba ve verzích 4.6.1, 4.5.7 a 4.4.12. Řešen je bezpečnostní problém CVE-2017-2619. Pomocí symbolických odkazů a souběhu (symlink race) lze "teoreticky" získat přístup k souborům, které nejsou sdíleny. Linuxové distribuce jsou postupně aktualizovány (Debian).

Ladislav Hagara | Komentářů: 0
23.3. 07:43 | Nová verze

Na Steamu se objevil port hry Arma: Cold War Assault (Operation Flashpoint) pro Mac a Linux. … více »

creon | Komentářů: 30
23.3. 05:55 | Nová verze

Po 18 měsících od vydání verze 8.0 byla vydána verze 9.0 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab. Představení nových vlastností v příspěvku na blogu a na YouTube.

Ladislav Hagara | Komentářů: 0
23.3. 03:33 | Komunita

Platnost posledního patentu souvisejícího s Dolby Digital (AC-3) vypršela. Po MP3 se tak do Fedory oficiálně dostane také kodek AC-3.

Ladislav Hagara | Komentářů: 5
23.3. 00:44 | Komunita

Feral Interactive, společnost zabývající se vydáváním počítačových her pro operační systémy macOS a Linux, nabízí své hry na Steamu vývojářům open source 3D grafické knihovny Mesa zdarma. Podmínkou je minimálně 25 commitů za posledních 5 let. Stejnou nabídku dostali vývojáři knihovny Mesa v roce 2015 od Valve. O rok dříve dostali od Valve tuto nabídku vývojáři Debianu a Ubuntu.

Ladislav Hagara | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (71%)
 (3%)
 (10%)
Celkem 937 hlasů
 Komentářů: 72, poslední 1.3. 11:16
    Rozcestník

    Dotaz: Upload a zpracování velkého souboru - PHP - PostgreSQL

    23.3.2010 15:03 JFK
    Upload a zpracování velkého souboru - PHP - PostgreSQL
    Přečteno: 1170×
    Ahoj, mam velkej dump z jine DB, kterej potrebuju nacpat do PostgreSQL - ten dump ma asi 100MB a kdyz to uploadnu a parsruju PHPkem a nasledne rvu do PostgreSQL, tak to trva fakt dlouho (optimalizace-ano mam tam vicenasobne vkladani radku a transakce) az do doby, kdy nejspis dojde k timeoutu prohlizece a zpracovani se zastavi, prohlizec skonci. Predpokladam, ze potrebuju nakym zpusobem ten import na chvilku prerusit, aby prohlizec dostal naky data, tim se mu obnovil cas k timeoutu a dal mohl pokracovat, ale nevim jak ... :-) prosim o radu zkusenejsi ... dekuji.

    Odpovědi

    23.3.2010 16:43 Messa | skóre: 39 | blog: Messa
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Můžeš vysvětlit, proč to tam cpeš prohlížečem přes PHP? Pro přístup k databázi jsou programy (jsou dodávané s PostgreSQL), které nejsou omezeny nějakými time nebo memory limity. Nebo aspoň ten PHP skript spustit jako každý jiný normální skript (tzn. ne přes prohlížeč, ale v terminálu nebo přes SSH).
    24.3.2010 08:16 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Protože se jedna o system do ktereho by to melo zvladat importovat vic lidi, v podstate kde kdo z rozsahlejsi site, tzn. nemuzu si dovolit davat lidem pristup primo k DB a navic to chtit po nakych lamach, chtel jsem to vyresit cely pres www hozhrani-jde o co nejvetsi jednoduchost. Lama da vybrat soubor k importu a udela jeden cvak a ono se to udela samo. Navic by to melo byt schopny bezet na hostingu kde si asi moc dovolovat nebudu moct, takze jsem to chtel spachat cely v PHPku pres prohlizec. Tohle prece nejak musi jit ... jak to dela treba rapidshare pri nahravani velkych souboru pri pomalych prenosovych rychlostech? Ten timeout prece taky musi nastat, kdybych tam tahal 1GB po modemu, tak to bude trvat 1/2 roku a prohlizec to prestane taky bavit. Chce to udelat nak per-partes.

    Mozna by to taky bylo mozny po radcich nacpat do docasne tabulky v PostgreSQL a pri vlozeni posledniho radku ze souboru do DB zavolat nakou proceduru v PostgreSQL, ktera by to preparsrovala a naimportovala do DB, tim by se neprerusilo zpracovani, protoze by to bezelo uz mimo prohlizec ... aspon myslim, nezkousel jsem to, ale PostgreSQL neni na praci s retezci zas tak dobre vybavene jako PHP-ko.
    24.3.2010 12:32 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Taková situace lze řešit několika způsoby, např.:
    • Připravit na serveru ID transakce, odeslat soubor s cílem do neviditelného frame současně s daným ID pro identifikaci na straně serveru.
      Ve stránce si ajaxem pinkat na server s dotaze na stav transakce dle ID, který kontroluje stav transakce/akce dle ID a vypisuje (Ještě to nedošlo,Ještě to nedošlo, Zpracovávám atd.).
      To že v neviditelném iframe vyšumí timeout je putna, pokud nevyšumí timeout scriptu.
      Takže potřebujete dva PHP scripty uploadovací-zpracovávací a 2. zjišťovací. Stav transakce třeba ukládat do DB.
    • Pokud soubor v PHP zpracováváte, tak je nejsnazší vracet něco zpět v každé iteraci (či n-té iteraci) třeba tečku a nezapomenout na příkaz flush().
      U tohoto záleží ještě na bufferování apache a někdy mohou pozlobit proxy-ny v cestě. Tady Vám stačí jen jeden script, a pokud se to dobře udělá, tak v kontrolovaném prostředí (intranet), to poslouží dobře.
    • Stáhnout soubor klasicky ve stávajícím „frame“ a příkaz insertu do DB třeba pustěte v jiném procesu třeba externě pře nohup, tím padem se stránka načte v momentě uploadu.
      Pak je třeba zjišťovat periodicky stav (parsovat vystupni soubor nohup-u, který musí být jedinečný).
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 08:13 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Myslim, ze metoda 2 a 3 jsou schudne (tj. zvladnu a diky za nakopnuti), metoda 1 je asi nejlepsi, ale nevim jak zjistit ID transakce ... :-). Nevidel jste nahodou nekde poceste na netu nakej priklad ... strejdu googla jsem zdimal, ale asi hledam spatna klicova slova, bo o tom vim prd. Diky za koment.
    25.3.2010 09:23 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Malá drobnost úvodem, vyšel jsem z předpokladu, že doba běhu PHP skriptu není limitována (nebo s dostatečnou rezervou) a celý problém je jen „timeout“ na straně klienta a nejdná se o ukončení běhu ze strany serveru viz set_time_limit().

    Co se týče prvního řešení, termín „ID transakce“ jsem myslel obecně a možná slúvko transakce je matoucí (nemyslel jsem SQL transakci), toto ID může být uloženo třeba v DB.
    Myšlenka je následující:
    Pozn. píši to z patra a ošetřování vstupů není obsaženo, sql jsou jen naznačena, php kód také, javascript zde není :(.
    1. Při otvírání/generování stránky, která umožňuje zmiňovaný upload, vytvořit jedinečné ID (uložit záznam v DB). Tento identifikátor dát do skrytého pole formuláře pro upload souboru.
      $myuid = dechex(time()) . dechex(rand());
      sql: "INSERT tuids (uid,stav) VALUES('$myuid',-1)"
      ..
      .. <form>
      ..
      print '<input type="hidden" name="hupld_id" value="'.$myuid.'" />';
      ..
      ...</form>
      
      • Stránka zpracovávající upload, zapisuje k tomuto ID informaci o stavu zpracování souboru.
        .. //stahnul jsem to, start zpracovávání 
        $uid = mysql_escape_string($_POST['hupld_id']);
        
        sql: "UPDATE tuids SET stav=0 WHERE uid='$uid'"
        .. //fčul už víte, že se soubor stáhnul a začíná se zpracovávat
        ..
        .. //zjistit si třeba počet iterací (nebo co potřebujete),
        .. // pokud chcete udělat progressbar přepočíst na % a v daných iteracích měnit.
        sql: "UPDATE tuids SET stav=stav+1 WHERE uid='$uid'"
        
      • Stránka informační, na kterou si pinkáte (třeba po 30sec) ajaxem (HttpRequest-em) vrací stav.
        na něco jako http://server/getinfo.php?hupld_id=74f4224a118
        $uid = mysql_escape_string($_POST['hupld_id']);
        ..
        sql: "SELECT state FROM tuids WHERE uid='$uid'"
        ..
        print $vyvetchovany_result['state']; //:)
        exit;
        
    Provedené transakce (záznamy o uID) se dají promazávat, například k nim uložit časové razítko,a před vytvořením každé nové smazat záznamy starší 48 hodin něco jako
    DELETE FROM tuids WHERE DATE_ADD(vytvoreno, INTERVAL 48 hour) < NOW();

    Takovéto řešení má dvě základní výhody:
    • Uživatel má plný komfort a vidí stav zpracování, případně je možné i reportovat warningy/errory v průběhu (stránka informační vrací více údajů).
    • Ze strany správce jsou záznamy kdy se co dělo, a vhodným rozšířením (a nepromazáváním) tabulky, případně tabulek, máte statistiku doby zpracovávané, informace o problémech apod.
    Neplácám to jen z vody, podobný systém používám na import a parsování až 2Gb logů, které se očešou a parsují do DB (statistika přístupu k internetu uživatelů a PC), s tím rozdílem, že většinou se jedná o proces na pozadí bez interakce uživatele, ale správce má možnost tento upload a zpracování provést i „interaktivně - online“. Tyto importy trvají i 30 minut a je jich někdy i několik, a díky automatickým importům se v DB uchovávají údaje o proběhlých importech, času, varování apod. - a samozřejmě se nemažou.
    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 12:20 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Drobná opravička namající vliv na myšlénku:

    $myuid = dechex(time()) . dechex(rand() * 16777216);

    (Lze samozřejmě použít MD5 SHA1 a pod.)

    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    25.3.2010 13:31 JFK
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Co rici nez WOW :-), diky za temer napsanej kod ... :-). Myslenka zajimava, s AJAXem jeste neumim, ale to nak pujde. Takze diky jeste jednou, jdu na to ... .
    Tarmaq avatar 23.3.2010 17:17 Tarmaq | skóre: 39
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    volil bych cestu:
    1. $ scp sql_dump stroj
    2. $ ssh stroj
    3. $ psql -f sql_dump databaze
    Don't panic!
    AraxoN avatar 24.3.2010 13:03 AraxoN | skóre: 45 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Upload a zpracování velkého souboru - PHP - PostgreSQL
    Dal by som na začiatok skriptu
    error_reporting(E_ALL ^ E_NOTICE);
    echo "zaciatok PHP\n";
    a počkal si čo to vypíše...

    Btw. upload v PHP funguje štandardne tak, že najprv sa odošle celý súbor a až keď je celý na serveri, tak až potom sa začne vykonávať PHP skript. Tzn. je treba rozlíšiť, či to zdochlo na uploade, alebo až na následnom spracovaní dát v PHP. Keď nám dáš vedieť kde to skončilo, potom Ti možno poradíme konkrétnejšie.
    A fine is a tax for doing wrong. A tax is a fine for doing well.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.