Dotaz: Upload a zpracování velkého souboru - PHP - PostgreSQL

[JFK]

Ahoj, mam velkej dump z jine DB, kterej potrebuju nacpat do PostgreSQL - ten dump ma asi 100MB a kdyz to uploadnu a parsruju PHPkem a nasledne rvu do PostgreSQL, tak to trva fakt dlouho (optimalizace-ano mam tam vicenasobne vkladani radku a transakce) az do doby, kdy nejspis dojde k timeoutu prohlizece a zpracovani se zastavi, prohlizec skonci. Predpokladam, ze potrebuju nakym zpusobem ten import na chvilku prerusit, aby prohlizec dostal naky data, tim se mu obnovil cas k timeoutu a dal mohl pokracovat, ale nevim jak ... prosim o radu zkusenejsi ... dekuji.

Odpovědi

[Messa]

Můžeš vysvětlit, proč to tam cpeš prohlížečem přes PHP? Pro přístup k databázi jsou programy (jsou dodávané s PostgreSQL), které nejsou omezeny nějakými time nebo memory limity. Nebo aspoň ten PHP skript spustit jako každý jiný normální skript (tzn. ne přes prohlížeč, ale v terminálu nebo přes SSH).

[JFK]

Protože se jedna o system do ktereho by to melo zvladat importovat vic lidi, v podstate kde kdo z rozsahlejsi site, tzn. nemuzu si dovolit davat lidem pristup primo k DB a navic to chtit po nakych lamach, chtel jsem to vyresit cely pres www hozhrani-jde o co nejvetsi jednoduchost. Lama da vybrat soubor k importu a udela jeden cvak a ono se to udela samo. Navic by to melo byt schopny bezet na hostingu kde si asi moc dovolovat nebudu moct, takze jsem to chtel spachat cely v PHPku pres prohlizec. Tohle prece nejak musi jit ... jak to dela treba rapidshare pri nahravani velkych souboru pri pomalych prenosovych rychlostech? Ten timeout prece taky musi nastat, kdybych tam tahal 1GB po modemu, tak to bude trvat 1/2 roku a prohlizec to prestane taky bavit. Chce to udelat nak per-partes.

Mozna by to taky bylo mozny po radcich nacpat do docasne tabulky v PostgreSQL a pri vlozeni posledniho radku ze souboru do DB zavolat nakou proceduru v PostgreSQL, ktera by to preparsrovala a naimportovala do DB, tim by se neprerusilo zpracovani, protoze by to bezelo uz mimo prohlizec ... aspon myslim, nezkousel jsem to, ale PostgreSQL neni na praci s retezci zas tak dobre vybavene jako PHP-ko.

[Šangala]

Taková situace lze řešit několika způsoby, např.:

• Připravit na serveru ID transakce, odeslat soubor s cílem do neviditelného frame současně s daným ID pro identifikaci na straně serveru.
  Ve stránce si ajaxem pinkat na server s dotaze na stav transakce dle ID, který kontroluje stav transakce/akce dle ID a vypisuje (Ještě to nedošlo,Ještě to nedošlo, Zpracovávám atd.).
  To že v neviditelném iframe vyšumí timeout je putna, pokud nevyšumí timeout scriptu.
  Takže potřebujete dva PHP scripty uploadovací-zpracovávací a 2. zjišťovací. Stav transakce třeba ukládat do DB.
• Pokud soubor v PHP zpracováváte, tak je nejsnazší vracet něco zpět v každé iteraci (či n-té iteraci) třeba tečku a nezapomenout na příkaz flush().
  U tohoto záleží ještě na bufferování apache a někdy mohou pozlobit proxy-ny v cestě. Tady Vám stačí jen jeden script, a pokud se to dobře udělá, tak v kontrolovaném prostředí (intranet), to poslouží dobře.
• Stáhnout soubor klasicky ve stávajícím „frame“ a příkaz insertu do DB třeba pustěte v jiném procesu třeba externě pře nohup, tím padem se stránka načte v momentě uploadu.
  Pak je třeba zjišťovat periodicky stav (parsovat vystupni soubor nohup-u, který musí být jedinečný).

[JFK]

Myslim, ze metoda 2 a 3 jsou schudne (tj. zvladnu a diky za nakopnuti), metoda 1 je asi nejlepsi, ale nevim jak zjistit ID transakce ... . Nevidel jste nahodou nekde poceste na netu nakej priklad ... strejdu googla jsem zdimal, ale asi hledam spatna klicova slova, bo o tom vim prd. Diky za koment.

[Šangala]

Malá drobnost úvodem, vyšel jsem z předpokladu, že doba běhu PHP skriptu není limitována (nebo s dostatečnou rezervou) a celý problém je jen „timeout“ na straně klienta a nejdná se o ukončení běhu ze strany serveru viz set_time_limit().

Co se týče prvního řešení, termín „ID transakce“ jsem myslel obecně a možná slúvko transakce je matoucí (nemyslel jsem SQL transakci), toto ID může být uloženo třeba v DB.
Myšlenka je následující:
Pozn. píši to z patra a ošetřování vstupů není obsaženo, sql jsou jen naznačena, php kód také, javascript zde není :(.

1. Při otvírání/generování stránky, která umožňuje zmiňovaný upload, vytvořit jedinečné ID (uložit záznam v DB). Tento identifikátor dát do skrytého pole formuláře pro upload souboru.

   $myuid = dechex(time()) . dechex(rand());
   sql: "INSERT tuids (uid,stav) VALUES('$myuid',-1)"
   ..
   .. <form>
   ..
   print '<input type="hidden" name="hupld_id" value="'.$myuid.'" />';
   ..
   ...</form>
   

2. • Stránka zpracovávající upload, zapisuje k tomuto ID informaci o stavu zpracování souboru.

     .. //stahnul jsem to, start zpracovávání 
     $uid = mysql_escape_string($_POST['hupld_id']);
     
     sql: "UPDATE tuids SET stav=0 WHERE uid='$uid'"
     .. //fčul už víte, že se soubor stáhnul a začíná se zpracovávat
     ..
     .. //zjistit si třeba počet iterací (nebo co potřebujete),
     .. // pokud chcete udělat progressbar přepočíst na % a v daných iteracích měnit.
     sql: "UPDATE tuids SET stav=stav+1 WHERE uid='$uid'"
     

   • Stránka informační, na kterou si pinkáte (třeba po 30sec) ajaxem (HttpRequest-em) vrací stav.
     na něco jako http://server/getinfo.php?hupld_id=74f4224a118

     $uid = mysql_escape_string($_POST['hupld_id']);
     ..
     sql: "SELECT state FROM tuids WHERE uid='$uid'"
     ..
     print $vyvetchovany_result['state']; //:)
     exit;
     

Provedené transakce (záznamy o uID) se dají promazávat, například k nim uložit časové razítko,a před vytvořením každé nové smazat záznamy starší 48 hodin něco jako
DELETE FROM tuids WHERE DATE_ADD(vytvoreno, INTERVAL 48 hour) < NOW();

Takovéto řešení má dvě základní výhody:

• Uživatel má plný komfort a vidí stav zpracování, případně je možné i reportovat warningy/errory v průběhu (stránka informační vrací více údajů).
• Ze strany správce jsou záznamy kdy se co dělo, a vhodným rozšířením (a nepromazáváním) tabulky, případně tabulek, máte statistiku doby zpracovávané, informace o problémech apod.

Neplácám to jen z vody, podobný systém používám na import a parsování až 2Gb logů, které se očešou a parsují do DB (statistika přístupu k internetu uživatelů a PC), s tím rozdílem, že většinou se jedná o proces na pozadí bez interakce uživatele, ale správce má možnost tento upload a zpracování provést i „interaktivně - online“. Tyto importy trvají i 30 minut a je jich někdy i několik, a díky automatickým importům se v DB uchovávají údaje o proběhlých importech, času, varování apod. - a samozřejmě se nemažou.

[Šangala]

Drobná opravička namající vliv na myšlénku:

$myuid = dechex(time()) . dechex(rand() * 16777216);

(Lze samozřejmě použít MD5 SHA1 a pod.)

[JFK]

Co rici nez WOW , diky za temer napsanej kod ... . Myslenka zajimava, s AJAXem jeste neumim, ale to nak pujde. Takze diky jeste jednou, jdu na to ... .

[Tarmaq]

volil bych cestu:

1. $ scp sql_dump stroj
2. $ ssh stroj
3. $ psql -f sql_dump databaze

[AraxoN]

Dal by som na začiatok skriptu

error_reporting(E_ALL ^ E_NOTICE);
echo "zaciatok PHP\n";

a počkal si čo to vypíše...

Btw. upload v PHP funguje štandardne tak, že najprv sa odošle celý súbor a až keď je celý na serveri, tak až potom sa začne vykonávať PHP skript. Tzn. je treba rozlíšiť, či to zdochlo na uploade, alebo až na následnom spracovaní dát v PHP. Keď nám dáš vedieť kde to skončilo, potom Ti možno poradíme konkrétnejšie.