Dotaz: Server nevrátil žádná data

[xfun]

Ahoj,

mám takový problém. Mám skript, který prochází obsah externího webu a zpracovává jeho data, která ukládám do pole. Výsledné pole chci nechat zobrazit přes print_r(), ale po několika minutách zpracování se skript jakoby přeruší a nic nevrací.

Ve Firefoxu to hodí prázdnou stránku, u Chrome to napíše:

Údržba webu:

Informace o nedostupnosti webu Vazeny navstevniku, pozadovana stranka je docasne nedostupna.

Mozne duvody: Udrzba webu Nadmerna zatez serveru Opakujte, prosim, pozadavek za nekolik minut.

Zkontroloval jsem logy, ale žádný vážný problém tam není. Pak jsem si nechal ukládat do souboru zpracovávané řádky a ty nebyly dokončeny (resp. bylo jich zpracováno několik, ale ne všechny).

Nevíte co s tím?

Bohužel tu zdroják dát nemůžu. K procházení webu používám curl funkce. Načtu vždy jednu stranu, ze které vyparsuji její odkazy, které hned přitom zase načítám přes curl a jejich zpracovaný výsledek ukládám do pole. Když nechám zpracovat jen několik stránek, tak mi to nehlásí žádnou chybu a vrátí mi to validní výsledek, ale když to nechám zpracovat celé (což je záměr), pak to přestane reagovat.

---

---

Odpovědi

[Šangala]

PHP, že?
To vypadá na max_execution_time, případně memory_limit.
V případě prohlížeče je výstup pravděpodobně bufferován, a script skončí dříve než dojde k odeslání výstupu a prohlížeč prostě dostane velké NIC.

[xfun]

jj.. PHP :) Je to častý problém? =)

[Šangala]

Na to nelze odpovědět.
Pokud jste na hostingu a nemáte možnost to změnit (ani použít set_time_limit), tak ano můžeme tmu říkat problém, - jste limitován více než jste zvyklý při používání PC bude to znamenat více práce.
Pokud máte server (nebo konkrétní nastavení) pod kontrolou, tak je to většinou jen neznalost a ta bude asi častá .

[Josef Kufner]

Jak se to veme. Pokud takový běžný script tenhle limit vyčerpá, je s ním něco špatně a stejnak si nic lepšího nezaslouží.

Pokud však opravdu dělá něco časově náročného, tak buď se spustí script na pozadí (mimo web server) a nechá se běžet asynchronně, přičemž průběch se sleduje v samostatných HTTP dotazech, takže s limitem není problém. Nebo se úloha rozdělí na menší části a provede se na více HTTP dotazů. Script si zjistí, jaký má limit, pak před jeho vyčerpáním si uloží svůj stav a přesměruje klienta na pokračování. Klient při tom může ukazovat pěkný progressbar.