Indexuje google pro každý jazyk zvlášť? (diskuse)

[x]

At zijou informace ziskane crawlery!

[misch]

Jak konkrétně se dá zmíněná stránka (http://www.linux-watch.com/news/NS8274710475) donutit aby vrátila datum česky?

V browseru sice mám správně nastavenou preferenci češtiny, ale přesto když se na ten web podívám, tak mi vrací i záhlaví anglicky. A odkaz na přepnutí jazyka tam nikde nevidím.

[nightfish]

vypadá to, že google "překládá" datum do jazyka, ve kterém se vyhledává (parametr "hl" v url)
zkuste si tu stránku najít tak, aby tam bylo to úvodní datum a změňte "hl" z "cs" na "en" nebo obráceně a uvidíte, že datum je jednou česky a po druhé anglicky

[depka]

Ať žije traffic způsobovaný crawlery! ;-P
jaky trafic? jeden prohlizejici uzivatel navic....

[Heron]

Přesně tak a google crawler (i indexer) se chová (na rozdíl od některých uživatelů) k serveru velmi ohleduplně.

[petr_p]

Neřekl bych. Mě robot z Googlu opakovaně tahá 25MB DjVu soubor, přičemž se datum změny toho souboru vůbec nemění. I když je možné, že to je tím, že stáhnutí trvá tak dlouho, že to vždycky vzdá v půlce a za několik dnů to zkouší znovu.

[Heron]

Tak tohle ale nevytěžuje server, pouze lajnu*. Já to myslel tak, že na rozdíl od jedinců, kteří jsou schopni mirrorovat web v 60 threadech, tak google navštěvuje stránky postupně a to ještě je s časovými rozestupy.

*) Jaký máš upload? Třeba dlouhé stahování toho souboru indexer vyhodnotí jako přetíženou linku a raději toho (s ohleduplnosti) nechá.

[petr_p]

128 kb/s (co bychom mohli chtít po Telecomu). Pravděpodobně je to tak. Jen mi to přijde jako diletantismus. Obzvláště když server podporuje zasílání časti souboru.

[misch]

A posílá server vůbec hlavičku "Expires", atd.? Mohl bys sem dát odkaz na ten soubor, třeba bychom z toho pak něco zjistili. Říct "crawler dělá chybu" je snadné, ale lepší by bylo si to tvrzení (které klidně může být pravdivé) ověřit.

[petr_p]

28 MiB velký soubor

Žádná hlavička Expires tam není, neb server nemůže vědět, kdy se dokument změní. To ať si řeší proxy servery (nebo roboti) heuristikou podle Last-Modified a metody HEAD.

HTTP/1.0 200 OK
Server: thttpd/2.25b 29dec2003
Content-Type: image/vnd.djvu
Date: Wed, 05 Mar 2008 19:49:19 GMT
Last-Modified: Wed, 29 Aug 2007 15:39:37 GMT
Accept-Ranges: bytes
Connection: close
Content-Length: 29414015

Ostatně Googlebot/2.1 to už asi vzdal, protože logy o tomto souboru se už odrotovaly.