Seznambot neindexuje stránky na mojem serveru

29.11.2010 18:50 | Přečteno: 1861×

Přičemž všichni ostatní roboti v pohodě (Google, Yahoo a nějací další), kdežto Seznam stáhne vždy jen /robots.txt a / a konec... netuším co s tím - navíc se mi moc nedaří to nasimulovat telnetem a předpokládám že tedy někde mám chybu... Tohle je záznam od SeznamBot:

77.75.73.123 - - [29/Nov/2010:15:33:55 +0100] "GET /robots.txt HTTP/1.1" 200 321 "-" "SeznamBot/2.0 (+http://fulltext.sblog.cz/robot/)"
77.75.73.123 - - [29/Nov/2010:15:33:55 +0100] "GET / HTTP/1.1" 200 3677 "-" "SeznamBot/2.0 (+http://fulltext.sblog.cz/robot/)"

Jedná se o webovku www.sigut.net

když spustím telnet sigut.net 80 GET /robots.txt

Tak dostanu obsah robots.txt (zkoušel jsem i prázdný)

když to zkouším s parametrem host:

telnet sigut.net 80
Trying 77.93.223.102...
Connected to sigut.net.
Escape character is '^]'.
GET /robots.txt HTTP1.1
Host: sigut.net

Tak dostanu mimo jiné.. The document has moved http://www.sigut.net/robots.txt here.

Nastavení apache pro danou doménu:

  VirtualHost *:80
      ServerName sigut.net
      ServerAlias *.sigut.net
      DocumentRoot /home/sigut-net/public_html/violet5/current/public
      RailsEnv production
      Directory /home/phax/public_html/violet5/public
         AllowOverride all
         Options -MultiViews
      /Directory
      CustomLog /var/log/apache2/sigut.net.log combined
   /VirtualHost

Nemohl by to někdo zkusit nebo poradit v čem bych mohl mít chybu? Zítra zkusím zavolat do Seznamu na tu jejich hotline ale obávám se že to bude velmi stresující zážitek kterému bych se rád vyhnul:) Ten bot chodí zpátky co 2 dny tak se to dost blbě testuje:( Díky moc!

V poradně jsem se ptal trochu nespecificky a teď už se bojím že to možná ani nesouvisí s Linuxem...

       

Komentáře

[Luboš Doležel (Doli)]

Seznam je srágora. Po 4 letech existence fatrat.dolezel.info tento web stále neindexuje, a to jsem před 2 lety tuto adresu zadával dokonce ručně.

A když už indexuje, tak se chová jako blázen. Pokud měníte URL a přesměrováváte, tak na Google nemáte problém - page rank se přesune na nové URL a ve výsledcích se ukáže URL nové. Seznam toto URL naopak na 2 týdny z výsledků úplně vyřadí. O nějaké relevanci výsledků vyhledávání se nedá vůbec mluvit.

[phax7]

To nezní moc dobře:)

Já bych pochopil že třeba pagerank spadne, ale nepobírám proč vůbec neleze na podstránky...

[No. 6]

pokud tam byla 404, tak ona

[trekker.dk]

A to nemluvě o tom, že seznambot je jediný, u kterého se pozná, že zrovna na nějakém serveru řádí...

[manasekp]

http://fatrat.dolezel.info/robots.txt

[Luboš Doležel (Doli)]

No a? Správný formát to nemá... i kdybych si dal do robots.txt video, tak to má tomu robotovi být jedno.

[manasekp]

ano, mohlo by mu to byt jedno, pak se ale nediv ze ti neco neindexuje. Kdyz seznambot misto ocekavaneho robots.txt dostane neco jineho kde ani neni napsane 404 tak se lekne a utece

[xurfa]

LOL, to je blb :-O

[pavlix]

To je snad každému jasné, že je Seznambot blb, když neindexuje stránky jen kvůli divnému robots.txt (což není žádný zrovna moc závazný standard).

[Luboš Doležel (Doli)]

Milý blbe, vyskytuje se v kódu té stránky nějaké Disallow, které by Seznambotu zakazovalo návštěvy?

[digri]

a je vám známo, že seznamácký bot indexuje pouze české (=česky psané) stránky?

[pavlix]

a je vám známo, že seznamácký bot indexuje pouze české (=česky psané) stránky?

Citation needed.

[xavier]

tady

[pavlix]

Díky. Na druhou stranu seznam nabízí vyhledávání "ve světě" a vydává seznamy cizojazyčných stránek, které tedy údajně neindexuje. Kde udělali soudruzi chybu?

[xavier]

Zkus si něco vyhledat "ve světě" a podívej se vpravo dolů. Je tam "výsledky dodává Bing".

[pavlix]

Áha, tak to by leccos vysvětlovalo, díky za poučení.

[Mortal]

ten samej digri co je podepsan po clanky zde http://fulltext.sblog.cz/robot/ ?

Pokud ano, ctete schranku abuse seznam cz? Pokud jo, proc neodpovidate na maily? Vite ze seznambot je jedinej indexovaci bot kterej svou agresivitou pretezuje servery?

[Luboš Doležel (Doli)]

Že jsem na něm při pokusu našel tisíc a jednu anglickou stránku...

[No. 6]

Vede na doménu dostatečný počet odkazů? Jsou odkazovány i vedlejší stránky? Jak je web starý? Kdy proběhla změna indexu, na jak dlouho a co tam bylo dříve? Jak často tam byl Seznam bot?
IMHO je to problém pouze vyhledávačů a nemá cenu se o to starat, počkal bych měsíc dva a pak bych to řešil

[phax7]

> Vede na doménu dostatečný počet odkazů? jop.

> Jsou odkazovány i vedlejší stránky? spousta lidí odkazuje na konkrétní fotku... teď se sice změnily některé url ale dal jsem tam 301 ze starých odkazů..

>Jak je web starý? Kdy proběhla změna indexu, na jak dlouho a co tam >bylo dříve? No, doména směřuje na nový web asi týden. Většina obsahu webu je stejná jako předtím...

>Jak často tam byl Seznam bot? to se přiznám že nevím...

Rád bych čekal ale některé věci před vánoci spěchají a lidi je musí najít:(

Každopádně moc díky za rozbor:)

[Luk]

IMHO je to problém pouze vyhledávačů a nemá cenu se o to starat

Ano, je to problém vyhledávačů (tedy konkrétně Seznamu), ale to zákazníky obvykle nezajímá. Když se na Seznamu nenajdou, je to špatné. Bez ohledu, jaký ta nepřítomnost má důvod. Totéž se týká i pošty. Když nechodí pošta na Seznam, může za to provozovatel mailserveru, protože odjinud (rozuměj: z adresy ????@seznam.cz) to přece funguje bez problémů.

[phax7]

děsivé ale pravdivé...

[houska]

tak na abicku ses uz zeptal, co ze zkusit zeptat na helplince?

[phax7]

Na helplinku se obrátím zítra telefonicky, jen mi to přijde bizarní že všechny ostatní vyhledávače prolézají všechny podstránky ale Seznam ne... tak jsem se optal místních:)

[manasekp]

vubec to neres, seznam neindexuje skoro nic od doby co spustili toho jejich noveho robota.

[Tutor]

Od dneska ještě někdo vyhledávání seznam používá?

Já osobně využuji pouze ten jejich katalog, kam se to beztak zadává ručně a třídí podle kategorií (geografických, tematických, atd...)

[Luk]

Od dneska ještě někdo vyhledávání seznam používá?

Většina českých BFU. Mnozí ho mají nastaven jako výchozí stránku a i URL zadávají do jeho vyhledávacího pole (namísto adresního řádku).

Já osobně využuji pouze ten jejich katalog, kam se to beztak zadává ručně a třídí podle kategorií (geografických, tematických, atd...)

Ten jejich katalog je kapitola sama pro sebe. Ne z hlediska vyhledávání, ale při vkládání firemních záznamů. Popisky mění k obrazu svému, často nesmyslně zamítají záznamy nebo jejich úpravy. Vše směřuje k jedinému - natlačit do (drahých) placených služeb. Má to logiku, protože cílem je samozřejmě vydělávat. Ale při jejich chování (obecně) bych jim nedal ani korunu.

[leste]

Samozřejmě. Pokud si chci koupit kafe nebo sháním kominíka, nebudu se ptát Yaahhoo nebo Gooogle.

[Luk]

Pokud si chci koupit kafe nebo sháním kominíka, nebudu se ptát Yaahhoo nebo Gooogle.

Já se naopak Googlu zeptám. Protože mi dá rozumné výsledky.

[repli]

Nemáte tam práci s accept-language či něčím jiným z hlavičky co bot nepodporuje?

[Trained.Monkey]

Nekde jsem cetl ze seznam bot uz tri mesice stoji a neindexuje nove stranky.

[Luk]

To zcela určitě není pravda, protože nově vytvořené (nebo aktualizované) stránky z posledních měsíců to najde. Problém je ale v tom, že to zaindexování trvá strašně dlouho. Při naší volební kampani se mě kolegové často ptali: "Proč ještě nejsme ve výsledcích Seznamu?" Na to se nedalo odpovědět jinak, než: "Protože Seznam." Než nás zaindexoval, bylo po volbách

[hjzthreswhs]

jo, jak je tu uz psane, seznambot/2.0 mel byt vymenen za 3.0, ale posralo se jim to.
chvili chodila 3.0alpha a potom spadla. pak nechodilo nic, jen na velke weby typu idnes se vracel stary bot.
pak se jim posral index (menili ho kvuli nove verzi bota)... pak vratili stary index, stareho bota a nekdy koncem unora planuji mit vse funcni (ted bot postupne preindexovava vsechny zname url do noveho typu db)... tot info z helplinky a jejich blogu...

[Luk]

To je možné a vysvětlovalo by to i tu situaci, kterou jsem popsal výše.