Dotaz: Jak schovat ROBOTS.TXT

[Honza-hloupý]

Ahoj lidi, 

mohl by mi někdo poradit to jak schovám soubor robots.txt před pot. útočníkem.... potřebuju schovat adresare před roboty ale nemohu pouzit meta nofollow z duvodu velkeho mnozstvi stranek, takže pouzivam robots.txt. díky honza

---

---

Odpovědi

[poky74]

Když útočník "najde" robots.txt, k čemu mu to asi bude?

[Honza-hloupý]

No asi k tomu, že uvidí to co neni zaindexovane, tudiz muze byt admin brana, nebo cokoliv na co bude utocit...clear?

[Honza-hloupý]

No asi k tomu, že uvidí to co neni zaindexovane a indexovat se rozhodne nema, tudiz muze byt admin brana, nebo cokoliv na co bude utocit...clear?

[poky74]

Tak snad to máte pojištěné ne? Určitě to někdo najde i bez toho robots

[Ash]

Jedině smazat a robotům ho posílat poštou :D

[Honza-hloupý]

napadá mě jenom NĚJAK pomocí rewrite, ale jak?

[Honza-hloupý]

tak přece jenom...nejlepší je se zeptat a i odpovědět :)

RewriteRule ^(.*)/robot.txt cokoliv.cokoliv

nějaké jiné řešení?

[Filip Jirsák]

Jak chcete odlišit robota od útočníka? Pokud je nedokážete odlišit, schováte robots.txt buď všem (robotům i útočníkům), nebo nikomu.

Je nesmysl pokoušet se skrývat robots.txt – buď v nich máte adresy, které nikd ejinde nejsou a vyhledávač je žádným způsobem nemůže zjistit (pak jsou tam ale zbytečně), nebo tam máte adresy, které může vyhledávač znát, tím pádem je ale stejně tak může znát i útočník a schovávání robots.txt ničemu nepomůže, protože ty stránky stejně musíte zabezpečit nějak jinak.

[Honza-hloupý]

ještě jsem vygooglil tohle

do .htaccess pomoci rewrite:

RewriteCond %{HTTP_USER_AGENT} ^Mozilla  RewriteCond %{HTTP_USER_AGENT} !(Slurp¦surfsafely) RewriteRule ^robots\.txt$ /nejakejjinejsoubor-treba index.php [L]

a funguje to...koukal jsem do logu a prave prese mne prosvistel googlebot

[Luboš Doležel (Doli)]

Takže až se budu chtít podívat na váš robots.txt, akorát si nastavím User-Agent na googlebota

[Honza-hloupý]

hmm...nevim sice jak nastavit agenta na googlebota...ale tedy napada nekoho nejake reseni?

[Luboš Doležel (Doli)]

Řešení neexistuje. Především řešíte neexistující problém. Že někdo zná URL vaší admin zóny, to ničemu nevadí. Že se dá do té admin zóny třeba nějak "vloupat", to vadí a na to se zaměřte.

[Ash]

Je na to třeba doplněk do firefoxu, jako google se člověk často dostane i tam, kam by se jinak třeba nedostal (chtělo by to po něm heslo, captcha a podobné).

[Jendа]

User Agent Switcher

[poky74]

To ti ale vůbec nepomůže, identifikace prohlížeče se dá libovolně měnit.

[Honza-hloupý]

aha ...takže ani to že bych pripadne nejak rozeznaval bota od sufr. cloveka mi pomoci nema? prislo mi to jako nejlepsi ...hned od prvniho kontaktu z webem bud mu dam index(clovek) nebo kdyby to byl bot tak i robots.txt....tak nevim teda

[Ash]

Ale robots.txt přece nebude surfující útočník číst ručně. Na to si postaví robota ;) Co uděláte?

[Ash]

Řešení to není, pouze budete nabízet nějaký jiný soubor cokoliv.cokoliv pod názvem robots.txt, a to jak robotům, tak útočníkům.

Jste v situaci jako kdybyste chtěl robotům zpřístupnit index.html a útočníkům ne. Nejde to.

Ale i kdyby se k vám roboti a útočníci připojovali a identifikovali se certifikátem, stále můžete narazit na filozofické dilema, pokud útočník naprogramuje útočícího robota. Jak se s tím poperete? Povolit, nepovolit... :D

[Honza-hloupý]

Rozumím a děkuji

[Ash]

Pokud vám jde o to, aby robots.txt někdo nepoužíval jako rozcestník, lze možná (?) udělat to, co jsem teď někde zahlédl, že radili uvádět jen začátek názvů adresářů/souborů.

Například pro adresář /adresarstajnymnazvem/ a soubor souborstajnymnazvem.html:

robots.txt

User-Agent: *
Disallow: /adresarstaj/
Disallow: /souborstaj

Je mi divné že by to takto fungovalo, člověk by si snadno zablokoval něco co nechtěl, ale možné to je :)

Ovšem pozor, opět platí to co už bylo řečeno, pokud na ty stránky nevede veřejný link, tak se na ně nedostane ani robot a není potřeba je v robots.txt vůbec mín, a pokud na ně link existuje, útočník je může stejně najít buď ručně, nebo svým robotem, nebo nějakým veřejným robotem který robots.txt ignoruje.

[Ash]

http://www.robotstxt.org/faq/nosecurity.html

[JF]

Podle me je uplna blbost utajovat robots.txt.

Pokud mas nejaky tajny adresar a zakazes ho v robots.txt, tak i kdyz znas jmeno adresare nepujde snadno zjistit co v nem je za podadresare. Pokud treba zakazes robotum indexovat adresar /1 a v nem mas adresar /1/tajne, tak apache ti neda sanci abys zjistil, jmeno adresare. Stranka se zobrazy pouze, kdyz zadas plne jmeno /1/tajne/soukromy.html

A pokud se bojis zaindexovani zkus tuto techniku: http://www.monkeys.com/cgi-bin/wpoison/wpoison.cgi Generuj stranku unikatne a jednorazove. Takze kazdy, kdo si stranku prohledne uz nikdy stranku s tim samym nazvem nezobrazi.

A nebo vsechny stranky osetri klicem /soukromy.cgi?2C8B52WHKXBML, ktery se bude generovat per user.