CZ.NIC spouští DNS crawler (diskuse)

[j]

Jinak receno, smiraci z NICu se rozhodli ve velkym porusovat vsechny existujici zakony. Vazne by me zajimalo, jak dolozej souhlasy vsech postizenych drzitelu domen ... v opacnym pripade posrusujou asi tak 10 ruznych zakonu vcetne evropsky legislativy.

Jinak to neni zadna novinka, oni smirujou uz par let.

---

Dete s tim guuglem dopice!

[billgates]

Nebral by som to az tak tragicky. Nebudu zbierat asi nic naviac nez napriklad taky Shodan. Mna skor napadla otazka, ze naco, ked sa vsetky tieto udaje daju vytiahnut z crawlerov, ktore uz existuju a zbieraju ich dlhe roky.

[petr_p]

Proč myslíte, že se s takovými „projekty“ poslední dobou roztrhl pytel? Drtivá většina z nich buduje soukromé databáze, ke kterým prodává přístup. K mému imapovému serveru mám více takovým přístupů než těch legitimních.

Že to dělají „všichni“, neznamená, že je to v pořádku. Kdyby někdo obcházel domy, bral za kliku, a pak nabízel informace, v které oblasti nezamykají, kde mají psa, kde mají mříže, kde nemají kameru, to by byl poprask. Je to jenom neschopnost bezpečnostních složek se tímto problémem účinně zabývat. Máme tu třeba trestní zákoník, který šíření prostředku v úmyslu překonání ochrany k elektronickému systému trestá dvěma lety vězení.

[I am not a human]

trebalo by objednat na ten crawler nejake zlavnene pravidelne DDoS utoky z Ciny/Ruska/whatever...

[N]

Osobne zrovna CZ.NIC verim, ze hlavni ucel je predchazet "zlym" domenam. Ve svem MOXu to privitam, jinak vsechno je to open.

[PetebLazar]

Pokud bude platit premisa, že nekalé se nikdy neodehrává na doménách třetí úrovně a za 5.MB obsahu webových stránek.

[PetebLazar]

Myslíte si, že budou respektovat robot.txt?

[Faceless man]

a preco by mali?

[helb]

Zdravim, tady autor crawleru. Na robots.txt nekouka, pres http(s) leze jen na / (a mista, kam pripadne vede presmerovani z toho rootu).

Pokud Vas to trapi, muzete jej blokovat podle User-Agent hlavicky:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729­.131 Safari/537.36 dns-crawler/<verze> (+https://csir­t.cz/cs/dns-crawler)

…nebo tech IP zverejnenych na webu.

[Jendа]

Na druhou stranu třeba focení ulice zvenku dělají taky všichni (od jednotlivců po věci jako StreetView), nějak zásadně to nikomu nevadí, a teď proč to není lepší analogie scrapování hlavní stránky webu a banneru poštovní serveru než to co jste napsal vy.

[petr_p]

Protože já jsem nepsal o „snímcích“ webových stránek, ale o zkoumaní zabezpečení (podpora/nepodpora protokolů, šifer, verzí/rozšíření aplikačních protokolů, sledování délky klíčů, platnosti certifikátů apod.), které tyto služby provádí, analyzují a prodávají třetím stranám. Za obrázek z webového prohlížeče vám nikdo nezaplatí ani korunu.

[PetebLazar]

Jakou asi účinnost bude mít pátrání po škodlivých stránkách, pokud tyto na při requestech z crawleru vyhrazených IP adres poskytnou nezávadný obsah.