Pátrání po cenzurovaném obsahu, divná DNS a vůbec

18.8.2009 16:34 | Přečteno: 2831× | Misc. | poslední úprava: 18.8.2009 16:44

Snažím se najít nějaký blokovaný web, ale není to vůbec jednoduché. Provázejí mě podivné technické komplikace. Pomůžete?

Včera, asi kolem 21. hodiny, jsem začal trochu pátrat, jak je to vlastně s tím blokováním. Protože blacklisty IWF nejsou veřejné a ještě je nikdo nevynesl, stáhnul jsem z WikiLeaks [aka překapávaná zeměkoule - podle loga] seznamy stránek, které jsou blokované v Austrálii. Trochu jsem je přesedoval do podoby vhodné k automatickému zpracování a přemýšlel jsem, co dál.

Rozhodl jsem se, že pro začátek je zkusím všechny resolvnout proti DNS O2 a proti své DNS a pak udělám diff. Jenže kde vzít O2 DNS? (nemám v té síti žádný počítač) Zjistil jsem, že jedna z jejich DNS (194.228.41.113) je přístupná zvenku. Spustil jsem skriptík, nechal jsem resolvnout asi 50 dotazů a udělal si diff - zděšení, asi 90% z nich nebylo vůbec resolvnuto. Chvíli jsem to zkoumal a pak jsem zjistil, že to neresolvuje ani mé domény 8-O. (ale zase třeba abclinuxu, seznam, centrum... jo)

; <<>> DiG 9.5.1-P3 <<>> @194.228.41.113 hrach.eu
; (1 server found)
;; global options:  printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 1150
;; flags: qr rd; QUERY: 1, ANSWER: 0, AUTHORITY: 9, ADDITIONAL: 3
;; WARNING: recursion requested but not available

;; QUESTION SECTION:
;hrach.eu.                      IN      A

;; AUTHORITY SECTION:
eu.                     159449  IN      NS      L.NIC.eu.
eu.                     159449  IN      NS      M.NIC.eu.
eu.                     159449  IN      NS      P.NIC.eu.
eu.                     159449  IN      NS      U.NIC.eu.
eu.                     159449  IN      NS      V.NIC.eu.
eu.                     159449  IN      NS      X.NIC.eu.
eu.                     159449  IN      NS      A.NIC.eu.
eu.                     159449  IN      NS      B.EU.DNS.BE.
eu.                     159449  IN      NS      L.EU.DNS.BE.

;; ADDITIONAL SECTION:
M.NIC.eu.               258834  IN      A       217.29.76.13
P.NIC.eu.               258771  IN      A       195.47.235.130
X.NIC.eu.               259011  IN      A       194.0.1.19

;; Query time: 38 msec
;; SERVER: 194.228.41.113#53(194.228.41.113)
;; WHEN: Tue Aug 18 16:14:59 2009
;; MSG SIZE  rcvd: 231

V poradně se ale krátce potom objevil dotaz, který mě utvrdil v tom, že v problémy nejsou na mém přijímači. V diskuzích na Lupě jsem viděl, že má celá O2 problémy. Nechal jsem to plavat, že to zkusím zítra.

Zítra je tady, O2 je už prý v pohodě, ale DNSka 194.228.41.113 stále resolvuje dost náhodně.

Tož, rád bych zjistil, jak vlastně ta cenzura probíhá, protože to vypadá, že DNSka u "závadných" domén vůbec nevrací záznam na proxy, jak jsem očekával.

Nejdřív bych poprosil někoho ze sítě O2, aby si stáhl tarball, spustil skriptík digger.sh (na 2. řádku je potřeba nastavit IP adresu DNSky) a poslal výstup (ip-*.txt). Jak to vypadá z vlastní DNSky ze sítě UPC se můžete podívat zde.

Pokud nenajdeme žádné extra velké rozdíly, navrhuji weby ze seznamu wgetovat o mě a u O2...

Nějaké další/lepší nápady?

UPDATE: Ještě dodám, co je smyslem tohoto počínání. Cílem je postavit checker, kterému se dá URL a on vyhodí, jestli stránka je/není blokována. Dále rady pro chudáky zákazníky, jak to obejít - jestli stačí DNS jinde, je potřeba proxy/tor, nebo zbývá jen změna ISP... A v neposlední řadě samozřejmě také obyčejná lidská zvědavost

       

Komentáře

[Jendа]

Kdo už si stáhl ten tar, nechť si v tom skriptu zakomentuje sleep - nechtěl jsem dělat DOS na DNS server O2, ale je to hrozně pomalý i bez toho

[trekker.dk]

Akorát když to zkusí dost lidí, tak z toho máš ddos

Jo a na Lupě psali, že DNS už zase fungujou, takže se zdá, že filtrování buď vypnuli, nebo to dělají jinak

[Jakub Lucký]

už jsem to pustil a jede to u mě docela rychle... ale mám mobilní O2 DNS... Za chvíli přiložím výstup

[danc]

pred chvili jsem to pustil taky, jde to tak 1 zaznam za sec, ale vypnul jsem to, at zbytecne vic lidi nedela totez ja mam z dhcp tyto DNS servery, ktere pripadne muzu otestovat:

194.228.41.113
194.228.41.65

[Jendа]

Ha, konečně resolvnu u 194.228.41.113 hrach.eu. Teď teprve se to rozběhlo.

[Jakub Lucký]

Příloha:

• ip-160.218.10.200.txt (39435 bytů)

Výstup

[Jendа]

Ha! models-top.com

[Jendа]

Tak na to tak koukám a občas to neresolvne nějakou IP mě, ale na druhý pokus se to už zdaří. Stejně tak models-top.com se napodruhé u O2 zdařilo. Takže - jak je to s tím blokováním?

[Grunt]

Tak to nějakou adresu neresolvne napoprvé. Sem tam se nějaký paket v běžném provozu ztratí. To je zcela běžné. Jen stačí dodělat ve skiptu, že pokud se nějaká adresa nereslovne napoprvé, tak by se to mělo zkusit víckrát v časových odstupech a až pokud to nezvládne ani pak může být prohlášena za blokovanou.

[Jendа]

Opraveno, zkusím to znovu...

[petr_p]

To je běžná vada jejich serverů. Tohle mi dělali už před několika lety, tak jsem si rozjel vlastní server. A ne nejsou to ztracené packety, protože ICMP echo se neztrácí.

[Grunt]

A ne nejsou to ztracené packety, protože ICMP echo se neztrácí.

Klidně to může být zahlcený DNS server (když ho tak úžasně DDoSujete). A nebo linka k němu a nebo nějaká jiná část internetu, přes kterou ty pakety putují. A nebo to klidně může být nějaké selhání na cestě. Klidně může vyžírat nějaký proces user-space na 100% na serveru a kernel-space může být volný. Prostě se s tím musí počítat. Síťařina je natolik komplexní, že tak jednoduché soudy absolutně neberu.

[petr_p]

Ten soud není unáhlený, ale podložený několikatýdenním pozorováním. Kdyby byla zahlcená cesta, tak by se ztrácely (obdobně velké) packety bez ohledu na aplikační protokol. Každopádně z pohledu uživatele, který takový server dostane přidělen jako výchozí rekurzivní DNS server přes PPP, je to úplně jedno a je nepoužitelný.

[Cubic]

Přílohy:

• ip-10.42.42.190.txt (39501 bytů)
• ip-194.168.4.100.txt (39767 bytů)

kdyz chybi zaznam tak to neco dokazuje? myslim tu otazku vazne, protoze treba v tvem s ouboru neni zaznam pro http://ravegloryhole.com/ a moje dns vyhodila 78.108.190.67 coz by znamenalo z UPC taky nejake to filtrovani uplatnuje.

----------------------
v priloze je vystup z me vlastni dns cache(10.42.42.190) a serveru virgin media(194.168.4.100)

[Jendа]

Je to zvláštní, má DNS (bind na localhostu) u mnoha těch domén vyhodila záznam až napodruhé...

[Jendа]

Prostě se mi zdá, že to na DNS úrovni neblokují (nebo není ani jedna ze stránek v blacklistu IWF, což by bylo dost divné). Našel jsem ještě novější, norský blacklist. Předpokládám, že to na tomto obrázku je text a doufám, že ho moc nezměnili. Takže mě napadá

for URL in `cat list-norway.txt`; do
  PROM=`wget $URL -O - -q`
  if echo $PROM | grep -qE (slovo0|slovo1|slovo2); then
    echo Heureka! $URL
  fi
done

(netestováno)

Zkusil bych něco bez diakritiky (nevíme, v jakém kódování je ta stránka O2) - třeba Child Protection z titulku nebo poskytovatel nebo O2/o2 (to tam snad alespoň jednou bude - třeba v patičce).

[Jendа]

Tak nechcete jich někdo z Vodafonu/O2 alespoň část projet?

[petr_p]

Několik jsem jich náhodně otestoval a porovnal vrácená data mezi dvěma různými operátory a žádný rozdíl. Řekl bych, že zkoumaný seznam je zastaralý.

[pc2005]

Hmm pokud ten seznam vůbec O2 teďka používá. Pokud jo, tak by z toho vyplývalo, že buď někdo odstranil vadný obsah ze všech teď funkčních stránek, nebo že tam nikdy takový obsah nebyl a nebo, že tam je a URL bylo ze seznamu jentak ostraněno.

[=^..^= AmigaPower®]

blésmrt!

[Jendа]

Tak, hotovo, už se to doresolvovalo, kompletní soubor je tam...

Jestli někdo odposlouchává můj DNS provoz, tak si teď o mně musí myslet strašné věci :-P

[JiK]

proste jsi jen spadl to skatulky ideozlocinec.

[Jan Drábek]

Až teď? Vždyť ne-windows používal už předtím

[pc2005]

Omyl, ve škatulce ideozločin je každý, rozdíl je jen v době než zasáhne ministerstvo lásky .

[Jan Drábek]

...nebo vesmírní lidé

[=^..^= AmigaPower®]

Jsi prej nebezpečnej soudruhu!

[Jendа]

Takže to vypadá, že to není na úrovni DNS.

[Jakub Lucký]

skoro bych řekl že je...

localhost - dlouho čekám:

jakub@gondolin:~$ ping models-top.com
ping: unknown host models-top.com

server v serverovně - DNS ihned:

sever:~# ping models-top.com
PING models-top.com (89.248.174.34) 56(84) bytes of data.
64 bytes from bmt.offshore-dns.info (89.248.174.34): icmp_seq=1 ttl=57 time=103 ms

[Jakub Lucký]

a ping na tu IP ode mě jde...

[Jendа]

Aha, ale jak pak zobrazí tu webovou stránku "Blokováno"?

[Jakub Lucký]

aha... tak už je ta doména volná... odvolávám, co jsem slíbil, slibuji co jsem odvolal...

[petr_p]

Mně whois vrací delegated až do 2010.11.11 a ping funguje.

[Jakub Lucký]

Myslel jsem, že je dostupná... mea culpa...

[zmije]

Já používám opendns.com, pokud nastavím filtrování Low tak ji blokuje ( models-top.com ), při nastavení minimal se normálně zobrazí, připojení kýslík.

[Miloss]

Já si myslím, že je.                 A pokud ne, tak je jeho totální zprznění jen side-effect

 

Všechny dotazy mimo trojice vyvolených (A, AAAA, PTR) timeoutují

Nedostanu se k NS, SOA ani TXT (takže blokují SPF a vlastně podporují SPAM)

a ještě mi kvůli tomu nejede připojení na jabber (potřebuje vyhledat SRV záznam asi)

 

S jiným DNS to jede všechno jak má (OpenDNS, DNS server HurricaneElectric pro GoogleOverIPv6)

[small brother]

k disposici jsou blacklisty z Austrálie, Dánska, Finska, Norska a Thajska:
http://wikileaks.org/wiki/Category:Internet_Censorship

slidy k IWF:
http://wikileaks.org/wiki/Cambridge_researcher_Richard_Clayton's_slides_on_the_Internet_Watch_Foundation%2C_May_2009

Pokud O2 používá nějakou obdobu Cleanfeedu, mohl by někdo vyzkoušet postupy (část real-world experiments) popsané v Failures in a Hybrid Content Blocking System? Jsem lamka, je to nad moje schopnosti.
http://www.cl.cam.ac.uk/~rnc1/