Dotaz: DDoS s pouzitim domeny, jejiz NS neodpovida nebo je pomaly

[BigWrigley]

Příloha:

• bad_domains.txt (1105 bytů)

Dobry den.

Posledni cca tri tydny bojujeme s DDoS utoky, ktere pomoci open resolveru nasich zakazniku generuji dotazy typu:

qqgcqepehfu.vip.56bj56.com.
cnsrwjwdijox.vip.56bj56.com.
ebansrwhapcz.vip.56bj56.com.
exezszezmhub.vip.56bj56.com.
glkzqfglmdyd.vip.56bj56.com.
ijqdmfofylov.vip.56bj56.com.
mfsdmxwlsnkf.vip.56bj56.com.
onynyxgrsvkn.vip.56bj56.com.
wnutorcxkvwd.vip.56bj56.com.

Neprijemne je, ze domena  56bj56.com existuje, ma NS, ale ten bud neodpovida nebo je velmi pomaly. To znamena, ze generujete-li dotazy dostatecne rychle a hostnames jsou nahodne, resoler otvira nova a nova spojeni az dojde pomerne zahy k vycerpani filedescriptoru (ten lepsi pripad) nebo, pokud je to opravdu masivni utok, skoncite na tom, ze nemate dost odchozich portu k otevreni spojeni a prestanete resolvovat. Bavime se ted o radove 10 tisicich pozadavku za sekundu. Cache se diky nahodnosti hostnames obchazeji a protze domena existuje, musi pro ziskani podstoupit rekurze.

Samozrejme, ze resenim je zavrit ty otevrene resolvery, ale opravdu to _neni_ technicky/financne v rozumnem horizontu realizovatelne. Kolikrat vlastnik toho zarizeni ani nema tuseni, ze je zneuzit k utoku. Puvodcem utoku je Cina a domeny jsou podle nasich zjisteni zaregistrovane zrejme jen pro ucel tohoto utoku.

Provedl jsem opatreni, kdy automaticky detekuji tenhle utok zjistenim aktualne "visicich" dotazu a presmerovavam tyhle domeny tak, ze vracim A zaznam 127.0.0.1. Resolveru se ulevi, a utocnika to prestane po chvili bavit a pak to zkusi s jinou domenou. Zatim to funguje, ale nevim, jestli to neni jen predzvest neceho horsiho. Take si nejsem uplne jisty, co je vlastne smyslem utoku, protoze to neni uplne standardni amplifikacni DDoS.

Chtel bych se pozeptat, jestli s tim take nekdo bojujete a pripadne jak. Seznam zneuzivanych domen, co jsem zatim nachytal, je v priloze.

A.

Odpovědi

[Robert Kupka]

Samozrejme, ze resenim je zavrit ty otevrene resolvery, ale...

tak tie "open resolvery" aspon obmedzte na IP subnety vasich zakaznikov.

[BigWrigley]

Viz dale v diskusi. Poskytovane DNS servery a zakazniky pochopitelne omezene jsou. Potiz je v tom, ze je jich hodne. Nas resolver otevreny neni, resp. je otevreny jen pro zakazniky a jejich otevrene resolvery na zarizenich nejde zavrit.

[Ivan]

Zeptej se na lupe - tam najdes spoustu odborniku. Nedavno o tomhle utoku informovala GTSka.

[Jooky (inactive)]

Trosku nechapem otazku ... Naco je dobre mat verejny resolver ? To je najvacsia prasacina aku moze admin spravit a taketo platanie nema nejaky dlhodoby vyznam. Predtym to bol utok vkladania "falosnych" zaznamov do cache. Teraz je to tento s vycerpanim file descriptorov. Neskorsie to moze byt cokolvek ine ... uzavretie open resolvera, alebo aspon limitacia na lokalne rozsahy je otazka par minut. Bez problemov sa to da spravit aj pocas "diagnostikovania" co sa vlastne s DNS deje ... Skorsie ako tri tyzdne platania problemu vam doporucujem si prejst infrastrukutru a opravit zasadny problem s konfiguraciou.

[BigWrigley]

Asi si uplne nerozumime. Predstavte si, ze jste ISP. Mate tisice klientu, kterym poskytujete resolver. Ten neni ani nahodou verejny. Je omezeny na klienty. Z venku, rozumejte verejneho Internetu se do nej nikdo nedostane. Infrastruktura zadny problem s konfiguraci nema. Jde o dva nezavisle systemy ktere citaji nekolik fyzickych serveru. Cely problem spociva v tom, ze na zarizenich zakazniku jsou ty otevrene resolvery, dostupne z Internetu. Ty maji nastavene forwardery na ty nase zakaznicke resolvery. Utok jde na ta zarizeni, ta jej otaceji vuci zakaznickemu resolveru. Jistym resenim by bylo omezit spojeni iniciovane z Internetu na na ta zarizeni. Jenze to taky uplne nejde, urcite procento zakazniku provozuje vlastni DNS server, ktery musi byt dostupny z Internetu. Nebavime se o par pocitacich. Jde o tisice zarizeni. Zkoumat, kdo ma vlastni DNS sever a delat podle toho pravidla vazne nejde.

[menphis]

Na vasem miste bych asi zavedl omezeni DNS dotazu od zakazniku. Ten kdo provozuje vlastni, aspon trochu vetsi, emailovy server k nemu bude mit i DNS server. Pred zavedenim omezeni bych poslal zakaznikum email. IMHO lepsi situace, nez kdyz zakaznici budou mit i treba jen jednou za cas kvuli pretizenym DNS serverum nedostupny internet.

[BigWrigley]

To s tim, ze kdo ma mailserver bude mit i DNS je zajimava myslenka. Dik za tip, zkusim se nad tim jeste zamyslet. Asi by to chtelo jeste nejakou oporu ve vseobecnych obchodnich podminkach.

[Jendа]

Umíš zjistit, ze kterých zákazníků přichází ten DDoS? Tak ty odřízni.

[BigWrigley]

Umim, ale nejde jen tak odriznout tisice zakazniku, kteri ani netusi, ze nekdo jejich zarizeni zneuziva. Kdo by pak resil ty stiznosti.

[trekker.dk]

No, není náhodou tohle náplní práce ISP?

[Jendа]

Řešit neoprávněné (zákazníci si za to můžou sami) stížnosti? Spíš ne. Ale to odříznutí jo.

[trekker.dk]

Oprávněnost stížnosti zákazníka není relevantní. Zákazník si bude stěžovat a pokud nechceš být za idiota, musíš se mu věnovat, což stojí čas, tedy peníze.

[Jendа]

Odříznutí spamující/dosující/hackující mašiny je podle mě naprosto normální a správný krok. A jestli tě to potěší, ostatní ISP to většinou dělají.

[BigWrigley]

Ja osobne bych to take tak nejradeji udelal. Ale ten problem ma dve roviny. Technickou a rekneme organizacne-politicko-obchodni. Technicky je to jasne. Zavrit otevrene resolvery a mezitim zablokovat skodici IP. Nebo je alespon limitovat. V te druhe rovine to ale pruchozi (alespon v teto chvili, bez toho, aniz by byl pripraven plan, jak dal) mozne neni. Proto jsem otevrel tuhle diskusi. Abych zjistil, jake technicke prostredky se daji pouzit, proto budu rad za jakoukoliv inspiraci.

Momentalne pouzivam presmerovani domen. Ten rate-limiting urcite stoji zkousku. Bude se to muset ale odladit, myslim, ze defaultni velikost connection tracking tabulky zde nebude stacit. Mam take moznost pouzit nejaky DPI box a analyzovat DNS dotazy v siti a filtrovat.

[Jendа]

Proto jsem otevrel tuhle diskusi. Abych zjistil, jake technicke prostredky se daji pouzit, proto budu rad za jakoukoliv inspiraci.

Někdy politické problémy není možné řešit technicky.

rate-limiting se skoro rovná odříznutí floodujících klientů. Taky by jim bylo možné nastavit časový limit na vyřízení jednoho dotazu, po jehož uplynutí se vrátí NXDOMAIN.

[stativ]

Já bych byl pro méně radikální řešení. Dočasně nasadit rate-limiting a hromadně rozeslat problematickým zákazníkům s otevřeným resolverem mail ať si to spraví, nebo je po nějaké době (třeba třech dnech) odříznete. Je dost pravděpodobné, že o tom, že někdo jejich resolver zneužívá, vůbec neví a až se to dozví, tak si to rádi opraví. Jde přece o bezpečnost.

[MMMMMMMMM]

Tak tak, omezit, odříznout a pokud nezjednají nápravu, ať si DNS traffic tlačí třeba přes otevřené DNS resolvery Googlu. :)

[vandrovnik]

A nebylo by možné zákazníkům limitovat počet dotazů za sekundu a další rovnou odmítat? Většina by žádné omezení nezaznamenala a ti, co provozují otevřené DNS, by si uvědomili, že to musejí řešit... A jak moc je těch domén? Třeby byste si pro celou tu doménu mohli udělat falešný záznam u sebe...

[BigWrigley]

To by asi bylo mozne. Jenze bude problem s nastavenim thresholdu. Zakaznici maji treba vytizeny mailserver, ktery generuje o rad vice dotazu nez bezny klient. Takze threshold bude vysoko a moc to IMHO nezafunguje.

Falesne zaznamy uz vyrabim a to automaticky. Napadlo me, jestli se neda vracet NX DOMAIN s nejaky dlouhym TTL. Pak by klientsky resolver zakesoval, ze domena neexistuje (?) a do dalsi by byl klid. Ale nejsem si jisty, jestli to tak funguje i pro NX DOMAIN.

Jinak to v tuto chvili neni nijak kriticke, mechanismus presmerovani domeny zabira. Spis me slo o to, jestli se na to da nejak chytre reagovat.

[Filip Jirsák]

Limitovat počet dotazů je dobrý nápad. A nemusíte přece limitovat všechny, stačí limitovat ty, od kterých přichází ty dotazy související s útokem. Jejich majitele pak můžete kontaktovat, vysvětlit, co je za problém a ideálně jim poradit i jak jej mají vyřešit. Vzhledem k tomu, že jim nebude moc fungovat DNS resolver, bude rychlé řešení i v jejich vlastním zájmu. Pořád mi připadá lepší řešit stížnosti těch, kteří problém způsobují, než řešit stížnosti ostatních uživatelů, kteří mají vše v pořádku, ale útokem jsou postiženi stejně, protože jim váš DNS server nedokáže odpovědět. Navíc si myslím, že ISP musí být zodpovědný za provoz ve své síti - jinak za chvíli bude internet jen samý spam a DDoS, a normální provoz se přesune někam jinam.