Drahý administrátore mailerveru domény XY

3.2.2006 11:24 | Přečteno: 2371× | Enterprise stories | poslední úprava: 3.2.2006 11:25

Vzorový dopis administrátorům mailserverů, kteří blokují jenom na základě záznamu v blacklistu.

Vážený administrátore domény xy,

rád bych Vás poprosil, abyste si udělali pořádek v blokování SPAMu. Z našeho mailserveru bohužel nemůžeme odesílat poštu do domény xy. Dostáváme zpět:

>   pista.hufnagl@xy
>     SMTP error from remote mailer after RCPT TO:<pista.hunagl@xy>:
>     host smtp.xy [1.2.3.4]: 554 Service unavailable; Client host [moje_ip]
>     blocked using 
>     [nejaky_blacklist]

Že někdo blokuje adresy jenom na základě zápisu v blacklistu je mimo moje chápání. Blacklisty přesně neodrážejí realitu - jde do nich zpravidla "bonznout" i "čisté" adresy a další kritéria pro zařazení bývají různá.

Nejlepší na tom celé je pak řetězec všech blacklistů - jste na našem blacklistu protože jste na blacklistu XY, na blacklistu XY jste protože jste na blacklistu YZ, a tam jste protože Máňa nepochopila na co slouží tlačítko "Označit jako SPAM" a používá ho pro odstranění veškeré pošty.

Zlášť zábavná je situace, kdy vznikne kruh - pak je to boj s časem, jestli se dokážu od všech odregistrovat zaráz, nebo jestli si mou adresu mezi sebou stíhají blacklisty prohazovat rychleji.

Pokud stále považujete za rozumné používat veřejný blacklist, pak ho, prosím, používejte pouze jako pomocné (a nikoli hlavní nebo jediné) kritérium.

S přáním pěkného dne

Vašek Stodůlka

       

Anketa

Komentáře

[azurIt]

blokovat na zaklade verejnych blacklistov je normalna vec. jasne, moze sa stat, ze sa tam ocitne niekto bez priciny ale to je myslim minimum pripadov ;) ked si na blackliste, tak od teba s velkou pravdepodobnostou chodi spam cize by si si mal najskor urobit u seba poriadok a potom nadavat na inych ludi. pomocou blacklistov blokujem spam uz par rokov a este som s tym nemal problem.

[Vskutečnosti Saýc]

To ne, protoze problem maji ti kdo se ti snazi ten mail poslat.

Blacklisty jsou prasarna. Spammeri je umi obejit a normalni lidi to prudi - k cemu to je?

[mrzout]

Nektere blacklisty nejsou pouze na SPAM, navic statistiky odmitnutych emailu z Ciny hovori pro jejich smyslupnost.

Parkrat jsem se ocitl na nejakem blacklistu a vzdy se to dalo rychle vyresit (postu presmerovat jinam, pozadat o vyrazeni, odpojit spamujici napadene Windows od site :))

[xvasek]

Při dostatečném množství uživatelů je to hned. Tento problém řeším přibližně každý měsíc a zatím se mi nestalo, že by za to mohl někdo z mojí síťě. Posíláme spoustu nabídek (i v angličtině), teda vždycky jako reakci na poptávku, žádný SPAM. Problém je v tom, že mailservery jsou na slova "offer" nebo "nabídka" alergické a už se to veze. Nějaký rádobychytrý filtr nás automaticky blacklistne, pak se to začne šířit jak mor a já mám půl dne co dělat.

[azurIt]

myslis, ze problem moze byt len v ludom od vas ? skontroloval si si ci tvoj mail server nepovoluje relay od hocikoho ?

[xvasek]

Jasněže nepovoluje. Dokonce je na něm clamav a bayes i v odchozím směru a veškerou poštu týden archivuju, takže to vždycky omrknu.

Pokud obchodníci pošlou email se subjectem "Offer [číslo_výkresu]" a dovnitř dají jenom dokument ve Wordu s nabídkou, tak je to sice hazardování s antispamem na straně příjemce, ale pokud to vyvolá iniciativu správce na přijímající straně, který dopis nejen nedoručí, ale navíc nás napráší do svého oblíbeného blacklistu, tak je fakt na pěst.

[Tomáš Hála]

A jseš si opravdu tak jistý, že příjemci těch vašich "offer" si toto myslí také? Nějak nerozumím, proč by si jinak dávali tu práci a reportovli vás do nějakého blacklistu.

Kromě bayesiánských filtrů jsou blacklisty ten nejúčinnější filtr spamu. Nehledě na to, že odmítnutí spammera hned při connectu značně šetří práci serveru, neboť nemusí dělat hromadu dalších náročných testů, což je při velkém trafficu zatraceně znát.

[xvasek]

Obchodujeme s velkýma zahraničníma firmama (automobilky, další strojírenské podniky), ti si nechávají poštu většinou outsourcovat.

Pak tam sedí nějaké pako, které prd ví co daná firma dělá a v zájmu "čistoty internetu" všechno podezřelé okamžitě napráší - asi aby vykazovali pro svého klienta nějakou činnost. Pak jim na konci měsíce pošlou report "na vaši domému dorazilo za tento měsíc 154 253 SPAMů a všechny odesílatele jsme bonzli do blacklistu. To jste rádi, co?"

Jinak si to vysvětlit nedovedu, ale třeba je to jinak.

[Tomáš Hála]

Admin kontroluje obsah zpráv, které chodí zaměstnancům nějaké firmy, aniž by mu k tomu dal příjemce pošty nějaký podnět? To snad ne!

Btw. a kdyby ano a byl tam skutečně takovýhle trouba, který bezhlavě forwarduje do blacklistů (jako že mi to přijde přitažené za vlasy), nezpůsobuje vaše problémy právě tento "admin" a nikoliv správci mailserverů používající blacklisty?

[xvasek]

A jak to asi jinak dělají, když si někdo nechá outsourcovat kompletně poštu?

[Tomáš Hála]

Moment. Ty děláš v nějaké firmě, kde je normální, že si admin jen tak z plezíru pročítá poštu zaměstnanců pod záminkou, že kontroluje, jestli jim nechodí spam?

[xvasek]

Ne, procházím označený SPAM a hledám false positives, myslím že je to normální. Je nějaký chytřejší způsob?

[Tomáš Hála]

No a když najdeš něco, kde si nejseš jistý, tak to naprášíš jako spam?

[xvasek]

Ne, přepošlu to adresátovi.

[azurIt]

ked som asi nemal problem, tak sa asi nikto nestazoval, ze mu nechodia maily.. obyst sa to neda, jedine, ze zacnu spamovat z ineho serveru, ktoy sa vsak nasledne ocitne tiez na blacklistoch.

[Fill]

Mě se třeba teď stalo, že se IP mého providera (tj. IP, které mám společné se spoustou klientů, co jsme společně za stejným NATem) ocitla na blacklistu a s tím toho moc nenadělám (pokud má někdo z nich zavirovanou stanici a dělá na síti bordel, tak se s tím svezou všichni).

[Vskutečnosti Saýc]

To je ale chyba NAT. NAT by se nemel pouzivat pokud k tomu neni bezpodminecny duvod a chamtivost ISP se za dostatecny duvod nepovazuje.

[mrzout]

Spise by nemel byt postovni server NATova. Musim-li mit takovy stroj za NATem, tak holt nebudu posilat postu primo, ale preposlu to na nejaky plnohodnotny SMTP.

[Fill]

Zkusím nad tím popřemýšlet, zda využít Smart Relay. Používám samozřejmě jako SMTP sendmail na své stanici.

[mrzout]

Vazeny administratore,

poradek na serveru zda se mame, pouze si ho predstavujeme jinak nez vy.

Blacklisty pouzivame takove, s jejichz metodikou plne souhlasime. Jste-li k nim schopen sve namitky vice konkretizovat, jiste ji radi zvazime.

S pozdravem

[Milan Jurik]

Pod toto se podepisuji take

[xvasek]

No to je právě ten problém. Správce sítě je většinou po vrátném nejchytřejší osoba ve firmě a on stanovuje politiku pošty. To, že se pak nedomluví obchodníci, už je jaksi pod jeho rozlišovací schopnost. "Tak si s těma idiotama nemailujte, vždyť jsou na blacklistu!" Většinou se podaří dát naši IP na lokální whitelist a nazvat to komplexním řešením. Že nás občas dokonce ten samý člověk "omylem" na blacklist přihlásil už se neřeší.

[Milan Jurik]

))

Reknu to asi takhle: Mail servery, kde muzu plne rozvijet svou spravu blacklistu, maji az na jednu vyjimku (ta firma ma bohuzel za klienty par firem, ktere na ty spamlisty patri opravnene) minimalni delku whitelistu. A presto se zpracuji vsechny validni e-maily a temer nikdo si nestezuje (incident tak jednou za rok). A zaroven si pak clovek uziva spokojene prostredi s naprosto minimalnim mnozstvim spamu.

To, ze se dnes nekdo dostane na blacklist, uz je stezi jen "omylem". Tohle se stavalo drive, ted si na to blacklisty davaji dost bacha. Nebylo to obcas spise tak, ze nektery z vasich klientu si nezaviroval stanici a negeneroval burdel smerem ven? Dost casty duvod dnes.

[Ondřej Čečák]

Kez by, mit mailovy system zavisly na nejakem cizim (z principu neduveryhodnem?) blacklistu asi neni uplne dobry napad. A to ze tim ulevite od spamu uzivatelum asi neni dobry argument, protoze predpokladam nemate moznost zjistit, kolik mate false positive ...

[Milan Jurik]

Mam, jednak jsou na to uzivatele docela haklivi a za druhe si nechavam vyjizdet pravidelne statistiky odmitanych e-mailu a tam je dost dobre videt, kolik false positive bylo ci nebylo, v pripade mail serveru, kde mne to zajima (ju, jsou i takove, kde me to opravdu netankuje).

Blacklisty prave stavi na duveryhodnosti. Stane-li se blacklist neduveryhodnym, ne, dekuji, ztraci pro mne smysl.

[Ondřej Čečák]

"jednak jsou na to uzivatele docela haklivi"

A jak na to ti uzivatele prijdou? Tak ze najdou relevantni email ve slozce SPAM (kam se predpokladam nikdo moc nediva), nebo tak, ze jim nekdo jinym kanalem oznami, ze meli dostat email (coz zase predpokladam nebude u kazdeho emailu). Statistiky odmitanych emailu jsou pekne, ale uz par desitek/stovek tisic odmitanych z nich moc nepoznate, nebo ano? (pripadne, poradite jak? :))

[Tomáš Hála]

Btw. to je právě jedna z výhod blacklistu, že mail prostě nejde doručit a tak se odesílatel okamžitě dozví, že je nějaký problém, místo aby měl pocit, že je vše OK a jeho mail zmizel někde mezi tisícovkou spamů..

[Milan Jurik]

Ju, presne tak, jinym kanalem oznami. Vetsina uzivatelu stale jeste vi, co je to treba telefon

A co se tyce statistik, takovy lidsky greylisting (o tom automatizovanem bych pomlcel, ten se mi prici ), ono krasne vybehne ve statistice, kdyz se nejaky e-mail snazi nekdo dorucit vicekrate, coz spammeri vetsinou zkusi max dvakrat, trikrat.

[Ondřej Čečák]

"Že nás občas dokonce ten samý člověk "omylem" na blacklist přihlásil už se neřeší."

Pokud vas kdokoli do toho blacklistu snadno dostane a soucasne ho nekdo pouziva, tak je fakt asi neco spatne :)

[HS]

Pekny clanek k problemu. Pekne vystizeni problemu. Jsem jenom zvedavy kdy tento problem objevi pravnici a zacnou vymahat soudne usle zisky z duvodu ze jsou mailove adresy mailove spolecnosti na danych SPAM-listech a tudiz je s jejimi mailami nakladano jako se spamy, coz se negativne projevuje na vysledcich firmy, ktera tim ztraci kontakty protoze ne vlastni vinou nedodrzuje smuvene podminky tim ze jeji maily jsou mazany mailspam systemem danych serveru. A take by me zajimalo kdy do toho zacnou stourat novinari a objevi to jako cerstou senzaci .

[Tomáš Hála]

Hehe, tak to mě pobavilo. Takže právníci by měli jako stíhat provozovatele těch blacklistů proto, že jejich blacklist z vlastního rozhodnutí používá nějaký pro ně absolutně cizí admin? Tedy něco jako stíhat autora knížky s recepty za to, že mi podle nich někdo, kdo si tu knížku koupil, uvařil guláš ze zkaženého masa a mě pak bylo zle?

Btw. o jakých podmínkách, které se mají dodržovat, tady mluvíš??

[HS]

Pravnici jsou schopni vseho, kdyz jim z toho koukaji prachy a uspech.

[Ondřej Čečák]

Ach jo. Nemuzu se dockat toho, az me nejaky uzivatel upali za to, ze cely zivot zil v omylu -- verte ci ne, zpravidla email posilany mezi nevlastnimi servery NENI GARANTOVANY(*) ...

(*) v tom smyslu, ze se muze ztratit, muze byt pozmenen, poskozen, zdrzen atp.

[Ondřej Čečák]

Odmitat emaily z blacklistovanych IP neni jiste moc dobre, ale jak uz bylo receno vyse, pokud je tak stanovena politika pro nakladani s emaily, tak proc ne. Je pravda, ze se daji blacklisty docela snadno zmanipulovat, nicmene na druhou stranu se z nich muzete casto snadno vymanit a casto si za ne muzete sami (treba vinou opet uz zminenych zavirovanych spamujicich Windows).

Na nejakem postovnim serveru, kde mam ve wishlistu blacklisty odstranit, je takto odmitano cca 80 % emailu a to uz je na vykonu docela dost znat; problemy s tim AFAIK nejsou.

[#Tom]

Blacklisty jsou pro debily. Jak jinak si vysvětlit to, že jsem některým lidem nemohl psát jen proto, že jsem odesílal poštu ze serveru centrum.cz, kde jsem měl schránku?

[Tomáš Hála]

V prvé řadě bych tě rád poprosil, abyses vyjadřoval na úrovni odpovídající tomuto portálu - tedy slušně.

Jak si tedy představuješ spam filtr bez použití blacklistů alespoň jako podpůrného prostředku? Viděl jsi někde nějaký spolehlivý filtr, který je nepoužívá? I samotné centrum.cz samozřejmě blacklisty používá a pokud se dostali na nějakou černou listinu, jistě k tomu byl důvod a alespoň byli donuceni problém urychleně vyřešit a šíření dalšího spamu přes jejich mailservery zabránit. Že měli jejich uživatelé krátkodobý problém s odesíláním pošty je samozřejmě nepříjemné, ale mě by mnohem více vadily stovky spamů, které bych bez blacklistu dostával denně do své schránky (to číslo si necucám z prstu, to je údaj odpovídající logům mého mailserveru).

[Vskutečnosti Saýc]

Tohle je jako obhajovat to ze soudit lidi podle narodnosti a vzhledu je dobra vec a setri to cas -- a navic, kdyby ta skupina obyvatel nebyl spatna, tak by se to o ni prece nerikalo, ze?

Kdyz uz se nekdo rozhodne nektery emaily zahodit, mel by to delat podle obsahu a ne podle toho ze mu nekdo rekne "hele tamhleta ip je divna, nebav se s ni".

[Ondřej Čečák]

Tohle asi neni uplne presne; myslim, ze samotna myslenka blacklistu je dobra, ovsem je velice tezke ji nejak rozumne realizovat.

[Tomáš Hála]

To si doufám děláš jen legraci. Nebo jak můžeš proboha srovnávat souzení lidí a hodnocení mailu na spam/ham?! Pokud odsoudíš neprávem člověka, je to zatraceně velký problém, ale u spamfiltru se prostě předem musí počítat s tím, že nějaké to malé procento omylů bude. Jediný filtr bez omylů bude ten, který nic filtrovat nebude..

Jak si tedy představuješ funkční spamfiltr, který nepoužívá žádné blacklisty? A proč tedy používáš email na seznamu? Snad si nemyslíš, že oni blacklisty nepoužívají.

[Ondřej Čečák]

Zly clovek by mohl rict, ze blacklist ma obecnejsi vyznam nez si myslite :)

[Lukáš Zapletal]

Pokud to posíláte z nějakých IP adres z rozsahu přiděleného různým ADSL/kabelovým providerům, tak se nesmíte holt divit.

[michal00]

dobre je tiez, ked sever tvojho adsl providera od teba odmietne prijat mail, lebo mas nedoverihodnu ip adresu pridelenu cez adsl jeho serverom. (konkretne st)

[Ondřej Čečák]

:))) To je pekne ...

[raistlin]

Pod blog bych se klidně podepsal. Blacklisty ano, ale jedině jako podpůrný prostředek.

Očekávám, že nadšení zastánců blacklistů poněkdu zchladne, až se na nějaký z jakéhokoli důvodu sami dostanou a budou se z něj zoufale pokoušet dostat pryč.

[raistlin]

Ještě bych dodal, že filtrování podle jakéhokoli nepřímého kritéria je pomýlené, je-li to kritérium jediné. Nepřímým myslím takové, které o podstatě mailu vypovídá pouze korelačně.

Zvyšuje to množství false positives, a dále to umožňuje spammerům vývoj protistrategie. Na tu filtrující pomýlenci samozřejmě reagují přitvrzením, spameři dalším dekroelačním pokusem, pomýlenci filtrováním všecho jen trochu pozdeřelého, etc. Domnívám se kupříkladu, že když z nějaké IP adresy nikdy neodešel spam, měl by z ní odeslaný mail, který není spam, normálně dojít. To už dávno neplatí ani náhodou, vývoj naopak směřuje k tomu, že na mail server budete potřebovat razítko (SPF a spol.).

Dlouhodobě fungující filtrování musí být multikriteriální, protože to je jediný způsob, jak dosáhnout minimálního počtu false positives bez zvýšení false negatives. A primární roli přitom musí hrát obsah zprávy, protože ten určuje, zda jde o spam, či nikoli. Všechno ostatní jsou berličky.

Výše uvedené maily typu Offer [číslo] obsahující jen nějakou přílohu jsou samozřejmě zahráváním si s bayesovským filtrem, ovšem při komunikaci se stálými partnery by neměl problém naučit filtr správně, kdežto náhodným cizincům se takové věci přiliš neposílají.

[Tomáš Hála]

Primární musí být jistě obsah zprávy a co sleduju práci mého spamfiltru, tak také je. Největší body dostávají a také nejčastější důvod označování spamu jsou (kromě Bayesiánské analýzy) URL použitá v mailu. Jenže ta se také kontrolují proti různým blacklistům, jejichž věrohodnost nemám přímo pod kontrolou stejně jako blacklist IP adres. Takže v čem je rozdíl? Nehledě na to, že Bayesiánská analýza jako IMHO prakticky jediný spolehlivý lokální analyzátor obsahu zprávy potřebuje nejprve znát stovky zaručených spamů a hamů, aby mohla fungovat. A kdo je má dávat ručně dohromady? Mám toto chtít po každém uživateli mailu? Proti tomu blacklisty fungují okamžitě po vytvoření schránky bez další práce. Tedy Bayes také není samospasitený a potřebuje blacklisty a další indície, aby se mohl učit, co je spam a co není. Nejlepší metoda je tedy kombinovat co nejvíce testů včetně blacklistů, které hrají nezastupitelnou roli v detekci spamu.

Že jde vývoj směrem k "razítkování" mail serverů mi připadá jako přirozený důsledek. Šíření spamů umožňuje anarchie panující v systému doručování pošty, který nebyl navržen pro masové použití, kterého jsme dnes svědky. Takže jako nejúčinnější obrana se nabízí zavedení nějakého řádu jako se o to pokouší např. SPF.

[raistlin]

Že jde vývoj směrem k "razítkování" mail serverů mi připadá jako přirozený důsledek.

Tak to tedy pěkně děkuji za takový přirozený důsledek. Protože na mailserver v obýváku (příklad) mi nikdo štempl nedá.

Zatím lze kdekoli rozjet třeba webserver (FTP už ne), ale brzy někomu ,dojde`, že i toto je prostředek šíření virů, a příští verze MSIE bude ochotna zobrazovat jen stránky z ,prověřených a schválených` počítačů.

Poté, co se stal internet masovou záležitostí, vývoj skutečně přirozeně směřuje ke konzumentskému stylu, kdy je luserům naservírováno, co posvětí ISP/Microsoft/mediální firmy, všechno ,podezřelé` se zablokuje -- a skoro všichni jsou spokojeni. Těch pár bláznů, kteří by chtěli 'net používat kreativně, nikoho nezajímá. A žádná alternativa internetu nezasažená konzumentstvím neexistuje.

[Tomáš Hála]

Teď se na mě nezlob, ale to, co povídáš, jsou naprosté hlouposti pramenící z nepochopení problému. Tady nejde o štempl od nějaké autority, která by určovala, který mailserver je "autorizovaný" a který ne. Tohle razítko v podobě DNS záznamu si nastavuješ sám (nastavit si ho můžeš klidně pro svůj mailserver v obýváku) a umožňuje rozpoznat, jestli od někoho doručený mail od toho dotyčného skutečně pochází nebo je to podvrh. Copak tobě je jedno, že podle SMTP si může kdokoliv do hlavičky "From" vyplnit tvou adresu a rozesílat emaily tvým jménem? A když ti vadí SPF záznamy, vadí ti i používání MX záznamů, které nejsou součástí původní definice SMTP?

[raistlin]

Tohle razítko v podobě DNS záznamu si nastavuješ sám

Opravdu? Jak?

In related news: http://www.theregister.co.uk/2006/02/06/aol_yahoo_charge_emails/

Co dodat? Snad jen to, že to je teprve začátek...

[Tomáš Hála]

Hmm a kde je nějaká souvislost s SPF??? Btw. nutí tě někdo používat emaily AOL nebo Yahoo? Když se ti nelíbí jejich politika (jakože se ti nedivím, mě to taky připadá jako úlet), zařiď si email kdekoliv jinde. Nevím, co je to za módu neustále předpovídat konce světa, konce internetu, konce emailů a já nevím čeho ještě..

[Ondřej Čečák]

"Zatím lze kdekoli rozjet třeba webserver (FTP už ne)"

Tohle vidim poprve, mohl byste to nekdo prosim trochu rozvest?

[Milan Jurik]

Prekvapive uz jsem to zazil a to vicekrat. A slova jako "zoufale" bych opravdu nepouzival. Zjevne tady nekteri ziji opravdu ve zcestnych predstavach, co se dnesniho stavu blacklistu tyce.