Špatně nastavené poštovní servery... again

10.10.2012 08:18 | Přečteno: 1788× |

Minulý týden jsem na našem firemním poštovním serveru trošku vylepšoval nastavení Postfixu - využil jsem možností jeho nastavení a přitvrdil jsem v kontrole uvítacího pozdravu HELO. A to jsem asi neměl dělat. Nikdy by mne ani ve snu nenapadlo, kolik poštovních serverů je špatně nastaveno. Každý týden si pročítám logy a sleduju chyby, ke kterým dochází, sleduju množství spamu, který projde, i který byl úspěšně zablokován. Po mém drobném "vylepšení":

smtpd_helo_restrictions =
 reject_invalid_helo_hostname,
 reject_unknown_helo_hostname,
 reject_non_fqdn_helo_hostname

se začal plnit log chybami v následujícím znění:

 NOQUEUE: reject: RCPT from freetech.vps.websupport.sk[37.9.170.18]: 450 4.7.1 <freetech.localdomain>: Helo command rejected: Host not found;

Dneska, když se v logu vyrojily další a další poštovní servery firem z různých odvětví s tou samou hláškou, jsem bohužel musel rezignovat. Psát jim nemá cenu - nikoho z nich to moc nezajímá a jen pár, kterým jsem v minulosti psal, provedlo nápravu. Takže jsem musel konfigurační soubor zase upravit, aby kontrola pozdravu HELO nebyla tak striktní. Na vlastních serverech, které v Internetu mám, si tyto striktní kontroly dovolit můžu (a taky je mám nastaveny), ale v práci je to jiné kafe a o důležité e-maily nechci nikoho připravit...        

Komentáře

[SAM:]

O stejné problematice jsem kdysi psal ve svém blogu a byl jsem diskutujícími, zašlapán, roztrhán a přeměněn v prach. Nicméně stále mám názor, že admin co nemá správně nastaveno HELO a DNS záznamy k maileru by měl být veřejně zastřelen za úsvitu pro výstrahu kolemjdoucích adminů :)

[SPM]

Správný admini za úsvitu spěj nebo jdou spát; rozhodně nikam nechodí :)

[mozog]

Sam bych to lepe nerekl.

[Franta]

Nevzdávej to a piš jim. A důležité je, že se žádný e-mail neztratí -- vrátí se odesílateli. Jen to chce nastavit smysluplnou chybovou hlášku.

[dumblob]

+1

[pasmen]

A až se tak stane, bude brzy následovat zmatený telefonát odesílatele generálnímu řediteli (= příjemce) o tom, že mu nejdou odesílat e-maily. Ten vlítne na ajťáky a srandy je konec. Tak to zkrátka chodí.

[dumblob]

No co, tak odesilatele staci vystrasit, ze by mel okamzite kontaktovat jejich firemni ajtacke oddeleni a co nejdrive tento incident vyresit, protoze jinak je ohrozena cela firma (coz je, akorat pouze z jedineho duvodu: ze se mail, respektive dana informace, vcas nemusi dostat k prijemci).

[pasmen]

Předpokládáš, že se odesílatel bude namáhat s čtením nějaké automatické odpovědi mail serveru příjemce. Moje zkušenost je taková, že jakmile jim nepřijde odpověď od původního příjemce, ve většině případů hned volají...

[xkucf03]

Ano, e-maily nejdou odesílat. Ale přijímat jdou.

[dizz]

Urcite pis, ja bych treba za upozorneni ze mam neco spatne nastaveno byl rad...

Myslim ze o tom vetsina ani nevi.

[dumblob]

+1

Vsak se daji ty logy kompletne automatizovane zpracovavat vcetne odesilani tech varovnych emailu spravcum.

[xkucf03]

+1

Chybu může udělat každý, za ignoranta bych ho označil až ve chvíli, když to po upozornění neopraví.

[Adam]

First rule of Admins' club is: nikdy nesahaj do niecoho co funguje (aj ked to druha strana ma nespravne - nakoniec budes na vine ty ze nedosli maily )

[loki]

Vyzaduje snad nejake rfc toto nastaveni? Neni toto jen slepe lpeni na dohode jen nektere skupiny adminu?

[MMMMMMMMM]

RFC-821 Section 3.5: http://www.freesoft.org/CIE/RFC/1123/90.htm

Pochopil-li jsem, tak odesílající server musí zajistit validní host domain name v příkazu HELO. Dále se tam praví, že i v případě, kdy si tam odesílatel vloží nějaký nesmysl (který nekoresponduje s DNS záznamem, ale pro potřeby kontroly je validní), tak příjemce nesmí takovou zprávu odmítnout.

Domnívám se, jak jsi napsal o lpění na dohodě skupiny adminů, že nejsem jediný správce poštovního serveru, který se snaží, aby vše bylo v pořádku a korektní a můj server se představoval svým správným (validním a lehce ověřitelným) jménem.

Jak zmiňuje Josef níže, třeba takový Spamassassin má v sobě kontroly, kterými pozdrav odesílajícího serveru zkontroluje a těm serverům, které se představily pochybně, navýší spam skóre. Nevěřím, že je to zlovůle programátorů Spamassassinu nebo Postfixu, možná spíše lpění na pořádnosti?

[Josef Kufner]

A co si nastavit, aby tohle jen zvyšovalo skóre v hodnocení, že jde o spam?

[David Watzke]

A proč? Vždyť to nijak nesouvisí.

[trekker.dk]

Souvisí. Zatímco regulérní poštovní server v internetu je (má být) nastavený tak, aby se hlásil svým jménem, virus odesílající spamy z napadeného počítače si musí něco vymyslet. No a ne všechny si vymyslí něco, co je ve fqdn tvaru a existuje to.

[Josef Kufner]

Tak, tak.

[xkucf03]

E-mail má buď dorazit nebo se vrátit (být odmítnut ještě v rámci SMTP relace v odpovědi na RCPT TO nebo DATA …). Cokoli jiného je špatné řešení. Otázka jen je, jak moc špatné. Největší svinstvo je, když e-mail prostě jen tak zmizí* – na to se obvykle přijde až po čase a to už můžou být i smazané logy… Jen o kousek méně špatné je, když to skončí ve spamovém koši.

*) nedávná reálná zkušenost s jedním příjemcem, který používá hostované „antispamové“ řešení od MS :-/

[menphis]

Tak zrovna pri chybe 4xx server odeslitale zadnou bounce message nevygenruje a bude se pokouset o dalsi doruceni.

[xkucf03]

Ano, proto je potřeba vracet správnou chybu:

When an SMTP server returns a permanent error status (5yz) code after the DATA command is completed with <CRLF>.<CRLF>, it MUST NOT make any subsequent attempt to deliver the message. As with temporary error status codes, the SMTP client retains responsibility for the message, but SHOULD not again attempt delivery to the same server without user review of the message and response and appropriate intervention.

RFC 5321

[trekker.dk]

E-mail má buď dorazit nebo se vrátit (být odmítnut ještě v rámci SMTP relace v odpovědi na RCPT TO nebo DATA …). Cokoli jiného je špatné řešení.

Nevim, proč je to zrovna jako reakce na můj příspěvek...

Největší svinstvo je, když e-mail prostě jen tak zmizí

Občas to je vcelku rozumné řešení - třeba když se jedná o poštu velký organizace a ten samej mail (spam) postupně přijde tisíckrát.

[xkucf03]

To jsou výjimečné případy, kdy někdo osobně prověří, že jde o spam – jenže pak je můžeš odmítat, není potřeba je v tichosti zahazovat, ne?

[trekker.dk]

jenže pak je můžeš odmítat, není potřeba je v tichosti zahazovat, ne?

... to by ale znamenalo pouštět spamfiltr ještě během SMTP relace, což nemusí být úplně žádoucí.

[xkucf03]

Nemusí, ale zahazovat maily nebo je dávat do spamového koše, kde je musí uživatelé stejně číst (nebo přijdou i o legitimní zprávy) také není žádoucí. Takže jak z toho?

Antispamová (případně antivirová kontrola) sežere nějaký výkon, to ano, ale sežere ho i když ji budeš pouštět asynchronně. Když se tedy spustí ještě v rámci SMTP relace, můžou se sice e-maily odbavovat pomaleji (ve špičce), ale zase se neztratí žádný e-mail. A kdyby se to nestíhalo, tak můžeš e-mail odmítnout s dočasnou chybou a doručí se za chvíli. Nebo omezíš otevírání nových SMTP spojení. Při tom můžeš dát přednost známým odesílatelům (něco jako greylisting) a počkají si jen ti ostatní.

[pavlix]

To zní na řešení určité škály problémů velice rozumně.

[trekker.dk]

Ještě jednou: bavíme se o případu organizace, ve které někdo zkontroloval mail, ví že jde o spam a přichází to ve stovkách na různé adresy ve firmě. Co je špatné na tom to zahodit? Nebo jinak - z jakého důvodu má být cílem, aby se netratil žádný e-mail, když v tomto případě chci aby se ten mail ztratil, protože nemám zájem na tom, aby se dostal zaměstnancům do schránky.

Když se tedy spustí ještě v rámci SMTP relace, můžou se sice e-maily odbavovat pomaleji (ve špičce), ale zase se neztratí žádný e-mail.

... což znamená spoléhat se na to, že protistrana udělá správnou věc. Tj. že mi ten mail zkusí poslat znova a v dohledné době. Tak to rozhodně není pravidlem, jsou experti, co to zkusí za minutu a pak druhý den v půl šesté ráno. Popřípadě po prvním neúspěšném pokusu okamžitě odesílají zprávu o zpožděném doručení. Nebo dočasnou chybu rovnou vyhodnotí jako trvalou.

Proto nevidím problém v tom zprávu, která vypadá, že to nebude spam (např. odesílatel není v blacklistech), přijmout a náročné věci řešit až následně.

[xkucf03]

bavíme se o případu organizace, ve které někdo zkontroloval mail, ví že jde o spam

Pokud to někdo ručně zkontroloval a jde evidentně o spam, tak budiž.

Ale i tak mi přijde lepší e-mail odmítat, než zahazovat – při odmítnutí je nějaká šance, že tě spamer vyřadí ze svého seznamu, při zahazování je pravděpodobnější, že tě bude spamovat i příště.

což znamená spoléhat se na to, že protistrana udělá správnou věc.

Je to úplně stejné jako u greylistingu, který se hojně používá. Přiznám se, že greylisting taky nemám moc rád, právě kvůli zpožďování e-mailů. Ale výše popsané řešení se celkem podstatně liší: nezpožďuje všechny e-maily z dosud neznámých domén/adres, ale jen ty, které dorazí při přetížení serveru (které by běžně nemělo nastávat).

[bigBRAMBOR]

jak odmítnu email který musí dle tvého doporučení někdo zkontrolovat, že jde opravdu o SPAM? To už ho odmítnu těžko. I při automatickém rozpoznávání spamu, potřebuji mít většinou email celý stažený pro následnou kontrolu spam filterem. Pak uz muzu ten email jedine vratit na email odesilatele, a opruzovat většinou človeka který s tím nemá nic společného. A nebo zablokovat celý server který spamy posílá, odmítat všechno od něj, což je taky prasečina.

[Honza Jaroš]

telnet mail.nekde.cz 25
Trying 2a01:123:45:0:1::32...
Connected to mail.nekde.cz
Escape character is '^]'.
220 mail.nekde.cz ESMTP Postfix
helo aa.bb.cz
250 mail.nekde.cz
mail from: aa@bb.cz
250 2.1.0 Ok
rcpt to: aa@jaros.org
250 2.1.5 Ok
data
354 End data with <CR><LF>.<CR><LF>
Test
.
550 Polib si se SPAMEM pozadi
quit
221 2.0.0 Bye
Connection closed by foreign host.

[bigBRAMBOR]

a kde je ten clovek co to zkontroloval?

[Honza Jaroš]

Viz. #42:

Ještě jednou: bavíme se o případu organizace, ve které někdo zkontroloval mail, ví že jde o spam a přichází to ve stovkách na různé adresy ve firmě.

Prvotní kontrola ruční, posléze se maily se stejným obsahem odmítají/zahazují automaticky. Alespoň takto jsem pochopil zadání já. Představa, že by měla organizace extra člověka, který by prohlédl každý mail a rozhodl jestli jde o SPAM nebo ne, mi přišla natolik absurdní, že jsem o ní vůbec neuvažoval...

[trekker.dk]

Ano, tak to bylo myšleno.

[bigBRAMBOR]

podle me nepouzitelne, pokud ma nekdo rucne udelat prvnostni rozhodnuti, musi zkontrolovat kazdy email, nebo kazdy email, ktery mu nekdo preposle k prohlédnutí. SPAMy se nam vesele mení, obsahují části které jsou nahodně generované aby ztížily identifikaci jako spam, takze budete prohlizet stejne skoro vsechny, pravidlo zahod stejny email bude k nicemu, a linka bude stejne vytizena, protoze stejne musis cely email stahnout, aby jsi mohl udelat kontrolu. Zeptam se někde se staráte o mail server, kde je aspon pár set uživatelů a dostanete denně několik tisíc mailů, nebo to je od vás jenom teorie? Já si porad nemuzu pomoct ze tohle by jste nasadili v realu. Mluvíte že spam prichází stejný ve stovkách, pokud tedy bude přicházet po desítkách, tak ho lidem necháte projít?

[trekker.dk]

SPAMy se nam vesele mení, obsahují části které jsou nahodně generované

Tak ještě jednou a doufám, že tentokrát už to bude stačit, protože bych nerad maloval obrázky: v tomto konkrétním případě se jednalo o spam, který postupně přicházel ve stovkách stejných exemplářů. Už je to jasné?

A můj server to nebyl.

Zeptam se někde se staráte o mail server, kde je aspon pár set uživatelů a dostanete denně několik tisíc mailů

Naše mailservery nejsou případ uvedený v #42 (schránky nepatří zaměstnancům), takže se nás tam popsané řešení netýká.

[menphis]

+1

[xkucf03]

-1 To považuji za špatné řešení, protože to snižuje spolehlivost a funkčnost e-mailového ekosystému a vede to k záhadným chybám a nejasnostem („e-mail nedorazil“, „díval ses do koše?“ „já už nevím…“ „ach jo, ty e-maily dneska nějak nefungují“ …) a navíc to nijak netlačí na nápravu – něco funguje, něco ne a nikdo neví proč a že třeba má něco blbě nastavené.

Přijatelné mi to přijde leda v případě, že bys těm správcům odesílajících serverů vždy psal, ať si to opraví a že do té doby jim zvyšuješ spamové skóre.

[trekker.dk]

Tvůj náhled na funkčnost a spolehlivost e-mailového ekosystému není moc praktický - v podstatě říkáš, že všechno by měl být buď spam, nebo to má uživateli dorazit do schránky jako čistý mail. Jenže vzhledem k tomu, že kontroly dělají automtizované nástroje, nějaká šedá zóna (tohle teda přijmu, ale uživateli to do schránky dám tak, aby viděl, že je to pozdezřelé) existovat musí.

a navíc to nijak netlačí na nápravu

Kdežto když nechám uživatelům chodit zavirované maily a milášek zákazníky, tak něčemu pomůžu...

[pavlix]

Tvůj náhled na funkčnost a spolehlivost e-mailového ekosystému není moc praktický

Mně přijde na dnešní zvyklosti až krutě moc praktický.

v podstatě říkáš, že všechno by měl být buď spam, nebo to má uživateli dorazit do schránky jako čistý mail.

Já bych to četl spíše takto, bez té škrtnuté části.

Jenže vzhledem k tomu, že kontroly dělají automtizované nástroje, nějaká šedá zóna (tohle teda přijmu, ale uživateli to do schránky dám tak, aby viděl, že je to pozdezřelé) existovat musí.

Jakože budu uživateli schovávat netriviální množství legitimních mailů? To jde, ale taky to trochu skřípe, takže bych to rozhodně neprezentoval jako jediné a nejlepší řešení.

Kdežto když nechám uživatelům chodit zavirované maily a milášek zákazníky, tak něčemu pomůžu...

Vtipné je, že současné praktické mailové standardy (tedy to, co se opravdu většinově používá), jsou úplně postavené na hlavu. Jako workaround se používají doplňkové způsoby komunikace, třeba telefon. Tady je hodně velký rozdíl mezi teorií a praxí ve prospěch teorie (víceméně se ví, jak to dělat správně, ale nikdo to nedělá a z důvodu vzájemné kompatibility to ani nikdo dělat nemůže).

[trekker.dk]

Já bych to četl spíše takto, bez té škrtnuté části.

Koš je taky ve schránce uživatele, což se ale předřečnkovi zjevně nelíbilo.

Jakože budu uživateli schovávat netriviální množství legitimních mailů?

Jestli přesunutí do složky "spam" považuješ za "schovávání", ok. Nicméně většina uživatelů klinutí myší zvládá...

Jako workaround se používají doplňkové způsoby komunikace, třeba telefon.

... prostě takové způsoby, které (v podstatě) netrpí spamem.

[xkucf03]

Ano, koš je ve schránce uživatele, ano, dostane se do něj jedním kliknutím… ale jak se to liší od toho, když spam přijde do jeho doručené pošty (INBOX)? Liší se to jen velmi málo – když budu mít málo času, můžu se kouknout jen do doručené a třídění spamu odložit na později. Trošku ten spamový koš pomáhá, to nepopírám, ale ne moc – stejně to nakonec musím vytřídit ručně, protože jinak riskuji, že přijdu o nějaký důležitý e-mail.

[menphis]

Proc se negeneruje chyba typu 5xx?

Nicmene trochu zavidim zamestnani, kde ti projde takovehle experimentovani.

[MMMMMMMMM]

Generovat jiný chybový kód (než 4xx) není problém nastavit. A prochází mi to i díky tomu, že nám v práci chodí opravdu hoooodně spamu a člověk hledá způsoby, jak jej zarazit už v počátku. Proto se k tomu také snažím stavět zodpovědně a jedna z náplní mé práce je sledování logů a vyhledávání možných problémů (v případě potřeby vytvořím ruční pravidlo, aby se ten který server nekontroloval). Mám zkušenost, že dříve někdo z vedení v záplavě spamu přehlédl důležitý mail. :) Než jsem nastoupil jako správce, server příjmal naprosto vše - žádný greylisting, žádné blacklisty, kontroly reverzních záznamů (RFC 1912), atd. Určitě si nemyslím, že bych jen tak hazardoval, to bych si určitě nedovolil. :)

[bigBRAMBOR]

špatně může mít něco nastavené každý, ale čím větší firma, tím hůře je k něčemu donutíš, třeba i k opravě chyby. Naše firma spolupracuje s jedním nadnárodním gigantem, a tam je problém se k něčemu dostat, vždy jsme za kreteny my, a k ničemu je nedonutíme, a to je s ohledem na to, že nějaku kravinu vymeslej každou chvili vražedná kombinace.

A nějvětší bandu mají právě na emailech. Kdysi nám začali odmítat veškeré emaily, nechtěli nám říct proč, vratil se jako nedoručitelný. Nic jsme z nich nemohli dostat. Máme si to opravit. Po nějaké době z nich vylezlo, že je to pro to, že naše emaily obsahují sprostá slova. Po dalším jednání nám řekli interní informaci, že včechny naše emaily obsahují slovo "pis" - což je evidetně zkracenina od "piss" a jejich filter to správně odmítnul. Ve skutečnosti šlo o "podpis". Nevěřili nám to. Naštestí se pak ozval jeden admin u nich, který byl původem polák, a naše slova potvrdil. Teprve potom kontrolu tohoto slova odstranili. Práce to byla asi na měsíc.

[MMMMMMMMM]

A to mne právě děsí - čím větší firma, tím méně člověk něco zmůže a nezbývá než se před gigantem sklonit. Něco podobného jsem také zažil a jelikož se mnou vůbec nikdo nechtěl komunikovat (v jednu chvíli jsem měl sto chutí napsat jejich generálnímu řediteli, ať si srovná ajťáky, ale včas jsem z toho upustil), tak jsem prostě jen udělil výjimku a dál neřešil. Dost mne pobavila odpověď jednoho administrátora, z jehož sítě chodil opakovaně prokazatelný spam - "tak si naši IP adresu zablokujte".

[Pindal]

Zmírním tvůj děs. Sám pracuju pro takovou větší firmu a právě z pozice té síly nutím ostatní si to nastavovat správně, včetně státních úřadů

[MMMMMMMMM]

Thanks

[bigBRAMBOR]

jenom jestli jenom tak nepindáš

[xkucf03]

Diost hrozné… Ale pořád je lepší, když tvoje e-maily odmítnou a ty se o tom, dozvíš – než když mizí kdesi v černé díře.