Dotaz: Mailserver a dvě síťovky

[Kall Ell]

Ahojte, mám dotaz viz subject. Mám instalovaný poslední debian(8) s postfixem a dovecotem(IMAP, MTA). V serveru mám dvě síťovky. eth0 je do lokální sítě a eth1 je do internetu. brána je nastavená na eth1.

Lokální síť má svou vlastní bránu do internetu pro lokální PC. Nastavení mám udělané tak, že příchozí komunikace jde přes lokální síť(eth0), ale server odesílá maily přes druhou síťovku(eht1). Důvod je jednoduchý, několikrát se mě stalo, že mě v síti někdo stáhl vir a díky tomu se mě veřejná IP zalistovala na black listech. Proto jsem chtěl, aby maily ze sítě odcházeli jinou cestou.

Teď je ale problém. Protože když někam pošlu mail tak přijde z jiné IP než je mx záznam. Konkrétně to vadí MS outlook.com a vrací mě následující hlášku.

 host manex-eu.mail.eo.outlook.com[213.199.154.170] said:
    550 5.7.1 Service unavailable; Client host [moje odchozi IP] blocked using
    FBLW15; To request removal from this list please forward this message to
    delist@messaging.microsoft.com (in reply to RCPT TO command)

Nechal jsem nastavit zpětný DNS záznam, ale zatím to ničemu nepomohlo. Nic méně teď když dám ping -a moji odchozí IP, tak to vrátí Ačkový dns záznam, který je shodný s mx zaznamem. V čem by mohl být ještě problém? Jinak jsem zjistil, že to zatím vadí jen těm MS serverům, Na ostatní to chodí.

---

---

Odpovědi

[Michal Kubeček]

Protože když někam pošlu mail tak přijde z jiné IP než je mx záznam.

To je nějaký nesmysl, MX záznam říká, kam se mají maily pro příslušnou doménu posílat, nemá nic společného s tím, odkud se maily posílají. To by mělo příjemce zajímat jen pokud byste měl třeba nastavené DKIM.

Spíš bych čekal problém třeba s tím, že jméno, které se použije v EHLO, nesouhlasí s reverzním záznamem pro adresu, ze které navazujete SMTP spojení.

[OldFrog {Ondra Nemecek}]

Mimo MX a PTR (oboje už máte) budete muset zřejmě nastavit SPF, DKIM, DMARC. Srozumitelný článek v češtině.

Navíc jste se zřejmě dostal na blacklist a bude potřeba se z něj zase dostat pryč.

[Kall Ell]

Na blacklistu nejsem určitě, je to nová ip adresa, která se ještě nepoužívala. i podle http://www.anti-abuse.org/ je čistá. Na ten článek se podívám, díky

[Petr Šobáň]

Ale já nevidím problém?

Pokud jsi pro SMTP změnil IP tak proč nezměníš i MX záznam na tu novou IP?

Nechápu systém aby SMTP server přijímal mail na IP xxx.vvv.bbb.nnn a odesílal na jiné qqq.www.eee.rrr to podle mě nemá žádný rozumný důvod pak vznikají tyto problémy když si příjemce bude kontrolovat zda je SMTP server uveden v MX záznamu.

A ptal jsi se také třeba Seznamu, proč přijímá poštu na jiné ip adrese, než ze které posílá maily?

[Petr Šobáň]

A jakou to má souvislost?

Když druhý skočí z mostu musím taky?

To je fakt takovej problém změnit MX záznam a nevytvářet si zbytečně problém?

Souvislost to má tuto: "Nechápu systém aby SMTP server přijímal mail na IP xxx.vvv.bbb.nnn a odesílal na jiné qqq.www.eee.rrr"

Kromě toho, Seznamu to patrně funguje, i když má ten nepochopitelný systém.

[Petr Šobáň]

Jenže seznam je velký moloch známý a tam může mít ten přijímací SMTP nastavenou vyjímku.

Protože by ho jinak zákazníci ukamenovali že jim nechodí maily.

Fakt je takovej problém nastavit MX záznam na ten odesílající SMTP a vyzkoušet zda to pošlape?

Pokud ano je to tím a když chce mít odesílající a přijímající na jiných IP bude muset to vyřešit s tím co to odmítá a má tu kontrolu nastavenou.

http://www.abclinuxu.cz/poradna/linux/show/413945#4

https://social.technet.microsoft.com/Forums/exchange/en-US/9813dd3d-10e6-4fe5-b28d-8ff251d46b21/blocked-using-fblw15

[Kall Ell]

Ahoj, problém to je. Na ten server je navázáno více věcí než jen ten mail server. A bylo by s tím docela hodně problémů. Z toho důvodu jsem se rozhodl pro tuto variantu. druhý důvod je ten, že první(příchozí) je za routerem a relativně chráněná z venku. Druhá síťovka je ale vystavena přímo do internetu a u Poskytovatele je tam zakázána veškerá příchozí komunikace, je povolen pouze ping a odchozí smtp komunikace.

[j]

Jasne, takze uz vime, proc na tom blacklistu ses. Protoze pokud srv v M$ nema kam vratit treba info o nedorucitelnosti, tak to na ten blacklist pochopitelne hodi.

[Michal Kubeček]

A proč by to, probůh, mělo vadit? Vždyť to ani nemusejí být stejné stroje - a každý může být někde úplně jinde. Nemluvě o tom, že před tím, než se začalo blbnout s věcmi jako DKIM, bylo naprosto běžné, že žádný vyhrazený server odesílající poštu dané domény ani neexistoval.

[Petr Šobáň]

Však to nevadí ovšem některé SMTP servery budou prostě poštu odmítat když si majitel nastaví kontrolu MX záznamů.

Kontrola MX záznamu je pěkná blbost. Když už, tak SPF, což je něco trochu jiného.

[Petr Šobáň]

Tak proč mu to odmítají když tvrdí že vše má nastaveno OK?

[Michal Kubeček]

Třeba se nerozhodují podle toho, co tvrdí, že má nastaveno, ale podle toho, co opravdu posílá. Začal bych třeba tím, že pokud ten stroj vystupuje pod jedním jménem a to jméno nemá dva A záznamy (s odpovídajícími reverzy), bude mít přinejmenším na jedné straně (příjem / odesílání) problém s kontrolami.

Takže bych doporučoval zkontrolovat:

1. Jak si ten stroj říká v EHLO.
2. Jestli překlad toho jména odpovídá IP adrese, ze které navazuje spojení.
3. Jestli reverzní záznam té adresy dává totéž jméno.

Pokud něco z toho nesouhlasí, není to a priori špatně, ale může to být důvodem, proč některé MTA budou maily od něj odmítat. MX záznam bych do toho ale opravdu nezatahoval.

[Kall Ell]

Ačkoliv jsem dostal novou(čistou IP adresu) tak jsem byl na blacklistu u MS. Když jsem server spustil, tak na té veřejné IP adrese přes kterou to odcházelo nebyl nastavený PTR záznam. Můj názor na to je ten, že jakmile odešel první mail na server MS a ten zjistil, že to jde z neznámého zdroje, tak to hodil na blacklist. V té zprávě z MS, bylo napsáno, abych jim tu zprávu co to vrátilo poslal. Tak jsem to udělal a kolem šesté večer mě napsali, že to po prošetření z jejich blacklistu smázli. Od té doby to funguje. Pro jistotu jsem si dnes nastavil i ten SPF záznam. Tak snad to bude v pořádku. Jiný problém jsem zatím nepozoroval.

[Petr Šobáň]

Ačkoliv jsem dostal novou(čistou IP adresu) tak jsem byl na blacklistu u MS.

Tak je to jasné M$ je magor přece nemůžu po prvním mailu ho strčit na blacklist, beru to že pokud nemá PTR tak ho bude odmítat, ale strkat hned na blacklist ..........

[OldFrog {Ondra Nemecek}]

Mě se to stalo taky. Než jsem nastavil mailserver, odešlo několik mailů a bylo to. Už nevím, který blacklist to byl.

[H0ax]

Otázka je, co je to čistá IP. Pokud máš vlastní range, ze kterýho jsi to nikdy nepoužil, tak budiž. Pokud ti to přidělil isp, tak ona moc čistá nebude. MS tě pak zařezává dvěma způsoby - ten drsnější je to, co se ti stalo tzn. rovnou tě vyfákne, druhej způsob je, že maily na outlook.com etc. končí chtě nechtě v "Junk" folderu kvůli jejich dementnímu SmartScreen antispamu a to do doby, než tvoje IP získá reputaci od lidí, kteří ten mail označí jako non-spam. Z prvního případu existuje delisting jak jsi správně udělal, na ten druhej případ jen modlení.

[Kall Ell]

To by nefungovalo odesílání z různých webhostingů atd., ty mašiny přece nejsou v mx záznamech pro odesílající doménu. Ideálně by mělo sedět a/aaaa/ptr, což není problém, dál pak pokud máme spf, tak to přidat do spf + helo spf a je to. U tazatele tedy musí sedět a/aaaa/ptr na ifacu, ze kterého odesílá. Na příjmu je to jedno. V tomto případě je IP na BL u MS čili stačí poslat delist request a je to.

[pavlix]

Na blacklistu nejsem určitě, je to nová ip adresa, která se ještě nepoužívala.

Nebyl bys ani první ani poslední, kdo si tohle myslel.

[j]

A ty byt v cestin velmi spatna, stejne jako v anglictin?

Mas tam totiz naprosto jasne napsany, ze je mas kontaktovat, protoze ta IP je na jejich blacklistu, takze vazne nevim co resis.

A resis i kravinium s nastavenim, protoze pro mailserver se da uplne vpohode pouzit jaksi jedna a tataz IP, jen holt potrebujes vic nez jednu (abys mel NAT jinde), ale tlacit prichozi postu pres NAT a odchozi pres jinou IP, to sem teda jeste nevidel ... (a ne, M$ vazne neresi, jestli mas reverz).

https://www.google.com/search?q=FBLW15

[Max]

Já jsem rozjel maily na separátní IP před delší dobou a jedu ve full palbě, tzn., že mám :

• public přijímací i odesílací IP odpovídá MX záznam
• máme odpovídající PTR záznam
• spf záznam v dns
• dkim podepisování mailů
• adsp politiky
• dmarc politiky

Na příchozí maily pak aplikujeme tyto pravidla :

• greylisting (na 10min) v případě, že odesílatel nemá spf + máme whitelist odesílatelů
• antivir řešení, které odstraňuje veškeré spustitelné soubory (i když jsou v zip archivu) + zakazuje vnořené archivy (zip v zipu apod.)
• klasický spamassassin

Celkový počet uživatelů je něco kolem 700. Největší problém je kombinace greylisting + cloud, kdy se může zpoždění mailu vyšplhat i na den. Většinou jde o firmy se základním nastavení mailových služeb + to mají u někoho velkého hostováno, takže greylisting odmítne mail, ale další pokus o doručení provádění jiný server v tom cloudu, takže jej greylisting zase odmítne a tak dokola to skáče po těch cloudových serverech. Řešíme jen whitelistingem.
V době, kdy se to řešilo, se to značně vyplatilo, úbytek spamu byl obrovský.
Zdar Max

[MP]

Jak resis zaheslovane archivy?

A defacto spustitelny soubor je kazdy :)

[Max]

Pro win není každý soubor spustitelný, kvůli win to tak máme.
Zaheslované archivy neřešíme a zatím nevidím důvod, proč tak činit (primárně je antispam a antivir proti útočníkům a né proti uživatelům, takže když si uživatelé pošlou nějaký zaheslovaný archiv, tak mně to netrápí).
Zdar Max

[MP]

Muzes pro porovnani trochu rozvest, jak velky seznam spustitelnych filtrujete, resp. jak resite tu nesputitelnost pro win?

[Max]

EXE HLP HTA INF INS ISP JS JSE LNK ADE ADP BAS BAT CHM CMD COM CPL MSC MSI MSP MST OCX PCD PIF REG SCR SCT SHS URL VB VBE VBS WSC WSF WSH
Z našeho pohledu je to pro win plně dostatečné, protože 99% problémů doputovalo do firmy mailem v podobě exe.
Zdar Max

[j]

A pocitam ze to v tele melo neco na zpusob "ja jsem chudy virus, takze si me pekne spust" a user to samozrejme spustil .... ;D zname.

BTW: servery M$ jeden cas koncily jako 100% spam, ani sme od nich neprijimali maily. Neumeli si totiz nastavit prave DNS, a navic opakovani pokusu o doruceni bylo 1s a jelo to porad, takze je to po par minutach vzdycky zablokovalo.

[OldFrog {Ondra Nemecek}]

Dobrý shrnutí. V malém měřítku se prostě nevyplatí si mail sám hostovat.

Trochu off-topic dotaz: Existuje v Čechách nějaký hoster, který nabízí speciálně e-mailhosting? Vlastně by se mi hodil někdo, u koho bude e-mail, domény a DNS a kdo bude současně technicky pokrokový - API pro správu, použitelné základní nastavení a široké možnosti vlastní konfigurace, maily načítané z databáze, mailinglisty... A abych přitom mohl ideálně měnit tarif za běhu a nemusel všechno řešit s podporou anebo nemusel hádat, jak se co nastaví v polofunkční administraci. Zbytek služeb by byl na VPS, tam moc problém nemám, mám několik vyzkoušených poskytovatelů a dá se snadno migrovat. Jestli máte nějaké doporučení, sem s ním.

[Filip Jirsák]

V době, kdy se to řešilo, se to značně vyplatilo, úbytek spamu byl obrovský.

Kdybyste ten poštovní server vypnuli, bude úbytek spamu ještě větší.

Když někdo popisuje antispamové řešení a napíše „úbytek spamu byl obrovský“ aniž by napsal, kolik regulérní pošty neprojde, je jasné, že to jeho řešení je velmi pochybné.

[Max]

Asi takhle, mailovou gw nám poskytuje Linuxbox, resp. GTS, resp. T-Mobile, takže statistiky máme, ale jen toho, co mail server přijde, rejecty se do toho nepočítají. Každopádně situace byla následující :

• Existovalo něco jako spam koš, kam padaly maily s hodnocením 4-19, vše nad se mazalo.
• Spam koš jsme my admini museli každý den procházet a hlídat, zda tam něco nespadnulo a případně dát na whitelist + přeposlat adresátovi, jednalo se o cca 1 000 - 1500 mailů denně, co tam uvízly (spousta se dala smazat tak, že se maily seřadily podle předmětu a hromadně se třeba po 30ks mazaly), občas se stalo, že jsme si nevšimli regulérního mailu. Toto bylo dáno historicky, když jsem přišel do firmy, tak už to tam takto probíhalo.
• Uživatelé si každou chvíli stěžovali na velké množství spamu v mailboxech (někteří měli 30ks, jiní 100ks apod.)
• Tu a tam jsme se dostali na blacklist

Postupně jsem naladil vše, co jsem popsal v prvním komentáři.
16.10.2013 jsem nasadil greylisting a klesnul počet doručených mailů za den o cca 2500 mailů (z 17700 - 20000 / den na 14 000 - 17 000 i méně) + jsem začal všechny maily se spamscore do 18 posílat uživatelům a zrušil jsem spam koš.
Dále nám chodí statistiky z antispam gw a před nasazením greylistingu bylo ve statistice kolem 1500 označených mailů jako spam, po zavedení greylistingu toto číslo kleslo na 2-30
V té době jsme měli cca 250 emailových uživatelů.

Byly také období, kdy byl značný nával spamu, třeba i dvojnásobek. Dle jednoho hovoru s Linuxbox supportem nebyl tenkrát problém 40 000 mailů / den.
Čísla výše jsou z běžného provozu. Když byl nával, tak se k nám jeden čas dostávalo 30 000 mailů / den.
Od té doby tedy neřešíme spam koš a nejsou stížnosti na spam od uživatelů a nepozorujeme ani návaly spamu v nějakých vlnách jako předtím.

Ale zase tu a tam řešíme nějakou tu malou firmičku v cloudu, kterou musíme dát na whitelist (cca 1x 14dní) + řešíme malé firmičky, které si ze své domény druhé úrovně přeposílají maily na volny.cz, seznam.cz apod. a pak se to díky SPF vrací (řešíme v průměru tak 1 případ za dva měsíce).
Na whitelistu u greylistingu máme cca kolem 500 položek (většinou celé domény druhého řádu jednotlivých firem)

Finál je tedy takový, že my jako admini jsme po nasazení greylistingu ušetřili značně času věnovanou správě + uživatelé si taktéž ušetřili čas a nervy.
Zdar Max

[Filip Jirsák]

Z toho celého ale neplyne vůbec nic o tom, o kolik regulérních e-mailů přijdete. Že takové případy existují je zřejmé z toho, že případy, o kterých se dozvíte, přidáváte na whitelist.

[Petr Šobáň]

Ale to je normální že se sem tam odmítne i regulérní mail tomu nemůžeš nijak zabránit a že to řeší je správné.

[Filip Jirsák]

Jde o to, jestli je to sem tam, nebo jestli je to každou chvíli.

[OldFrog {Ondra Nemecek}]

Asi jim to vyhovuje, tak proč to řešíte? Pokud chcete něčím přispět, napište, jak to děláte vy.

[Max]

Asi takhle, není šance z naší strany zjistit, zda byl odmítnut regulérní email.
Nebo ty víš, jak to zjistit? Jak rozlišit reject regulérního mailu od spamu?
Každopádně jsme logistická firma, proudí mezi náma objednávky, změny objednávek a tuna další věcí. Pokud nedojde k vyřízení objednávky, nebo nedojde k její změně, tak se to rozhodně dozvíme, protože se zadavatel připomene / zavolá apod., jelikož nejde o žádné obálky, ale objednávky v tisících EURech.
Počet nedoručených emailů za měsíc vlivem greylistingu jsem uvedl.
Jediným účinným řešením na filtraci spamu spatřuji už jen ve dvou věcech, které jsou obě závislé na tuně lidech.
První řešení je cloud s desítky tisíc uživatelů a spoléhat na jejich hlavy a nějaké další vlastní filtry (viz google, seznam apod.).
Dalším řešením je využít nějakého poskytovatele mailové gw, která je propojena s centrálou a jsou tak k dispozici opět diagnostické údaje od tuny lidí a z hafo serverů.
Každopádně bych se rád s tebou bavil na nějaké rozumné úrovni, nechci od tebe poslouchat hlášky typu : "To už ten server můžete rovnou vypnout" atd.
Myslím, že jsem ti řekl, co vše a jak používáme a dodal jsem dostupné statistické údaje, které máme. Rád bych tedy slyšel něco konstruktivního, jak to řešíte vy apod. Já neříkám, že je greylisting dobré řešení, taktéž se mi nelíbí, ale stále lepší, než to pustit k uživatelům bez něj.
Zdar Max
PS: ještě se na antispamové gw používá check blacklistů, ale maily se nerejectujou, přidává se pár bodů do spam score, což si mslím, že je plně ok (reject na základě blacklistu dělá jen blázen)

[Filip Jirsák]

„Server můžete vypnout“ je reakce na to, když se jako jediné kritérium uvede počet zastavených spamů. Greylisting může e-mail odmítnout až po odeslání DATA. Takže můžete zjistit, zda byl odmítnut regulérní email, nebo jak by si s tím poradily další filtry. Že by se ztratil e-mail z probíhající komunikace, to nepředpokládám – předpokládám, že automaticky whitelistujete všechny, se kterými komunikujete. Nevím, jak časté je, že s vámi komunikuje někdo nový (nový zákazník), a zda by opravdu vždy zkusil i jiný kanál – nebo zda se o něm nedozvíte prostě proto, že když nedostane odpověď, osloví někoho jiného.

[...]

Napište nám, prosím, co používáte za program na greylisting vy?

[Filip Jirsák]

Nepoužívám greylisting.

[...]

A víte tedy, co to je?

[Filip Jirsák]

Když jsem výše uváděl příkaz ze SMTP protokolu, vypadá to snad, že nevím, co je greylisting? Ano, vím, co to je, a klidně vám to vysvětlím. SMTP protokol umožňuje serveru odmítnout e-mail s dočasnou chybou, což má význam „e-mail momentálně nedokážeme přijmou, ale zkuste to zopakovat později, snad se to zlepší“. Klient v takovém případě e-mail nesmí považovat za doručený, ale odloží si ho do fronty a zkusí jej poslat později. Obvykle se to dělá tak, že se postupně prodlužuje interval opakovaného odeslání – nejprve to zkusí třeba za hodinu, pak za dvě, za čtyři… A také má klient nastavený limit na počet pokusů nebo dobu, kdy je e-mail ve frontě, a pokud se limit překročí, e-mail se označí za nedoručitelný. Greylisting zneužívá téhle vlastnosti protokolu a předpokládá, že slušní klienti se budou pokoušet e-mail doručit opakovaně, zatímco někteří spammeři to zkusí jednou, a pokud neuspějí, vzdají to. Funguje tak, že si server nějakým způsobem identifikuje e-maily, které se mu někdo pokusí doručit, a pokud daný e-mail vidí poprvé, odmítne jej dočasnou chybou, a teprve když jej vidí podruhé, přijme jej. A následně může IP adresy klientů, kteří se pokoušeli daný e-mail doručit, přidat na whitelist – dočasný nebo trvalý.

K odmítnutí e-mailu může dojít dojít v kterékoli fázi komunikace před potvrzením přijetí – po úvodním EHLO, po hlavičce odesílatele MAIL FROM, po hlavičce adresáta RCPT TO i po přijetí těla e-mailu DATA. Obvykle se pro identifikaci e-mail při greylistingu používá trojice adresa odesílatele, adresa příjemce a IP adresa klienta, takže se e-maily odmítají po RCPT TO příkazu. Osobně mi to nepřipadá jako rozumné řešení, protože IP adresa jako součást identifikace způsobuje problémy právě při odesílání z cloudu, kdy z jedné fronty doručuje více různých strojů. A ta IP adresa v identifikaci podle mne ničemu nepomůže, protože spammer buď pokus o odeslání nebude opakovat vůbec, nebo to zkusí znova z toho samého stroje. Takže kdybych já osobně používal greylisting, určitě bych pro identifikaci e-mailu nepoužíval IP adresu klienta – pokud už bych chtěl klienta identifikovat, pak podle suffixu ve jméně v EHLO příkazu. To odmítání po RCPT TO a před DATA (před vlastním e-mailem) se dělá ještě z toho důvodu, že e-mail je na celé komunikaci to největší, takže když se odmítne jež před samotným e-mailem, šetří se přenosové pásmo a čas spammera a ten se nemusí zdržovat zbytečným doručováním e-mailu vám a hned může svým spamem obšťastnit někoho dalšího – totiž pardon, to samozřejmě ne, šetří se tím přenosové pásmo serveru, který je chudák na nějaké pomalé lince…

Jak už jsem psal, e-mail je ale možné odmítnout i po odeslání celého e-mailu (po koncové tečce). Takže není pravda, že není možné analyzovat odmítnuté e-maily – je možné třeba týden sbírat greylistem odmítnuté e-maily a ty následně analyzovat. A podle toho získat alespoň hrubou představu o tom, jak se to celé chová, o kolik se e-maily zpožďují, kolik by jich stejně zachytily další filtry, kolik regulérních e-mailů se třeba vůbec nedoručilo.

[...]

Děkuji za obsáhlé vysvětlení a omluvte mě, že jsem vás podezříval, že nevíte o co jde. Nicméně, v praxi použití (obyčejného) greylistingu na základě adresy odesílatele, adresy příjemce a IP adresy odesílatele funguje dost dobře. Vámi navržený způsob může být třeba ještě lepší, ale kdybych ho chtěl realizovat, znamenalo by to, že bych si ho musel také sám napsat. Což není v mých možnostech. Ve vašich možná ano, ale předpokládám, že jste to stejně dosud neudělal.

[Filip Jirsák]

Když mně právě hodnocení „dost dobře“ nestačí, a nestačí mi ani hodnocení „zastaví to tolik a tolik spamu“. Protože z tohohle pohledu je pořád nejlepší poštovní server vypnout, to zastaví 100 % spamu. Bohužel už jsem potkal dost antispamů, které se tomuhle řešení blížily – jejich správci si vymysleli spoustu pravidel, které podle nich má regulérní e-mail mít, a zuřivě odmítali cokoli jiného. Ve výsledku se k nim pak dostaly prakticky jen e-maily z GMailu a Seznamu, a to ještě jenom proto, že byly na whitelistu…

[...]

Mně hodnocení „dost dobře“ stačí. A používám to dost dlouho, takže nějaké ty zkušenosti s tím mám. Uživatelé si nestěžují, takže to patrně nebude tak strašné.

Až napíšete něco lepšího, dejte vědět.

[Max]

S tím už jsem se také setkal, viz třeba ten T-Online. Každopádně by mně zajímalo, zda existuje nějaké lepší antispamové řešení, než greylisting. Nevím, jak ostatní, ale na naše uživatele jde skutečně kvanta spamu a většinou i oni sami mají problém rozeznat, co je regulérní email, a co je spam. Je to smutné, ale je to tak. Takže i přes to, že je nasazen greylisting, občas volá uživatel a musíme mu říci, zda je to mail pro něj, nebo spam :-/.
Kdybychom vypli greylisting, tak se z toho asi uživatelé zblázní a my nejspíše také :-/.
Zdar Max

[Filip Jirsák]

Kdybychom vypli greylisting, tak se z toho asi uživatelé zblázní a my nejspíše také :-/.

A to máte nějak ověřené, nebo je to jen domněnka?

Každopádně pokud jste na greylistingu tak závislí, jste v dost nezáviděníhodné situaci – protože obejít greylisting je pro spammera velmi snadné, a spammeři se tím zatím nezabývají nejspíš jen proto, že ho používá jen nezajímavé množství cílů.

[Max]

Dostupné statistiky jsem dodal. Pokud očekáváš nějaký elaborát, kde si necháme za nějaký těžký many upravit řešení + ještě budeme vlastní silou analyzovat x GiB mailů, zřejmě nějakým porovnáváním kopií odmítnutých mailů vs. mailů skutečně doručených (asi jen těla dokumentu v návaznosti na "mail from", "rcpt to" + asi předmět) + následné ruční procházení pár tisíc mailů, které z toho vypadnou (resp. asi desítky tisíc mailů, protože statistika z jednoho dne asi nebude objektivní), tak mi pak na to stejně můžeš říci, že taková analýza není 100%, což budeš mít pravdu a zase mně pošleš tam, kam slunce nesvítí. Ok, přeskočme konečně tvoji nevůli ke greylistingu a řekni, jak boj se spamem řešíš ty?
Díky
Zdar Max
PS:jak obejít greylisting ví každý děcko, ale nedělá se to nejen proto, že ho nepoužívají všichni, ale i proto, že to má značné režie

[Filip Jirsák]

Z těch dodaných statistik ale vůbec neplyne, že bez greylistingu by uživatelé dostávali spoustu spamu. Chápu, že nechcete nebo se vám nevyplatí dělat podrobnější analýzu a nic proti tomu nemám. Ale nechápu, proč to rovnou otevřeně nenapíšete, proč rovnou nenapíšete, že sice nevíte, jak je to doopravdy, ale že věříte, že vám greylisting pomáhá.

Já boj se spamem řeším tak, že to za mne řeší převážně Google.

Pro spammera nemá obcházení greylistingu skoro žádnou režii. Nějaký počítač dostane seznam adres, kam má spam rozeslat, takže úplně stačí, když při měkké chybě tu adresu nevyhodí ze seznamu a celý seznam za hodinu otočí. Nejvíc nákladů asi bude mít s úpravo software tak, aby se vůbec zabýval návratovými kódy SMTP.

[Max]

To je právě ta režie. Opakovanými pokusy něco odeslat statisticky ztrácí úspěšný počet odeslaných emailů za nějakou dobu s tím, že si stejně nemůže být jist, zda je tam greylisting, nebo je služba skutečně nedostupná (+ kdyby tam byl greylisting, tak spammer stejně nemůže do budoucna zajistit odeslání mailu ve formě "stejný adresát"-"stejný odesílatel"-"stejná IP", takže nemůže ani zneužít automatický greylistingový whitelist). Vzhledem k tomu, jak pofidérně výdělečný je spam, tak by to pro spammery ve větším měřítku byla jen další ztráta. Ale na druhou stranu, je to třeba jen mylná domněnka, spammera jsem nikdy nedělal, takže reálné statistiky, jaký by to mělo vliv, nemám.

Otevřeně to nenapíši, protože si myslím, že info, které jsem dodal, je dostatečné. Chápu, že ty se mnou tento názor nesdílíš, na tom se asi shodnem :).
Zdar Max

[Filip Jirsák]

Myslím, že dočasné odmítnutí e-mailu dnes bude většinou způsobené právě greylistingem. Navíc už má spammer ověřené, že se s ním server vůbec bude bavit a že přijme e-mail pro daného adresáta. Takže opakovaným pokusem by si statistickou úspěšnost nesnížil, ale zvýšil. Shodnost tripletu zajistí spammer snadno – adresát a IP už stejnou má, takže pokud odesílatele volí náhodně teprve v okamžiku odeslání, stačí si ho zapamatovat. Opakováním by tedy podle mne jednoznačně získal, náklady jsou „jenom“ v přeprogramování té rozesílací části – která by se musela naučit rozumět protokolu SMTP.

Nevyplatí se to spíš z toho důvodu, že velké servery nemohou greylisting používat, a malé jsou pro spammera nezajímavé.

[Max]

Jinak čerstvě vytažená stat z mail gw ze 17.2. :

Celkový přehled:
Celkem : 28 755 (3,48 GiB)
HAM : 2 829
SPAM : 470
viry : 3
whitelist : 19 603
blacklist : 0
bez kontroly : 199
odmítnuto : 5632
lokálně odeslané : 19


Podrobně :
Uživatelský SPAM : 456
SPAM : 0
Jistý SPAM : 14
Infikované : 1
Zašifrované : 2
Auto whitelist pro odpověď : 1585
Whitelist pro email adresu odesílatele : 4832
Whitelist pro IP adresu serveru odesílatele : 52
Důvěryhodná relay : 13 134
Příliš velká zpráva : 191
Neproběhla AS kontrola (zpráva odstraněna) : 8
Greylisting : 2562
IP name lookup failed : 10
autentizace selhala : 17
doména adresy odesílatele neexistuje : 1477
doména adresy odesílatele nelze přeložit : 26
neznámý uživatel : 40
jiný důvod : 1500
lokálně odeslané zprávy : 19

To ale nejsou všechny maily, protože se nepočítá interní komunikace. Tam mám ještě stat z archivačního systému, kde je za tento den (17.2.) :

Total sent : 16589
Total received : 15926

Ale vzhledem k tomu, že ani do archivačního systému nepadají všechny maily (jsou z něj vyřazeny různé mailboxy patřící automatům + tu a tam člověka, který si nepřeje archivovat komunikaci) + tam nespadají další dva servery dvou dceřinek, u kterých se prozatím nearchivuje vůbec.

Takže ano, nejen, že nemáme potřebné statistiky ohledně greylistingu a nemáme vypracované žádné analýzy, ale dokonce ani nevíme, kolik kudma proteče mailů. Tomu se říká škandál :).
Zdar Max

[Filip Jirsák]

Ze statistiky, že greylisting zachytí pouhý pětinásobek toho, co další filtry, bych tedy já rozhodně neudělal závěr, že úbytek spamu díky greylistingu byl „obrovský“.

[Max]

Pětinásobek oproti ostatním filtrům nejde označit za "obrovský"? A jaký násobek by to musel být, aby to splňovalo tvou představu o "obrovský"?
Zdar Max

[Michal Kubeček]

Pokud se ty další filtry aplikují až na to, co projde skrz greylisting, pak to opravdu moc neznamená, protože nevíte, kolik z těch mailů, které odblokoval greylisting, by stejně zahodil jiný filtr. Aby to mělo vypovídací hodnotu, musel byste to porovnat s tím, kolik by toho ostatní filtry zahodily, kdyby tam greylisting nebyl.

[Michal Kubeček]

Nebo ještě lépe: porovnat, kolik spamu projde s greylistingem, s tím, kolik projde bez něj.

[pavlix]

Tak greylisting má dvě výhody. Je triviální z hlediska konfigurace. Odchytává mnohé maily, které známé blacklisty neodchytí. V nevýhodách se pitvat nebudu, kdo to někdy provozoval, tak je zná.

[j]

Predevsim narozdil od naslednych filtru odmitne mail driv, nez ho zacne prijimat, takze to zdaleka nejmin zere vykon. Navic si bezny komunikacni parnery pamatuje, takze za normalnich okolnosti to uzivatel vubec nepozna ani na zpozdeni mailu.

[Max]

To není tak úplně pravda. Ty maily by byly zahozeny jinými antispam filtry jen v případě, pokud by ten mail dostal velké bodové hodnocení. Zbylé by doputovaly do schránky uživatele s předmětem SPAM, což znamená, že to může, ale nemusí být spam a uživatel by to měl prověřit a sám se rozhodnout.
Zdar Max

[Michal Kubeček]

O to tady ale přece vůbec nejde. Můj příspěvek byl čistě o tom, že mám-li nasazen filtr A a pak filtr B na to, co filtrem A projde, nemůžu z toho, že filtr A zachytí 1000 spamů a filtr B jen 200, usuzovat, který z nich je účinnější. Když půjdu do extrému, budu-li mít dva filtry, které zachytí přesně totéž, pak ať je dám v kterémkoli pořadí, bude to vypadat, že druhý je naprosto k ničemu. Pokud chci porovnávat účinnost filtrů, musím je aplikovat za stejných podmínek a na stejnou množinu mailů.

[pavlix]

Ještě je tu jeden problém s tím, že filtry aplikované dodatečně ty e-maily přesouvají nebo v horším případě ztrácejí, kdežto jakákoli technika aplikovaná při příjmu zajistí, že e-mail nemusí být vůbec přijat a je pak na odesílateli si to vyřešit.

[Michal Kubeček]

Ale já přece netvrdím, že greylisting nemůže mít spoustu jiných výhod. Samozřejmě že má - a taky dost zásadní nevýhody. Reagoval jsem čistě na ten (IMHO pochybný) argument "greylisting toho zahodil pětkrát víc než ostatní filtry".

[...]

Já boj se spamem řeším tak, že to za mne řeší převážně Google.

To je zajímavé. A kolik poštovních serverů provozujete?

[j]

Jirsak, jen na greylistu kilnu 90% toho, co kilnu celkem, takze nezvan o vecech, kterym nerozumis, jak si zcela zjevne dal najevo ve svym nekolikaodstavcovym elaboratu. Pro spamera nema obchazeni greylistu vyznam, protoze se mu nevyplati. Az ho obchazet zacne, tak narazi na dalsi casti filtrovani. A on to dobre vi, takze dorucuje mamlasum, jako ses ty.

[Jendа]

na naše uživatele jde skutečně kvanta spamu a většinou i oni sami mají problém rozeznat, co je regulérní email, a co je spam

Jak to děláš?

Já si to trochu analyzuju (tak, že používám několik adres podle příležitosti, případně používám jednorázové adresy jenda.náhodný_řetězec, takže pak můžu sledovat, kdo co posílá) a zdá se mi, že mi spam chodí výhradně na adresy, které jsou zveřejněny čitelně na populárních webech. Co se to pokusit na vašem webu trochu skrýt?

[Max]

Mno, někteří i zapomenou, jaké maily chodí z webformu, to je první případ. Další případ je, když mail přijde v cizím jazyce, jemuž adresát nerozumí. Pak tu jsou případy, kdy mail vypadá ok, ale i přesto se uživateli zdá podezřelý a prosí nás o kontrolu, zda jej může otevřít, zda to taktéž není nějaký spam.

O web se nestaráme, ale na webu není vidět jediná přímá adresa, jsou vidět jen čísla, emaily jsou u každého kontaktu přes webform, který se zobrazí po kliknutí.
Co pozoruji antispam, tak chodí maily na vygenerované adresy a často se chytí. Vzhledem k tomu, že jména jsou na webu + jsou maily ve formátu příjmení@doména, tak je to poměrně jednoduchý tip.
Zdar Max

[j]

tak nejak, pouzivat krypticky maily s random generovanym prefixem sice umim, ale zakaznicici by z toho nadseny asi nebyli ... ;D, takze samo adresy se daji hadat z toho co web da pomerne snadno. Nekteri tragedi pak stale provozujou domenovej kos, fakt by me zajimalo, co zasadniho z ty hromady sracek vytahaj.

[j]

A tvuj srv se z toho podela, protoze ucelem je prave a predevsim mail od spamera vubec neprijimat a tudiz neplytvat vykonem na jeho zpracovani. Pokud iz vim, ze je neco spam, tak prece nebudu posilat tempdeny ... ale rovnou to rejectnu natvrdo.

Proto se to taky jmenuje greylist a ne blacklist.

Náš administrátor shledal tento komentář závadným.

Vulgarity.

Zobrazit komentář

[j]

Marne se snazis, je to jirsak, a ten nevic nic o vubec nicem.

Takze jak by moh tusit, ze greylist slouzi k tomu, aby overil ze jde o nespamovaci srv, protoze spamerovi se druhej pokus nevyplati.

[j]

Hele, kontrola reverzu + helo + spf + pripadne dkim + greylist + spamassassin === redukce z nejakych 10-15 000 ks/den (jen spam) na do 100ks. Obcas projde neco co dorazi vic lidem, takze se pak ozvou, tech 100 je spis rekneme "kvalifikovany odhad" podle toho, co obcas vidim.

Obcas se nekdo ozve, ze mu neco nedoslo (tak 4x doroka). Prakticky vzdy se zjisti, ze si odesilatel neumi nastavit DNS ... neumi, tak neumi, jeho problem. V extremnich pripadech (ministerstvo financi ...) je dam do vyjimek (za nejakych 8 let je tam tak 30 zaznamu).

Vazne nevim, proc bych mel resit, ze si nekdo neumi korektne neco nastavit a snazi se semnou komunikovat posilanim holubu, kdyz ja jasne deklaruju, ze ocekavam capy ... ;D

Jop, BTW razor je ten cmoud, ale cmoud se tomu nerika. Sosa si to co ma odstrelit a ty tam muzes poslat svoje ulovky.

[j]

A co jirsak, telefon nemas? Mail je totiz od prirody negarantovanej kanal, a kdyz ma nekdo pocit, ze neco nedoslo, tak kupodivu zavola.