Dotaz: Kvalitní (i komerční) antispamový filtr pro stávající postfix

[dustin]

Rád bych pořešil záplavu spamu a nechci neustále ladit antispamová pravidla (základní sadu spamassassin, amavisd již používáme). Klasika postfix -> dovecot -> sieve filtry -> inboxy přes IMAP. Nenašel jsem komerčně dostupnou službu pro stále aktuální a kvalitní antispamová pravidla do stávajících filtrů. Gmail v komerční verzi nabízí forward na cílový server - máte s tím někdo zkušenosti? Sice to lze vyzkoušet, ale mám již jednu doménu v gmailu zaseknutou ve fázi "ověřování vlastníka" při spouštění trialu - v průvodci google nabídl vysoký tarif business a nešlo zvolit ten nižší basic ani jít zpět. Nerad bych takto zaseknout další doménu, bůhví kdy ten zámek nedokončené registrace vyprší, pokud vůbec.

Úplně nejvíc by se mi líbilo, kdyby šel gmail využít jen jako content-filter místo amavisu, klidně i placená služba, ale nic takového jsem nenašel.

Jaké používáte pro menší firmy řešení? Vlastní antispam už moc reálně nevidím. Čistě gmail se mi také nechce, protože máme celkem dost sieve pravidel, která by se musela přepisovat do gmailu.

Předem díky.

Odpovědi

[dustin]

Předpokládám, že tohle by mělo být správně https://support.google.com/a/answer/2614757 Používáte někdo to routování?

[dustin]

Překvapuje mě, že tohle téma nikdo zatím neřešil. IMO se to týká každé firmy s vlastním SMTP serverem.

Gmail nabízí v defaultním směrování zapnout forwarding všech příchozích mailů, které prošly antispamem, na externí SMTP server. Na jeden účet lze nakonfigurovat 600 domén. Zatím to funguje v pořádku, pro desítky domén, jeden placený účet gsuite-basic.

Bohužel se mi nepodařily rozchodit funkční karanténu, je stále prázdná. Seznamy nekontrolovaných IP adres jsou také nějaké pofidérní, nezdá se mi, že by to v tomto režimu fungovalo.

Ale spamy tenhle průtokový antispam filtruje velice kvalitně, takže zatím to takhle nechám. Za 140 Kč měsíčně se dá...

[j]

A to ze ten slavnej guugl odmita dorucovat maily od zcela koser nakonfigurovanych MTA uz si zjistil? Pochopitelne to jako provozovatel tyhle zhuverilosti nikde nezjistis, to az ti zacnou uzivatele nadavat, ze od nekoho maily vubec nedostavaji.

Narazil sem na to osobne v nekolika firmach a reseni bylo jediny, poslat celej guugl doprdele.

Jop, ty maily se odesilatelum vracej s tim, ze jejich server (kterej nikdy neodeslal jedinej spam a zcela vyhovuje vsem RFC) neni "duveryhodnej" ... zato maily od spameru chodej naprosto vpohode.

[Peter Golis]

A skúsil si zaplatiť výpalné tomu gulagu, tak ako to urobili tí spameri? To by bolo riešenie hodné tvojho trollingu.

[Max]

Bývalo celkem běžné, že když byla smtp na stejné výstupní adrese jako lidi v práci, tak v případě, že někdo chytil nějaký bordel a třeba jen jeho PC útočil na http servery (tzn. nerozesílal spam), tak i tím se dostal smtp na některé blacklisty. Tzn., smtp nikdy nespamoval a byl nastaven korektně, ale i tak byl na blacklistu kvůli útokům. Proto je dobré mít pro smtp sólo veřejnou IP. Tím se člověk vyhne spoustě problémům.
Google má ještě nějaké ukazatele, které podobně odmítají emaily. Proto existuje formulář na webu google, přes který si zažádáte o odstranění z blacklistu a nástroj, kterým si u google zdůvěryhodníte svůj server autorizací přes dns (Postmaster Tools).
Je to sice problém odesílatele, ale je to nepříjemné pro obě strany.
Zdar Max

[dustin]

Zatím tři nahlášené problémy:

1. Mail odeslán z IP adresy mimo SPF záznam jejich domény - logicky jej vrátil.

2. Měli v DNS ještě staré MX záznamy naší domény a posílali to našemu původnímu SMTP serveru, který to přeposílal správně gmailu. Ten přeposlaný mail vyhodnotil jako spam, celkem správně.

3. Vyhodnotil jako spam, IP adresu jsem v žádném blacklistu nenašel, s tím nic neuděláme, pošlou to na pomocnou adresu firmy na seznamu...

Za celou dobu neprošel ani jeden spam.

Za ty prachy, nulovou údržbu (bohužel i téměř nulovou/nefunkční konfiguraci) a jednoduchou integraci do stávajícího řešení to zatím docela funguje.

[Max]

2. Staré dns záznamy v dns značí špatný postup migrace. Takové věci se řeší snížením TTL u dns na minimální hodnotu, což bývá 15min a switch dns provést někdy v noci. Samozřejmě se může jednat o vytížený dns server a pak se tam pár emailů může objevit, resp. může někde viset nějaká dns cache u mail serveru a dělat bordel.
Pokud už chci řešit migraci přesměrováním mailů na nový smtp, tak bez nasazeného SRS je to dnes celkem divočina.
Zdar max

[Max]

Takhle, spravuji jeden menší webhosting a tam zatím stačí spamassasin a věci kolem.
V práci zase máme Linuxbox (teď už lepší verze, než v tom linku).
Ti jedou sendmail+dovecot(teď na něj migrovali)+spamassasin+greylisting+Antivirus F-Secure.

Z hlediska antispamu a správy je to plně ok řešení. Člověk si může upravovat jak systémová pravidla, tak může vytvářet vlastní. Většinou to není moc třeba. Je to tak jednou za x měsíců něco.

Jinak osobně bych rád měl vše pod kontrolou, plný přístup k logům a možnost si případně nastavení upravovat. Není nic horšího, když se mně uživatel zeptá, co se stalo s nějakým mailem a člověk nemá, jak to ověřit. Nějaká černá díra, co by mi filtrovala maily, nepřichází v úvahu. Dělal jsem pro jednoho týpka, co měl stále nějaký problém (většinou tedy neopodstatněný) a maily měl na webhostingu. Věc, co bych vyřešil za minutku jsem musel řešit přes support a vždy to bylo na dlouho.
Kdybych měl řešit nějakou antispam gw pro sebe, co by mi měla ulehčit život, tak bych zkusil nejdříve:
Proxmox Mail Gateway
a poté :
MailCleaner

Zdar Max

[dustin]

Gmail má prohledávatelné logy, co s kterým mailem udělal. Bohužel když jej zahodí, už se k němu nedostanu. Což mi až tak nevadí, vždycky se dá požádat o přeposlání a dosud jsme stejně ve spamassassinu zahazovali většinu, protože by karanténa měla milióny mailů.

Na drtivou většinu spamů, které gmail zahodil, bylo použité pravidlo "Na gmail přišlo mnoho těchto mailů". To na vlastním spam řešení nelze detekovat, maily přijdou třeba jen dva. Máme taky spamassassin, ale pravidla nejsou aktualizovaná. Na to jsem se ptal, kdo to jak udržuje aktuální. Ruční přidávání pravidel nepřichází v úvahu, řada těch mailovek je na webu a chodí tisíce spamů denně. Teď je klid, maily chodí správně.

[Max]

Ruční přidávání pravidel řeším jen v krajním případě. Jinak Spamassassin má na to update, takže se pravidla dají aktualizovat celkem pravidelně, ne?
Statistika ze včera :

CELKEM              143 170
1. HAM                7 812
2. SPAM               2 940
3. viry                   4
4. whitelist         27 141
5. blacklist              0
6. bez kontroly         188
7. odmítnuto        105 072
8. lokálně odeslané      13

Je třeba do toho započítat, že sice máme nějakých 1000 mailboxů, ale část je automatizovaný systém výměny dat, část jsou blázni, co si nechají nesmyslně posílat na mail 1000 i více regulérních emailů denně (různé notifikace vztahující se k obchodní činnosti).
Jsou lidi, kteří si stěžují i když jim třeba přijde 7 spamů denně, že je to moc.
Párkrát za rok se objeví nějaký nával spamu, který bych měl řešit úpravou pravidel. Naposledy to byly spamy ohledně bitcoinu a neviditelných znaků, aby to nešlo moc dobře filtrovat, ale i na to se bez problémů aplikovali default pravidla, kterým jsem jen zvýšil spam score.
Navíc žádný koš nemáme, jedeme spam score 4 pro označení mailu jako SPAM a vše nad 18 dropujeme, což je tuty spam a za rok pozorování tam neskončil regulérní email.

S menším spamscore třeba 15 se může objevit regulérní mail ze spamujícího serveru. To je ostatně důvod, proč máme tak vysoké spam score pro drop. Nicméně vzhledem k tomu, že spam je kombinací několika faktorů, tak dělat drop na základě jednoho (chybně nastavený server, server na blacklistech atd.) není úplně to pravé ořechové. Pár nešťastníků s nedobrým serverem se občas objeví a je pro nás jako pro IT lepší, když necháme projít o pár ks. více spamu, o jehož rozhodování se podělí všichni uživatelé, než řešit reklamace o nedoručení.

Reálně se tedy antispamu věnuji skutečně několikrát do roka, není to tak, že bych každý týden, nebo měsíc něco řešil.
Jinak whitelist v rámci antispamu (spamassassin) nemáme, ten je jen v rámci greylistingu. Proto tak velké číslo.
Zdar Max

[dustin]

Díky. Greylisting mě neláká, těžko budu vysvětlovat obchodníkům, proč jim ten mail od nového klienta stále nedorazil, když s ním před chvílí mluvili, že posílá objednávku, a oni už třeba chtějí jít domů. Každý den se objevují nové hromadné spamy, to si bez neustále aktualizovaných pravidel nějak neumím představit. Ale třeba to funguje, proč ne.

Gmail má antispam aktualizovaný neustále, stále přidává nové spamy, jak na něj přicházejí. To mi přijde logické a nějaký takový zdroj aktuálních pravidel jsem hledal. Bayes apod. mě už neláká, ham nikdo ve firmě nepoužíval. I tak díky, ale teď už se k našemu vlastnímu antispamu bez aktuálních spam pravidel nevrátíme, ledaže by gmail změnil cenovou politiku (což samozřejmě může nastat kdykoliv).

[Max]

Já jsem jen popsal náš aktuální stav a jak často se věnuji nějakým úpravám. Nic víc.
Pokud jde o greylist, tak jsme měli ze začátku pár reklamací s neúměrnou dobou doručení, než jsme odladili nastavení. Teď už jsem dlouho nic neřešil.
Jinak HAM neřeším (jsou to asi nějaké pozůstatky) a jak už jsem psal, update sa není problém, takže ty neustálé připomínky o neaktualizování sa nechápu.
Jinak pokud google vyhovuje, tak jen dobře, protože 140,-Kč/měsíc je nic proti tomu, kdyby na to měl někdo aspoň jednou měsíčně kouknout a cloudové služby mají právě výhodu v tom objemu.
Zdar Max

[dustin]

Díky za info, jak to děláte, je moc užitečné vidět, jak to funguje jinde, navíc se zkušenostmi z reálné praxe.

[Nie som robot]

rspamd + spamassassin a mas pokoj...

[dustin]

To si samo odněkud stahuje aktualizovaná spam pravidla?

[writer]

http://www.abclinuxu.cz/poradna/linux/show/445944

[writer]

https://www.linuxexpres.cz/piste-pro-linuxexpres

[Josef Kufner]

Dovecot umí předávat maily antispam filtru. Viz https://wiki2.dovecot.org/Plugins/Antispam, resp. https://wiki2.dovecot.org/HowTo/AntispamWithSieve. Funguje to tak, že uživatel přesune svůj mail do složky Spam ve své IMAP schránce, Dovecot na serveru zavolá Spamassasin a Spamassasin se naučí, že to byl spam. A když ho přesune pryč, naučí se, že to bylo ham.

Takže když žačne chodit nějaký nový spam, na který ještě nejsou pravidla, tak se to Spamassasin během pár mailů naučí a je klid. Vlastně stačí mačkat 'J' v Thunderbirdu. Žádné ruční ladění pravidel netřeba.

[dustin]

Díky za info, tohle využití dovecotu jsem nevěděl.

Nicméně se zeptám: V pátek odejdou lidi na víkend, přes víkend přijde tisíc spamů na sběrné adresy, ty jsou namířené na více lidí. V pondělí všichni z nich se skřípajícími zuby mažou spamy, protože přes víkend nikdo SA netrénoval a tudíž všechny duplicitní spamy byly uloženy do všech schránek aliasu. Když se v pondělí ráno dodatečně dovecot naučí, že to byl spam, odstraní zpětně všechny duplicitní dosud nesmazané spamy ve všech ostatních inboxech? Obávám se, že ne.

Proto jsem se ptal na možnost stahování neustále aktuálních konfigurací, které takový spam zachytí krátce po zahájení rozesílky a během třeba minuty budou další shodné maily zahazované. To je to, co umí díky svému rozsahu ten google.

[Josef Kufner]

Spamassasin už nějaká pravidla má a spamy se nemění zas tak moc tak rychle, takže spoustu spamu odchytí i tak. Maily, které projdou, se už samozřejmě znovu nekontrolují, takže si je uživatelé pak musí označkovat ručně. Hlavní je, aby je lidi nemazali, ale dávali do spamu.

[dustin]

Jako spamy chodí téměř normální maily, rozumná čeština, na první pohled to nezkušený člověk ani nerozpozná. A několikrát za den nové verze, které pak chodí několik hodin pořád stejné a poté zase začnou jiné.

V logu gmailu je jako daleko nejčastější důvod zahození uvedeno, že daného mailu přišlo na gmail příliš mnoho současně. To přesně na tyhle vlny mailů funguje a nelze použít v malé instalaci. A proto jsem se ptal na komerční službu, která drží pravidla neustále aktuální. IMO vytváření pravidel na tyhle spamy na každém SMTP serveru odděleně je principielně neefektivní.

[Max]

Jen velmi zřídka se píší pravidla na konkrétní spam. Je to z toho důvodu, že spam vždy nasbírá body z více pravidel, třeba z 5.
Buď se v těle mailu vyskytují skryté znaky, nebo ocr přečte z obrázku známé žvásty, nebo jsou v těle odkazy na weby, které jsou už na blacklistech, nebo jsou problémy s odesílacím serverem, kdy mu chybí reverzní dns, chybí mu mx, odesílací server je na blacklistech atd. atd. atd. Prostě nikdy to není 100% korektní mail, za jednotlivá pravidla mail nikdy není odmítnut, ale pokud se nasčítá x kombinací více pravidel, body nastoupají a mail získá dostatečné bodové ohodnocení a pápá.

Prostě a jednoduše jde o správné výchozí nastavení smtp serveru, resp. antispamu.
Prostě řešit každý spam jednotlivě není efektivní a nedivím se, že s tím máš problém a chybu bych viděl někde jinde.
Zdar Max