Dotaz: graylist - problém s příjmem zpráv od google.com

[Aleš Kapica]

Testuji filtrování příchozích zpráv přes exim4 u Debianu přes aplikaci graylist. A při odesílání mailů přes google jsem narazil na problém, který nevím jak vyřešit.

Aplikace graylist funguje tak, že při prvním pokusu o doručení vytvoří záznam, který zařadí do fronty, kde čeká na potvrzení, že zprávu, která přichází z této domény, od tohoto uživatele a na tuhle adresu lze akceptovat.

Je to založeno na tom, že většina mailserverů se snaží o doručení zprávy opakovaně, takže pokud je záznam potvrzen, další pokus o doručení projde.

Problém google.com je, že další pokus o doručení neudělá z téže IP adresy, ale použije jinou a tím pádem záznam opět skončí ve frontě záznamů čekajících na potvrzení. A jelikož mailservery od google používají IPv6 adresy, pokračuje to takhle dál a dál.

Aplikace graylist pochopitelně má možnost nastavit seznam důvěryhodných domén, ale já nechci povolit v tomto případě paušálně vše co přileze od google. Zajímalo by mne tudíž. Pokud má z touhle aplikací zkušenosti někdo jiný, jestli se to dá nějak obejít. Mne totiž z hlediska zpracování zajímá jenom kdo a kam.

---

---

Odpovědi

[X]

Rekl bych ,ze s principu to nejde, ale slo by to trochu poladit:

https://support.google.com/a/answer/60764

Pochopil jsem to tak, ze DNS TXT record _spf.google.com vraci seznam IP, ktere odesilaji overene zpravy kterym muzes duverovat. Ostatnim IP se verit neda.

Gmail routes messages with unverified forwarding configurations through Google servers with public IP addresses. The public IP addresses are intentionally left out of Google's SPF record

[j]

SPF je neco jinyho a vyhodnocuje se v jiny fazi dorucovani, pokud je tam prislusnej tag, tak mailserer mail rovnou zahodi.

Greylist ti nahodi tempfail na kazdyho odesilatele (jeho IP) a ocekava opakovany pokus (po nejakym case). Potiz je s farmama jako jsou ty guugli jebky, pripadne M$ a dalsi, protoze oni ten opakovanej pokus udelaj, ale z jiny IP. Takze mas jen dve moznosti - bud do das na nejaky whitelist nebo budes doufat, ze se za den nebo dva zacnou IPcka opakovat. Casem se hypoteticky tvuj srv nauci ty maily prijimat - pokud je frekvence kumunikace dostatecna.

Whitelist z balicku pro greylist ma cca 10kB. Je tam nejakych +- 200 polozek.

---

Dete s tim guuglem dopice!

[X]

Ten SFP dotaz, je jen kvuli ziskani aktualniho rozsahu IP, ze kterych google odesila "overene emaily". Nema to s overovanim pomoci SFP jako takovym nic spolecneho(teda alespon jsem to tsk pochopil..).

[Max]

Nemáš jinou možnost, než dát do whitelistu(tedy greylistu) všechny cloudové služby (všechny jejich IP rozsahy). Tj. Google, Office365, Německý T-Online, Kundenserver apod.
Bohužel, jiná možnost není. Proto spousta lidí od Greylistu odchází a nakonec i my jsme ho přestali používat (po asi 10 letech používání).
Jinými slovy, obávám se, že se zabýváš technologií, která je už po své smrti.
Zdar Max

[Aleš Kapica]

Já mám ve skutečnosti mnohem menší nároky. Stačilo by mi kdyby ten greylistd prděl na ty IP adresy, protože mě vůbec nezajímají.

[Max]

Greylist je snad vždy trojkombinace, protože "from"+"to" je vesměs nicneříkající. Navíc není "from" jako "from". Jednou máš "from" v smtp komunikaci, podruhé ho máš v hlavičce. Oba mohou být na sobě nezávislý a spameři toho využívají.
Pokud ti nejde o Greylisting, ale o nějakou jinou věc, tak napiš, o co ti přesně jde. Filtrovat příchozí poštu na základě "from"+"to" by snad šlo napsat jako nějaká rule ve spamassasinu.
Zdar Max

[Aleš Kapica]

Nepoužívám spamassasin. Na spammery mám jiné páky. Nepoužívám postfix, ale exim4 a tohle by mělo být řešitelné v jeho konfiguraci, jenže nevím kde a jak a nemám s kým bych se o tom poradil.

Zkoumal jsem jak to dělá ten greylistd, v podstatě to není nic jiného než aplikace napsaná v pythonu, která dělá vstupní a výstupní filtr. Kdyby existovala možnost – tak jako v případě kdy mail odmítne, že má ten mail automaticky pustit dál, pokud je odesilatel v nějakém whitelistu, stejně jako když je v nějakém tom tripletu, tak bych to vůbec neřešil. Jenže na tohle evidentně při návrhu nikdo nemyslel. Takže mi nezbyde, než si to doprgat. 8-P

[Max]

Takže nechceš/nemůžeš použít ani greylistd, chceš to řešit all-in-one v rámci exim4? Ok, v tom případě nevím. Všude používám postfix + věci k tomu.
Zdar Max

[R]

Gaylisting zrusit. Kedysi som zdedil jeden mailovy server. Ludia sa opakovane stazovali, ze im maily chodia neskoro, tak som to zrusil. Dnesny spam sa odosiela vacsinou z normalnych mail serverov (ukradnute alebo uhadnute hesla), takze cez gaylist prejde...

[Aleš Kapica]

Promiň ale co je lepší? Mail který přijde o pár minut později, nebo kopec mailů od magora, který si nevidí do huby?

[R]

Lenze tie maily nechodili oneskorene o par minut, ale casto o par hodin a niekedy az na druhy den. To je nepouzitelne. A zavisi to od nastavenia servera odosielatela, takze to nemozes nijako ovplyvnit. Hlavne to proti spamu uz davno nefunguje.

[Want]

A co teda podle tebe funguje? Já jsem zmínil co potřebuji, ale z vás zatím nic jiného co by fungovalo nikdo nezmínil.

[j]

Neblabol, proti spamu to funguje velmi slusne, a to ze si nejakej debil neumi nastavit mailserver je jeho problem. Spamer nema cas na to aby odesilal neco znova. Potrebuje odeslat tech mailu co nejvic, nez se ta IP dostane na nejakej blacklist.

---

Dete s tim guuglem dopice!

[Radek]

SPF, DKIM a potažmo DMARC. Dále si vyber pár DNSBL serverů, které jsou open. SPF ti zjistí, že odesílatel example.com může z určených IP adres odesílat maily. DKIM podepíše odesílající server, že odesílatel je opravu ten správný odesílatel. DNSBL ti pak bude blokovat spamové servery.

Dále můžeš prodloužit odpověď EHLO na několik sekund (spamové servery mají obvykle nastaven limit hodně nízko, normální servery naopak i několik desítek sekund). Toto osobně nepoužívám.

Dále samozřejmě nasadit antivir (clamav) a nějaký antispam - například spamassasin.

A nebo si to můžeš usnadnit a použít nějaké komereční řešení, které bývá pro pár lidí obvykle zdarma. To záleží, k čemu ten mailer má sloužit (firemní vs soukromé použití). To bys ale musel napsat trošku víc.

[Radek]

tedy vyprdni se na greylisting, je to hodně problematická věc a budeš neustále přidávat vyjímky do pravidel.

[j]

Cimz se dostanes k tomu, ze asi tak 99% vsech mailserveru nic z toho nastaveno nema.

A radit nekomu at si DOSne vlastni stroj je vazne dobry ...

---

Dete s tim guuglem dopice!

[Radek]

Asi jsi trochu zaspal dobu ;)

[j]

Narozdil od tebe soudruhu, se tim zivim. PRVNI s kym ti lehne jakakoli komunikace bude ministerstvo financi, a dalsi budou hned v zavesu. Takze laskave neblabol o vecech, o kterych vis kulovy.

---

Dete s tim guuglem dopice!

[Radek]

jasně :D :D

Teď jsi mě upřímně rozesmál. Už jen tím, že mfcr má spf a DKIM, jen v dmarc má v tagu p unvedeno none, takže je to na příjemci, jak se zachová vůči chybám SPF a DKIM.

[Radek]

SPF je v dnešní době základ, 99% domén ho má nastavený. když ho nemá nastavený, tak proto, že se nepoužívá mailer na něm. A pak se majitel domény nesmí divit, když mu jeho doménu znežívají spaměři. DKIM - platí to samé co se SPF. Je třeba na to pár kliků navíc kvůli klíči, ale 99% domén ho má nastavený. DNSBL - tím odflitruješ cca 90% provozu, což je právě ten spam. Další část odfiltruje správně nastavený spf a dkim (celkově dmarc). A pak ještě spamassasin spolu s antivirem. Tam bych doporučil použít co nejpokročilejší antispam, který bude zjišťovat odkazy a přesměrování v něm.

Až se budeš této problematice víc věnovat, tak zkus teprve psát. DOS útoky ti grelisting neodfiltruje.

[j]

Takze jen potvrzujes, ze vo tom vis lautr hovno ... zcela 100% tvyho postu je zcela 100% picovina.

---

Dete s tim guuglem dopice!

[kamen8]

Je proste treba greylistovat jen IP adresy bez SPF zaznamu. Jak na to u EXIMu ale neporadim :)

[Want]

Do háje, vy fakt nerozumíte. Mě vůbec nezajímá ip adresa. Potřebuji filtrovat maily na základě kombinace odesilatel-adresát. Podle dokumentace eximu by to mělo být triviální, jenže nemůžu najít nikde nějaký example. Ten greylistd by byl ideální, kdyby neřešil ip adresy. Já ho snad nakonec budu nucen přepsat.

[kamen8]

To, co jsem popsal, eliminuje problem puvodniho tazatele s opakovanym zasilanim stejneho mailu z ruznych IP adres. Pokud chcete penalizovat greylistingem i postu prichazejicic z IP adres, ktere vlastnik domeny odesilatele oznacil jako duveryhodne, tak mi to moc smyslu nedava (protoze dle mych zkusenosti u tak dobre nastavenych spamujicich domen se k dalsim pokusum odesilajici server vraci), ale to je moje zkusenost, zatimco boj je vas :) Hodne zdaru.

[Aleš Kapica]

Opakuji ještě jednou nechci greylistovat IP adresy. Chci greylistovat adresu odesilatele v kombinaci s adresou příjemce.

To, že je aplikace greylistd založená na trojkombinaci, která počítá s IP adresu vím. Bohužel její logika je taková, že ji nelze jednoduše upravit, protože počítá s tím, že se server, který zprávu posílá pokusí o doručení ještě jednou.

Podle dokumentace k eximu by mělo stačit nastavení pravidla, které zkontroluje dva údaje, jestli nejsou v nějakém seznamu. Pokud ano, mail zahodí, nebo vrátí jako nedoručitelný.

Mělo by fungovat tohle:

acl_check_rcpt:
deny
  message = $sender_host_address is blacklisted from delivering \
                    mail from <$sender_address> to <$local_part@$domain>.
  log_message = blacklisted.
  verify         = recipient
  condition = ${if exists {/etc/greylistd/whitelist-sender} \
    {${readfile{/etc/greylistd/whitelist-sender}\
        {$sender_address $local_part@$domain}\
        {}}

Ale nefunguje. Něco je někde špatně, jenže nevím co.

[Aleš Kapica]

Aby bylo jasno. Kdyby se google nechoval při odesílání mailů tak dementně, neřešil bych žádný problém a greylistd by mi bohatě stačil, protože bych nastavil timer, který by ty čekající záznamy průběžně zpracovával a podle zmíněné kombinace házel buď do white nebo black. Žádná raketová věda.

[Max]

Naopak, chová se korektně. Má to své důvody. Ostatně úplně stejně fungují všechny ostatní cloudové emailové systémy.
Zdar Max

[Aleš Kapica]

Mně je úplně jedno jak se chová a proč. Svůj problém jsem vyřešil, ale byl to boj. Tak pro případné zájemce uvádím co a kam vrazit.

Takže do souboru /exim4/exim4.conf.template je třeba vložit následující kus kódu (bez těch plus pochopitelně), a založit v adresáři /etc/filtruj (třeba), dva soubory – jeden pro blokované adresy odesilatelů a druhý pro cílové adresy.

Pozor! pokud mezi cílovými adresami zapomenete uvést tu na kterou maily chodit mohou, vrátí se zpráva neblokovaným odesilatelům s oznámením, že byla zablokovaná.

 acl_check_rcpt:
+    deny
+        condition = ${if match {${lookup{$sender_address}wildlsearch{/etc/filtruj/odesilatele}{yes}{no}}} {${lookup{$local_part@$domain}wildlsearch{/etc/filtr/adresati}{yes}{no}}}}
+        set acl_m6 = blacklisted
+        logwrite = Rejected from $sender_address to $local_part@$domain by blacklist.

V souboru /etc/filtruj/adresati jsou uvedeny adresy, pro které se má testovat jestli se to má poslat dál nebo ne.

A v souboru /etc/filtruj/odesilatele jsou adresy co se jim má, v případě, že napíšou na některou z těch adres, zpráva vrátit.

Logika věci je taková, že na ty adresy mohou psát jen neblokovaní uživatelé. A pokud někdo napíše blokovaný uživatel mail na neexistující adresu, dropne jeho zprávu mailserver.

[Aleš Kapica]

Do háje, přehlídl jsem se a obrátil popis těch souborů, ale to je fuk. Kdo není hloupý, ten si to přebere.

[X]

Chapu dobre, ze si greylist nahradil blacklistem? To jsi si moc nepomohl, ted to budes muset rucne aktualizovat, nebo ne?

[Aleš Kapica]

Tys to asi nepochopil co? Viz, a proč to zde.

Způsobů, jak automaticky spravovat obsah těch dvou souborů je mraky.

[GeorgeWH]

Nepochopil si to ty. Miesas hrusky s jablkami. Greylist vracia 4XX (temporary error) a blacklist 5XX (permanent error).

[Aleš Kapica]

Podívej, položil jsem dotaz. Měl jsem nějaký cíl. Našel jsem si vyhovující řešení tak mi tady nevykládej kdo co pochopil a kdo ne. Ten greylistd byl pro mne jenom rychlé řešení, které se ukázalo jako nevhodné, právě proto že funguje jak funguje. A opravdu nevím, proč bych měl vracet chybu 4XX, aby mi nějaký mailserver bušil jak hluchý do vrat, když chci vrátit 5XX, aby dál neotravoval.

[Aleš Kapica]

A mimochodem, vrací to 550 Administrative prohibition, kdežto v případě že pošleš něco na neexistující schránku dostaneš 550 Unrouteable address, takže odesilatel, pokud to není zrovna bot, je informován proč byl ten mail zaříznutý.

A trochu jsem to ještě poladil.

condition = ${if <={\
    ${lookup{$sender_address}wildlsearch{CONFDIR/blocked-from-address}{1}{3}}\
  } {\
    ${lookup{$local_part@$domain}wildlsearch{CONFDIR/protect-to-address}{1}{2}}\
  }}

1. Seznamy blokovaných a kontrolovaných adres to hledá v adresáři kde má konfiguraci exim4
2. A pro lepší přehlednost jsem to rozdělil přes více řádků, aby bylo jasné co se kde testuje.
3. Místo textových řetězců jsem použil číselné hodnoty, což vyřešilo stav kdy zablokovaný odesilatel (yes) mohl vesele psát na nekotrolované adresy (no) a naopak neblokovaný odesilatel (no) na ně psát nemohl, protože kotrolova cílové adresy vracela (no).
4. Jo a ty seznamy pracují s regulárními výrazy. Takže není nutné blokovat každý záznam extra.

[MP]

Ono je nekde v RFC, ze ten email musi prijit z toho sameho serveru, kdyz se nepodari prvni doruceni?

Mam to stejne jako google. Neodesle? Presune se to na mene prioritni servery. Proc bych si mel zatezovat hlavni servery dlouhyma frontama?

[Jеdna]

Jste k ničemu, doba expertů na abclinuxu pominula. Nedokážete mi poradit a jen se hádáte o nesmyslech.

[kamen8]

Tak ted jste me namichl. Ok, ja vam teda poradim: predradte smtp serveru SNATujici masinu a jste za vodou :)

A ty seš původní tazatel?

[Aleš Kapica]

To víš že to nebyl původní tazatel.