Stavíme poštovní server – 14 (Sieve) (diskuse)

[p_a_l_o]

Dekuji za dalsi dil zajimaveho clanku.

Sieve na serveru vyuzivam, konfiguraci si uzivatele zajistuji pomoci webmailu Roundcube. Mam nastaveno podobne default pravidlo pro presun spamu do slozky Junk, jako je uvedeno v clanku. Avsak pripade, ze si uzivatel nastavi sve vlastni, prestava se default pouzivat. Napada Vas jednoduche reseni, jak nejake pravidlo defaultne uplatnovat pro vsechny schranky tak, aby jej uzivatel nemohl ovlivnit? Dekuji.

[obrazkovy spam]

Tak odpoved na tuto otazku by zaujimala aj mna.

[Luk]

Takové řešení existuje - resp. hned dvojí, podle toho, co je cílem. Existují totiž konfigurační parametry sieve_before a sieve_after, které umožňují definovat další Sieve skripty (nebo celé adresáře se skripty). Pravidla v sieve_before se zpracují před uživatelskými pravidly, sieve_after po nich (ale jen v případě, že zpráva zůstává ve zpracování). Takže pokud už se má nějaké zpracování vynucovat všem uživatelům (i když to obecně nevidím jako přínosné), lze to využít. Všechny tyto skripty (stejně jako skript s globálními pravidly) se musí předem kompilovat pomocí sievec.

[p_a_l_o]

Toto jsem uz neuspesne zkousel drive. Projdu si to znovu a v pripade, ze bych neobjevil chybu, to zkusim popsat detailni konfiguraci.

Vy sieve_before a sieve_after pouzivate uspesne?

[Luk]

Vy sieve_before a sieve_after pouzivate uspesne?

Nepoužívám vůbec. Zatím jsem neměl takovou potřebu a obecně mě nenapadá příliš případů, kdy to má smysl (proto jsem to ani neuvedl v článku). Nicméně to mohu příležitostně vyzkoušet.

[Luk]

Tak jsem teď čistě pro zajímavost vyzkoušel sieve_before a funguje bez problémů.

[Lampa]

Je nejaky duvod proc nepouzit nativní Dovecot ManageSieve ?

[Zdeněk Burda]

V mém případě dřív důvod byl - prostě neexistoval Shodou okolností jsem asi před měsícem instaloval další mailserver a tam jsem ho už nahodil, funguje dobře, akorát jsem musel kompilovat balíček, protože v distribuci se s ním zatím nepočítá

[rudiik]

Ja sem pri migraci z Cyrusu na Dovecot s radosti shledal, ze v Debianu se se Sieve pocita na 100% a je tam podpora pro Sieve i managesieve primo v Dovecotim balicku.

[Luk]

U které verze Debianu? Totiž že pro poslední stabilní verzi, tj. 5.0 čili Lenny, toto rozhodně neplatí (tam je dokonce pořád ještě Dovecot 1.0).

[PM]

lenny-backports - dovecot 1.2.10

[Luk]

V Backports ano, v distribuci jako takové (ve standardních repozitářích) ne. Navíc toto platí jen v poslední době, ještě relativně nedávno (před pár týdny, již během vzniku seriálu) byly Dovecot balíčky v Backports o několik verzí za zdrojáky (lze to dohledat v diskusích, tam už jsme to jednou řešili).

[ext3fs]

Lze nejak pomoci Sieve nahradir nasledujici pravidla maildropu?

...
xfilter "/usr/sbin/spamc"

... 

if (/^X-Spam-Status: *Yes/)
{
  exception {
   to ...
  }
}
...

[ext3fs]

Uz jsem prisel na jedno z reseni. V master.cf dat pred radek kde se posta dorucuje jednoduchy skript, kterym se zprava prozene pres spamc a sendmailem vrati zpet do fronty.

[Zdeněk Burda]

Není lepší používat Amavis na kontrolu spamu (spamassassin, dspam co je libo) a virů (lze použít prakticky libovolný antivir), který navíc umožňujě integraci třeba s LDAPem nebo nějakou vhodnou SQL DB a uživatel si pak může nastavit co a jak chce kontrolovat?

[Luk]

Já rozumím tomu, co chce tazatel realizovat - ostatně to mám v Sieve nastaveno také. Prostě když se něco při kontrole označí jako spam, spadne to do složky Junk. Tím je zajištěno, že to nestraší v Inboxu, ale současně si to uživatel může přečíst. Jediné, co na tom nechápu, je potřeba nutit takové chování všem uživatelům, bez možnosti ho změnit. Ať si to každý nastaví, jak chce. To už považuji za vhodnější generovat nově vytvářeným uživatelům jejich vlastní skript, kde takové pravidlo bude - pak si ho tam mohou ponechat nebo ho odstranit, jak budou chtít.

[Luk]

Co by to mělo dělat (maildrop po této stránce vůbec neznám, nic mi to neříká)?

[ext3fs]

Ten priklad pro maildrop hleda v dobe trideni zpravy do slozek zda je v hlavicce mail oznacen jako spam a dle toho se zprava kopiruje do prichozi posty nebo do slozky Spam.

Uz jsem pro Sieve naspal neco takoveho:

require ["fileinfo", "copy"];

if header :contains "X-Spam-Status" "Yes"
{
       setflag "$Junk";
       fileinto ".Spam";
       stop;
}
else
{
        "fileinto" :copy folder: "/home/backup/%d/%n";

Nicmene mi to nefunguje. Domnival jsem se, ze misto %d se doplni domena.tld a misto %n username. Existuje nejaky elegantni a funkcni zpusob, jak dostat z hlavicky uzivatele a domenu (treba i nejak parsovat To:)...?

[petr_p]

Řešit To: není dobrý nápad, protože obecně nemá vůbec žádnou souvislost s adresou příjemce.

[Luk]

Nepochopil jsem, proč se má zpráva kopírovat do příchozí pošty. Vložení do příchozí pošty je přece výchozí akce, kterou není třeba explicitně definovat - stačí udělat explicitní přesun v případě spamu, čili stačí úvodní if, to else už je zbytečné. Mimochodem zbytečný je i příkaz stop, protože akce fileinto ruší implicitní keep (viz RFC 5228, bod 2.10.2) a žádný jiný důvod k uvedení zde není.

Není to myšleno jako zálohování (když tam vidím to backup)? Pokud ano, tak mi to nepřijde jako příliš smysluplné řešení, spíš jako takové "velkobratrské" (ukládá se všechno, nezálohuje se stav ke konkrétnímu okamžiku).

[ext3fs]

Ano, /home/backup/... je opravdu zalohovani nebo spis kopirovani veskere prichozi posty (coz je prani zamestnavatele), takze mne jde jen o to, jak to do te zalozni slozky dostat.

[jozefmak]

Ak je SMTP server Postfix, asi by som taketo nieco riesil skor direktivou always_bcc - a je to riesene pre vsetkych prijimatelov na serveri.

[Luk]

Kdyby Dovecot Sieve podporoval rozšíření editheader podle RFC 5293, bylo by to velmi jednoduché - stačilo by podle obálkového příjemce vytvořit novou hlavičku (např. X-Original-Recipient), pak to přeposlat na speciálního uživatele (třeba velkybratr@moje.domena), u něj pak tuto hlavičku rozežírat a zprávy správně třídit. Jenže protože zatím toto rozšíření podporováno není, nelze takové řešení použít.

Možná by se ale dala rozežírat hlavička Delivered-To, protože je možné (ale to právě nevím), že se přidává do zprávy až na konci zpracování LDA. Chtělo by to prověřit, zda tam po přeposlání kopie nejsou ty hlavičky dvě. Pokud je tam opravdu jen ta první, je vyhráno - stačí hlavičku pomocí :domain a :localpart rozežrat do proměnných a podle nich pak uložit zprávu do správné složky.

[ext3fs]

V postfixu resim pres externi content filtr (v master.cf) vyhodnoceni zda je prijemce v hlavicce a obalce stejny a pokud je z nasi domeny, vyhodnuciji take zda sla zprava z povolenych siti (cimz samozrejme nervyresim pokud nekdo posila pres T-Mobile, atp) coz je dostatecna kontrola proti falsovani adresy odesilatele. Do hlavicky pridam X-Muj-Filtr: {OK,BAD} a dle toho si SpamAssasin prideli odpovidajici skore. Takze zpravy kde je falsovana adresa odesilatele stejne skonci ve spamu a co ma jit do meho /home/backup/DOMAIN/USERNAME mi klidne staci urcit z hlavicky To:. Ted se divam, ze by to melo jit pomoci pluginu "envelope" tedy urcit :domain a :localpart.

Staci pak tedy neco takoveho?

require ["fileinfo", "copy", "envelope"];

if header :contains "X-Spam-Status" "Yes"
{
       setflag "$Junk";
       fileinto ".Spam";
       stop;
}
else
{
        "fileinto" :copy folder: "/home/backup/:domain/:localpart";
}

[Luk]

Tohle je bohužel chybná syntaxe. Jsou tam dva problémy - jednak nevím o tom, že by šlo místo názvů složek (resp. schránek) uvádět absolutní cesty. Navíc takto to definovat nejde. Muselo by se udělat něco tohoto typu:

require ["fileinto", "copy", "envelope", "variables"];

...

if allof(envelope :domain :matches "to" "*", envelope :localpart :matches "to" "*") {
  fileinto :copy "/home/backup/${1}/${2}";
}

Je to jen hrubý nástřel. Dělá to to, že se vyhodnocují obě části adresy obálkového příjemce, dají se do proměnných a tyto proměnné se pak použijí. Jenže zásadní problém bude v tom, že asi nebude možné použít absolutní cestu k poštovní složce (nezkoušel jsem, v dokumentaci o tom nic není, nicméně velmi pochybuji).

[ext3fs]

To je docela skoda, ze to nijak jednoduse nepujde. Vytvarim zalozni mail server ktery by byl migrovan po odladeni i na hlavni mailserver (na kterem ted bezi prave Courier IMAP + Courier maildrop). Dovecot se mi v posledni dobe velmi zamlouva, nicmene mame reseno pres maildrop dost specialnich veci a bude asi tezke preklopeni na Dovecot LDA.

[Luk]

Ono by to šlo řešit "jednoduše", tedy přeposláním kopie na nějakého speciálního uživatele. Jenže problém je v tom, že jediná hlavička, ze které by se dala získat adresa původního uživatele, je To:, která nemusí odpovídat skutečnosti. Hlavičku Delivered-To: jsem teď zkusil, ale tu použít nelze, protože se tam vloží ve druhém exempláři při doručování po přeposlání.

[ext3fs]

To ale stale neresi situaci, kdy potrebuji mit kopie ne v Maildiru urciteho uzivatele, ale v uplne jine ceste, ktera by mela vypadat nejlepe takto:

/home/backup/DOMENA/UZIVATEL/new

kde platne virtualni ucty jsou v /home/virtual/DOMENA/UZIVATEL

Jeste mne teda napada vlozit pred frontu (v master.cf) skript, ktery by udelal kopii, respektive nakopiroval email do zaloh a zpravu poslal zpet do fronty postfixu kde ji prevezme deliver. Tohle asi neni uplne nejsistci reseni.

[Luk]

To ale stale neresi situaci, kdy potrebuji mit kopie ne v Maildiru urciteho uzivatele, ale v uplne jine ceste

To je velmi snadno řešitelné tím, že se ten Maildir umístí na tu správnou cestu.

Jeste mne teda napada vlozit pred frontu (v master.cf) skript, ktery by udelal kopii, respektive nakopiroval email do zaloh a zpravu poslal zpet do fronty postfixu kde ji prevezme deliver. Tohle asi neni uplne nejsistci reseni.

Pak existují ještě jiná řešení. Tak například využít incron, pokud by už uměl rekurzivně sledovat celé podstromy filesystému (ššššššššš - to se snáší popel na moji hlavu ). Nebo použít jiné programy, které už to umějí, např. inotify-tools. Pak stačí jen chytat událost IN_MOVED_TO, testovat, zda šlo o přesun z adresáře tmp do new v rámci inboxu (protože to je operace, kterou je završeno doručení zprávy) a pak už jen kopírovat příslušné zprávy.

[Luk]

zda šlo o přesun z adresáře tmp do new v rámci inboxu

Resp. spíš nejen v rámci inboxu, ale ve všech poštovních složkách kromě spamové.

[ext3fs]

Reseni to pochopitelne je, ale pak se vkrada myslenka, zda neni pro mou situaci lepsi zustat u maildropu...coz je dost neprijemna myslenka. Snazim se jak to jde po letech maildrop opustit (minimalne proto, ze overovani proti MySql je u maildropu v kombinaci Cyrus SASL (authlib) problematicky provozuschopne a overovani pomoci Dovecotu vyzaduje patch maildropu,...).

[Luk]

Osobně pro podobné případy využívám právě incron (ostatně právě proto jsem ho vytvořil, přestože prvotní impuls vyšel od někoho v diskusi), i když je samozřejmě žádoucí řešit věci co nejjednodušeji, nejčistěji a s použitím co nejméně komponent.

[rudiik]

To jsou v zasade 2 odlisne problemy. Dive jsem sice take volal spamc z procmailu, ale postupem casu jsem presel na zminovany Amavis, ktery se pro Postfix chova jako content_filter, dostane zpravu od postfixu pres SMTP, provede testy dle definic (0-x antiviru), dspam, spamassassin a zase pres SMTP vrati zpet postfixu se Spam a AV hlavickami. Obavam se, ze volat externi program ze sieve scriptu nejde, ale mohu se mylit. Samotne filtrovani X-Spam-Status neni se Sieve zadny problem, mam to tusim dokonce definovane jako global rule pro vsechny usery.

[jozefmak]

Mna by skor zaujimalo, ci existuje sposob, ako skompilovany sieve skript dekompilovat naspat na povodny skript - sieved dekompiluje len na uroven akehosi metajazyka...

Napriklad, ked si pouzivatel zmaze svoj 'vymazleny' sieve skript a zostane len v binarnej podobe...