Spam: naučte se bránit - II (diskuse)

[Tom Hubalek]

Díky moc za článek. V poslední době mě množství spamů v mém mailboxu přerostlo rozumnou hranici a to co tu popisujete mě naplňuje nadšením... Tom

[Frank]

Taktéž chci moc pochválit autora, článek se mi velmi líbil.

[BoodOk]

Doporucuji program bogofilter, pracujici prave na vyse uvedenych principech.
Idealni je udrzovat si mailbox potvrzenych spamu a ten jako ucici mnozinu predkladat bogofilteru k uceni, pricemz mu tez predlozite k uceni stejne velkou mnozinu nespamovych zprav.
Sam toto testuji asi 4. den nad mnozinou 8000+8000 spam-nospam zprav a uspesnost prvni den 47 det. spamu, 2 nedetekovane, druhy den 45 det. spamu, 0 nedetekovanych, behem obou dnu nebyla spatne vyhodnocena zadna nespamova zprava (coz potvrzuje jeden z prispevku v prvnim dile serialu, mluvici o min. 99% uspesnosti).
Dulezite je probrat se obema ucicimi mnozinami aby neobsahovaly vadne "vzorky".
Osobne pouzivam jako MTA zmailer, ktery behem zpracovani vola programek 'bogowrap.sh -a' (skript prikladam) a na strane MDA Cyrus IMAP, zde vyuzivam vyhodnocovani hlavicky X-Bogosity v sieve skriptu.
Uceni je nastaveno pravidelne v crontabu (opet se vola 'bogowrap.sh -l -e').
Dulezite je, ze mam existujici adresare mbxs_spam a mbxs_nospam do kterych prilinkovavam adresare ucicich mnozin, v nichz se maily prochazi pres find ... -follow (muze byt pouzito pouze pro MDA u kterych 1 zprava = 1 soubor, s obmenou to lze ale pouzit i u unixovych mailboxu).

#!/bin/sh


#----------------------------------------
# FUNCTIONS
#----------------------------------------

function mylog()
{
    MYLOG_CURRENT=`date "+%Y-%m-%d %H:%M:%S"`
    echo "$MYLOG_ID $MYLOG_CURRENT $1" >> $MYLOG
}

#----------------------------------------
# PREPARE DIRECTORIES AND VARIABLES
#----------------------------------------

MYLOG=/var/log/bogofilter.log
MYDIR=/data/scripts/bogowrap
MBXS_SPAM=$MYDIR/mbxs_spam
MBXS_NOSPAM=$MYDIR/mbxs_nospam

export PATH="/bin:/usr/bin:/usr/local/bin:/sbin:/usr/sbin"
export WORDLIST_DIR=$MYDIR/wordlists

case "$1" in

"-l")

#--------------------------------------------
# LEARNING
#--------------------------------------------

    mkdir $WORDLIST_DIR 2> /dev/null
    mkdir $WORDLIST_DIR.tmp 2> /dev/null

    rm -f $WORDLIST_DIR.tmp/*.db 2> /dev/null
    [ "$2" = "-e" ] || cp -f $WORDLIST_DIR/* $WORDLIST_DIR.tmp/ 2> /dev/null

    mylog "Bogofilter learning started (prepare)."
    SPAM_COUNT=`find $MBXS_SPAM -follow | grep -c ""`

    mylog "Bogofilter learning of $SPAM_COUNT spam messages started."
    find $MBXS_SPAM -follow | egrep "\.$" | nice -n 10 awk '{system("cat \""$1"\" | \
    bogofilter -s -d "ENVIRON["WORDLIST_DIR"]".tmp")}'

    mylog "Bogofilter learning of $SPAM_COUNT nospam messages started."
    [ $? -eq 0 ] && find $MBXS_NOSPAM -follow -printf "%TY%Tm%Td %p\n" | egrep "\.$" | sort | \
    tail -$SPAM_COUNT | nice -n 10 awk '{system("cat \""$2"\" | \
    bogofilter -n -d "ENVIRON["WORDLIST_DIR"]".tmp")}'

    if [ $? -eq 0 ]
    then
        rm -f $WORDLIST_DIR/goodlist.db 2> /dev/null
        bogoutil -d $WORDLIST_DIR.tmp/goodlist.db | bogoutil -l $WORDLIST_DIR/goodlist.db
        rm -f $WORDLIST_DIR/spamlist.db 2> /dev/null
        bogoutil -d $WORDLIST_DIR.tmp/spamlist.db | bogoutil -l $WORDLIST_DIR/spamlist.db
    fi

    mylog "Bogofilter learning finished."
    exit $?

    ;;

"-a")

#--------------------------------------------
# ANALYZING
#--------------------------------------------

    SPAM=No
    MYFILE=$MYDIR`tempfile`

    mkdir $SPAM_TREZOR 2> /dev/null
    cp "$2" "$MYFILE"
    bogofilter -I "$MYFILE" -O "$2" -p -d $WORDLIST_DIR
    [ $? -eq 0 ] && SPAM=Yes
    mylog "Bogofilter analysis of $2 done (X-Bogosity: $SPAM)."
    rm -f "$MYFILE"

    ;;

*)

    echo "Syntax  : bogowrap [-l [-e]|-a ]"
    echo "Options : -l ... learn"
    echo "          -a  ... analyze message "
    echo "          -e ... learn and emty wordlists, used with -l"
    exit 0

    ;;

esac

A idea na zaver. Proc vyse uvedeny princip pouzivat pouze na spam? Proc jej nevyuzit i pro bezne zatridovani zprav metodou 'by example'?

[Zdeněk Burda]

skoda, ze jsi tak rohodil formatovani clanku, ted se neda poradne cist (Firebird 0.6)

[Zdeněk Burda]

tak nic, ted zas koukam, ze to je citelny... bud ti nekdo upravil prispevek nebo ma mozilla nejake mouchy

[Robert Krátký]

Ondra Krejcik to opravil (zalomenim radek).

[David Sedláček]

Neexistuje nejaka databaze odchycenych SPAMu?

[Agent Smith]

Chtel bych upozornit na existenci programu spamprobe, ktery ma stejnou funkcionalitu, principy a dokonce i velmi podobne pouziti v procmailu jako spamassasin s tim rozdilem, ze je psany v C takze o poznani mene zabira systemove zdroje. Kdo by nechtel za mensi cenu stejne dobre auto ze? Pouzivam jej priblizne pul roku a za tu doby jsem nemel jediny "dobry" mail spatne zarazeny do spamu a tak asi 1 spam za 14 dni klasifikovany jako "dobry". Slusna uspesnost ne? Zvlast kdyz me v dobry den prijde i 30 spamu...

[asdf]

odkedy pouzivam tieto 3 blacklisty (par mesiacov), som nedostal spam :) v postfixe doplnte do main.cf:

maps_rbl_domains =
   relays.ordb.org,
   bl.spamcop.net,
   dnsbl.njabl.org

na inych mailserveroch tiez jednoducho nastavitelne. bye

[Tomas]

Dekuji, tohle skutecne pomaha a je super, ze je to systemove reseni - spam je odmitan hned pri prijmu nezatezuje linku.

[skywalker]

no skusal som razor nejaku dobu a musim povedat, ze som sklamany. velmi vela emailov, ktore nie su spam ale su posielane vela ludom je vyhodnocovanych ako spam. moj odhad je, ze nemaju dost ludi, ktori oznacuju aktivne spam, preto si skratka pomahaju tak, ze ako spam oznacia vsetko, co doslo aspon X uzivatelom... tiez mate take skusenosti?

[Lukáš Zapletal]

Veškeré podobné projekty jsou mrtvé, Razor ještě přežívá, ale za chvilku to zabalí též.

Problém je jeden: kalkuluje se kontrolní součet z hlaviček a těla, spammerovi stačí do hlavičky a do těla dát pro každý mail nějaký jiný řetěz a je to. Právě proto některé spamy začínají takto: XLUDA DASIO KDJAS SDAJK. Podobně je to s hlavičkou (změní se například pole OD). Pak tento systém vůbec nefunguje a je jen na přítěž.

Na druhou stranu to může usnadnit práci filtrům, které mohou zjišťovat, jestli mail neobsahuje nesmysly podobného rázu, ale i to je podle mě na nic. Stačí na konec mailu přidat pár slov (anglických třeba), Pokaždé aby byly jiná slova - hotovo. Podle mě to moc nepomůže. RAZOR IS DEAD.

[jan k.]

Dobry den, z pohledu uzivani linuxu jsem naprosty zelenac. Z clanku jsem nepochopil, jak se muzu branit spamu, kdyz pouzivam Kmail a postu stahuji z pop3 na quicku? Castecnym resenim muze byt prechod na mozilla mail, nicmene to neresi problem, ze ty spamy musim nejdriv prenest k sobe (mam predplaceno 1 GB/mes takze zas tak velky problem to zatim neni - denne mi prijde tak 3-5 spamu, ale muze byt hur) Muze nekdo poradit jak na to? jan k.

[zlosyn]

Z KMailu je to take velmi jednoduche. Jde pouze o to, nastavit spravne filtr. Napriklad v kombinace se SpamAssassinem je to opravdu za chvilku, ale variant je vic. Staci hledat. No a v clanku to neni z toho duvodu, ze KMail nema vlastni antispamove reseni a pouziva neco jineho pres sve filtry. Nicmene i spamy je treba nejdrive prenest k sobe, jinak se velmi tezko dela analyza. V KMailu je ale mozne pouzit nejake blacklisty (configure POP filters).

[bigsam72]

Ahoj vsem, chtel bych upozornit na to ze je mozne integrovat spamassassin do KMailu. Vice info viz Google.com

[jan k.]

Diky za vycerpavajici genialni odpoved. Bohuzel s obdobne genialnim dotazem si google moc rady nevi.

[Ivan Petras]

Pouzivam asi 1,5 roka MV a som s nim dost spokojne. Pride mi tak 1-2 spamy denne a odchyti asi 10-20. MV mail ani neprijme a zatvari sa ze server ho odmietol. Ako to robi SA? Prijme mail a potom ho kontroluje. Ak ano tak potom na server je MV daleko lepsi, lebo menej zatazuje trafik. Vie niekto vysvetlit rozdiel kontroly medzi MV a SA? Lebo prave idem robit novu instalaciu na Debiane ako server a rozmyslam co tam nasadit. Dik.

[pharook]

Neznám přímo MessageWall, takže jen komentář k tomu, že zahazuje spamy už na smtp bráně. Záleží na tom, jaké chcete použití a jak mu věříte. Já nasadil SA, spam tedy dorazí, pouze u uživatelů, kteří mají zájem jeho "služeb" využít, je nastaven filtr, který Assassinem označené maily přesouvá při doručování do extra složky. Výhoda je per-user konfigurace a žádné ztracené maily při false-positives - všechno uživatel najde. Nasazení čehokoliv (i SA tak může fungovat) přímo na SMTP bráně záleží na tom, jak příslušnému antispamovému filtru věříte - a také na tom, že tím rozhodujete za uživatele na serveru. Tím netvrdím, že je to a-priori špatně, jen že je dobré brát v potaz i tuto stránku - vzhledem k tomu, že i při nasazení přímo na SMTP vstupu budou maily muset procházet antispamovým enginem, a ten je v okamžiku nasazení obvykle nejužším místem výkonu serveru - tudíž zda maily vrací rovnou, nebo je až MTA hází do extra folderů, nehraje velkou roli.

[Batman]

Ahojky, chtěl jsem se zeptat, jestli SpamAssassin musí mít nutně k práci procmail, nestačí jen Postfix???

[-= Spec =-]

Zdravim, nastavuju SpamAssassin + Postfix podle článku. Vše OK až na to, že když jsem si vytvořil uživatele "spamfilter" (podle toho přiloženého návodu v angličtině pro implementaci SpamAssassina do Postfixu), tak se mi do něj neukládají SPAMy. Vždycky přijde zpráva s označením SPAM normálně do schránky. Chtěl bych, aby mi to nechodilo do schránek, ale ukládalo se to všechno do schránky uživatele "spamfilter". Tak to snad i má být, ne? Poradil by mi někdo kde dělám chybu, prosím? Díky