Dotaz: Spamassassin a jeho uceni

[Ja.]

Nainstaloval a rozchodil jsem Spamassassina (2.63). Ted to celkem dobre funguje, ale je treba ho ucit. Uceni delam tak, ze jsem vytvoril novou schranku spam@domena a na tu predavam vsechny nezachycene zpravy. Jednou denne pak spustim
sa-learn --spam /cestat/ke/spamu
To same delam i s hamem.
Nejsem si ale uplne jisty, ze to funguje spravne. Spamu chodi uz zase celkem dost a nektere spamy maji od spamassassinu hodnoceni 0.0 (zahazuji pri 4.0).
Je to tim, ze se jedna o chytre napsany spam, nebo ucim SA blbe?
PS: pouzivam qmail, ktery spousti procmail a ten spousti spamc.
PPS: vim, ze se SA musi ucit dlouho...

Odpovědi

[Ctirad Feřtr]

Předně, pokud prošlý spam z klienta forwardujete na nějakou adresu, tak je to špatně, protože tím ten mail už nějakým způsobem modifikujete.

Mě se osvědčila kombinace s mozillou(thunderbirdem), kde mám rovněž zapnuté filtrování a tudíž mám v mboxech krásně roztříděný spam a ham. Ze začátku jsem tyhle mboxy podstrčil SA na naučení a teď už jenom jednou za čas podstrčím mbox se spamem, kam občas proleze něco skrz ten SA. Kromě toho zahazuju veškeré maily s "microsoft executables" přílohami, čím se odfiltruje drtivá většina virů.

Tím jsem omezil spam z několika desítek denně na pár kousků do týdne (a to jsou stejně většinou viry v zipu a falešná upozornění na nedoručitelné maily, než nějaký spam).

[unchallenger]

Předně, nikam nic nepřeposílat, jak už píše kolega. Učit se musí na původních mailech, jinak se naučí kraviny (nevadí jen předchozí zpracování SA).

Dále možná stačí snižení autolearn_threshold, který je defaultně 12.0, když ho snížíš na 6.0 (minimum), bude se učit ze všeho, z čeho jde. Pokud máš ovšem false positives, tak je nutné přeučit ho ty věci na ham, jinak se opět naučí kraviny.

Spam se score 0.0 už jsem dlouho neviděl; mám threshold 5.0 a poslední spam mi prošel 15. 7. (statistika), ten byl ovšem česky, poslední anglický už nepamatuji...

Dlouho se učit nemusí, stačí několik tisíc mailů, což je zejména u spamu hned, a u hamu ho můžeš ručně učit na starších mailech.

[Ja.]

Aha Problem ale je, ze jak ty maily prijmu, smazou se mi z Maildiru....takze asi rucne.

Kazdopadne diky za radu vsem

[Ja.]

Kdyz uz se SA chvilku ucil tyhle nesmysly, lze ho nejak prinutit vse zapomenout? Nemuzu v man nic takoveho najit i kdyz jsem si jisty, ze jsem to uz nekde videl.

Diky

[©]

Bez zaruky, ale myslim, ze bohate postaci mu smaznout databazi co je v ~/.spamassassin

[Zdeněk Burda]

jo, to urcite pomaha...

to Uroboros: proc tu mas na abclinuxu 2 registrace, jednu pod nickem a druhou pod jmenem?

[Libor Klepac]

ja porad akorat nevim jestli je ten sa-learn a(dlouhe, ale s carkou zpet ) uzivatel, nebo se to uci pro cely system, tedka pouzivam qmailscan, a nemuzu prijit na to, pod kterym uzivatelem se spousti spamc ...zrejme pod qscand, ale ten ma v home adresari nejake nastaveni ( u jednoho testu jsem zkusil dat 11 a i kdyz byl ten test pozitivni, tak celkove skore bylo 1.3 , takze zrejme preference bere odnekud jinud, nebo nebezi pod qscand)

no to je zase zmatek odemne

[unchallenger]

Je možné, že se taky neučí vůbec... četls README.spamd?

[Libor Klepac]

hmmm myslim ze ano, ted jsem ho cetl znova, nic moc tam nevidim, mozna tu sekci o spolecnem adresari bayesu

v tom /etc/spamassassin/local.cf mam definovany tohle pravidlo (ve skole je take spamassassin a pridava tuhle hlavicku)

header X_SPAM_DETECTED X-SpamDetected =~ /1/

ale to skore jsem daval do domaciho adresare

score X_SPAM_DETECTED 3

[unchallenger]

Viz System-level security. Pokud spamd neběží jako root a nemůže se setuidnout na uživatele, kterému je mail doručován, tak IMHO uživatelské konfigurace vůbec nebere v potaz (pokud nejsou v MySQL nebo pokud nemáš spuštěného soukromého, který běží právě pod tím správným uid).

[Libor Klepac]

uz to asi vidim, ten qmail-scan tomu cpe uzivatel z hlavicky to: (asi) takze (zavinac jsem znicil)

SA: run /usr/bin/spamc -c -f -u "jouda(v)mugn.omyl.net" < soubor_se_zpravou

takze to nikdy nemuze skocit na spravne uid...no ale nastavil jsem v /etc/spamassassin/local.cf tohle ,tak snad to bude fungovat....

bayes_path /var/spool/bayes/ bayes_file_mode 0666

pustil jsem sa-learn a vypadato, ze se to tam uklada, tak uvidim ....stejnak ten spamassassin ve skole je celkem dost spolehlivy, akorat parkrat mi oznacil neco jako spam co nebylo

[CIJOML]

To me by zajimalo, jak naucit spamassasin z kmailu. Normalne taham postu z pop3 k sobe na disk, kde si spam ukladam do zvlastni slozky. Mno a ted tam je asi okolo 600 mejlu, tak bych to sa docela rad predhodil. Asi to jen tar.bz2 a poslu na ten server, kde to rozbalim a pustim learn na ten adresar? Nebo je nejaka snazsi cesta?

[Ctirad Feřtr]

Snažší těžko. Prostě vzít ten mailbox/maildir a zkopírovat ho na stroj ze SA je asi jediné řešení.

[CIJOML]

to jsem si myslel :(

[Shteffi]

Jenom dotaz... kdybych ten majl box kopíroval z Windowsáckýho thunderbirdu... tak nebude tam problém s konci řádků... A jestli ano tak jak to vyřešit?

[Rover]

Také přemýšlím nad tím, jak nejlépe naučit bayes databáze a kde sehnat tisíce spamů.......

napadá mě,,, nemohl bych se s někým z Vás domluvit, že byste maily, které máte v nějaké spam schránce (nepřeposlané) zabalily a já bych si je od někud stáhnul? ... celkem by mi to píchlo,,, a věřím že nejen mě...

[unchallenger]

Kde sehnat tisíce spamů? Stačí snad počkat několik dnů a nemazat je...

(Mohl bych ti jich poslat asi 40k, ale přijde mi to praštěné. Navíc každý dostává trochu jiný spam a jiné věci za spam považuje, tudíž je nejlepší učit na vlastních.)

[Michal Čihař]

Souhlas, i když dneska mi připadá, že na tisíce spamů by mi stačil jeden den

[Rover]

To si právě nemyslím,,,

do mé schránky příjde cca 5 spamů za den, na kloudné naučení bayes bych čekal fakt dlouho...

Pokuď někdo označí mail jako spam, tak nejspíš to není vyžádaná pošta a tudíž bych se přikláněl k tomu překopírování...

Byl bych vděčen za ty maily... není pro mne problém stáhnout jakékoliv množství dat...

třeba by mi stačil ftp přístup do daného adresáře se spamy... nebo mi jich pár tisíc zatarujte...

[Michal Čihař]

Já to nikde neukládám, ale jestli po tom toužíš, tak mi řekni mail, na který to mám přesměrovat . Od půlnoci mi do /dev/null putovalo 1200 mailů, takže za chvíli budeš mít dostatečný vzorek .

[unchallenger]

Přesměrování nefunguje, tím zkazíš hlavičky (a skončíš jako spammer ;-)

Je zapotřebí vzít původní maily.

[Michal Čihař]

No jo, to mě nenapadlo

[Rover]

No paráda!!! :)

takže mail kterej mi mužeš zaspamovat je spam@alberon.cz :)

,,, tak mě tak napadá, 1200 spamů od půlnoci? A to je na jednu schránku?

[Michal Čihař]

No takže z důvodu co napsal Yeti se přesměrovávat nebude. Ano je to na jednu schránku. To není normální stav, obvykle jich mám tak 600 za den, ale včera se někde něco zbláznilo a začlo mi toho bordelu chodit nějak moc

[Rover]

Hmm, to je pravda,,, už to bude přeposlání a to je špatně ...

No nic,,, budu asi pár týdnů zachytávat spamy,,, uf :(

[Rover]

Ještě jedna věc,,, ty maily,které zahazuješ do /dev/null zahazuješ od jaké bodové hodnoty?

[Michal Čihař]

5 a více + pár dalších pravidel z procmailu (hlavně na bouncy). Kdysi jsem to ukládal stranou, ale nikdy jsem neměl sílu to procházet a něco v tom hledat (a nikdy si nikdo nestěžoval, že by se něco ztratilo), takže teď už to rovnou zahazuju.

[Rover]

Podle mě 5+ je celkem málo,,, už se mi párkrát stalo, že spam měl 7 a byl to ham,,,,

Ještě jedna drobnost,,, jak poznám že mi funguje bayes databáze? Je to napsáno v hlavičce? ... podle mě mi spamassassin filtruje jen podle content filtru.

[Michal Čihař]

Já spíš přemýšlím o tom nastavit to na míň . V tom co jsem procházel ham nebyl a jestli jo, tak takovej, že to ani já nepoznám. Moje hamy mají skóre obvykle do 2, když nepočítám automatické maily z některých fór, které dost často padají do spamu (protože tam jsou správcové totální lamy a třeba neumějí nastavit adresu odesílatele).

Bayese poznáš tak, že v testech bude BAYES_cosi, jinak databáze musí být dostatečně naučená, jinak to netestuje.

[Rover]

Defaultní hodnota počtu mailů pro bayese je tuším 200 jak pro spamy, tak pro hamy,,,, v configuráku SA se to dá snížit,,, já to mám na 50spam 5ham....

Mimochodem, kdesi jsem viděl, že se dá do Postfixe přímo zaimplementovat určité online databáze, a podle nich to filtruje. A taky se dá dát jakýsi content filtr přímo do postfixe... ale to musím ještě vyzjistit....