abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 0
včera 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 16
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 8
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 2
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 0
2.12. 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
1.12. 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
1.12. 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 767 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

polo23 avatar 23.7.2009 09:56 polo23 | skóre: 26 | blog: polo23
Spamassassin a jeho uceni(za pouziti jakekoliv metody)
Přečteno: 1927×

Ahoj, Zakladam nove tema ktere navazuje na mnou nedavno zalozene pac tohle je druha etapa zamerena ciste na nauceni spamassassina filtrovani.

Zacnu malym opakovanim Centos+Postfix+dovecot+spamassassin.

Chci spamassassin co nejlepe naucit filtrovat zpravy a potreboval bych vase zkusenosti jak to chodi v praxi. Na netu jsme nasel plno doporuceni ale jeden rika to a jiny tohle. Co ja vim muzu ho ucit nasledujicima zpusobama.

1)prikazem "sa-learn --spam nebo --ham" kdy mu dam databazi dobrych mailu a spamu, akorat nevim jaky je princip tohoto uceni zda z tech napr spamu vybira typicka slova a pak si je uklada do nejake databaze...

2) Pri vyuziti spambayes ktery se uci popravde nevim podle ceho(vysvetleni googlu jsem nepochopil) ale vim ze kazdemu mailu dava podle ruznych kriteriii body ktere pak secte a pokud prekracuji urcity limit tak je mail oznacen jako spam. Tady jsem mel na serveru hranici nastaveno na 5 bodu. Pak jsem v ramci LAN poslal mail s telem i predmetem dochazka a on ho oznacil 6 body tedy spam. Kdyz jsme to pak opakoval daval mu pri kazdem poslani mene a mene bodu. A i kdyz jsem mu v thunderbirdu znacil mail za nespamovy pri dalsim prichodu mailu s predmetem a mailem dochazka ho zase oznacil za spam (s mesim cislem).

3) K spamassassinu je dodana slozka plna .cf souboru ve kterych jsou nejake rekneme vyrazy ktere by se mely vyfiltrovat. Kdyz je nakopcim do adresare /etc/mail/spamassassin tak se filtrace zlepsi.

4) Cetl jsme cosi o webovych sluzbach jako Razor a DCC. Musim si naistalovat programy(pro ten Razor a DCC ) ktere se pry pripoji k webu poslou tam muj mail zanalyzuji ho a vyhodnoti. Do spamassassina je dostanu pomoci pluginu ktere jsou ulozeny v souboru v320.pre. Napr loadplugin Mail::Spamassassin::plugin::dcc.

Filtrovat bych chtel na urovni serveru(vim smozrejme ze se to da naucit i klient ale mam sve zadani). Dale by me zajimalo zda je mozne kdyz mam na klientech IMAP nejak dat vedet serveru ze to co oznacil za spam neni spam. Napr to s tou dochazkou.

Budu vdecny za kazde nasmerovani.

 

http://www.it-kurz.cz

Odpovědi

23.7.2009 12:23 linuxik | skóre: 32 | Milovice
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Ahoj,

ja treba pouzivam kombinaci postfix, spamassassin, cyrus a uceni od uzivatelu(tech kterym verim) mam udelany pomoci jedne radky v cronu,

/usr/bin/sa-learn --dbpath /var/lib/MailScanner/ -u postfix --spam /var/spool/cyrus/mail/r/user/uzivatel/SPAMLEARN/*

neni to sice dokonaly, ale jako ukazka by to mohlo stacit.

 

23.7.2009 12:43 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Co se uceni SA tyce, pouzivam autolearn a vcelku mi staci. Funguje to tak, ze pokud SA skore mailu presahne urcitou konfigurovatelnou hranici (nahoru i dolu), SA usoudi, ze se jedna o overeny vzorek hamu nebo spamu. Dulezitejsi je nastavit si automatickou aktualizaci SA pravidel a pripadne pridat svoje pravidla, patricne hodnotici Tvuj specificky spam a ham.

Razor a DCC jsou velmi uzitecne, akorat na dcc potrebujes jeste externi program, ktery se bude ptat dcc serveru.

Jeste bych doporucil doplnit tuto sestavu o greylist, treba Postgrey. Pokud chodi opravdu hodne spamu od ruznych botnetu, funguje to opravdu VELMI dobre.. Jen je potreba nejaky cas sledovat logy, jestli se o to nerozbije i regulerni posta...

polo23 avatar 23.7.2009 12:56 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Tak tady bych mel par dotazu. Mam v konfiguraku nastaveno autolearn na hodnotu 1 coz by melo znamenat uceni se. Podle ceho SA vypocitava skore mailu? To prece musi mit nejakou databazi slov podle kterych urci zda jde o spam + dalsi volitelne parametry jako jazyk mailu zeme mailu atd. Dale me zajima kdyz dejme tomu vyhodnoti mail jako spam tak si jako zapamatuje odkud je? Nebo O CEM je? Nebo jakym zpusobem se UCI?

Mohl by jsi mi jeste vysvetlit tohle? "Dulezitejsi je nastavit si automatickou aktualizaci SA pravidel(to se dela kde) a pripadne pridat svoje pravidla(tady opet nevim jak ...jakou maji syntaxi nakopni me pac jsem v tomhle fakt zacatecnik), patricne hodnotici Tvuj specificky spam a ham.

Co se tyka razoru - na to nepotrebuju externi program? Staci kdyz ho mam uvedeny jako plugin - jak poznam ze pracuje (funguje)?

S tim DCC to poresim naistaluju (snad tam neni nejaka slozita konfigurace).

No a na greylist uz nemam silu:) Prozatim by mi stacilo tohle.

http://www.it-kurz.cz
23.7.2009 15:25 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Nema databazi slov, ma sadu pravidel. U me napriklad adresar /usr/share/spamassassin. Nejlepe je asi se na ty definice podivat (NEMENIT!!!), byva to tam docela hezky popsano. Vcetne skore, ktere to ktere pravidlo v pripade 'hitu' prideli. Na aktualizaci i na syntaxi pravidel je na spamassassin.apache.org hromada dokumentace; neni dost dobre mozne ji tady reprodukovat.

Dcc plugin je POUZE rozhrani do externiho programu. Samotny plugin nestaci (respektive nestacil, kdyz jsem se na dcc naposled dival).

polo23 avatar 23.7.2009 15:30 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

/usr/share/spamassassin o tomhle adresari jsme mluvil. Ale nevim zda mam mylnou informaci pry se ty soubory maji nakopcit tak kde je konfiguracni soubor spamassassina. tzn. u me /etc/mail/spamassassin. Nebo jsi nejak v konfiguraku uvedl odkaz na ten /usr/share/spamassassin?

http://www.it-kurz.cz
23.7.2009 15:47 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

To bych rozhodne nedelal. V /etc/mail/spamassassin maji byt soubory, ktere si uzivatel sam meni. V /usr/share/spamassassin jsou soubory, ktere si program prinesl 'ssebou' a budou pri pristi aktualizaci prepsany.

polo23 avatar 23.7.2009 16:04 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

OK presouvat je nebudu pak mi prosim odpovezte jeste na tohle prosiiiiim (po celodennim reseni v tom horku v kanclu chcipam:(().

Jak a kde definuju ze si pro ty vzorove soubory ma assassin sahnout(nebo to on uz s touhle cestou pocita a ja nemusim nic resit?)

Dale ty aktualizace kde se zapinaji(nebo jsou automaticky zapnute?)

A posledni vec kdyz budu pouzivat assassina jen s touhle zasob vzorovych souboru(.cf) + nastavim si v local.cf ze nechci maily z afriky adalsi veci myslite ze na takovy zakladni antispam ktery je jaks taks ucinny to staci?(jde mi o to jak moc ucinne jsou ty soubory v /usr/share/spamassassin).

DEKUJI

http://www.it-kurz.cz
23.7.2009 16:14 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

/usr/share/spamassasin by mel byt default, stejne jako /etc/mail/spamassassin - viz 'man spamassassin'.

aktualizace se ted uz delaji jednoduse - sa-update do cronu. podrobnosti viz http://wiki.apache.org/spamassassin/RuleUpdates. ja to mam treba takhle, protoze pouzivam amavisd-new:

[root@mail ~]# cat /etc/cron.daily/sa-update
sa-update
/etc/init.d/amavisd restart
 

polo23 avatar 23.7.2009 23:33 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Cau dostal jsme se domu az ted a prosel si tvuj prispevek... dal jsem prikaz sa-update a stahl se do /var/lib/spamassassin/3.002005. Podle man spamassassin je to prvni adresar ze ktereho si bere vzorky k uceni se muzes to jen potvrdit? Zitra rano to prezentuju takze bych potreboval 100procentni info. Zminim se jen o vyse zminenem a pak o tom ze v local.cf si muzu nastvit:

1) jazyk mailu

2) zemi ze ktere mi mail dojede

3)bayes hodnotu

Ted jsem zkousel dat v local.conf mezi povolene jazyky a zeme jen cinstinu a do predmetu a tela mailu jsme napsal fuck porn sex. Mail normalne dosel s ohodnocenim 5.7. Hranici mam nasatvenu na 10 takze ho nebere jako spam. Mne to pripada jako by ty soubory .cf vubec nebral v potaz jako by mu to bylo uplne jedno. Uz jsem z toho zoufaly:/

http://www.it-kurz.cz
24.7.2009 10:22 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

To nejsou vzorky k uceni! To jsou regularni vyrazy, ktere se aplikuji na prislusnou cast mailu, specifikace toho, na jakou cast mailu se maji aplikovat (hlavicka, telo...) a bodove ohodnoceni, ktere se mailu prideli, pokud mail vyhovi. Pokud mas nastaveny autolearn, tak po probehnuti vsech kontrol  a secteni skore se vyhodnoti, jestli je mail ham nebo spam. Pokud je 'hodne' ham nebo spam, tak se zpracuje coby vzorek do Bayesove databaze.

Jazyk mailu a odkud mail prisel vyhodnocuji pluginy, ktere musis mit zapnute. Pak teprve je muzes zacit nastavovat.

Co presne SA dela poznas nejlepe tak, ze ho pustis pod spravnym uzivatelem a predhodis mu konkretni vzorek mailu. Napriklad:

su - amavis -c 'spamassassin -D <vzorek_mailu'

polo23 avatar 24.7.2009 12:52 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

V local.cf mam nastaveno autolearn na hodnotu 1 tzn mel by se ucit. K prvni casti vaseho mailu ... ja jsme se na ty reg vyrazy dival a vycetl jsme v nich ze treba napr v tele kdyz je porn tak by se to melo vyhodnotit jako spam... ale at tam pisu co chci ono to na to jako by vubec nereaguje.

Dale bych se vas chtel zeptat na dost trapnou otazku jak poznam ze mam ty pluginy zaple. Mam je uvedeny v souboru v310.pre. Staci to zavedou se a aktivuji samy uz jen tim ze jsou tam zmineny? Na ty jazyky jsem nasel plugin loadplugin Mail::SpamAssassin::Plugin::TextCat ale na zeme (directiva "locales" v local.conf jsme nenasel.)

A posledni vec rikas ze to uceni se musi spoustet pod uzivatelem pod kterymbezi spamassassin??!! Ja to vzdy spoustel pod rootem prikazem

sa-learn --spam --file spam.txt

Hledal jsme vsude na netu ale nemuzu najit napovedu ke spamassassinu s parametrem D jako by neexistoval.

Ten AMAVIS je zrejme uzivatel pod kterym bezi tvuj assassin. Kdyz jsme tvuj prikaz modifikoval a pouzil
tak mi pres obrazovku proficelo ani nevim co nejake prikazy a posldni co se vypsalo
:Return-path:: command not found.

A posl vec nasel jsme si ze vysledky uceni se kladaji do DB_File ale nenasel jsme nikde cestu nevis kde to je?
UPRIMNE RECENO UZ JSEM TOTALNE ZMATENY.

http://www.it-kurz.cz
24.7.2009 15:07 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

'spamassassin --help' vypise par zajimavych parametru... s tim -D to vypise nejen co a jak analyzuje, ale i jake pluginy to nacita a s jakym vysledkem. ty regularni vyrazy pokud vim nikdy neblokuji natvrdo, pouze pridavaji a ubiraji celkove hodnoceni. pak uz zalezi jen na tom, jake body cemu pridelis a jakou hranici pro oznaceni nebo zabiti nastavis.

s tim ucenim je to prave ten problem, ze bayesove databaze se ukladaji do domovskeho adresare uzivatele, pod kterym SA bezi - konkretne do ~uzivatel/.spamassassin. proto se musi spoustet pod tim spravnym uzivatelem - jinak se udaje zapisi do uplne jine databaze nez te, ktera se pak pouzije za behu

polo23 avatar 26.7.2009 14:53 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Omlouvam se za dvoudenni vypadek byl jsme vytizeny...dodelaval jsme jeste nejake ukoly. Nasel jsem v /home/spamfilter/.spamassassin nasledujici soubory: auto-whitelist, bayes_seen,bayes_toks, user_prefs. Jen user_prefs je txt soubor zbytek jsou binarni. Tzn tohle jsou ty databaze do kterych si SA uklada vysledky sveho uceni za podminky ze to uceni je spusteno v mem pripade pod uzivatelem spamfilter? Chci na to jit krok po kroku.

1. Updatovat ty regular vyrazy ktere SA pouziva pri vyhodnocovani - SPLNENO

2. Pomoci prikazu sa-learn ho naucit na spamech ze jsou to spamy a to za podminky ze tento prikaz bude spusten pod uzivatelem pod kterym bezi. To je u me dost problem- bezi totiz pod rootem. Pouzivam postfix a SA jsem do neho integroval pomoci modifikace main.cf a to pridanim nasledujich radku:

smtp inet n - n - - smtpd

     -o content_filter=spamfilter:dummy

spamfilter unix - n n - - pipe

  flags=Rq user=spamfilter argv=/usr/local/bin/spamfilter -f ${sender} -- ${recipient}

pak jsme vytvoril /usr/local/bin/spamfilter a do neho dal

#!/bin/bash

/usr/bin/spamc | /usr/sbin/sendmail.postfix -i "$@"

exit $?

Odkaz na zdroj http://onetforum.com/fourm/viewtopic.php?p=27(je doporucen i na officce strankach SA) Jak si muzes vsimnout tak tam figuruje uzivatel spamfilter.

Problem je ze pri jeho vytvareni bylo doporuceno adduser spamfilter -s /sbin/nologin. Tzn SA pod nim ani nemuze bezet a bezi pod rootem. Jasne provedl jsem zmenu v passwd a priradil mu bash. Ale nevim zda je to spravny postup kdyz tam to doporucovali jinak. Jo a v adresari rootu mam taky /.spamassassin a v nem nasledujici soubory: auto-whitelist, bayes_seen,bayes_toks, user_prefs. Celou dobu jsme delal pod rootem. A podle meho se databaze uceni vytvarela tam. Myslis ze mam takto pokracovat(mne neva ze to jede pod rootem ja hlavne potrebuju aby to jelo.)

Dale jsme uzil zdroj http://deja-vix.sk/sysadminpostfix.html#spamassassin_tweaking_learning

kde je uceni popsano :

Príklad 3: nauč sa zo SPAMu z niekoľkých uložených mailov (každý súbor obsahuje iba jeden mail): sa-learn --spam --file spam1.txt spam2.txt spam3.txt

Príklad 4: nauč sa zo SPAMu z adresára ~/Maildir: sa-learn --spam --dir ~/Maildir Ty pouzivas su - amavis -c 'spamassassin -D

 Ted se zkus vzit do me situace kdy kazdy rika neco jineho a ja nevim kterym smerem jit:(

http://www.it-kurz.cz
26.7.2009 17:11 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Ja osobne nepoustim SA primo, ale pres amavisd-new. Prijde mi to podstatne pohodlnejsi, ale budiz. Take e nesnazim trenovat bayesovskou databazi rucne, prislo mi to jako zbytecna prace navic. Sel jsem radeji cestou pridani vlastnich skorovacich pravidel, databaze se pak nauci sama.

Z hlediska funkcnosti je vcelku jedno, pod kterym uzivatelem SA pobezi, akorat root mi prijde docela nebezpecny. Kazdopadne pokud budes poustet sa-learn pod jinym uzivatelem nez tim, pod kterym bezi spamc, tak bych cekal, ze budes ucit uplne jinou databazi. To si konecne muzes i vyzkouset - smaz nebo prejmenuj adresare .spamassassin u obou uzivatelu a divej se, co se kdy vytvori nebo zaktualizuje. Mozna to jde obejit parametrem '-c' u sa-learn, popis v man-u je trochu mlhavy - nevim, nezkousel jsem.

Kazdopadne 'spamassassin -D' sam o sobe nic neuci, dela jen to, co by delal spamc/spamd, kdybys mu poslal k analyze mail, a podrobne to pritom popisuje. Do bayesove databaze bude zapisovat jen v pripade, ze mam zapnuty autolearn, a mail vyhovi parametrum pro spam nebo ham.

polo23 avatar 27.7.2009 10:40 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Jak to myslis s tema skorovacima pravidlama to jsi nastavil jak a kde? Navic kdyz jsme se dival do procesu tak mi tam zadny spamc nebezi. Bezi tam spamd a ten bezi pod rootem. Vubec mi neni jasne k cemu mam v systemu uzivatele spamfilter ktery byl uveden v navodu spamassassin+postfix(byl zapsan do souboru master.cf). navic mu byl prirazen /sbin/nologin takze se pocitalo ze pod nim nic nepobezi. Jako prijde mi ze jsou v tom vetsi a vetsi zmatky... kdyz pouziju sa-learn spam na nejaky konkretni mail tak on se vubec neuci.... Spam mi normalne prochazi. Toto uz je fakt v pr....

http://www.it-kurz.cz
27.7.2009 10:51 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Stejne jako jsou definovana pravidla v /usr/share/spamassassin, mohou byt definovana vlastni pravidla v /etc/mail/spamassassin. Ukazka:

 

[root@mail spamassassin]# cat local.cf
# These values can be overridden by editing ~/.spamassassin/user_prefs.cf
# (see spamassassin(1) for details)

# These should be safe assumptions and allow for simple visual sifting
# without risking lost emails.

required_hits 5
report_safe 0
rewrite_header Subject [SPAM]

trusted_networks 10.1.18/24 194.228.41.114

dns_available yes

lock_method flock

## KIWI-specific rules

body     KIWI_ACAI1 /acai berry/i
describe KIWI_ACAI1 Contains reference to 'acai berry'
score    KIWI_ACAI1 10.0

body     KIWI_ACAI2 /acai diet/i
describe KIWI_ACAI2 Contains reference to 'acai diet'
score    KIWI_ACAI2 10.0
 

Spamc je klient, ktery komunikuje se spamd. Pokud bezi spamd pod rootem, pak si nejspis uklada databaze do ~root/.spamassassin (doporucuji zkontrolovat konfiguracni soubory - jak uz jsem psal driv, tuhle konfiguraci nepouzivam). To ze ma nekdo login shell /sbin/nologin vubec neznamena, ze pod nim nic nepobezi! Pouze to, ze se na nej neda prihlasit.

polo23 avatar 27.7.2009 13:53 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Tak jsem do toho sveho local.cf napsal body    

KIWI_ACAI1 /acai berry/i
describe KIWI_ACAI1 Contains reference to 'acai berry'
score    KIWI_ACAI1 15 (tady jsme si pridal.)

a pak jsem poslal mail co mel jak v tele tak v predmetu acai berry tak mi to stejne nevyhodnotilo jako spam. Pritom podle toho co vidim na tvem zapise by to melo dat 15 bodu. taky jsem se dival kam se ukaladaji ty data ktere ho ucim pomoci prikazu sa-learn  ... ukladaji se do roota. Taky jsme se dival na toho spamc do procesu a on nikde nebezi - nemuze byt chyba tam?

http://www.it-kurz.cz
28.7.2009 16:31 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Nacita SA soubor s pravidly? Co rika 'spamassassin -D <soubor_s_mailem'? Spamc bezet nemusi, dulezite je, aby bezel spamd.

polo23 avatar 28.7.2009 18:29 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

#po napsani toho proficelo strasne moc a tohle je konec(do souboru to presmerovat neslo)
`spamassassin -D < sex.eml`

[27312] dbg: rules: compiled uri tests
[27312] dbg: rules: running rawbody tests; score so far=5.599
[27312] dbg: rules: compiled rawbody tests
[27312] dbg: rules: running full tests; score so far=5.599
[27312] dbg: rules: compiled full tests
[27312] dbg: rules: running meta tests; score so far=5.599
[27312] dbg: rules: compiled meta tests
[27312] dbg: plugin: Mail::SpamAssassin::Plugin::AutoLearnThreshold=HASH(0xa8adc38) implements 'autolearn_discriminator', priority 0
[27312] dbg: learn: auto-learn: currently using scoreset 1
[27312] dbg: learn: auto-learn: message score: 5.599, computed score for autolearn: 2.8
[27312] dbg: learn: auto-learn? ham=0.1, spam=12, body-points=2.8, head-points=2.8, learned-points=0
[27312] dbg: learn: auto-learn? no: inside auto-learn thresholds, not considered ham or spam
[27312] dbg: check: is spam? score=5.599 required=5
[27312] dbg: check: tests=DATE_IN_FUTURE_24_48,NO_RELAYS,UNWANTED_LANGUAGE_BODY
[27312] dbg: check: subtests=__BAT_BOUNDARY,__CT,__CTYPE_HAS_BOUNDARY,__DOS_RCVD_MON,__ENV_AND_HDR_FROM_MATCH,__HAS_MSGID,__HAS_RCVD,__HAS_SUBJECT,__MIME_VERSION,__MISSING_REF,__MOZILLA_MSGID,__MSGID_OK_HOST,__MSOE_MID_WRONG_CASE,__NONEMPTY_BODY,__SANE_MSGID,__SEX_WRDS,__TOCC_EXISTS,__TVD_BODY,__TVD_MIME_ATT_TP,__TVD_MIME_CT_MM,__WORD_SEX
-bash: Received:: command not found




#po napsani toho proficelo strasne moc a tohle je konec(do souboru to presmerovat neslo)
spamassassin -D < sex.eml

Content-Disposition: inline
Content-Transfer-Encoding: 8bit

Return-Path: <test@mydomain.cz>
Received: from [10.0.0.35] (unknown [10.0.0.35])
        by centos.mydomain.cz (Postfix) with ESMTP id 83E19311C2
                for <pavel@mydomain.cz>; Mon, 27 Jul 2009 05:39:46 +0200 (CEST)
                Message-ID: <4A6EF579.5000001@mydomain.cz>
                Date: Tue, 28 Jul 2009 14:56:25 +0200
                From: test <test@mydomain.cz>
                User-Agent: Thunderbird 2.0.0.22 (Windows/20090605)
                MIME-Version: 1.0
                To: pavel <pavel@mydomain.cz>
                Subject: sex
                Content-Type: text/plain; charset=ISO-8859-2; format=flowed
                Content-Transfer-Encoding: 7bit
               
                sex
               
                ------------=_4A6D2183.13D78A59--
               
               
                ------------=_4A6D235D.C1B24477--

Predmet i telo obsahuji slovo "sex"
Na nauceni jako spam jsme pouzil sa-learn --spam --file sex.eml (nepomaha - kdyz ten mail posilam opakovane hodnota SPAM se pomalu snizuje - on se proste neuci- na zacatku je to spam ale pak pomalu klesa az z neho spam neni "autolearn=no")

Tady je obsah meho local.cf

# SpamAssassin config file for version 3.x
# NOTE: NOT COMPATIBLE WITH VERSIONS 2.5 or 2.6
# See http://www.yrex.com/spam/spamconfig25.php for earlier versions
# Generated by http://www.yrex.com/spam/spamconfig.php (version 1.50)
 
# How many hits before a message is considered spam.
required_score           5.0
 
# Change the subject of suspected spam
rewrite_header subject         *****SPAM*****
 
# Encapsulate spam in an attachment (0=no, 1=yes, 2=safe)
report_safe             1
 
# Enable the Bayes system
use_bayes               1
 
# Enable Bayes auto-learning
bayes_auto_learn              1
 
# Enable or disable network checks
skip_rbl_checks         0
use_razor2              1
use_dcc                 1
use_pyzor               1
 
# Mail using languages used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_languages            cz
 
# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales              en
 


#tady je konfigurace pyzora

#http://sourceforge.net/docman/display_doc.php?docid=11885&group_id=50000
#bohuzel jsme nenasel nikde ~/pyzor/config(ve kterem je konfigurace- nevim mozna jsme ho mel vytvorit) takze pocitam s tim ze tahle sluzba mi asi nefunguje a nevim ani jak ji zprovoznit. On by mel udelat HASH mailu a poslat ho na server kde se porovna s jinyma a v pripade velke shody se vyhodnoti jako spam - nevim ale jak si mam overit ze fakt funguje.

pyzor_options --homedir /etc/mail/spamassassin


 #na zakazani(testovaci pravidlo) konkretnich uzivatelu - tohle vzdy vyhodnoti jako spam(da mu asi 100bodu) ale kdyz se podivam do hlavicky tak je tam spam autolearn=no coz mi neni jasne

blacklist_from xmulle14@mydomain.cz

#tady jsme nastavil aby BAYES zacal pracovat (ucit se uz od jednoho zachceneho spamu)
bayes_min_spam_num 1
#tady jsme dal natvrdo seznam slov za ktere by se melo dostat 20 trestnych bodu - opet nefunguje
body PRAVIDLO /porn fuck sex/
score PRAVIDLO 20
describe PRAVIDLO testovaci pravidlo
header PRAVIDLO_1 Subject=~ /\sex\b/i
score PRAVIDLO_1 20




#tady je obsah meho v310.pre

# This is the right place to customize your installation of SpamAssassin.
#
# See 'perldoc Mail::SpamAssassin::Conf' for details of what can be
# tweaked.
#
# This file was installed during the installation of SpamAssassin 3.1.0,
# and contains plugin loading commands for the new plugins added in that
# release.  It will not be overwritten during future SpamAssassin installs,
# so you can modify it to enable some disabled-by-default plugins below,
# if you so wish.
#
# There are now multiple files read to enable plugins in the
# /etc/mail/spamassassin directory; previously only one, "init.pre" was
# read.  Now both "init.pre", "v310.pre", and any other files ending in
# ".pre" will be read.  As future releases are made, new plugins will be
# added to new files, named according to the release they're added in.
###########################################################################

# DCC - perform DCC message checks.
#
# DCC is disabled here because it is not open source.  See the DCC
# license for more details.
#dopsano
loadplugin Mail::SpamAssassin::Plugin::DCC

# Pyzor - perform Pyzor message checks.
#
loadplugin Mail::SpamAssassin::Plugin::Pyzor

# Razor2 - perform Razor2 message checks.
#
loadplugin Mail::SpamAssassin::Plugin::Razor2

# SpamCop - perform SpamCop message reporting
#
loadplugin Mail::SpamAssassin::Plugin::SpamCop

# AntiVirus - some simple anti-virus checks, this is not a replacement
# for an anti-virus filter like Clam AntiVirus
#dopsano
loadplugin Mail::SpamAssassin::Plugin::AntiVirus

# AWL - do auto-whitelist checks
#
loadplugin Mail::SpamAssassin::Plugin::AWL

# AutoLearnThreshold - threshold-based discriminator for Bayes auto-learning
#
loadplugin Mail::SpamAssassin::Plugin::AutoLearnThreshold
loadplugin Mail::SpamAssassin::Plugin::Bayes
# TextCat - language guesser
#
loadplugin Mail::SpamAssassin::Plugin::TextCat

# AccessDB - lookup from-addresses in access database
#
#loadplugin Mail::SpamAssassin::Plugin::AccessDB

# WhitelistSubject - Whitelist/Blacklist certain subject regular expressions
#
loadplugin Mail::SpamAssassin::Plugin::WhiteListSubject

###########################################################################
# experimental plugins

# DomainKeys - perform DomainKeys verification
#
# External modules required for use, see INSTALL for more information.
# Note that this may be redundant if you also plan to use the DKIM plugin.
#
#loadplugin Mail::SpamAssassin::Plugin::DomainKeys

# MIMEHeader - apply regexp rules against MIME headers in the message
#
loadplugin Mail::SpamAssassin::Plugin::MIMEHeader

# ReplaceTags
#
loadplugin Mail::SpamAssassin::Plugin::ReplaceTags

 

 


#SA update jsem samozrejme provedl...

# prikladam jeste konfiguraci user_prefs(taky mam pocit ze to nepomaha... tak ja uz fakt nevim kam to napsat aby to bralo jako spam a ucilo se to samo)

body PRAVIDLO /porn fuck sex/
score PRAVIDLO 20
describe PRAVIDLO testovaci pravidlo
header PRAVIDLOA Subject=~ /\sex\b/i
score PRAVIDLOA 20

MOU PRIORITOU TEDKA JE ZPROVOZNIT BAYES - TAK ABY SE UMEL UCIT. NEVIM ALE JAK MU NASTAVIT HRANICI NAPR 10bodu TAK ABY JI BRAL JAKO SPAM A V HLAVICCE MAILU
SE MI ZOBRAZILO "AUTOLEARN=SPAM".

Pokud by jsi potreboval jeste nejake info na analyzu meho antispam filteru tak klidne napis poslu co bude treba. Ja jsem presvedcen ze to mam nastaveno spravne... Jinak diky za pomoc. Zitra to prezentuju sefovi a pokud to nepojede tak to budu muset aspon teoreticky okecat jako ze vim jak to funguje.
               

http://www.it-kurz.cz
28.7.2009 22:23 pupu | skóre: 30
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

man Mail::SpamAssassin::Conf ,man Mail::SpamAssassin::Plugin::AutoLearnThreshold

To je to nejjednodussi, co mohu doporucit. Chces toho moc a IMHO nema smysl, abych sem prekladal polovinu manualovych stranek. Mimochodem, regularni vyraz /\sex\b/i Ti rozhodne slovo 'sex' matchovat nebude. A presmerovani zcela urcite funguje, akorat mozna musis presmerovat i chybovy vystup (prikaz >vystup.out 2>vystup.err)

Chapu, ze to neni jednoduche. Ja s tim stravil hezkych par tydnu.

A jeste jednou mimochodem - pokud potrebujes rychle neco, co neumis, je nejjednodussi si to koupit ;-)

polo23 avatar 28.7.2009 23:28 polo23 | skóre: 26 | blog: polo23
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)

Diky za radu ale kupovat to opravdu nebudu ... sef mi proste rekne tak se to nauc a hotovo. Ctu si manualove stranky ale i z tech mi neni plno veci jasnych. Ten spamassassin je nejvetsi sracka co jsem zatim delal.

http://www.it-kurz.cz
2.4.2010 12:51 Miroslav Žídek | skóre: 20 | Prachatice
Rozbalit Rozbalit vše Re: Spamassassin a jeho uceni(za pouziti jakekoliv metody)
nahodou jsem narazil na tenhle prispevek - i kdyz je pozde, pak male upozorneni (treba nekomu poslouzi).

Bayes se pres autolearn uci nove spamy az po dosazeni urciteho poctu naucenych spamu/hamu. Dano je to hodnotou
bayes_min_ham_num
bayes_min_spam_num
defaultne je tam tusim asi 1000. Staci tedy naucit radeji tak 100 spamu/hamu a nastavit hodnotu na 100. Pak uz se uci automaticky. Stav uceni se snadno zjisti prikazem
sa-learn --dump magic

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.