Dotaz: rychlost pravidel pro spamassassin

[nejsem]

Ahoj,

 chci do spamassassinu pridat nejaka pravidla, ale rad bych, nez je nasadim, otestoval i jejich systemove naroky. Bohuzel se mi to jeste nijak nepovedlo. Popisu, co jsem zatim zkousel:

Smazal jsem vsechno v  /usr/share/spamassassin/ a soubory v /etc/spamassassin/ jsem probral tak, ze mi `grep -v ^# /etc/spamassassin/* | cut -d ":" -f 2- | sort | uniq` dava:

add_header                                all Checker-Version spamassassin _SUBVERSION_
bayes_auto_expire                                       0
bayes_auto_learn                                        0
loadplugin Mail::SpamAssassin::Plugin::AWL
loadplugin Mail::SpamAssassin::Plugin::AutoLearnThreshold
loadplugin Mail::SpamAssassin::Plugin::Bayes
loadplugin Mail::SpamAssassin::Plugin::BodyEval
loadplugin Mail::SpamAssassin::Plugin::Check
loadplugin Mail::SpamAssassin::Plugin::DNSEval
loadplugin Mail::SpamAssassin::Plugin::HTMLEval
loadplugin Mail::SpamAssassin::Plugin::HTTPSMismatch
loadplugin Mail::SpamAssassin::Plugin::Hashcash
loadplugin Mail::SpamAssassin::Plugin::HeaderEval
loadplugin Mail::SpamAssassin::Plugin::ImageInfo
loadplugin Mail::SpamAssassin::Plugin::MIMEEval
loadplugin Mail::SpamAssassin::Plugin::MIMEHeader
loadplugin Mail::SpamAssassin::Plugin::Pyzor
loadplugin Mail::SpamAssassin::Plugin::Razor2
loadplugin Mail::SpamAssassin::Plugin::RelayEval
loadplugin Mail::SpamAssassin::Plugin::ReplaceTags
loadplugin Mail::SpamAssassin::Plugin::Rule2XSBody
loadplugin Mail::SpamAssassin::Plugin::SpamCop
loadplugin Mail::SpamAssassin::Plugin::URIDNSBL
loadplugin Mail::SpamAssassin::Plugin::URIDetail
loadplugin Mail::SpamAssassin::Plugin::URIEval
loadplugin Mail::SpamAssassin::Plugin::VBounce
loadplugin Mail::SpamAssassin::Plugin::WLBLEval
loadplugin Mail::SpamAssassin::Plugin::WhiteListSubject
remove_header                                           all Report
report_safe                                             0
use_bayes                                               0

 

tedy vyhodil jsem vsechny pravidla i score i Bayes.

potom jsem udelal skript, ktery ze slozky s mymi pravidly vzal vzdy jedno, to zkopiroval do /usr/share/spamassassin, provedl spamassassin --lint, sa-compile a projel 100 mailu ulozenych na disku.

Bohuzel, tento test byl absolutne nevypovydajici, protoze cas byl kolem minuty, ale pokud jsem udelal stejny proces pro stejne pravidlo po chvili znovu, lisil se cas i o 2 vteriny. Celkovy rozptyl vysledku byl cca 5 vterin, takze mi rozdil 2 vterin pro jedno pravidlo zkresluje cele vysledky tak, ze nejsou pouzitelne.

Rekl jsem si, ze dve vteriny jsou na 100 mailu celkem malo, a ze, kdyz maji pravidla +/- stejnou narocnost, mohla narocnost urciteho mnozstvi mailu.

Sestavil jsem dalsi skriptik, ktery zacina s prazdnym /usr/share/spamassassin a postupne pridava jednotliva pravidla, pricemz po kazdem prikopirovani si pravidla zkompiluje a projede jimy vzorek 10-ti mailu. Tenhle skript mi zamotal hlavu nejvic, protoze mi dava napriklad nasledujici hodnoty


5.512s 1
5.560s 4
5.581s 2
5.593s 6
5.622s 3
5.672s 7
5.733s 8
6.171s 11
...


8.301s 186
8.302s 185
8.355s 184
8.442s 187
8.457s 70
8.989s 163
9.038s 118
9.261s 141
(vlevo je cas, za jaky SA projel 10 mailu, vpravo je pocet pravidel)

Nechapu, z jakeho duvodu muze byt test se 186-ti pravidly rychlejsi, nez test se 70-ti. Pokud nekdo namitne, ze jde jenom o setiny, coz muze byt "naladovosti" stroje, tak napriklad 120 pravidel ma test hotovy za 7.435s - a proc potom je 118 pravidel za 9.038?

napada nekoho, cim by to mohlo byt - co mam jeste povypinat, aby byla doba behu SA pokazde +/- stejna? pripadne mate nejake navrhy, jak jina zmerit a porovnat narocnost ruznych pravidel?

Odpovědi

[nejsem]

jeste verze SA

# spamassassin --version
SpamAssassin version 3.2.3
  running on Perl version 5.8.8

a stroj bezi na Debianu Etch

[Michal Čihař]

Minimálně tam máš testy, které se dotazují po síti (Razor, Pyzor, URLDNSBL, DNSEval,..) a u těch doba provádění trvá hlavně podle toho, jak dlouho trvala odpověď. Takže ti sice vyšla pěkná, ale nic neříkající čísla .

[nejsem]

maily testuji pomoci

cat $mail | spamassassin -L

parametr L by mel zaridit, pouze lokalni testy.

 

(ale diky - zapomnel jsem to zminit v tom sahodlouhem popisu nahore)

[nejsem]

ted jsem zakomentoval i to nacitani pro Razor, Pyzor a SpamCop a stejne mi SA pro stejna pravidla a stejne maily vyhodil tri ruzne casy, pricemz nejvyssi a nejnizsi maji rozdil 1.5 vteriny.