Sledování spamu

22.2.2009 17:57 | Přečteno: 1678× | WWW | | poslední úprava: 22.2.2009 18:21

Několik svých webů jsem postavil na Drupalu a pro blokování spamu používám captchu (nejraději mám reCaptchu). Spam se mi na stránkách zatím žádný neobjevil, ale docela zajímavé bylo číslo, kolik útočníků se pokoušelo spamovat (vzhledem k celkem malé návštěvnosti mi to přijde dost). Tak jsem si řekl, že si z těch výsledků vyrobím statistiku a napsal jsem si na to jednoduchý prográmek.

HříšníciSpameři

Program nejprve vytvoří denní souhrny útoků z různých instancí Drupalu (různé databáze) a uloží je do jedné databáze. Pak se pomocí webového rozhraní můžeme podívat, kdy se nás pokoušela spamovat jaká IP adresa (a doména).

Asi nikoho nepřekvapí, že jsem to napsal v Javě a hojně tam využívám XML. Zdrojáky najdete v mém mercurialovém úložišti: HříšníciSpameři, nebo přímo v aplikaci, jelikož je pod licencí Affero GPL: zip, sha-512.

Program může pracovat i v režimu bez dávkového vytváření souhrnů – stačí si přepsat selekty v XML souborech a data se budou brát přímo z tabulek Drupalu.

Na demo se můžete podívat tady: HříšníciSpameři nebo si program rozběhnout u sebe – k tomu potřebujete jen javový aplikační server (já používám GlassFish, ale aplikace je nezávislá).

TODO

Plánované funkce jsou:

• Výstup v XML pro automatické zpracování
• Grafy (jFreeChart/Cewolf)
• Externalizace všech textů do .properties souboru a časem jejich překlad do angličtiny případně dalších jazyků.
• Lepší vzhled (upravit CSS).
• Automatický odvetný DDoS útok na spamující stroje

Máte-li nějaké nápady pro další rozvoj nebo připomínky ke kódu, pište do komentářů (bugzillu zatím nevedu).

       

Anketa

Obrázky

Komentáře

[xkucf03]

Tohle by mohl být celkem zajímavý flame Zpočátku anketa vypadala jasně pro WebovýCMS a teď jsou hlasy vyrovnané. Osobně mi přijde většinou snazší stavět už na hotovém softwaru (jako je Drupal) – ale jen pokud jde o prezentace (když člověk píše složitější aplikaci, tak dost brzo zastaví a software ho bude omezovat, pak je lepší nějaký framework nebo v hodně specifických případech si psát všechno sám).

[snajpa]

No, když to děláš pro totální klikače a ještě-hůř-než-BFU, tak ti nezbývá, než si něco napsat. A jelikož frameworky nemám rád, tak si píšu svoje od začátku (+ používám XTemplate a TinyMCE)

[xkucf03]

Na Drupalu se mi dost líbí modularita – toho u vlastního řešení těžko dosáhneš, protože na to většinou není čas a disciplína. Výhoda je pak v tom, že je důsledně oddělený vzhled od jádra systému – můžeš si pak stahovat vzhledy a snadno je měnit, nebo si nechat udělat vzhled na míru, což by pro grafika nemělo být problém*. A pak spousta už exisatujících modulů, díky kterým získáš všelijakou funkcionalitu úplně zadarmo, bez práce – třeba captcha, hodnocení, komentáře, ankety, fórum … tohle všechno bys musel psát sám.

Ale pak jednou člověk narazí na hranice typového řešení (nebo frameworku) a dál už to prostě nejde, nebo jde, ale s mnohem větším úsilím, než kdybych si to psal od začátku sám. Takže jde o to, kdy tenhle okamžik přijde – jsou aplikace nebo projekty, kdy nepřijde nikdy, člověk se do toho typového řešení vejde, nebo si ho jen trochu doupraví, to je IMHO většina normálních webových stránek, prezentací,kdežto u webových aplikací člověk narazí většinou velmi brzo.

Líbí se mi článek od Dagiho na téma NIH (Diagnóza: syndrom Neimplementováno zde).

*) s Drupalem bude mít zkušenost pravděpodobněji, než se snajpacms

[snajpa]

Zrovna pokud mluvíme o vzhledu, je na tom SnajpaCMS (když už jsi to vybonzoval) dost dobře, díky XTemplate stačí mít jenom návrh indexu, zbytek je dost logicky pochopitelnej z výchozího template + configu template (jenom nahradíš nadpisy, atd.. proměnnými). Vzhled je od zbytku hodně izolovanej. NIH? možná trošku, ale ne, že bych drupal odmítal, jenom ho prostě nepoužívám. Když už, tak joomlu.

[xkucf03]

To ho budu muset vyzkoušet

Joomla mi nějak nesedla, to radši ten Drupal Třeba stránky archkucera.com jsem v něm dělal – a na to, jak málo práce to dalo, mi přijde výsledek slušný – psát ten web na zelené louce by zabralo mnohem víc času.

[VRtulnikk]

Pří pohledu do útrob Drupalu, nebo třeba Wordpressu se mi dělá zle. Když jsem ještě dělal weby v PHP, občas jsem používal TYPOlite (hlavně ale firemní cms), který se mi zdá přece jen o něco ruzuměji napsán.

[xkucf03]

Drupal je na tom ale ještě celkem dobře, ve srovnání s ostatními
Tohle je ale fakt, příliš velká univezrálnost vede taky k tomu, že databázový model je dost nechutý, málo normalizovaný a vůbec, kdyby člověk psal systém na míru, tak si tu databázi navrhne mnohem hezčí. Z tabulek, které v obsahují hodnoty a:1:{i:0;i:0;} se mi taky dělá špatně.

[manasekp]

mam trochu ot dotaz, snad to nebude vadit.
Jak ve wordpressu uplne vypnout komentare? na jednom webu mam v kometarich jenom hromadu spamu - kolem 500denne a uz me to nebavi mazat. Zatim jsem zjistil dve reseni - vypinat rucne u jednotlivych stranek a postu - pracne, a nebo smazat ze sablony odkazy na komentare - divne reseni a nejsu si jisty jestli by fungovalo. Nemate nekdo nejaky napad?

[xkucf03]

1. Co takhle si nainstalovat jeden z těchto pluginů? Odfiltruje to drtivou většinu spamovacích robotů (přes tu moji zatím žádný neprošel), a přitom normální lidé budou moci komentovat.
2. Wordpress nepoužívám, ale jsem přesvědčen, že komentování centrálně vypnout půjde.

[xkucf03]

P.S. často pomůže i jen obyčejná povinnost zobrazit si náhled komentáře před odesláním (jako je to tady na Ábíčku) – už jen tím, že je odesílání ve dvou krocích spousta spamerů odpadne.

BTW: kolik vynášejí weby jako libimseti-cz.com nebo superhry-cz.com?

[manasekp]

diky.
Neco malo vynaseji

[xkucf03]

Příloha:

• HříšnícíSpameři-Graf.png (154126 bytů)

Přidal jsem graf počtu spamovacích útoků za den.