Chytré české řešení pro bezpečnostní a provozní monitoring sítí

14. 9. 2010 | Pavel Minařík, Jiří Tobola | Sítě | 18609×

Řešení FlowMon je určené k monitoringu sítí na základě datových toků a jejich následném zpracování a vyhodnocení prostřednictvím specializovaných softwarových aplikací s cílem zvýšit bezpečnost a zjednodušit řešení provozních problémů.

Úvod

Operační systém Linux byl, je a zdá se, že vždy bude tím správným základem pro zajímavé projekty. Ostatně SourceForge.net a další portály jsou toho důkazem. Dnes bychom rádi čtenáře seznámili s unikátním českým projektem, který na open source portálech nenajdete. Jde o řešení FlowMon určené k monitoringu sítí na základě datových toků a jejich následném zpracování a vyhodnocení prostřednictvím specializovaných SW aplikací s cílem zvýšit bezpečnost a zjednodušit řešení provozních problémů. Ale pojďme po pořádku.

Všechno to začalo před 10 lety na CESNETu, kde skupina vedená Jiřím Novotným identifikovala potřebu monitorovat sítě, včetně těch vysokorychlostních. Technologický standard pro monitoring sítí na základě datových toků existoval, jeho implementace však pokulhávaly. Pod názvem FlowMon tak vznikla unikátní hardwarově akcelerovaná sonda schopná monitorovat 10Gbit linku bez ztráty jediného paketu. O několik let později se na Fakultě informatiky Masarykovy univerzity začal formovat tým kolem Zdenka Staníčka s cílem řešit efektivně problémy inteligentního zpracování velkého množství informací. Obě cesty se v roce 2007 spojily, neboť na dosažené akademické výsledky úspěšně navázaly firmy INVEA‐TECH, která transferem technologií převzala technologii FlowMon, a AdvaICT, která se zaměřila na inteligentní zpracování a vyhodnocení statistik o provozu na síti s cílem odhalit útoky, anomálie, provozní problémy a nežádoucí stavy sítě. Úzká a intenzivní spolupráce obou firem je tak nabíledni.

Problémy IT infrastruktury

Vliv IT infrastruktury na fungování organizací je stále větší a ta se postupně stává jejich nervovou soustavou. To s sebou nese stále se zvyšující nároky na rozsah a kvalitu správy IT infrastruktury. Na potíže se přichází pozdě a jejich odstraňování má negativní vliv na chod organizace. Infikovaný počítač, který začne rozesílat SPAM, způsobí, že se firma ocitne na černé listině (blacklist), a než se situace vysvětlí, je její e‐mailová komunikace ostatními servery blokována. Neustále se řeší, proč jsou občas síť či aplikace pomalé, vina se přehazuje mezi dodavateli a IT oddělením a lidé jsou zdržování při práci. Investice do rozvoje IT infrastruktury nejsou podloženy reálným stavem a potřebami. Obtížný a nedostatečný dohled nad sítí láká zaměstnance k jejímu zneužívání k osobním účelům a v neposlední řadě je také lákadlem pro různé amatérské či profesionální crackery.

Se všemi těmito problémy se jako správce sítě či IT manager dříve nebo později setkáte a pro jejich odhalení, doložení a vyřešení se bez vhodných nástrojů neobejdete. Neefektivně udržovaná a spravovaná síť stojí středně velkou společnost (cca 250 počítačů) dle analýz sdružení Network Security Monitoring Cluster milión až dva ročně, nehledě na bezpečnost dané firemní IT infrastruktury.

Dlouhá léta byl synonymem pro monitorování a dohled nad počítačovou sítí protokol SNMP, který však poskytuje jen souhrnné informace o provozu a neumožňuje vidět, co se v síti doopravdy děje (jaké je rozložení provozu, kdo síť nejvíce zatěžuje, apod.). Současná doba, zejména s ohledem na výše uvedené problémy, si žádá modernější a efektivnější prostředky. Ty musí v reálném čase poskytovat detailní statistiky o síťovém provozu, které jsou klíčové pro efektivní správu a účinné zabezpečení počítačových sítí. Právě takové statistiky nabízí technologie monitoringu datových toků v síti (technologie NetFlow), které jsou základem bezpečnostního monitoringu sítě a behaviorální analýzy jednotlivých zařízení a uživatelů sítě.

Monitoring sítí na základě datových toků

Pro první přiblížení technologie datových toků lze říci, že datové toky v síti jsou to, co výpis telefonních hovorů v telekomunikacích. Dozvíte se, kdo se s kým bavil, kdy a jak dlouho to trvalo. Obsah rozhovoru zůstává utajen. Technologii monitoringu datových toků v síti reprezentuje průmyslový standard NetFlow. Tok je v terminologii NetFlow definován jako sekvence paketů se shodnou pěticí údajů: cílová/zdrojová IP adresa, cílový/zdrojový port a číslo protokolu. Pro každý tok je zaznamenávána doba jeho vzniku, délka jeho trvání, počet přenesených paketů a bajtů a další údaje (příznaky spojení a další pole hlaviček přenosových protokolů). NetFlow statistiky byly až do nedávna doménou pokročilých a nákladných směrovačů (routerů) a přepínačů (switchů). Použití základních prvků IT infrastruktury pro generování NetFlow statistik tak naráželo na řadu bariér a výkonnostních omezení.

Obrázek 1: Schéma technologie NetFlow

Tyto nevýhody odstranila právě česká společnost INVEA‐TECH, která na základě výsledků výzkumu a vývoje realizovaného na CESNETu uvedla na trh specializovaná zařízení, tzv. sondy, schopné generovat NetFlow statistiky z libovolného bodu v síti. Tyto statistiky je možné exportovat na kolektor, kde jsou uloženy a připraveny pro vizualizaci a analýzy nebo rovnou dále automaticky vyhodnocovány.

NetFlow sonda přitom není žádné atypické zařízení. Jde o 1U server vybavený speciálně upraveným a optimalizovaným operačním systémem Linux a softwarem pro generování NetFlow statistik. V případě hardwarově akcelerovaného modelu je sonda vybavena i speciálním hardwarem založeným na hradlových polích, který garantuje zpracování všech paketů i na rychlosti 10 Gbps. Sondy se typicky umisťují na vstupní a výstupní body sítě, do centrálních bodů sítě a na kritická místa či linky s největšími přenosy dat. Vlastní připojení sondy do sítě se realizuje pomocí mirror portu směrovače či přepínače nebo přímým vložením do linky s využitím optického nebo metalického rozbočovače (TAPu).

Obrázek 2: Speciální hardware pro generování NetFlow statistik na vysokorychlostních sítích

NetFlow data generovaná sondou jsou zasílána na kolektor. Jako kolektor je možné využít sondu samotnou (obsahuje integrovaný kolektor), standalone (samostatné) řešení na dedikovaném serveru nebo libovolnou aplikaci třetích stran. Součástí integrovaného nebo standalone kolektoru je aplikace FlowMon Monitorovací centrum. Díky kolektoru, resp. jeho uživatelskému rozhraní, je možné zobrazovat statistiky o provozu na síti v podobě grafů a tabulek s různým časovým rozlišením, generovat takzvané top N statistiky, filtrovat data dle požadovaných kritérií, tvořit uživatelské profily nebo provádět manuální bezpečnostní analýzy až na úroveň jednotlivých toků.

Obrázek 3: Vizualizace NetFlow statistik

Manuální analýza a zpracování milionů záznamů o provozu na síti denně však jistě není ideálním řešením současných problémů IT infrastruktury. Další krok je automatické a autonomní zpracování a vyhodnocení NetFlow statistik a generování upozornění (událostí) na nežádoucí situace, útoky, konfigurační problémy a obecně anomálie. Právě to je úkolem systému behaviorální analýzy FlowMon ADS, který je produktem společnosti AdvaICT a součástí řešení FlowMon.

Obrázek 4: Příklad výpisu NetFlow statistik na úrovni jednotlivých datových toků v síti

Zpracování a vyhodnocení statistik o provozu

Zpracování a vyhodnocení statistik o provozu na síti je nekonečný, stále se opakující proces vyhledávání nežádoucích vzorů chování a stavů sítě, aktualizace profilů chování a srovnání běžného stavu se stavem aktuálním s cílem odhalit anomálie. A jaké výsledky můžeme očekávat? Jde o širokou škálu detekcí od běžných nežádoucích aktivit typu skenování sítě, slovníkové útoky, útoky typu denial of service, útoky na aplikační protokoly přes aktivity peer‐to‐peer sítí až po spyware, viry nebo botnet sítě.

Obrázek 5: Příklad vygenerované události odchozího SPAMu, v tomto případě jde o použití neautorizovaného SMTP serveru

Tím však možnosti nekončí, behaviorální analýza může pomoci při odhalování nežádoucích aplikací, špatně nakonfigurovaných zařízení, využívání anonymizačních služeb v síti internet, uživatelů, kteří nejvíce vytěžují síť, nebo dokonce identifikovat zdroj zpoždění na síti. Zajímavým výsledkem behaviorální analýzy jsou profily chování, které jsou de facto živou konfigurační databází všech aktivních zařízení na síti. Díky profilům chování jsme schopni rozlišit servery a klienty v síti a získat přehled o využívaných a poskytovaných službách.

Obrázek 6: Příklad profilu chování (počty komunikačních partnerů, role zařízení klient/server, struktura provozu dle využívaných a poskytovaných služeb)

Přirozeně se dostáváme k dalšímu tématu, kterým je analýza a vyhodnocení generovaných událostí. Pro vyřešení některých systémem identifikovaných problémů stačí základní informace, které jsou ke každému varování připojeny. V obtížnějších případech je potřeba podívat se detailněji na provoz, který byl příčinou vygenerování dané události. Proto potřebujeme vhodné nástroje pro analýzu varování, tedy analýzu provozu, který událost způsobil a exportu důkazů pro budoucí použití. Vhodnou technikou je interaktivní vizualizace událostí, která zobrazuje provoz na počítačové síti ve formě orientovaného grafu.

Uzly představují jednotlivá síťová zařízení identifikovaná IP adresou a orientované hrany reprezentují datové přenosy mezi těmito zařízeními. Interaktivní vizualizace nabízí variabilní úrovně podrobnosti zobrazení s možností zaměřit se od agregované komunikace mezi zařízeními na síti až na úroveň jednotlivých spojení. Dynamické změny barev a velikostí uzlů i hran dle počtu toků a objemů dat přirozeně vedou zájem analytika k zajímavým zařízením a význačné komunikaci. Pro každou IP adresu si lze jedním kliknutím vyžádat zobrazení také těch IP adres, se kterými zkoumaná IP adresa komunikovala, díky tomu je možné snadno prověřit další aktivity útočníka v naší síti než pouze komunikaci, která byla vyhodnocena jako útok.

Obrázek 7: Interaktivní vizualizace události se zobrazením detailů o datových přenosech

Originální české řešení pro zpracování statistik o provozu na síti a behaviorální analýzu s názvem FlowMon ADS společnosti AdvaICT je k dispozici od jara 2010. Řešení FlowMon ADS využívá výsledky výzkumu a vývoje Masarykovy univerzity v oblasti bezpečnosti počítačových sítí a prakticky aplikuje principy inteligentního zpracování velkého množství informací a přístupu Complex Event Processing (CEP). Díky těsné spolupráci AdvaICT a INVEA‐TECH je FlowMon ADS dostupný jako softwarový plug‐in pro sondy a kolektory FlowMon a je tak přímo k dispozici všem uživatelům řešení FlowMon. Pro prostředí rozsáhlých organizací je k dispozici varianta samostatného HW zařízení.

FlowMon ADS je opět řešení postavené na platformě Linux. Jeho základem je vysoce výkonná databáze Caché americké společnosti InterSystems, která je známa spíše z prostředí aplikací pro zdravotnictví, kde je základem velkých systémů integrujících medicínská data celých regionů. Caché na rozdíl od ostatních databází umožňuje přímou manipulaci s fyzickými datovými strukturami, což je klíčem k dosažení extrémního výkonu, který je při zpracování provozu na síti nezbytný.

Na závěr se nabízí otázka úspěšnosti vyhodnocení a srovnání se systémy IDS/IPS. Každý výrobce bude tvrdit, že právě jeho systém má vysokou úspěšnost. Nejdůležitějším kritériem je celková koncepce a filozofie nástroje. Systémy spoléhající se pouze na statistické metody odhalování anomálií nejsou schopny zachytit cílené útoky, které se na síti masivně neprojevují. Na druhou stranu jsou tyto systémy použitelné i na vysokorychlostních páteřních linkách. Jiný přístup představuje behaviorální analýza, která podrobně analyzuje jednotlivá spojení ve vzájemných souvislostech a umožňuje tak odhalit i sofistikované a cílené útoky nebo obtížně odhalitelné provozní problémy. Obecně lze říci, že čím více hodnotících kritérií provozu daný nástroj používá, tím je při detekcích úspěšnější. Klasické systémy IDS/IPS mají jinou filozofii, hledají signatury, tj. známé vzory nežádoucích aktivit (útoky, viry), které se objevují v přenášených datech. Jejich zaměření a možnosti jsou tedy odlišné, mimo jiné si neporadí s šifrovaným provozem nebo novými a neznámými hrozbami.

Vyhodnocení provozu jako služba

V souvislosti s rozvojem outsourcingu a modelu software jako služby (software as a service) lze využít i vzdálené zpracování a vyhodnocení statistik o provozu na síti. Předpokladem pro využití takové služby je schopnost generovat statistiky o provozu na síti, tedy NetFlow data. Druhá nutná podmínka je zajištění zabezpečeného přenosu statistik mezí koncovou sítí a službou zpracování a vyhodnocení statistik. Díky tomu je možné získat pokročilé řešení odhalování nežádoucích vzorů chování a stavů sítě, behaviorální analýzy a detekce anomálií on‐line bez nutnosti instalovat či zprovozňovat specifický software ve své síti.

AdvaICT tuto službu nabízí pod názvem NetHound. Pro zajištění bezpečnosti přenosu statistik o provozu na síti spoléhá na principy asymetrické kryptografie a šifrovaná spojení s centrem poskytování služby. Díky službě NetHound si tak řešení automatického zpracování statistik o provozu na síti, detekce nežádoucích stavů a chování sítě a behaviorální analýzy může vyzkoušet prakticky každý. Více informací a registrace služby je dostupná na www.nethound.eu.

Závěr

Co dodat závěrem? Nasazení pokročilého řešení pro bezpečnostní monitoring sítí a behaviorální analýzu založeného na monitorování datových toků umožňuje organizacím předcházet ztrátám v důsledku nedostupnosti sítě, snižovat náklady na provoz a zabezpečení sítě, ochránit investice do síťové infrastruktury, zvýšit spolehlivost a dostupnost sítě a maximalizovat spokojenost svých uživatelů a zákazníků. Chytré a dostupné české řešení bezpečnostního monitoringu sítí a behaviorální analýzy společností INVEA‐TECH a AdvaICT na platformě Linux vychází z identifikovaných potřeb a několikaletého výzkumu předních vědecko‐výzkumných pracovišť, což je zárukou vysoké spolehlivosti a použitelnosti řešení. Tento fakt dokládá řada spokojených zákazníků. Více informací získáte na www.invea.cz a www.advaict.com.

       

Komentáře

[Jiri Slaby]

Pekny, z meho uhlu pohledu se nemuzu prestat smat ;).

[Láďa Lhotka]

Jojo, marketingový účel posvětí i lecjakou úpravu historie a reality. Naštěstí článek začíná slovy "Řešení FlowMon", takže snad nikoho nenechá na pochybách, že jde o reklamu.

[minix]

no ja nevim, jestli to byl povedny marketingovy tah. Zasveceni patrne vidi jakesi manipulovani historie, ale ja vas ubezpecuji, ze rada ctenaru zde jiste zcela nepochopila o co jde.

Mozna by byl lepsi marketing nejak rozumne vysvetlit, co je predmetem te reklamy, kdo a kde se to da pouzit, co to asi stoji.

[Jiri Novotny]

V clanku je spousta nepresnosti, bohuzel jeden se tyka i mne. Za technologii FlowMona na CESNETu stali jini kolegove, nikoliv ja jak je uvedeno. Jejich jmena jsou lidem v oboru znama (i kdyz autorovi asi ne), ale nevim jestli by si prali, abych je pod timto clankem uvedl. Oprava dalsich nepresnosti je na cely clanek.

Jiri Novotny

[Vašek Lorenc]

Ten úhel pohledu bude možná sdílený vícero lidmi.. a institucemi.. ;)

[hufhendr]

Zní to zajímavě, ovšem v některých sítích (banky, zdravotnictví) mohou cestovat i docela citlivá data a už jen samotný výstup z monitoringu by mohl být klasifikován v kategorii důvěrný.
Pro outsourcing monitoringu by to chtělo nějaké garance zabezpečení nejen samotných přenosů, ale i vlastního monitorovacího centra.

[Tom K]

Ja to z clanku pochopil tak, ze cilova stanice pro monitorovana data bude bud v ramci sondy (asi kdyz budu chtit v siti jen jednu). Nebo si data z vice sond budu posilat na neco co bude zase porad u mne. Nepredpokladam, ze by nekdo byl tak naivni a nechal kompletne outsourcovat neco, co vidi do celeho provozu site.

[pavlix]

Ja to z clanku pochopil tak, ze cilova stanice pro monitorovana data bude bud v ramci sondy (asi kdyz budu chtit v siti jen jednu). Nebo si data z vice sond budu posilat na neco co bude zase porad u mne.

Což je přesný opak "software as a service".

Nepredpokladam, ze by nekdo byl tak naivni a nechal kompletne outsourcovat neco, co vidi do celeho provozu site.

Myslet si, že by nikdo (i když se omezíme na důležité pozice) není takto naivní, je velmi naivní samo o sobě.

[Ash]

Nevím kdo si tu vymyslel ten "outsoucing", ale každopádně je to blbost, "outsourcovaná" je jen instalace, uvedení do chodu, předvedení, ne monitoring. Ddata se tedy nikam ven z firemní sítě do "dohledového centra" neposílají.

[pavlix]

V článku je uvedena možnost nechat zpracovávat data pomocí SAAS.

[Josef Navrátil]

Sveho casu (asi rok nazpet) meli peknou prezentaci na konfere na Slezske Univerzite. Jinak je to ntop v blede modrem.

[Josef Dvorak]

On ntop uz umi aspon rozumne procento ze zatizeneho 10Gbitu ? Kdyz jsem na nem onehda meril, tak i gigabit mu daval docela zabrat.

[Josef Navrátil]

http://www.ntop.org/blog/?p=192

[Josef Dvorak]

Skoda, ze je tam jen napsane, ze inteli sitovka umi filtrovat primo v HW a ne, ze ntop zrychlili. I v dalsich vecech okolo kde popisuji multicore distribuci pri mereni se omezujou jen na gigabit.

[w3432]

no tak tak rychle jako to jejich FPGA to asi nebude ale

PF_RING+TNAPI (multi RX queue):

Wire Rate (1 Gbit - 1 x Xeon)
~ 3 Million pps/5 Gbit (10 Gbit - 1 x Xeon)
~ 5 Million pps/9 Gbit (10 Gbit - 2 x Xeon)

je vic nez pekne, ne ?

[Tom K]

Pekne to je, ale je to "jen" capture speed. Kolega asi chce, aby to na tehle rychlostech zpracoval i ntop. Pocitadlo, ktere jen zaznamenava pakety asi bude mene narocne na CPU nez dalsi zpracovani kazdeho paketu.

[w3432]

ale ty fpga karty taky nic nezpracovavaji, ty taky jen zachycuji a agreguji coz je obdoba toho co se deje s paketem v libpcap.... zpracovava se to pak dal bud jinym procesem nebo se agregovana data posilaji ke zpracovani jinam...

invea sice rika ze umi 10Gbps, ale chybi nam u toho jaksi velikost frejmu ;)

[Jiri Slaby]

Nevim, jak invea, ale liberouter (stejna karta) dneska uz protahne s klidem 2x10g na 64B framech jako netflow zaznamy.

[w3432]

skvele, jaka je orientacni cena (mother + addon) ?

[Jiri Slaby]

Cena je vysoka. Na monitorovani obycejne podnikove site vklidu staci obycejna sitovka za par stovek a CPU se bude v podstate porad flakat, jestli chcete slyset tohle.

[w3432]

ne tohle slyset nechci, opravdu se ptam na to na co se ptam ;) jaka je radove cena tech COMBO karet

[Marek 'marx' Grác]

Ak sa nemýlim, tak sa začína na šesťciferných sumách.

[melkors]

Nemela by byt reklama (vcetne PR clanku) zretelne oznacena?

[D.A.]

Douglas Adams napsal:

The Hitchhiker's Guide to the Galaxy defines the marketing division of the Sirius Cybernetics Corporation as "a bunch of mindless jerks who'll be the first against the wall when the revolution comes," with a footnote to the effect that the editors would welcome applications from anyone interested in taking over the post of robotics correspondent.