abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 00:11 | Komunita

    V červnu bylo oznámeno, že se z K-9 Mailu stane Thunderbird pro Android. Dle plánu by se tak mělo stát v létě 2023. Na svém blogu vývojáři informují o novinkách z vývoje: přizpůsobitelná gesta v K-9 Mailu ve verzi 6.400 a redesign zobrazení zpráv.

    Ladislav Hagara | Komentářů: 0
    včera 14:22 | Nová verze

    Rakudo (Wikipedie), tj. překladač programovacího jazyka Raku (Wikipedie), byl vydán ve verzi 2022.12. Programovací jazyk Raku byl dříve znám pod názvem Perl 6.

    Ladislav Hagara | Komentářů: 0
    včera 09:00 | Komunita

    V oznámení o vydání Xfce 4.18 Pre2 jsou výsledky soutěže o výchozí pozadí pro Xfce 4.18. Vydání Xfce 4.18 je plánováno na 15. prosince.

    Ladislav Hagara | Komentářů: 0
    včera 08:00 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu pro jednodeskové počítače na platformě ARM, byl vydán ve verzi 22.11. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    včera 07:00 | Nová verze

    Byla vydána OpenIndiana Hipster 2022.10. Unixový operační systém OpenIndiana (Wikipedie) vychází z OpenSolarisu (Wikipedie).

    Ladislav Hagara | Komentářů: 1
    3.12. 10:00 | Komunita

    O víkendu (15:00 až 23:00) probíhá EmacsConf 2022, tj. online konference vývojářů a uživatelů editoru GNU Emacs. Sledovat lze na stránkách konference nebo také na YouTube.

    Ladislav Hagara | Komentářů: 5
    3.12. 09:00 | Bezpečnostní upozornění

    Byly zveřejněny informace o zranitelnosti CVE-2022-4139 v ovladači i915. Problém se týká Intel GPU Gen12. Zranitelnost je opravena v upstream Linuxu 6.0.11, 5.15.81 a 5.10.157.

    Ladislav Hagara | Komentářů: 0
    2.12. 16:22 | IT novinky

    Mozilla tento týden vedle společnosti Pulse převzala také společnost Active Replica. Active Replica pomůže Mozille rozvíjet metaverse, online 3D platformu, Mozilla Hubs.

    Ladislav Hagara | Komentářů: 16
    2.12. 09:00 | Nová verze

    Po dvou letech a deseti měsících od vydání verze 5.8 byla vydána nová verze 5.9 svobodného multiplatformního softwaru pro konverzi a zpracování digitálních fotografií primárně ve formátů RAW RawTherapee (Wikipedie). Představení novinek v oznámení o vydání verze 5.9 (WIP). Nejnovější RawTherapee je k dispozici také jako balíček ve formátu AppImage. Stačí jej stáhnout, nastavit právo ke spuštění a spustit.

    Ladislav Hagara | Komentářů: 1
    1.12. 18:33 | IT novinky

    Mozilla převzala společnost Pulse. Z oznámení: "Společně budeme vytvářet modely strojového učení, které budou fungovat transparentně, budou respektovat soukromí a budou od začátku vytvářeny se zaměřením na spravedlnost a inkluzi". Společnost Pulse vyvíjí software pro automatické nastavování stavů ve Slacku.

    Ladislav Hagara | Komentářů: 25
    Už jste se osobně setkali s podvodem typu falešná technická podpora?
     (56%)
     (4%)
     (40%)
    Celkem 78 hlasů
     Komentářů: 2, poslední 2.12. 14:48
    Rozcestník

    Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?

    5.10. 20:18 | Přečteno: 1564× | linux | Výběrový blog | poslední úprava: 6.10. 08:36

    A jdeme do dalšího kola. Tentokrát se podíváme na Nagios a Nrpe.

    Nagios a nrpe plugin a AlmaLinux 8.5

    Né každý to může znát. Nagios je řešení monitoringu serverů, služeb apod. Nrpe server je pak jakoby agent. Nrpe server je tedy nainstalován v systému, který chceme monitorovat. Firewall je nastaven tak, aby se na agenta dostal jen Nagios server. Nrpe server má povolenou komunikaci jen z Nagios serveru, povoleno šifrovanou komunikaci, povoleno posílání argumentů a dalších věcí. Tj. komunikace není nijak omezena a příkazy jsou posílány dle libovůle Nagios serveru.


    check_systemd

    Protože chceme nějak rozumněji monitorovat služby na koncovém serveru, tak použijeme check_systemd. Je to jen pythoní script. Vyžaduje python3.7 a vyšší (kvůli podpoře/závislosti scriptu na annotations). Instalace tohoto checkovacího scriptu je jednoduchá.

    # instalace pythonu 3.8
    dnf install python38
    
    # stažení scriptu
    cd /usr/lib64/nagios/plugins/
    wget https://raw.githubusercontent.com/Josef-Friedrich/check_systemd/main/check_systemd.py
    
    # nainstalování závislostí (script vyžaduje nagiosplugin)
    pip3.8 install nagiosplugin
    

    Script pak začne fungovat, lokálně vyzkoušíme (zkontrolujeme, že běží dvě služby: postifx + elasticsearch):

    ./check_systemd.py -w 80 -c 120 -I postfix -I elasticsearch --required active
    SYSTEMD OK - all | count_units=292 data_source=cli startup_time=76.845;80;120 units_activating=0 units_active=209 units_failed=0 units_inactive=83
    

    Voláme z Nagios serveru

    Připravíme si nastavení Nrpe serveru :

    # povolíme volání přes sudo, protože volání systemd vyžaduje roota
    sudoedit /etc/sudoers.d/nrpe
    Defaults:nrpe !requiretty
    nrpe    ALL=NOPASSWD: /usr/lib64/nagios/plugins/check_systemd.py
    
    # přidáme si volání do nrpe serveru
    nano /etc/nagios/nrpe.cfg
    ...
    command[check_systemd]=sudo /usr/lib64/nagios/plugins/check_systemd.py -P -w $ARG1$ -c $ARG2$ -W $ARG3$ -C $ARG4$ $ARG5$ --required $ARG6$
    ...
    
    # restart
    systemctl restart nrpe
    

    Následně už můžeme z Nagios serveru zavolat:

    # switchnu se na uživatele, pod kterým běží nagios
    su - centreon-engine
    /usr/lib/centreon/plugins/check_centreon_nrpe3 -H 192.168.1.1 -c check_systemd -a 80 120 518400 604800 "-I postfix -I elasticsearch" active
    NRPE: Unable to read output
    

    Co to? Zapneme debug na nrpe serveru a podíváme se do logů:

    nrpe[1459913]: Host 192.168.1.2 is asking for command 'check_systemd' to be run...
    nrpe[1459913]: Running command: sudo /usr/lib64/nagios/plugins/check_systemd.py -P -w 80 -c 120 -W 518400 -C 604800 -I
    nrpe[1459914]: WARNING: my_system() seteuid(0): Operation not permitted
    sudo[1459915]:     nrpe : TTY=unknown ; PWD=/ ; USER=root ; COMMAND=/usr/lib64/nagios/plugins/check_systemd.py -P -w 80 -c 120 -W 518400 -C 604800 -I
    nrpe[1459913]: Command completed with return code 2 and output:
    nrpe[1459913]: Return Code: 3, Output: NRPE: Unable to read output
    nrpe[1459913]: Connection from 192.168.1.2 closed
    

    Nemáme přístup (Operation not permitted)? Jak to? Ok, zkusíme na cílovém serveru, zda je sudo a vše ok nastaveno správně:

    su - nrpe
    sudo /usr/lib64/nagios/plugins/check_systemd.py -P -w 80 -c 120 -W 518400 -C 604800 -I postfix -I elasticsearch
    SYSTEMD OK - all | count_units=292 data_source=cli startup_time=76.845;80;120 units_activating=0 units_active=209 units_failed=0 units_inactive=83
    

    Kde je problém?

    Tak si to shrneme:

    Kde si myslíte, že je problém a jaké je jeho řešení?
    Nápověda: Není to bug, není to chyba v konfiguraci Nagiosu, ani Nrpe serveru, ani chyba v posílání argumentů nebo syntaxe. Dalo by se říci, že je to obecný problém, který se může objevit i jinde (tj. nemusí se týkat nagiosu ani nrpe). Problém je na AlmaLinux 8.5 + epel repo, jinak vše default instalace.

    Zdar Max

    PS: Znovu připomínám, že problém je dávno vyřešen, ale přišlo mi to celkem zajímavé jako kvízek.

    Předchozí kvízy
    Střípky z IT - (1). : Uhádnete, kde byl problém?
    Střípky z IT - (2) : DHCP : Uhádnete, kde byl problém?
    Střípky z IT - (3) : NFS : Uhádnete, kde byl problém?
    Střípky z IT - (4) : MX-ONE : Uhádnete, kde byl problém?
    Střípky z IT - (5) : CentOS7 : Uhádnete, kde byl problém?
    Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Střípky z IT - (7) : IP na L3 : Uhádnete, kde byl problém?
    Střípky z IT - (8) : Systemd : Uhádnete, kde byl problém?
           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    5.10. 20:35 Miriam | blog: RychlovarnaKonvice
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Jaktože tohle ještě nemá tučňáka? Jako autorka nejčtenějšího blogu na abclinuxu žádám o nápravu
    5.10. 22:19 alkoholik | skóre: 39 | blog: Alkoholik
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    SELinux?
    Max avatar 5.10. 22:35 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    :D. A jak to zjistit, zda je to skutečně SELinux a případně jak řešit?
    Zdar Max
    Měl jsem sen ... :(
    5.10. 22:43 lajdak
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    audit2why a audit2allow?
    Max avatar 5.10. 23:47 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Jop, jop :).
    Zdar Max
    Měl jsem sen ... :(
    5.10. 22:46 alkoholik | skóre: 39 | blog: Alkoholik
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Max avatar 5.10. 23:43 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Čekal jsem, že se sem nejdříve podívají nějací méně znalí uživatelé :-/. Ale ok, takže hned tedy uvolním pokračování:
    Nagios + Nrpe + SELinux
    Zdar Max
    PS: musím ty kvízy dělat těžší :-)
    Měl jsem sen ... :(
    5.10. 23:55 X
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Max avatar 6.10. 00:46 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    O tomto vím, ale nejsem si jistý, zda jde o konfigurační mistake, nebo opravdu o nějaký bug.
    Zdar Max
    Měl jsem sen ... :(
    Bystroushaak avatar 6.10. 15:59 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Problém byl v tom že používáte nagios.
    Max avatar 6.10. 16:16 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Ale já nepoužívám nagios :). Používám Centreon :).
    Ale jo, je to forknutý Nagios. Chápu, že letí věci jako realtime Netdata, nebo Prometheus, ze kterého si cucá data Grafana apod.
    Prometheus už nasazujeme, Grafanu také. Zatím jen pro konkrétní projekty a né jako náhradu za Centreon.
    Osobně pořád i v dnešní době vidím v Nagiosovém pojetí monitoringu jisté výhody. Je to velmi nenáročné, hodně robustní, jde to škálovat do aleluja a pro spousty nasazení je to maximálně dostačující.
    Netoužím ani po automatizaci z onoho řešení (něco jako najdi všechno na síti a začni to monitorovat, nebo tady šup agenta na server a monitoruj vše, co tam na něm najdeš). Monitoruji jen důležité věci a pokud chci automatizaci, tak jednotně přes Ansible. Centreon nějaké řešení má, které je podobné třeba tomu z checkmk, ale jak říkám, nijak po tom netoužím.
    Centreon mám vyladěn snad do maximální úrovně, přidat k monitoringu další server, nebo další síťový prvek, jsou tři kliky myší, které zvládne kdkoli atd. A false positive hlášení mám pomalu na úrovni nuly.
    Zdar Max
    Měl jsem sen ... :(
    Bystroushaak avatar 6.10. 17:11 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    U nás používáme DataDog, na který vesměs můžu říct jen chválu (až na ty ceny teda). Vždycky když se potkám s nagiosem, tak trpím, především protože je to nějaká legacy verze (resp. asi deset nagiosů, kterých se nikdo roky nedotknul ani koštětem) a zatím nikdo neměl sílu vykopat je do pryč. Zrovna včera jsem se bavil se šéfem našeho oddělení, že to prý zkusí projít a převést všechno co půjde na DD, a optimisticky to odhadoval jako práci na pár měsíců.

    Osobně mě na tom nejvíc sralo jak těžké tam je upravit třeba text u alertu. U toho bizáru co tu máme jsem to nakonec vzdal, protože tam byl někdo hrozně kreativní a není k tomu dokumentace co tam vlastně nakonec vymyslel, ale to co bys tam čekal nikde nenajdeš. Ty false positives jsou taky otravné, nehledě na to že je těžké z toho dostat smysluplnnou informaci.
    Netoužím ani po automatizaci z onoho řešení (něco jako najdi všechno na síti a začni to monitorovat, nebo tady šup agenta na server a monitoruj vše, co tam na něm najdeš). Monitoruji jen důležité věci a pokud chci automatizaci, tak jednotně přes Ansible.
    Tohle řešíme jednak tím že se automaticky berou metriky z clusterů (ať už EC2 v AWS, nebo k8s), ale taky tím že se instaluje DD agent do base image (AMI nebo docker).

    To automatické řešení se tu pomalu zavádí (APM tracing), to jsem zatím jednou viděl v rámci nějakého incidentu a připadalo mi to jako vidět v praxi fungovat nějaký sci-fi vynález. Řešil jsem tenkrát že něco vypadlo a protože na to bylo navázáno asi 20 dalších services, tak jsi viděl 20 alertů (z nagiosu byly nejlepší, tam nikdy nevím ani kde je vypnout), viděl že 20 věcí nefunguje, ale zjistit co z těch 20 věcí to způsobilo bylo docela peklo, dokud jsem se nepodíval do APM trace, kde mi to nakreslilo schéma, analýzu toho jak se ten výpadek zpropagoval v čase a nakonec to pomocí nějaké heuristiky ukázalo na jednu věc, že ta byla příčina. Tak jsem se tam lognul, a fakt jo.

    BTW, pokud tě sere ansible, tak doporučuji mrknout na pyinfra (psal jsem o tom před pár lety blog).
    Max avatar 7.10. 08:14 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Ten znám, ale to je čistě jen cloudová služba. My jedeme skoro všechno on-prem.
    Ansible mi vyhovuje. Kromě toho, že mi nijak nevadí, tak je velmi rozšířený a lze hned dohledat všechno možný a člověk nemusí vymýšlet kolo.
    Pokud jde o Nagios, tak jak říkám, já ho mám vyladěn, všechno vyšablonováno, nulové false positive atd.
    Pokud jde o monitorování aplikací, tak pořádně jedině s APM. To používáme také, v rámci ELK (jedeme v TiB, SaaS by byl asi docela mastný), kde je pak vše vidět na jednom místě včetně logů aplikací.
    Zatím tedy vše v on-prem, čistě OSS.
    Tebou popsaný příklad s problémem mi přijde, jako když někdo spravuje nějaké prostředí, které nezná (nemyslím nijak zle, myslím to jako třeba neohlídání si předávky apod.).
    Zdar Max
    Měl jsem sen ... :(
    Bystroushaak avatar 7.10. 19:56 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Tebou popsaný příklad s problémem mi přijde, jako když někdo spravuje nějaké prostředí, které nezná (nemyslím nijak zle, myslím to jako třeba neohlídání si předávky apod.).
    Tak když máš firmu kde je několik tisíc programátorů, tam ani není možné že bys mohl všechno znát. Myslím že kdybych sledoval co všechno dělají týmy tady v Praze, tak bych už nestíhal nic jiného.
    Max avatar 7.10. 20:52 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Pravdou je, že nemám zkušenosti s tak velkým teamem, ale tak nějak jsem očekával, že všichni nedělají všechno, ale každý jen něco, každý je zodpovědný za nějakou část a tu má pod kontrolou / rozumí jí a řetězec funguje (vše vyjasněno v rámci dohled, admin, devík).
    Ale třeba mám jen obrovsky mylné dojmy a postupně k tomu taktéž dojdeme. On k8s a všechno kolem toho k tomu tak nějak směřuje (že nikdo nebude vědět nic a každý problém se bude dlouho trasovat jak u idiotů).
    Zdar Max
    Měl jsem sen ... :(
    Bystroushaak avatar 8.10. 07:44 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    Pravdou je, že nemám zkušenosti s tak velkým teamem, ale tak nějak jsem očekával, že všichni nedělají všechno, ale každý jen něco, každý je zodpovědný za nějakou část a tu má pod kontrolou / rozumí jí a řetězec funguje (vše vyjasněno v rámci dohled, admin, devík).
    To není úplně možné už jen protože všechno se neustále mění. Výhoda microservices.. Jinak jo, ale to se týče spíš vývoje, pak se dělají rotace na L1/L2, kde člověk na L1 řeší tak nějak všechno ten den, L2 je většinou někdo kdo rozumí tomu konkrétnímu projektu, ale to má tu nevýhodu že mezi těma věcma musíš prvně vůbec zjistit co je příčina, abys to na něj potom mohl hodit.
    On k8s a všechno kolem toho k tomu tak nějak směřuje (že nikdo nebude vědět nic a každý problém se bude dlouho trasovat jak u idiotů).
    Tak tak :)
    Max avatar 8.10. 22:16 Max | skóre: 71 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    My jsme totiž ve firmě rozjeli vývoj nového informačního systému. Takže máme rozjetý Gitlab, k8s, redis clustery, rabbitmq clustery, S3 storage, ELK s APM, Prometheus, Grafanu a dalších milion věcí okolo toho. V rámci Gitlabu pak CI/CD pipeline atd. Osobně řeším jen backend (neřeším psaní CI/CD ani konfiguraci k8s, no time, ale občas se do něčeho snažím proniknout). Každopádně pozoruji, že se postupně vyvíjí blackbox. Je to vtipný a smutný zároveň.
    Zdar Max
    Měl jsem sen ... :(
    Ruža Becelin avatar 13.10. 15:58 Ruža Becelin | skóre: 39 | blog: RuzaBecelinBlog
    Rozbalit Rozbalit vše Re: Střípky z IT - (9) : Nagios : Uhádnete, kde byl problém?
    To bych rekl, ze je (bylo) cilem.

    Ind-as-a-Service.

    Nastesti uz se firmy zacinaji z toho vlhkeho snu probouzet... Aspon na Zapade...

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.