Windows DHCP: Černá díra Event ID: 20292

1.6.2022 22:43 | Přečteno: 2351× | windows | poslední úprava: 3.6.2022 08:05

Bylo nebylo, v síti běžel dhcp server postavený na Windows Server 2012R2 a jednoho krásného dne začal odmítat MAC adresu jednoho telefonu.

Problémek

Klasika, v rámci Active Directory provozovaný dhcp server v clusterovém režimu active-pasive. Vyndal se jeden IP telefon ze skladu a problém. Kolega říkal, že prý nechce načíst IP adresu, je prý asi vadný. Nepodařilo se mu ho zprovoznit, takže mi jej dal k diagnostice.

Než jsem se k němu dostal, vzal si ho jiný kolega, který pokračoval v řešení problému. Po nějaké době to vypadalo, že má zmíněný telefon neblahý vliv na kolegovo zdraví. Ujal jsem se tedy telefonu já. Beztak musel na jazykový kurz.

Prvotní informace od prvního kolegy byly trochu mylné. Druhý kolega už upřesnil, že chybu vyhazoval dhcp server už při přidávání mac adresy. Objevovaly se hlášky jako:

• The specified address is not available.
• A BINDING-ACK message with transaction id: 328066 was received for IP address: 192.168.91.83 with reject reason:  (Reject Reason Unknown ) from partner server

Zjistil jsem, že problém se týká jen konkrétní MAC adresy, DHCP prostě odmítal přidat MAC adresu do rezervací. Zkouknul jsem, zda MAC adresa už není někde v rezervacích. Zkouknul jsem oba nody dhcp serveru. Nikde nic.

Jelikož grafické klikátko je pořádný kus sračkopsa, tak jsem chtěl mít jistotu a přešel jsem do command line. Vyexportoval jsem si nastavení jednoho i druhého node do souboru takto (na každém node zvlášť):

Export-DhcpServer -ComputerName dhcp1-srv -File ${env:TMP}\DHCP-Export.txt -Force -Leases
Export-DhcpServer -ComputerName dhcp2-srv -File ${env:TMP}\DHCP-Export.txt -Force -Leases

K mému zklamání jsem nebyl slepý a MAC adresy jsem v rezervacích nenašel, jen v Allow Listu. Takže ne, chyba v nastavení není.

Co jsem všechno zkusil

Nebylo toho málo. Ostatně, co se dá konkrétního kontrolovat na hlášce "Reject Reason Unknown".

• opticky přes klikátko zkontrolovat, zda není někde mac adresa evidována
• vyexportovat si nastavení a zkontrolovat, zda se mac adresa nevyskytuje někde v konfiguraci
• doopatchování i restart serverů
• resync databází dhcp serverů
• check konzistence databází dhcp serveru
• zrušení clusteru a znovu postavení
• překopání clusteru z active-pasive na load balancer
• kontrola logů ve Windows Eventu i další přímo na filesystému
• přidat rezervaci přes powershell, zda řekne něco víc (naopak prošel bez chyby, ale ve výsledku neproběhl :D)
• různé testy v rámci jiných Scope, kde nakonec problém nebyl (ze začátku to vypadalo, že problém byl, ale to si jen klikátko hrálo na schovávanou)

Po pár hodinách to vypadalo, že tento problém chce ovlivnit i mé zdraví :).

Řešení

Ano, řešení jsem nakonec našel. Už jsem byl v předchozích krocích blízko, jen jsem se rozhodl použít moderní technologii z roku 2006, kterým je PowerShell. A to byla prosím ta osudová chyba. Export nastavení ještě starší technologií :

netsh dhcp server dump > c:\\texfile.txt

Odhalil ve vygenerovaném souboru toto:

Dhcp Server \\dhcp1-srv.corp.devaine.cz Scope 192.168.95.0 Add reservedip 192.168.95.33 00285d702340 "Phone00185DB483C7.corp.devaine.cz" "Poznamka" "BOTH"

To svinský grafický klikátko i powershell ukazovaly u rezervace "192.168.95.33" MAC adresu 00185DB483C7, ale ve skutečnosti byla v hloubi duše nastavená adresa 00285d702340, tj adresa problémového telefonu. Tj. skutečně už byla MAC adresa již použita u jiného záznamu, jen všechno lhalo.
Takto vypadal výpis powershellu:

...
<Reservation>
  <Name>Phone00185DB483C7.corp.devaine.cz</Name>
  <IPAddress>192.168.95.33</IPAddress>
  <ClientId>00-18-5d-b4-83-c7</ClientId>
  <Type>Both</Type>
  <Description>Poznamka</Description>
  <OptionValues>
    <OptionValue>
      <OptionId>81</OptionId>
      <Value>5</Value>
      <VendorClass />
      <UserClass />
    </OptionValue>
  </OptionValues>
</Reservation>
...

To by jednoho donutilo k pláči :-/.

Závěr

Fakt už mě ta sračka začíná jebat. Nepoužitelné ovládání to má sto let bez vývoje (2022 server jsem ještě neviděl), takže reporting je utrpení (leda si na to napsat skripty v powershellu). Logy a jiné hlášky to má tragický, něco to loguje do Windows Eventu, něco do systémového adresáře Windows. Tohle nechápu. Připadá mi to jako jejich Radius server. Nevím, jak nyní (protože jsem se té kejdy zbavil a používám Freeradius), ale dřív to logovalo binárně a člověk, aby se něco dozvěděl, musel koupit 3rd sw, který to rozklíčoval. Řešení jakékoli pitomosti je pak na sto let. A abychom to měli komplet, tak kdo neví, že Windows dns server má nějaký blacklist (ignoruje překlad některých záznamů, i když jsou nastavený), tak nechť se podívá na "dnscmd /info /enableglobalqueryblocklist".

Zdar Max

PS: sorry, ale musel jsem si vylít srdce        

Komentáře

[_]

Ve článku chybí odpověď na nejdůležitější otázku, proč tam takovou sračku používáte? To je jako si stěžovat, že v chráněné dílně pracují dementi. Microsoft je mizernou kvalitou svých softwarových produktů notoricky známý. Žádný profesionál si o to neopře ani kolo.

[Fms]

Srdcervoucí Pat a Mat příběhy z IT prostředí zazmrdované korporace. Poradí si lehce mentálně postižený ajťák s další nesmyslnou výzvou? A bude příště i gay erotická scéna u kávovaru?

[hefo]

Ak ju nezahráš ty v dvojrole s tým ľahko postihnutým ajťákom (vlastne ani nemusíš veľmi hrať), tak nebude.

[Další woknař]

Zajimave. Osobne jsem kdysi dokonvergoval k lehce opacne strategii, kterou pouzivam doposud:

1. nainstalovat git for windows 2. otevrit terminal s bashem (je to ve start menu) 3. spoustet non-powershell prikazy, grepovat, delat si aliasy, atd. 4. pokud nepostaci takovato unix-like prace, tak zkusit powershell

K powershellu jsem takto dosel ve velmi malo pripadech a vesmes slo o novejsi Windows features a ne takoveto zakladni a zasadni veci jako DHCP.

Vivat git for windows!

[podlesh]

Kdysi dávno před gitem se používal cygwin.

Jeden čas jsem pracoval ve firmě kde všichni měli Windows, a pamatuji si jak tamější admin blrblal: "No jo, s váma javistama sou samý problémy, furt něco chcete, cygwin, putty, cvs, svn a bůhví co ještě... zlatý dotneťáci, těm stačí Windows Update a jsou spokojeni!"

[Max]

Správná poznámka, oni nepotřebovali cvs ani svn :D.
Jinak jedeme vývoj v core a nevím nevím, přijde mi to, že toho potřebují celkem dost.
Klienta pro připojení do db, kompatibilní ORM framework pro toho klienta, kompatibilní ORM pro .Net Core, vše ve verzích kompatibilní s VisualStudio (to nejde dodávat ani na plackách, protože by se to nevešlo ani na BD placku). Git a svn potřebují také.
Do toho chatovací nástroj na kooperaci, streamovací na jednání a pak nějaké další doplňkové nástroje bokem.
Zdar Max

[_]

proc bys chtel neco dodavat na plackach? vcera te rozmrazili?

[Max]

Jen jsem chtěl naznačit, jak velké to je, takže nenabízejí ani iso, které by jsi distribuoval mezi více lidí. Jde to ale řešit offline stažením (jednou jsem to myslím dělal) do nějakého adresáře a z něho pak distribuovat dál.
Zdar Max

[wtf]

To je ale přece celkem normální, kdo se chce patlat s obrazem disku, když si může cucnout nejnovější verzi ze sítě?

[plostenka]

Kazdy, kdo nechce nejnovejsi, ale kompatibilni verzi. Kazdy, kdo chce reprodukovatelne buildy. A taky kazdy, kdo nechce pri instalaci zaviset na aktualni (ne)dostupnosti tretich stran, natoz jim posilat trackovani.

[wtf]

To je úplně jedno jaká se tam umístí verze... admini jsou vážně největší ubulánci IT světa, kdyby měl programátor takhle bulet nad každým "problémem", tak do týdne končí. Ale admin rodí krokodýlí slzy protože nemá iso.

[Max]

Jen jsem upozornil na to, že VS už je fakt slušně velký moloch. Nic víc. To, zda lze sosnout iso, nebo si udělat lokální cache, je mi šumák.
Pokud chci mít všude stejnou verzi, udělám si zmíněnou lokální cache, kterou si rozdistribuji všude.
Uniká mi jen, jak jsi z toho vydedukoval brečení, nebo se jen nesmí říkat, že VS má přes 60GB (a ano, kompletní instalace, což asi všichni nejedou, není důvod)?
Zdar Max

[_]

60GB je pro tebe hodne? Asi te fakt vcera rozmrazili.

[Ariczek]

60GB je hodně i pro moderní grafickou hru, natož pro "jen rádoby chytřejší textový editor".

Ne každý má ke svému PC připojení řádově v gbps.

[_]

40-50GB je muj prumerny denni download na TELEFONU

[Tomáš Marný]

Pro tip: youtube-dl podporuje i freevideo - nemusíš to stahovat každej den znova

[Max]

Náš firemní limit je 3GB / měsíc. Nikdy se mi ho nepodařilo vysaturovat. Maily, internet, navigace atd. Je ale pravda, že nesjíždím videa.
Zdar Max

[Jendа]

To mně zase jo. Standardní nastavení Zoomu je něco jako 300 kb/s na účastníka * 12 účastníků konference = 1.6 GB/hod. Takže se stačí připojit na meeting… Samozřejmě pomůže udělat „speaker view“ kdy se přenáší jen video právě mluvícího. Bohužel jsem nezjistil, jak vypnout video úplně, respektive ještě lépe zmenšit na 160x120 - to to udělá když zmenšíš okno. Takže zmenším okno a pak si zvětším obrazovku pomocí zoom funkce mého kompozitoru. Je to samo nic moc.

[Max]

Meety jedu jen na PC.
Zdar Max

[Max]

Obecně 60GB není mnoho, jsem zvyklý, že jedna hra má 50-100GB. Přijde mi to ale jako mnoho u vývojového prostředí, a asi nebudu sám.
Zdar Max

[_]

ze je Studio bazmek, o tom zadna, ale ten bazmek je zatracene slozity takze ta velikost odpovida

[Jendа]

Mě vždycky zajímalo, jestli to znamená, že VisualStudio je 150x lepší než Windows XP a 1800x lepší než Windows 95, nebo užitečnost roste s velikostí nelineárně.

[Jendа]

(a pokud vám vadí že jsem jakoby porovnal operační systém s vývojovým prostředím, tedy hrušky s jabkama, tak si dosaďte tehdejší vývojová studia, ten poměr velikostí je podobný)

[Max]

Jsi odvážný, to se mi líbí :). Teď už jen čekám, kdo si tu opět začne uměle zvedat sebevědomí a pošle sem jako první něco o boomerech :D.
Zdar Max

[_]

Jenda je sice uz skoro padesatnik, ale aby byl boomerem, musel by byt jeste o cca 10 let starsi.

[Max]

Ty jsi asi velkej samouk, že tě evidentně nikdo nenaučil ani počítat? :D (2022 - 1993 = 29)
Zdar Max

[_]

Nesmis brat data narozeni z fiktivniho zivotopisu.

[Max]

Já Jendu znám osobně.
Zdar Max

[_]

To asi většina lidí tady.

[Jendа]

To byl hologram (deepfake, ale tehdy ještě deepfakes nebyly veřejně známé).

[Max]

Tak až příště ten hologram uvidím, tak ho píchnu jehlou do zadku a pak se projeví skutečná realita :D
Zdar Max

[Jendа]

Neslibovali v červnu setkání abclinuxu?

[Max]

Nevím, občas jsem chodil na pivko s Kapicou, ale pak přišel covid a od té doby jsme se neviděli. Už jsem mu chtěl několikrát napsat, ale vždy mi do toho něco skočilo, je to teď trochu hektické :-/. Zrovna teď jsem dokončil komplikovanější upgrade serveru (já si říkal, že bych si to měl otestovat bokem, ale věřil jsem si :D) a už bych měl jít spát, páč budíček v půl šesté a šupky dupky makat. A abych pravdu řekl, dnes se mi nestávalo moc dobře, měl jsem pocit, jako když se hrabu z hrobu, dokonce ve mě nějak i píská, to se mi nestává. No, ještě štěstí, že jsem nesmrtelnej :D.
Zdar Max

[Jendа]

Nevím, občas jsem chodil na pivko s Kapicou

To je taky hologram.

[_]

Další boomer co nechápe, že to nemá co dočinění s věkem? Celou věčnost se to používá, cca dva roky, a stále jsi ten význam nepochopil?

[_]

samozrejme ze ma, evidentne jsi to nepochopil ty

[_]

ok boomer

[plostenka]

Jo, kdyby programatori meli resit problemy zpusobene jejich odflaknutym a zabugovanym softwarem... Staci pozorovat ty krokodyli slzy, kdyz se rekne kod starsi deseti let.

[podlesh]

No jo, od roku 2006 se toho hodně změnilo. Tedy až na ty placky, na BlueRay se to asi vešlo ale rozhodně je ještě nikdo nelisoval (a nejsem si jistý zda byly vypalovačky).

[Max]

To by ale situaci nijak nevyřešilo / nijak nepomohlo.
Zdar Max

[Taky woknar]

Aha, tak to jsem spatne pochopil ten post.

Moje chapani bylo, ze jsi s kolegou videl powershell vystup a dle toho zpusobil nemalou cast (vetsinu?) tveho snazeni (tech ~10 bullet pointu v blogu). Ale az cmd.exe utility (tj. ten "bash" jak pisu vyse) ti ukazal realitu.

Takhle to uz dava smysl? Nebo to bylo jinak?

[Max]

Máš tři možnosti přístupu do databáze dhcp serveru:
1) grafické klikátko
2) powershell implementaci
3) netsh implementaci

První dvě lhaly, až ta třetí ukázala pravdu.
Zdar Max

[go on!]

Přesně tak jsem to pochopil. Takže kdybys prohodil krok (2) a (3), tak byste si ušetřili spoustu práce. Je to tak?

Po prohození (2) a (3) vznikne přesně ten postup, ke kterému jsem za ty roky dokonvergoval.

[Max]

Až na to, že ta třetí se moc nepoužívá, protože je obsolete a některé věci tam v ní zlobí. Proto je třeba mnohem spolehlivější dělat migraci databáze přes powershell. A vesměs všechno v MS světě se točí kolem PS.
Zdar Max

[c172b362a7bdf35]

Až na to, že ta třetí se moc nepoužívá, protože je obsolete a některé věci tam v ní zlobí.

Mohl bys na to napsat blog post ci se nejak rozepsat? Ja prozatim nikdy nemel problem. Take ani nevim, ze to je obsolete. Zjevne mi ujizdi vlak (i kdyz jak pisu vyse, tak v praxi to stale vnimam jako zdaleka nejlepsi moznost - PS je pro me pouze nastroj, ktery si spoustim vesmes jako Python na Linuxu - tedy nedelam v tom bezne narozdil od Bashe a pouzivam to jenom diky "curated advanced libraries/introspection").

Proto je třeba mnohem spolehlivější dělat migraci databáze přes powershell.

Prosim dej co nejvice info o te spolehlivosti do toho blog postu o obsolescense a zlobeni `cmd.exe` nastroju. Fakt mi asi ujizdi vlak a tohle by me snad nakoplo.

Diky moc!

[Max]

Tak třeba batch skripty používá jen blázen (skripty většinou nedokážou pokrýt portovatelnost na jiný stroj se stejnými Windows, jen s jiným jazykem), normální člověk jede skripty v powershellu už delší dobu.
Pokud jde o to, zda je cmd.exe depcreated? Ano, prý ano, viz: PowerShell 2018: State of the Art by Jeffrey Snover.
Když pominu to, že mu před pár lety dali možnost manipulace velikosti okna tažením myši, tak je to bez vývoje hafec let. Proto máš ve všech nabídkách ve Windows jako default shell PowerShell už pěkně dlouho.
Pokud chceš z cmd spravovat VMware, Office 365, Exchange on-premise a další věci, tak jen powershell má moduly na komunikaci, stejně tak má moduly i na hafec dalších věcí.
Zdar Max

[xxxs]

ked ti obsolete vec v specifickych pripadoch ako jedina dava relevantne vysledky, tak sa asi oplati ju pouzit vzdy vedla powershelu na reporting.

[Max]

Zapomněl jsi dodat jedna obsolete věc z mnoha na obsolete OS.
Můj článek je o jedné fci a někdo se to tu snaží zobecňovat na všechno obsolete vs powershell.
Zdar Max

[xxxs]

rozdielna diagnostika cmd vs powershell v jednom pripade, moze znamenat, ze je toho viac. iba o to mi islo.

[VoDo]

Nebylo by levnejsi koupit novej srackofoun nebo na nem zmenit makadresu, nez plejtvat korporatni cas? Takhle to tvoje hrani stalo aspon bura, snad jsi na to aspon vytvoril report a tabulku!

[Max]

Jednak jsem se tomu ve většině času věnoval mimo pracovní dobu. Dále to, co tě posouvá, je řešení problémů, né workaroundy a různé reinstally apod.
Nikdo ti nezaručí, že ten bug se ti znovu neobjeví. Co by jsi dělal? Opět by jsi vyhodil telefon? Druhý incident, druhý vyhozený telefon, to jsme na -10 000,-Kč (pokud bereme v potaz levnější telefony, managerský, to jsme s jedním na -13000,-Kč). Tak kdo pak plejtvá finančními prostředky firmy?
Zdar Max

[Jendа]

Jednak jsem se tomu ve většině času věnoval mimo pracovní dobu.

Myslím že se sebou necháváš stále vydrbávat. Vůbec bych se nedivil, kdyby ten „masivní upgrade mzdy“ včetně přesčasů byl ze 40 na 60.

[_]

Jednak jsem se tomu ve většině času věnoval mimo pracovní dobu

coz je pto korporaci jeste drazsi

nebo potusujete zakonik prace a ty ze sebe delas vola?

[hefo]

Ach, ako mi je dobre, ja v pracovnej dobe čítam diskusie na abclinuxu a všelikde inde, a mimo pracovnej doby už pre firmu nerobím vôbec nič.

Asi je nespravodlivé, že najschopnejší a najlojálnejší ľudia sú najslabšie ohodnotení, ale videl som to už veľakrát.

[Tomáš]

A přišel jsi na to, proč se pokaždé ukazovala jiná MAC adresa? To je nějaké featura?

A mimochodem, "v hloubi duše" je s měkkým i.

[Max]

Díky, opraveno. Hlavně, že mi to říkal i web prohlížeč.
To, proč to ukazovalo jinou MAC, netuším. Nevím ani, jak to nasimulovat. Vzhledem k tomu, že je to už starší OS, kterému support vyprší zanedlouho, tak další objevování vnímám jako zbytečné plýtvání volného času.
Zdar Max

[petr_p]

ip link set address. Nebo si pořiď něco s novým Androidem. Ten má náhodné mutace MAC ve výchozím nastavení jako ochranu před sledováním.

[Max]

Chápeš, že se snažím problémy řešit a né dělat workaroundy, ve kterých se člověk začne časem utápět?
Zdar Max

[Gréta]

udržovat nějakej 10 roků starodávnej windows je taky vlastně jakože takovej workaround :D

[Max]

No, ber to takto. Máš zaplacené licence Windows Server v rámci celého virtualizačního clusteru, takže si nemůžeš jentak halabala udělat upgrade. Musíš počkat na vhodnou dobu, což je doba, kdy buď přestane ta verze dostačovat, nebo začne docházet support. V takovém případě pak jdeš a koupíš nové licence na celý cluster na dalších třeba 8let. Pokud máš cluster ze 6 serverů, každý 32 core 64 threadů, tak musíš nakoupit 12x Windows Server Datacenter (12x 120 000,-Kč bez DPH) a k tomu pak příslušné CAL licence pro uživatele. Pokud máš třeba 1000 uživatelů, tak je to 1000x1000 bez DPH. Celkem investice za cca 2,5 mega. A něco takového mě čeká příští rok.
Zdar Max

[Jendа]

No, ber to takto. Máš zaplacené licence Windows Server v rámci celého virtualizačního clusteru, takže si nemůžeš jentak halabala udělat upgrade.

Předřečníci asi mysleli upgrade na Debian.

[Gréta]

to sou imho samý duvody je poslat dopryč :D co je jako ta uplně supr vyhoda kterou ty ms věci maj voproti třeba tomu vobyč debianu :O :O

Pokud máš cluster ze 6 serverů, každý 32 core 64 threadů, tak musíš nakoupit 12x Windows Server Datacente

jakože každej server potřebuje 2 windows licence :D

[Max]

Windows Servery nejsou už dávno licencovaný na CPU/Scoket, ale na počty jader , a prodávají se po 16x core, proto potřebuješ jakoby dvě licence, tjl 2x16 core. A k tomu postupně směřují všichni, protože by jinak s narůstajícím výkonem serverů ostrouhali, že.

Ty MS věci mají aplikace, které běží jen na MS věcech, např. Exchange, MSSQL (ano, běží na Linuxu, ale nikdo ti nedá support na ty app, co by to využívaly), IIS, Asset Management řešení, Siemens řešení na řízení jeřábů a PLC, dveřní systémy, systémy měření a regulace (řízení budovy), nějaký bazmek aplikace kolem SAPu atd. Když se na to člověk podívá, je toho celkem hodně.
Zdar Max

[Gréta]

Windows Servery nejsou už dávno licencovaný na CPU/Scoket, ale na počty jader , a prodávají se po 16x core, proto potřebuješ jakoby dvě licence, tjl 2x16 core. A k tomu postupně směřují všichni, protože by jinak s narůstajícím výkonem serverů ostrouhali, že.

nj ale co když máš jakoby hrozně moc ale slabejch jader :O :D tě vlastě navíc tlačej eště do ňákýho specifickýho hw by se ti ta licence nejvíc vyplatila :O :O

Ty MS věci mají aplikace, které běží jen na MS věcech

ttttssss skutečnej linuxák by to jako risk :D :D

[User682]

zdravim,

krasny pribeh. Gratuluji. Respekt. Troubleshottingem se clovek nejvice nauci, kdyz se nezapomina na to, ze jsou i nove veci. Ziskate si i za par sebevrazenych misi respekt mezi kolegy. Da se tim i velmi dobre zivit.

Dneska mi pristal na stole stredne velky legacy-soft na servis z roku 2004. Chvili mi z toho bylo spatne. Ale opet nastupuje optimismus....

gf

[Mayhem]

Clovek se nesmi bat vyzev!

Clovek roste s ukoly!

Bolest a smutek jsou jen informace!