Let's Encrypt revokuje 3 miliony certifikátů

Otevřená certifikační autorita Let's Encrypt v diskusním fóru oznámila, že zítra 4. března kvůli chybě revokuje přes 3 miliony certifikátů. Zda se problém týká konkrétního certifikátů lze ověřit podle názvu počítače nebo sérového čísla.

3.3.2020 18:00 | Ladislav Hagara | Nová verze

Komentáře

Diskuse byla administrátory uzamčena

[bigBRAMBOR]

unknown: dial tcp: i/o timeout

Tak ted nevim

[Slavko]

skúste doménové meno, nie meno počítača

The certificate currently available on example.org is OK. It is not one of the certificates affected by the Let's Encrypt CAA rechecking problem. Its serial number is ...

[bigBRAMBOR]

tak uz mi to taky jde, kdyz jsem to zkousel, koncilo to chybou, ted uz to jde normlane

[MMMMMMMMM]

služba je asi přetížená, zkusil bych to znovu ;)

[hbfd]

Chyba značí špatné standardy týkající se vývoje a kontroly kvality.
Takže tam všemožných divnochyb nejspíš budou mít víc.

[hbfd]

Krom toho mi to řešení chyby přijde naprosto nesmyslně paranoidní. Zneužitelnost nula. Jenom všechny uživatele učí, že varování o rozbitých certifikátech je něco naprosto normálního a všudypřítomného.

Halt se ukazuje skutečná podstata Let's encrypt - je to projekt anarchistů budovaný stojící na individuálním zápalu pro věc. Jenže anarchisti nejsou dobří vývojáři spolehlivého softwaru. Tam je naopak potřeba tvrdá korporátní přísnost, pořádek, a pečlivé kalkulování....

Proto Let's encrypt nikdy nebude mít smysl pro jakoukoliv enterprise aplikaci.

[hbfd]

Trololol.

"I received the email about 75 minutes before it was March 4th in New Zealand. Giving a 75 minute heads up via email is absolute inacceptable."

Otázka: "I appreciate the urgency of the issue BUT at this time the client is refusing to renew the certificate because of rate limits! Can those be lifted (or slightly increased) for the next two days? Otherwise, what should I do exactly?"
Něčí odpověď: "If you can’t renew because of the duplicate certificate rate limit (“too many certificates already issued for exact set of domains”), you can temporary bypass it by creating a certificate with the domain(s) you want and additional domain."

"I never received notice via email for this problem. I validated we had 45 affected certificates in the dump via account id. We have received prior emails affecting this account in the past, you may have a serious problem on your hands there."
"When I first heard about this problem, at about 1600 UTC, I had not received an email. But i thought to check, so I ran a script and discovered one current certificate was affected. Several hours later, when I was about to double check my script after reading kjo’s comment, I noticed that I had received an email at about 2000 UTC."

[Max]

Co je to enterprise aplikace? To je ta věc, co vypadá jak další OS, nemá to otevřenou dokumentaci a stojí to šíleně peněz?
Provozujeme v rámci firmy mj. aplikace i pro externí firmy, všechno se snažíme clusterovat minimálně do role active-pasive a všude Let'sEncrypt a no problemo.
Pokud jde o chybu popsanou ve zprávičce, tak ta se netýká ani jednoho z našich certifikátů.
Zdar Max
PS: ten objem zákazníků a spolehlivost služeb u LetsEncrypt spíše napovídá v neprospěch tvého tvrzení...

[zx]

Cokoliv, kde pětihodinová odstávka má nějaký skutečný dopad na Váš byznys. Třeba větší eshop, freemail, objednávkovej portál na pizzu, nebo internetové bankovnictví.

Nepřekvapuje mě, že jsou zákazníci spokojeni. Nemusí nic platit, a trvá poměrně dlouho zjistit, že kvalitu svárů nikdo nekontroluje.
K tomu, že se vás to nedotklo gratuluji, ale uvědomte si, že jste mohli být v pozici toho Novozélanďana. Já bych nechtěl mít buzení telefonem kvůli nefunkčnímu produkčnímu webu jenom proto, že si na rozdíl od toho Novozélanďana, běžně nečtu firemní email ve tři čtvrtě na jedenáct večer.

[Mti.]

Nepsali tam nahodou taky, ze revokace budou "v nejaky cas" ale podle UTC...? Takze podle mne mel uplne stejne casu jak ostatni. (Nerikam, ze je to prijemne, ale.... )

[rpajik]

1. Toho času bylo extrémně málo

2. Informace byla jen na webu, problém jsme přes noc řešili na několika tisícovkách domén a ani k jedné nepřišel email

3. Je to chyba té CA - ta celou situaci bagatelizuje tweety typu "simply solution", řeší to admini co spravují servery, zákazník co ušetřil za certifikát ten čas nikdy nezaplatí.

Říkám to už roky - LE není vhodný certifikát pro komerční použití ( tedy weby které když nefungují, tak je měřitelné o kolik peněz se přišlo )

[Mti.]

Nic z toho nerozporuju, jen sem rypnul do ohaneni se tim nestastnym novozelandanem.

[srds]

Ano, dodatečně mu řekli, že to bude v UTC, a že to není čas kdy to udělaj, ale čas kdy s tím nejdřív budou ochotní začít.

[...]

řeší to admini co spravují servery, zákazník co ušetřil za certifikát ten čas nikdy nezaplatí.

Zákazníkovi je toto řešení nabízeno stylem, pojďte k nám, u nás máte certifikáty k vašemu webu zdarma. Takže provozovatel o tom, že se něčím takovým může zabývat, nepochybně věděl a zakalkuloval si to do ceny.

[rpajik]

Nějaké webhostingy nepochybně ano. Když spravujete klientům jejich servery, tak to bylo spíš vynuceno okolnostmi ale určitě to nebyla "konkurenční výhoda".

[j]

A to si jako vazne myslis, ze kdyz budes mit cert za penize, ze se ti nemuze stat presne totez? Kdyz se dneska soudruzi v guuglu usnesou, ze srovna tvoje CA jim nevyhovuje, tak se zejtra na tvuj web uz nikdo nepripoji.

Pricemz naopak, s naprosto nemyslnym certifikatem za penize muzes narazit na to, ze jako spravce tech klidne i desitek tisic webu s tim nic udelat nemuzes, protoze potrebujes nejakou akci (treba i jen klipnuti na link v mailu) od kazdyho jednoho drzitele domen. Sem zvedav, jak je budes ve 3 rano uhanet aby klikali ...

[...]

Když budeš mít certifikáty za prachy a dojde k něčemu podobnému, tak svoji práci naúčtuješ zákazníkovi. A budeš k tomu mít podklad, protože vydavatel něco, něco..., mimo tvoji působnost...

U certifikátů zadarmo, které jsi zákazníkovi vnutil, pravdapodobně nic neuhádáš, ani nenaúčtuješ. Pokud je náhodou požadoval zákazník, tak snad...

A pokud to budou všechno tvoje certifikáty, tak nenaúčtuješ nikomu nic, budeš akorát nadávat a příště se zkusíš poohlédnout po jiném vydavateli certifikátů.. Možná..

[Jendа]

Když budeš mít certifikáty za prachy a dojde k něčemu podobnému, tak svoji práci naúčtuješ zákazníkovi. A budeš k tomu mít podklad, protože vydavatel něco, něco..., mimo tvoji působnost...

U certifikátů zadarmo, které jsi zákazníkovi vnutil, pravdapodobně nic neuhádáš, ani nenaúčtuješ. Pokud je náhodou požadoval zákazník, tak snad...

Takže porovnáváš situaci, kdy zákazník požadoval komerční certifikát, se situací, kdy ty jsi zákazníkovi něco vnutil? Jo, to dává smysl.

A pokud to budou všechno tvoje certifikáty, tak nenaúčtuješ nikomu nic, budeš akorát nadávat a příště se zkusíš poohlédnout po jiném vydavateli certifikátů..

To bych moc rád (ne kvůli tomuhle incidentu, ale protože se mi nelíbí ToS LE), ale žádného jiného jsem nenašel. Nápady? (pozn. jde řádově o jednotky soukromých domén a na každé jednotky subdomén, v práci pak o desítky. Kalkulace by s tím měla počítat a pokud vyjde, že navrhované certifikáty budou stát $2000 za rok, tak to fakt nepůjde)

[hbdf]

Souhlasím, vnucovat zákazníkům LE byla blbost, a krajně netaktické rozhodnutí.

[Jendа]

No a co je teda ta alternativa?

[hbdf]

Nevnucovat jim nic, a přesunout odpovědnost za rozhodnutí na ně. Nebo jak jsi to myslel, když si říkal, že je můj problém, že jsem jim něco doporučil já, a teď jsou z toho náklady navíc, které bych chtěl proplatit.

[hbdf]

Protože tam přece vede to tvoje:
"Takže porovnáváš situaci, kdy zákazník požadoval komerční certifikát, se situací, kdy ty jsi zákazníkovi něco vnutil? Jo, to dává smysl."

[Jendа]

Nechápu, proč by to tam mělo vést, a jinak jsou ještě dvě další možnosti (certifikáty za prachy, které jsi zákazníkovi vnutil, a certifikáty zadarmo, které jsi nikomu nevnutil).

[Jendа]

Nevnucovat jim nic, a přesunout odpovědnost za rozhodnutí na ně.

To u většiny use-case, se kterými jsem se potkal, nejde, protože oni tomu nerozumí.

Nebo jak jsi to myslel, když si říkal, že je můj problém, že jsem jim něco doporučil já, a teď jsou z toho náklady navíc, které bych chtěl proplatit.

To jsem někde říkal?

[rpajik]

Tak LE neni jediná CA se kterou lze komunikovat přes API a udělat validaci přes http nebo dns. Někde bude dokonce fungovat i ACME. Ten argument neberu.

A je něco jiného, když se odstraňuje kořenová CA z browseru a to co se teď stalo u LE. Před pár lety se třeba musely přegenerovat certifikáty vydané Symantecem ( thawte, ... bylo to několik brandů ) ... byl dopředu zveřejněnej plán jak proběhne a toho času na dostatek.

Mimochodem ... když by došlo k tomu že browsery přestanou věřit LE, to by byl panečku mazec. Je to strašná past - https má dneska i web kde je vystavený polední menu nějaký zapadlý hospody, aby je nepenalizoval google a browsery neřvaly jak je to nebezpečný( s bezpečností to nemá nic společnýho, pokud se na webu nelze přihlásit nebo nakoupit ). Aby se jim to v ssl validatoru zobrazilo pěkně zeleně, tak tam dají HSTS hlavičku ( reálně neví ani proč a k čemu to reálně je ). A v tu chvíli není uniku. Když by LE skončil a nebyla náhrada, tak všichni tyhle lidi musí nějaký certifikát koupit.

[Jendа]

s bezpečností to nemá nic společnýho, pokud se na webu nelze přihlásit nebo nakoupit

A pokud tě nezajímá že někdo další uvidí na jakou stránku lezeš a pokud tě nezajímá že do toho půjde cestou cokoli injectnout a pokud…

A v tu chvíli není uniku.

Souhlas, ale tohle je spíš na výrobce browserů a jejich dementní handlování HSTS.

[hbfd]

Tak DNS je vidět, a kombinace metadata (délky, další požadavky ve stejný čas...) dokážou podle mě ve spojitosti s nějakým hidden markov modelem pohybu po webu taky docela zázraky. Když sleduju, jak se někdo proklikává webem, tak můžu odhadovat celkem přesně, kde zrovna teď je...

A třeba zjistit, že člověk kterého poslouchám odeslal konkrétní komentář na abclinuxu je trivka.

[Jendа]

Je to chyba té CA - ta celou situaci bagatelizuje tweety typu "simply solution", řeší to admini co spravují servery, zákazník co ušetřil za certifikát ten čas nikdy nezaplatí.

Jednak by mě zajímalo jakou máš hodinovku, protože pro mě to znamenalo ten cronjob, který se spouští jednou za měsíc, spustit ručně (doslova se tam nasshčkovat, crontab -l, a pastnout do konzole), tedy asi tak minuta na server.

A jednak by mě zajímal nějaký výpočet, protože když porovnám (cena ceritfikátu + to že se musí _ručně_ každé dva roky (teď už dokonce jenom každý rok) objednávat a instalovat) vs. automatické klienty pro LE, tak to prostě nemůže vyjít ani kdybychom počítali pouze ten čas a zanedbali, že komerční CA se může stát přesně totéž (a pak řešení není spustit jeden skript, ale ručně to všechno předělat).

[Jendа]

to že se musí _ručně_ každé dva roky (teď už dokonce jenom každý rok) objednávat a instalovat

OK, píšeš, že některé komerční CA už taky mají ACME. Nicméně furt je tam režie vůbec s tím řešit platbu.

[j]

Prave ze ty komercni CA se snazi "tvarit bezpecne", takze ti trebas pri kazdy akci s certifikatama posilaj email, kterej musis potvrdit. A pokud nejses v pozici spravce domeny/mailserveru a zaroven spravce nejakyho webu, coz typicky nejses, tak potrebujes nejakou dalsi osobu, ktera tu akci potvrdi.

Takze viz vejs, dopadnes tak, ze v pripade ze udelaj presne totez co ted LE (= pres noc revokujou tvuj cert) tak ti reseni toho i pro par jednotek serveru muze zabrat i par dnu.

---

A samo blaboly na tema "u le mi to ale nikdo nezplati" jsou zcela mimo misu, protoze ta situace je totozna - bud mam jako admin ve smlouve nejakou sazbu a pak si ji vyfakturuju, nebo mi platej nejakej pausal "za to ze to funguje" a pak to je proste dalsi prace navic se kterou musim pocitat ja, pri podpisu smlouvy.

[...]

...protože pro mě to znamenalo ten cronjob, který se spouští jednou za měsíc, spustit ručně

Tedy, ten můj cronjob obnoví certifikáty jenom tehdy, pokud mají platnost kratší, než něco. Pouští se sám každý den, takže by se spustil dneska taky, jenže by nic neobnovil. Aby obnovil certifikáty zrovna teď, když chci a není ještě ta správná doba, musím ho přemluvit. Pak obnoví všechny certifikáty, i ty, které obnovit není potřeba. A když takhle obnovoval včera certifikáty každý, kdo měl mezi tisícem certifikátů jeden vadný, měli v Letsencrypt dost zavařené servery.

Kromě toho, ačkoliv se chyba měla týkat toho, že v LA špatně ověřovali CAA záznamy, zneplatnili šmahem i některé certifikáty, pro které žádné CAA záznamy neexistovaly.

[Jendа]

zneplatnili šmahem i některé certifikáty, pro které žádné CAA záznamy neexistovaly

Samozřejmě, protože ta chyba byla o tom, že neověřovali ani existenci CAA záznamů. Nevědí tedy, že v době vydání certifikátu žádný CAA záznam neexistoval.

[Jendа]

Není mi jasné (platí i na hbfd a rpajik), zda tvrdíte, že „enterprise“ CA se tyto chyby nestávají (protipříklady z minulosti si jistě najdete), nebo že „enterprise“ CA by potenciálně neautorizovaně vystavené certifikáty nezneplatnila, což je lepší (pro jednoho provozovatele určitě, a na celkovou důvěru PKI kašleme?), nebo ještě něco jiného.

[hbfd]

Ani jedno. Ve skutečnosti si myslím, že firma, která nesplňuje určité standardy by neměla být CA, stejně, jako by neměl kdokoliv vyrábět dopravní letadla.

Konkrétně kritizuji zjevně chybějící, či nedostatečné mechanismy kontroly kvality SW, které by tuto chybu odhalily před produkčním nasazením, pozdní informování, a celkově absenci krizových plánů, ve kterých by například bylo napsané, jak budou informovat lidi, že mají třeba zvednou rate limity, nebo časový odhad toho, jak rychle dokáží přegenerovat nebo revokovat milion certifikátů. Kdyby tyto plány měli, zjistili by, kde jim co rychlostně hoří, a měli by měsíce na optimalizaci, místo aby to zjišťovali a hackovali v šibeničních termínech...

Prostě CA by měla splňovat podobné standardy, jako někdo kdo implementuje krypto, nebo dělá řízení motoru u aut.

[j]

Jinak receno, o ani jenom zminenym oboru nevis vubec nic, protoze jak vadnych algorimu tak jajich vadnych implementaci jsou miliony, a v (nejen)ridicich jednokach aut je mozna vic chyb, nez ve widlich.

A vis proc? Protoze vzdycky jde predevsim o co jinyho nez ty prachy.

[fe]

…je to projekt anarchistů budovaný stojící na individuálním zápalu pro věc. Jenže anarchisti nejsou dobří vývojáři spolehlivého softwaru. Tam je naopak potřeba tvrdá korporátní přísnost, pořádek, a pečlivé kalkulování....

Tak tohle svého času říkali zástupci firem SCO, Sun, IBM apod. o konkurenčním projektu jednoho bláznivýho fina!

A kde jsou dnes oni a jejich projekty…

[yvba]

Přidávání do Linuxového kernelu se neděje s korporátní přísností?

[cezz]

Proto Let's encrypt nikdy nebude mít smysl pro jakoukoliv enterprise aplikaci.

To je pravda, enterprise preferuje pristup ala Symantec kde bez problemov vydaju certifikat na lubovolnu domenu a ani ju nemusis vlastnit a este budu ten problem roky ignorovat kym ich Mozilla a Google neprinutili jednat.

[yxvc]

Certifikáty by neměl vydávat každej. Jenže to pro některé hraničí s kacířstvím.

[j]

Ne, certifikaty by nemel vydavat nikdo. Respektive zadny certifikaty by nemely byt povazovany za "duveryhodne", jednoduse proto ze nejsou.

Autoritu ktera ti vyda cert pokud ma na dany domene email uz sem tu nekolikrat uvadel ... https://sectigo.com/ ... a je jim uplne jedno, ze pro tu domenu existuje cert od jiny CA.

[xjurasek]

Tam je naopak potřeba tvrdá korporátní přísnost, pořádek, a pečlivé kalkulování....

Sorry, ale každý jednotlivý bod se naprosto vylučuje s korporátním přístupem

[hbfd]

Víš jakej korporátní fašismus panuje v Googlu ohledně kódu?

[/dev/win]

jakej?

[yx]

UTFG

[Roman]

Lol, to je zase diskuse. :D Tak si platte dal, nikdo vam LE nenuti. Nepoucujte ostatni.

[cyberya]

Kvůli tvýmu diletanství mně budou volat zákazníci, že jim nefungujou internety.

[Roman]

Mozna jste si nevsimli, ale seznam.cz taky pouziva LE

[Kate]

No, zatím mi je ten „projekt anarchistů“ docela sympatický tím, že případné problémy přiznávají. Kdežto u různých komerčních CA se už několikrát ukázalo, že problém tutlají, jen aby jim náhodou neutekly zakázky.

Takový ten důsledek pečlivé kalkulace a korporátní přísnosti co se komunikace ven týče

[j]

Toz jak soudruzi, nastavime renew misto mesicne na denne? Tim se prece podobny problem vyresi sam, nebo ne?

[...]

Nevyřeší, protože vás pravděpodobně bloknou na nějakou policy...

[j]

Tys to taky nepochopil vid? Tady se porad zkracuje platnost certifikatu s tim, ze se tim vyresej vsechny problemy sveta, aktualne sme "globalne" na 1 roce, a s LE na 3 mesicich. A vysledek je videt trebas prave tady.

[j]

Tak jen tak pro tu srandu sem se na to vysral abych si overil, jak to nefunguje ... a oni se na to vysrali taky ...

https://community.letsencrypt.org/t/2020-02-29-caa-rechecking-bug/114591/3

Ty certy, ktery nikdo nevymenil fungujou dal. Takze naprosto krasna realna ukazka jak jsou naprosto VSECHNY CA(a vubec celej sytem kolem) naprosto napicu!

[k]

Je na čase dotáhnout to dál. Nerevokovali včas, tak by měli ztratit důvěryhodnost, a být vyškrtnuti, ne?