Zátěžový test eDokladů / 13. srpna ve 13:00

Vůbec poprvé v historii se stát při testování digitálních služeb obrací na širokou veřejnost. Digitální a informační agentura (DIA) a Ministerstvo vnitra zvou občany k zapojení do zátěžového testu eDokladů, které od loňského podzimu prošly optimalizací aplikace a posílením infrastruktury. Test proběhne 13. srpna ve 13:00 a pro jeho úspěch bude potřeba zapojení několika desítek tisíc občanů. Zapojení do testu je zcela dobrovolné a úkol je jednoduchý – ve zmíněném čase stačí, aby lidé otevřeli aplikaci eDoklady na svém mobilním telefonu připojeném k internetu.

30.7. 13:11 | Ladislav Hagara | IT novinky

Komentáře

[Valgrind]

To bude zase ostuda toho vaseho dyyy-aaaj-eeeej

To zase popadá jak hrušky.

[...]

Mesršmídův memorial.

[Want]

Mesršmíd už dávno kalí vodu jinde, pokud sis toho nevšiml.

[...]

Proto memorial, kudrnáči.

[tam je doma]

Na nemecke univerzite v cechach, zalozenou za vlady nemeckeho Carla III pote jeho syna; Ne nadarmo je 1/2 university nemecka podobne jako ta Brnenska. ;

[Radek]

To mě poser, to neumí nasimulovat v testovacím prostředí?

[B]

Taky mě zarazilo, že k testu potřebují několik desítek tisíc lidí. Pokud v ČR bydlí ca 11M lidí, tak by mělo zvládnout aspoň 12M připojení, pokud se tedy bavíme o zátěžovém testu. Test s méně než 1% obyvatel je parodie.

[Aleš Kapica]

O tom jak a kde byly testovány aplikace pro státní správu víte prd. Ale vzpomeňte co se pak dělo, když se ty „otestované” aplikace nasadily. Jen dva hinty namátkou pro osvěžení paměti: registr vozidel, digitalizace stavebního řízení.

[B]

Máte pravdu. O testování pro státní správu vím prd, protože naštěstí dělám něco jiného. BTW: Jednou jsem taky dělal zátěžový test. Do 30 sekund zařízení rebootovalo. Začalo se s tím něco dělat, až když si stěžoval zákazník, protože ta zátěž, co produkoval script se přece v normální provozu nevyskytuje.

[PetebLazar]

Volebnich okrsků je cca 14000, i kdyby na kazdý průměrně připadali tři volební komisaři kontrolující identitu voliče proti volebním seznamům, v jeden okamžik patrně nemůźe dojít současně k více než k několika desítkám tisíc validacím eDokladů. Vzhledem k podílu občanů užívající eDoklady to nejspíš bude podstatně méně.

[Aleš Kapica]

GoTo #11

[kvr]

A k tomu budu optimisticky předpokládat, že validace zabere aspoň 10 vteřin, takže se pohybujeme průměrně na 1400 request/s. Co ten systém dělá tak komplikovaného - to je snad na 0.5 CPU systém...?

[PetebLazar]

Kdy je potřeba Bluetooth a kdy přístup na internet Budete-li ověřování ověřovatelem s mobilní aplikací, probíhá vše přes Bluetooth a bez nutnosti přístupu na internet. Podle zákona jsou ovšem platné ty údaje, které jsou mladší než 48 hodin. Pokud jsou údaje starší než 48 hodin, ověřovatel o tom bude informován a je na něm, zda bude údaje akceptovat, nebo zda vás požádá o jejich aktualizaci. K té už je pak přístup k internetu potřeba.

Z toho moc není jasné, zda aplikace eDoklady aktualizuje údaje periodicky sama, nebo zda tyto v mobilu mohou expirovat a budou se muset před ověřením ověřovatelem v mobilu aktualizovat on-line.

Předání přes Bluetooth je výrazně bezpečnější cestou přenosu údajů. V rámci předání je přenášena i fotografie a ta by se ve slušné kvalitě do QR kódu nevešla. QR kód slouží pouze pro navázání kontaktu, veškerá další komunikace probíhá přes Bluetooth. Ověřovatel posílá žádost ověřovanému, ten posílá odpověď s údaji (nebo žádost zamítá), takže by si ověřovatel s ověřovaným neustále museli ukazovat další a další QR kódy.

Zároveň naše eDoklady technicky přibližujeme připravovanému celoevropskému projektu elektronických dokladů a implementujeme díky tomu ISO normy a další bezpečnostní prvky.

zdroj

[Peter Golis]

Ten BT sa nedá odpočuť?

Keby použili aspoň NFC. Má slabší vysielací výkon a používa sa v čipových pasoch kde to vie odcvrlikať aj fotku v dostatočnej kvalite. A nemuseli by vynachádzať Kolesu.

[RealJ]

vy jste v komarove neslyseli jeste o sifrovani?

[Peter Golis]

Šifrovanie v štátnej sfére je dobrý oxymorón.

[PetebLazar]

Bezpečné spojení na bázi AES128 a Elliptic Curve Diffie-Hellman je v BT 5.x standardu snad mandatory.0

[Peter Golis]

Aj s pinom 11111

[RealJ]

to je specialne pro slovaky, pro ne je cokoliv jineho slozite...

[Peter Golis]

Ja mám na to rtl2832, funguje skvele.

[RealJ]

vzdyt rikam ze tomu nerozumite...

[Peter Golis]

A vieš ty čo to je? Asi určite teda na isto nie.

[Kráva]

…takhle to testování bude daleko levnější. Napíše se tisková zpráva, rozhlas a TV to zpropagují zdarma. Víte kolik by stálo rozjet takové testovací prostředí v cloudu (tím nemyslím jen cenu za stroje, ale za naprogramování a paralelizaci toho testu → i když tohle už by dávno měli mít hotovo, avšak po zkušenostech z ostatních projektů to prostě mít nemůžou a teď si myslím, že ano nechtějí)?

[Harvie.CZ]

Podle této logiky by muselo být pražské metro dimenzováno na situaci, že se všech 1.4M pražáků rozhodne s ním jet zároveň... V realitě často stačí propustnost systému třeba o 3 řády menší, než je teoretické maximum.

[ml]

Na tohle jsou mistři ve Štutgartu (přestavba jejich nádraží je příběh, za který bychom se v čechách nemuseli stydět a možná trumfne i berlínské letiště). Tam prý nové nádraží spočítali tak, že se zátěž rozloží rovnoměrně celých 24 hodin, žádné špičky a podobně. S takovou je předimenzovaný i náš (roz. pražský) hlavák. Vyprávěli lidi ze severu jak se na Černém Mostě musí čekat na druhé, třetí metro, protože se lidi do metra nevejdou. Nejde jen o pražáky, ale i o středočechy a to už jsme přes 2M lidí. Jinak souhlasím, že si to lidi rozloží v čase, pokud můžou. Taky jezdím v 9 ráno tam a v 7 večer zpět, abych se vyhnul špičkám. Tohle jsem objevil během kovidu, kdy jsme měli nařízeno vyhybat se davům (autobusem v 8.50 jezdili tehdy za kovidu 2-3 lidi a metro bylo taky docela prázdné) nebo rovnou nepoužívat veřejnou dopravu (auto mi ale zaměstnavatel nezaplatil). Až si zaměstnavatel vzpomene, že mě tu chce mít od 7 do půl čvtrté, tak mi nezbyde, než se s lidmi mačkat.

[Aleš Kapica]

Sláva. Konečně se našel někdo, komu cestou vzhůru nevypadnul mozek.

[X]

To je snad spatnej vtip. Kolik to stalo, ze nezbylo na testy??

[Aleš Kapica]

Nikdo nedokáže napsat test, který by dokázal nasimulovat počínání anonymního pitomce X. Lidská bytost se od AI liší právě tím, že dokáže i nemožné učinit možným.

[X]

Je to zatezovy test ne test UI. Problem je, ze to za tezky prachy bezi nekde na mrkvokloudu v americe a u nas je jen autorizacni cast .. americani to maji na salamu a naslibovany vykon se nedostavil.. financni kompenzace za to fiasko? Hohoho, tak urcite 0, nas problem = nikdo to netestoval na tealmem provozu. Nebyl cas, prachy, skill etc.. ale tak firma co to za bambilony nakodoval slibovala, ze to pojede, ale dole je malym pismem, ze stat ostrouha jako vzdycky a zaplatis to na danich treba i ty. Takhle to vidim..

[==]

by mne zajimalo, proc s tim dementem ztracis cas, on ti stejne obratem vysvetli ze ty jsi ten, kdo to chape spatne a on to samozrejme myslel spravne hned od zacatku, chybu nikdy neudelal a ani neudela, neasi

ze se ti chce na takovej vychlastanej povl tak konstruktivne reagovat

[Want]

Dement jsi ty, protože o tom co a jak se řeší na na úřadech víš kulové.

[===]

prdel je, ze tohle pises do threadu, kde ti bylo ukazano, jak moc jsi hned prvni reakci totalne mimo

ale ty si jeste do ted myslis, ze jsi to desne trefil, co

zkus min chlastat, pak se ti treba do palice vejde vic, nez jen krik vlastniho zneuctenyho ega, ktery nikoho dalsiho nezajima

[Want]

Kam ty na tu slovní vatu chodíš?

[RealJ]

hlavne to nema sendvice takze je to uplne k hovnu...

[Aleš Kapica]

GoTo 64 troubelíne.

[Konrad]

mrkvokloudu v americe

Vetsina toho bezi v Nemecku a Svycarsku, reverzni dns pro USA jsou fake.

[X]

Tim si to moc nevylepsil ;). Kriticka infrastruktura statu, mimo stat. To proste nevymyslis. Hlavne, ze mame kvantovou sit otestovanou, ale tohle neeee. Nerozumim uz nicemu.

[Valgrind]

Tak se zamyslim. Pokud by velka banka vyzvala sve klienty k testovani svych systemu tak, aby v danou hodinu provedli platbu, anebo aby v dany okamzik se do bankovnictvi prihlasili, jakou by to vzbudilo mezi klienty duveru? Nepusobilo by to trosku smesne? Co vsak chtit od statu, ktery odstavi obchodni rejstrik na nekolik dni, pouzije google captchu na katasteru nemovitosti, zavre lidi doma kvuli viroze, narizuje lidem neplatne karanteny pres sms, pouzije vojaky a policii proti vlastnim lidem (hranice okresu), prideluje obcanska prava podle injekce, atd. V tomto prohnilem systemu mne jiz nic neprekvapi.

[Aleš Kapica]

Srovnáváš nesrovnatelné: GoTo #11.

Mám kamarádku, co se jako testerka bankovní aplikace pro jednu španělskou banku velice slušně živí. Nevím, kolik těch testerů celkově po světě mají ale ona poctivě hákuje 8 hodin denně. Nicméně nárazový zátěžový test nenasimuluje i kdyby se rozkrájela.

[Valgrind]

Souhlasim s tim, ze uzivatele jsou kreativni. Nesouhlasim vsak s tim, ze nelze vypocitat se slusnou mirou jistoty maximalni zatez nejakeho systemu. Rozhodne vsak banka opravdu nezada klienty, aby ji pomohli s testovanim sve infrastruktury. Co by sis o takove bance myslel? Vubec to nevzbuzuje duveru. Pusobi to tak, ze se jedna o projekt delany jednim uhrovitym nekde v garazi

[Aleš Kapica]

Rozhodne vsak banka opravdu nezada klienty, aby ji pomohli s testovanim sve infrastruktury.

To ne, protože platí za vývoj dost na to, aby si vývojáři mohli platit fulltime testery. Jenže státní správa není banka.

V době kdy jsem dělal na ÚMOb, rozjížděl OKsystem software co se používá dodnes, protože hlavními testery byly baby ze sociálek těch největších úřadů, jako byl ten náš. Tenkrát byla ještě jiná doba nikdo jiný do toho systému nelezl. A testovalo se to opravdu důkladně. Taky to stálo a neustále stojí peněz jak želez.

Ale na rozdíl od jiných aplikací to dodnes jede. Ty co pohořely se totiž obvykle testovaly na malých úřadech, měst alá Karlovy Vary. A když je pak nasadili do ostrého provozu, většinou končily kolapsem na straně serveru.

[ml]

Z dob svých studií FELu pamatuju zátěžové testy informačního systému. Jen to nebyly testy, ale ostrý provoz. (Kdo studoval na FELu pamatuje systém KOS, možná ho tam mají dodnes, když jsem končil studia, experimentovalo se s webovým rozhraním, termínál byl ale furt jako primární.)

Vyhlásil se den D (obvykle druhý týden zkouškového) a hodina H (obvykle 12:00), kdy se zpřístupní zápisy do rozvrhu. A každý, kdo na to měl kredity (a rozumný student si naplánoval zkoušky tak, aby je měl), se tam samozřejmě chtěl dostat.

Systém byl dělaný na asi 250 přihlášených lidí. No ale v těchto dnech nezvládal už ani odpovídat tou větou, že se systémem pracuje víc než xxx lidí.

Samozřejmě nikdo nečekal na 12:00, všichni (co se jim to podařilo) byli přihlášení od rána.

Jeden rok jsem potřeboval odhlásit zkoušku a zrovna jsem se na tenhle blbej termín trefil. Strávil jsem asi 3 hodiny opakovaného zadávání jména a hesla a pokusů o přihlášení. Povedlo se to ve chvíli, kdy jsem to chtěl už vzdát.

Něco se začlo hýbat až poté, co systém totálně spadnul a vše zapomněl. To, že se studenti nemohou přihlásit bylo každému jedno. Ale ten semestr se stalo, že systém spadnul a zapomněl vše, co se ten den dělo (zápisy, rozvrhy, zkoušky). Takže jsme přišli do školy v dobré víře, že máme rozvrh a on nebyl. Tehdy se snížil počet uživatelů na tuším 170 a mělo se snad to zpřístupnění dělat postupně. Stejně pak ještě několik podobných pádů bylo. Ale to byla doba, kdy mě to nijak zvlášť netrápilo, to už byly ty semestry, kdy stejně nebylo na výběr.

Dodneška nepochopím, že ten systém byl tak blbě dimenzovaný obzvlášť když muselo být jasné, že se všichni (hlavně z prvních semestrů, protože třeba v šestém semestru je to už jedno) budou chtít dostat do rozvrhu co nejdřív a teda se dá v den D očekávat slušná zátěž.

[PetebLazar]

Pokud se nepletu tak koncem devadesátek to snad byla KOS terminálová aplikace (v Oracle Form 3.x?) prvotně snad na platformě Oracle7/SCO Unix (aspoň jak se mi to jevilo na ČVUT FSI).

Přihlašování na předměty může vést ke komplexním dotazům, zvlášť když se vyhodnocuje zda žadatel o zápis předmětu(rozvrhu) splňuje kromě splněných kreditů nutné pořadí pro počet aktuálně dostupných míst (kromě pořadí zájmu i např. zohledňování prospěchu uchazečů). Snaha toto provádět on-line (výsledek je vrácen okamžitě, místo dávkově) patrně vede k zámkům (nepovolit zápis více uchazečů než je míst) a nevyhnutelné serializaci výkonu requestů. Je to povahou asi hodně vzdáleno běžným OLTP, což jsou typicky vzájemně se neblokující/nesouvisející transakce. Nevím zda by bylo řešením, kdy by všechna jednotlivá volná místa na předmětech byla dopředu vygenerována a pokus o zápis(zámek) úspěšná/či nikoli byl prováděn proti jedinému volnému(nezamčenému) záznamu/místu, nepracovalo by se agregovanými údaji. Samozřejmě i pro podstatně nenáročnější OLTP se při sizingu se tehdy zmiňovaly dvě CPU(core na x86 snad nebyly) na každých 100 současných uživatelů, což tehdejší i386 platforma (SCO Unix) snad ani HW nenabízela. Na plnokrevnou podstatně dražší UNIX platformy SUN Sparc, IBM nabízející multi-procesorovou architekturu patrně tehdy nebyly finanční prostředky.

[pavele]

Zajímavé vysvětlení, studenty ovšem zajímala funkčnost, ne proč to nefunguje.

Prostě to byl programovací paskvil. I v té době to šlo naprogramovat lépe

[PetebLazar]

Nedovolil bych si ani tipovat, zda to byl opravdu problém v naprogramování. Nemáme dostatek infomací zda business analýza, volba architektury, zajištění technických zdrojů (sizing) atd. nebyly primárním problémem. Podle dostupných zdrojů šlo snad o in-house projekt Výpočetního centra ČVUT, což věci typicky nezjednodušuje.

Je si třeba uvědomit, že řada SW technologií oficiálně přišla do Československa až s pádem omezení CoCom. Limitované kvalifikované zdroje našly uplatnění na velkých komerčních řešeních. Myslím, že systém VZP vznikal na stejné kombinaci technologií (OracleRBMS, terminal OracleForms). nepodceňoval bych ani vliv přestupu z mainframe zpracování na klient-server.

Otázkou spíše je, zda to mohlo v dané konstalaci dopadnout výrazně odlišně. Po bitvě je každý generálem.

Mne to prakticky zcela minulo a mám s tím jedinou zkušenost, když jsem v posledním semestru byl na studijním oddělení oznámit změnu rodného čísla (původní prošlo přitom několika vlnami privatizace). S tím KOS asi nepočítal všechny uložené výsledky RČ patrně obsahovaly. Ale bylo mi přislíbeno, že na diplomu budu mít uvedeno platné RČ. Tak doufám, že mne to v někdy nedohoní případně v politice, když si novináři nebudou schopni k mému titulu dohledat jediný složený zápočet/zkoušku.

[Aleš Kapica]

Na MUNI to bylo nemlich to samé.