Komplexita softwaru

Velkým problémem našeho oboru je neustále rostoucí komplexita softwaru. Tomuto tématu se věnuje seriál tří článků na blogu Frantovo.cz. První díl vysvětluje, co to komplexita je a proč představuje problém. Druhý se zabývá příčinami jejího vzniku. Třetí díl je věnován možným řešením komplexity softwaru a prevenci.

18.5.2020 08:00 | xkucf03 | Zajímavý článek

Komentáře

[kralyk z abclinuxu]

Generické programování je podporované v řadě jazyků. Může být implementováno různými způsoby – např. v Javě nebo Rustu jsou to generika zatímco v C++ nebo D jsou to šablony. Na první pohled vypadají stejně a je tam dost velký překryv (základní využití v kolekcích). Ale oba přístupy mají svoje specifika a umí něco, co ten druhý přístup neumožňuje. V případě šablon se v podstatě kód v době kompilace rozkopíruje do tolika variant, s kolika typy jsme danou šablonu použili jinde v kódu. Kdežto u generik jde spíš o typovou kontrolu v době kompilace + přetypování v době běhu (kód je stále tentýž a pracuje s obecnými objekty). V obou případech se ale jedná o velice hodnotnou vlastnost programovacího jazyka.

Tohle není úplně pravda... IMO není dobrý to pojmenovávat generika versus šablony, spíš mluvíš o rozlišení type-erasure versus monomorphisation. Generika v Javě jsou implementována tím prvním způsobem, kdežto v C++, Rustu a (AFAIK) D tím druhým. Generika v Rustu nefungují jako v Javě, ten overhead boxingu generických věcí by byl nepřijatelný. Od C++ se neliší tím, že by kompilátor nedělal kopie, ale tím, že jsou silně typovaný, tj. liší se to jen ve fázi kontroly. Nicméně po tom, co kompilátor vyhodnotí, že kód je korektní (ať už jakýmkoli způsobem), tak v obou případech nastane ta monomorfizace, tj. rozkopírování kódu. Pak tam jsou ještě nějaké další rozdíly, jako např. že v Rustu se generické definice serializují do metadat knihoven (ve formě intermediate reprezentace kódu), takže je možný je z knihovny importovat bez použití hlavičkových souborů. (A to samé platí i o makrech, btw.)

Zajímavý je v tomhle ohledu IIRC C#, kde kompilátor monomorfizuje generika nad hodnotovými typy. (Ale jenom jsem to někde četl, nemam k tomu zdroj a C# nerozumim do hloubky.)

[TellMe]

No a pak tu mame jeste generika v TypeScriptu :D

[kralyk z abclinuxu]

No, tak v týhle chvíli - tj. TypeScript se kompiluje do JS - je to AFAIK úplně jednoduchý, to je prostě type erasure.

Pokud by se TS dal kompilovat např. do Wasm, tak by to potenciálně mohlo být zajímavější, ale vzhledem k povaze jazyka by to asi zase bylo naimplementovaný přes type erasure...

[Josef Kufner]

Inu, pořád lepší než ty v PHP.

[Bherzet]

Generika v Rustu nefungují jako v Javě, ten overhead boxingu generických věcí by byl nepřijatelný.

Boxování se v Javě týká jen primitivních typů a s generiky to v podstatě nijak nesouvisí. Ten problém není exkluzivní pro generika, a naopak se u generik projevit nemusí vůbec, pokud nepoužíváš primitivní typy.

Obecně je overhead generik v Javě daný jen nutností dělat přetypování (resp. kontrolovat, že z generika vylezl správný typ).

[kralyk z abclinuxu]

Boxování se v Javě týká jen primitivních typů a s generiky to v podstatě nijak nesouvisí.

Týká se všechn typů, primitivní typy se liší pouze tím, že jsou to hodnotové typy a je potřeba je zboxovat "navíc" oproti normálu. Ostatní typy jsou boxované by default.

S generiky to souvisí poměrně zásadně.

Důvod, proč jazyky jako C++ a Rust používají monomorfizaci je ten, že každá instance generické funkce nebo typu počítá s konkrétními vlastnostmi těch dosazenýh typů. Pokud má položka struktury generický typ, tak různé instanciace té struktury budou mít různou velikost, vevnitř různé zarovnání/padding a budou v metodách na tom typu volat různé implementace funkcí/operátorů. Což umožňuje aby hodnotové typy zůstaly v generickém kódu hodnotovými typy. S type-erasure to nejde dohromady - nemůžeš jedné funkci předat jako argument ukazetel/referenci na struktury s různým layoutem.

Aby type-erasure-based generickej kód fungoval, musí být generický věci boxovaný (aby byla vždy stejná velikost a zarovnání typu) a jejich funkce/operátory se musí volat přes vtable. Odtud ten overhead. (S tím, že Java VM bude nejspíš umět ten overhead do nějaký míry zredukovat, např. inlinovat virtuální volání apod., ale úplně odstranit ho AFAIK nemůže.)

[.]

Máš hodně zkreslenou představu o generikách v Javě.

[kralyk z abclinuxu]

A dál?

[Bherzet]

Aha, už ti rozumím, ale takovéhle použití slova boxing teda slyším prvně. Většinou se tomu říká dědičnost :)

[kralyk z abclinuxu]

"Boxing" je trochu Rust-ismus, ale nevim, jak to říct líp. "Referencované typy" by bylo blíž a určitě to blíž javovské terminologii, ale není to úplně přesný, protože obecně třeba v C++ jeden typ se dá použít jako hodnotový i jako "boxovaný".

Ne, dědičnost tim nemyslim, dědičnost nutně neimplikuje ani boxing ani virtuální volání. Mam tim na mysli prostě to, že nějakou hodnotu nepoužíváš přímo (ie. není přímo vložená do nějaké struktury, na stacku apod.), ale nepřímo přes pointer/referenci, tj. musí pro ní někde existovat alokace ("box").

Zkusim to jinak: Zamyslel ses někdy, proč v Javě není možný dosadit primitivní typy do generickejch funkcí/typů a proč v C# to možné je?

[Bherzet]

Já ti rozumím, jen ten pojem boxování mě prostě zmátl.

Generika v Javě mají režii v autoboxingu primitivních typů a v nutnosti kontrolovat, že z generik lezou správné typy. Generik nehledě se ale v Javě všude platí režie vyplývající z implicitního dědění z java.lang.Object, virtuálních volání apod.

Kdyby jazyk, který tu režii jinde neplatí, chtěl generika implementovat stejně, zaplatil by tam tu režii celou najednou, čemuž se patrně bude chtít vyhnout.

[kralyk z abclinuxu]

a v nutnosti kontrolovat, že z generik lezou správné typy.

Tohle zase trochu matě mě. Čekal bych, že když už je ten kód type-checkován kompilátorem, že už nebude potřeba správnost typu kontrolovat v runtime (samozřejmě pokud člověk udělá downcasting, tak jo).

Nebo je možný třeba do kolekce v Javě nějak procpat špatný typ?

[Bherzet]

Jo, jde to:

List<Integer> list = new ArrayList<>();
((List) list).add("mhm");
		
System.out.println(list.get(0));

Ale ono je to jedno. I kdyby tam nebyla ta instrukce checkcast v bajtkódu, JVM si stejně nakonec musí nějak pohlídat, jestli manipuluje se správným typem, aby jí nepřetekl nějaký pointer nebo whatever (jinak by to byla bezpečnostní díra jako blázen).

Takže v praxi je to tak, že nějaké checky dělá kompilátor (a občas ti dovolí takovuto šílenost), nějaké další checky nacpe do vygenerovaného bajtkódu a pak nějaké checky dělá ještě JVMko. Nakonec si to HotSpot určitě nějak vyoptimalizuje a věci, které jsou tam zbytečně, vyhází.

[kralyk z abclinuxu]

LoL. Háže mi to nějaký asi warning ("Note"), ale zkompiluje bez keců, to mi přijde dost hrozný. Hádám, že to je nějakej backcompat s Java < 5?

[Bherzet]

Jo. To je právě ten type-errasure: v bajtkódu se informace o generických typech ztratí (akorát eclipsácký kompilátor to tam tuším cpe aspoň jako atribut nebo něco), protože v dřívějších verzích Javy se s generiky prostě nepočítalo. Kompilátor teď vesměs nemá moc na výběr a akceptovat takovouhle zhůvěřilost musí, protože právě zpětná kompatibilita.

Ale upřímně jsem se v praxi nesetkal s tím, že by tohle někdo v kódu omylem nechal a pak to padalo za běhu. Ty vykřičníky, co každé IDE zobrazuje, většinu lidí odradí.

[deda.jabko]

Čekal bych, že když už je ten kód type-checkován kompilátorem, že už nebude potřeba správnost typu kontrolovat v runtime (samozřejmě pokud člověk udělá downcasting, tak jo)

To muzes predpokladat pouze u jazyku, ktere jsou kompilovany do strojoveho kodu. Z principu runtime nemuze predpokladat, ze kod byl zkompilovan spravnym prekladacem a je spravny (to by vedlo k brutalnim bezpecnostnim diram), javovsky runtime umoznuje nacitat tridy dynamicky (to by vedlo na dalsi kategorii problemu, pokud by se neprovadely kontroly i na urovni runtimu).

[kralyk z abclinuxu]

Skutečně je java runtime schopen zajistit bezpečnost třeba při načtení třídy z neznámého zdroje? To by vyžadovalo nějaký sandboxing, ne? (Ve kterém by třeba naopak segfault už "nevadil"...). Pokud není požadavkem načítat třídy z neznámých zdrojů, tak by mohly stačit nějaký metadata o verzi kompilátoru etc., ne?

[Bherzet]

Skutečně je java runtime schopen zajistit bezpečnost třeba při načtení třídy z neznámého zdroje?

No, to je trošku záludná otázka, ale řekněme to takhle: ano, měl by. Co jsem se kdysi díval, v čem byl bezpečnostní problém u slavných Java appletů, tak primárně nešlo o díry přímo v JVMku, ale třeba v nesprávném použití SecurityManageru ve standardní knihovně.

To by vyžadovalo nějaký sandboxing, ne? (Ve kterém by třeba naopak segfault už "nevadil"...).

Proč?

Pokud není požadavkem načítat třídy z neznámých zdrojů, tak by mohly stačit nějaký metadata o verzi kompilátoru etc., ne?

JVM je interpreter a měl by se chovat korektně. Mj. by nebylo dobré, aby došlo ke crashi JVM třeba kvůli zbabrané instrumentaci (modifikaci bajtkódu před načtením třídy) atd.

[kralyk z abclinuxu]

Proč?

No, tak protože bez toho může ten importovanej kód dělat arbitrary věci, ne? Mohl by např. použít sun.misc.Unsafe nebo nějaké JNI pro rozbití JVM. Ale i po blacklistování těhle dvou by mohl třeba házet libovolné výjimky, dělat libovolné I/O, alokovat kvanta paměti, těžit bitcoiny... Zkrátka, moc si to bez sandboxu neumim představit...

[Bherzet]

I/O a další věci, které jsi jmenoval, „řeší“ (měl by řešit) právě ten SecurityManager. Prostě to zakážeš.

Spotřebu paměti omezíš parametrem při spouštění JVMka. Konkrétnímu využití výpočetního výkonu, např. pro tu těžbu Bitcoinů, se zabránit moc nedá a třeba JavaScriptový engine v prohlížeči to taky neumí.

Kdybych dnes potřeboval spustit nedůvěryhodný kód, izoloval bych raději asi celé JVMko, protože chyby v implementaci těch bezpečnostních mechanismů jsou prostě notoricky známé a dnes už možná ani nemají takovou prioritu jejich opravy vzhledem k tomu, že se JVMko primárně používá úplně jinak (spíš pod tím běží celý aplikační server než applet někde v prohlížeči). Ta architektura je ale dobrá.

[kralyk z abclinuxu]

Spotřebu paměti omezíš parametrem při spouštění JVMka.

Jo, ale tim ji omezíš celýmu tomu kódu..

a třeba JavaScriptový engine v prohlížeči to taky neumí.

Do jistý míry jo.

Kdybych dnes potřeboval spustit nedůvěryhodný kód, izoloval bych raději asi celé JVMko

Souhlas.

[Bherzet]

Jo, ale tim ji omezíš celýmu tomu kódu..

Z hlediska omezení např. spotřeby paměti je jedno, jestli sandboxuješ interpreter a věříš systému, nebo sandboxuješ program a věříš interpreteru.

Ale ono jsme teď sklouzli trochu jiným směrem než byla původní debata. Původně byla řeč o té kontrole typů, co lezou z generik. Myslím si, že užitečnost těch případných chybových hlášek, když se něco podělá, za těch pár podmínek stojí. No a teprve druhá věc je, že historicky JVM byla stavěná i na spouštění nedůvěryhodného kódu a ty kontroly tam být musely i z bezpečnostních důvodů.

Do jistý míry jo.

Jak? Ono jde zpomalit těžbu Bitcoinů, ale ne všechno ostatní? Možná zpomalit jen určité operace s tím, že sice je lze emulovat, ale těžba už nebude tak efektivní a vyfrknou se na to?

[deda.jabko]

"Referencované typy" by bylo blíž a určitě to blíž javovské terminologii, ale není to úplně přesný, protože obecně třeba v C++ jeden typ se dá použít jako hodnotový i jako "boxovaný".

Pojem referencni objektovy model se pouzival minimalne jiz v devadesatych letech a oznacuje situace, kdy se objekt chova jako skutecny objekt (ma svou identitu) a ne jako hodnota. Boxing je v jave opravdu jen zabaleni hodnoty primitivniho datoveho typu do tridy, aby se to chovalo jako skutecny objekt.

[kralyk z abclinuxu]

No, tak tady se bavíme spíš mezijazykově...

Mně obecně na Java kultuře fakt vadí, jak se veme nějakej koncept, ořeže/zúží se jeho definice jen na to, co je relevantní pro Javu, a pak se to vydává za obecně platné.

V definici boxingu není nic o primitivních typech. To, že v Javě je to pojem relevantní jen pro primitivní typy není daný jeho definicí, ale tím, že v Javě jiný hodnotový typy, který by se daly boxovat, prostě nejsou.

Co bych tedy měl v těhle větách nahradit za "boxing"?

Generika v Rustu nefungují jako v Javě, ten overhead boxingu generických věcí by byl nepřijatelný.

Aby type-erasure-based generickej kód fungoval, musí být generický věci boxovaný (aby byla vždy stejná velikost a zarovnání typu) a jejich funkce/operátory se musí volat přes vtable.

Co použít místo třeba "overhead boxingu"? Když řeknu "overhead referencování" tak to není to, co mam na mysli - referencování (indirekce) je jen část problému, druhá část je ta alokace toho místa, které se referencuje, a přesunutí té hodnoty do toho místa, ie. "boxing".

[Humanoid]

Přijde mi vtipné žehrat na složitost softwaru a přitom dát v popise problému přednost přeci jen stále ještě trochu cizejšímu slovu "komplexita" před českou "složitostí".

[Josef Kufner]

Zrovna v případě softwaru (nebo spíš programů, když to chceš česky) je slovo složitost zavádějící, neboť nepíše o složitosti, ale o složitosti.

[j]

Složitost a komplexita je totéž, takže pokud je to zavádějící, výměnou složitosti za komplexitu se nic nevylepší

[Conscript89]

Zkuste si precist treba toto: Asymptotická složitost na wikipedii nebo si vzit nejaky kurs typu: IB107 na fi.muni.cz. Potom mozna zjistite ze slozitost se opravdu pouziva v jinem vyznamu.

[#Tom]

Též si pod složitostí v informatice představuji spíše složitost výpočetní, ale i ta se anglicky nazývá complexity, takže si moc nepomůžeme českým tvarem komplexita. Hezčí se mi zdá kynutí nebo bobtnání, pro příznivce cizích slov pak např. inflace kódu. Dokonce i Google to už zná a našel mi toto. :)

[_]

Složitost i komplexita má různé významy a kontexty, ale ve všech je záměnná. Je to synonymum 1:1.

[Conscript89]

Zajimave, vyberu prni nahodny slovnik cizich slov a vidim i vyznamy typu: "celistvost" nebo "úplnost", zdroj: https://slovnik-cizich-slov.abz.cz/web.php/slovo/komplexita. Nebo taky "jednota rozmanitostí, též spojitost, celistvost, úplnost", zdroj: https://encyklopedie.soc.cas.cz/w/Komplexita

[|🇵🇸]

[ot]

lol

Dříve jsem používal slovník cizích slov velmi rád, protože mi dokázal krátce, rychle a stručně odpovědět na moje dotazy. Díky sáhodlouhým encyklopedickým příspěvkům prof. PhDr. Rudolfa Kohoutka, CSc., se však ze slovníku stal nepřehledný bordel, jehož použití je pro mě zcela strašné. Kdybych chtěl vědět víc o daných heslech, použiju jiný zdroj. Rád bych tímto inicioval omezení počtu znaků a vrátil tak slovníku původní smysl.

[Conscript89]

Omlouvam se za pouziti slova nahodny. Nebyl nahodny, nybrz prvni vraceny googlem (a ten dalsi kousek pod nim). Ale na vyvraceni mi stacil jeden protipriklad, takze podle me se nic zasadniho nestalo.

[J. M.]

Slovník cizích slov je nevěrohodný zdroj, který vůbec není dobré citovat. Amatérský server, kde se na tvorbě slovníku podílejí uživatelé, laici, a podle toho to vypadá.

Pokud citovat slovník, tak nějaké skutečné autority, jako je ten zmíněný Ústav pro jazyk český.

[Bherzet]

Uživatelé – jazyka.

[Conscript89]

A co nam rekla prirucka? Ze komplexita je to same co komplexnost. O slozitosti nic nerika. A ano, na ni jsem se dival jako prvni jestli neco blizsiho nerekne.

[Ondrej 'SanTiago' Zajicek]

Zajímavý článek

[Al Gida]

Clanek co nefunguje v lynxu si muzes vis co.

[Ondrej Santiago Zajicek]

Tak sem po nejake dobe zavitam, a co nevidim - falesny Ondrej 'SanTiago' Zajicek.

[Odin1918]

Nejkomplexnejsi je php, kde muze byt kod v souboru natvrdo a nikdo nevi, kam vsude je tento soubor vlozen pomoci require. Dalsi level je, ze tento kod si pak testuje, jake promenne jsou zrovna nastavene, aby se zorientoval, kam byl vlastne vlozen a co ma delat. Samozrejmosti jsou tisickrat zanorene pavouky ifu a ruznych cyklu. To je to prave php peklo Proti tomuto je i ta nejvetsi prasarna v jave prochazkou po rozkvetlem paloucku.

[Ke Dlubna]

Jenze PHP neni jazyk jenom snuska maker nakodena v C, to se pak nediv ze se to chova prasacky.

[Pepa]

Na URL https://blog.frantovo.cz/ je problem, hlasi samizdat-2.frantovo.cz – GlassFish

[Andrej]

Komplexita sestává z reality a imaginarity. Imaginaritu je třeba buď odstranit, nebo transformovat v realitu.