2013 Coverity Scan Open Source Report

Společnost Coverity vydala Coverity Scan Open Source Report za rok 2013. Dle nejnovější zprávy je například v open-source C/C++ projektech průměrně 0,59 chyby na 1000 řádků kódu, kdežto u proprietárních projektů je to 0,79 chyby na 1000 řádků kódu. Službu Coverity Scan využívá více než 1700 open-source projektů.

19.4.2014 01:01 | Ladislav Hagara | Zajímavý článek

Komentáře

[Odin]

Zajimave. Otazkou vsak je, do jake miry jsou dane udaje relevantni. Jaky uzavreny software byl analyzovan? Jednalo se o reprezentativni vzorek?

[David Heidelberg]

Předpokládám, že Coverity Scan je schopný strojově odhalovat chybné vzorce v kódu, které již někdo zdokumentoval.

Než bych se ptal do jaké míry jsou údaje relevantní, tak bych se spíš zeptal k čemu jsou relevantní.

Dle mého názoru tento report krásně reprezentuje, že open-source vývojáři jsou buď

• méně náchylní k zanášení chybných vzorců do kódu
• a nebo se vždy najde někdo s zdravým rozumem, který ten kód po nich opraví

[David Heidelberg]

ježiš to abíčko je blbý. Já to dokončil, ale zavřel jsem si v chromíkovi tab hnedka, dávám refresh stránky a tam nic, komentářů: 1...

tak si říkám, dobře napíšu to znova. A vono to naskočí po půl hodině... fakt divný, abíčko asi chlastá po večerech.. protože si fakt hodně sedí na vedení.

Tak jsem si to krásně tady zaspamoval a dobrou noc děti.. cililink, zazvonil zvonec a pohádky je konec.

[Matlák]

On za to nejspíš může ten chromík. Poslední dobou mu jeho ucachovanost leze pěkně krkem. A to prosím platí i pro ajax requesty. Pragma:nocache? Haha. Zabere jen expirace v minulosti, nejlépe okolo roku 1970...

[Jendа]

Jsou kreativní a vytvářejí chyby, které nelze detekovat automatem :)

[David Heidelberg]

Předpokládám že Coverity Scan je schopný strojově odhalovat chybné vzorce v kódu, které již někdo zdokumentoval.

Než bych se ptal do jaké míry jsou údaje relevantní, tak bych se spíš zeptal k čemu jsou relevantní.

Dle mého názoru tento report může reprezentovat open-source vývojáře jako

• méně náchylné k zanášení chybných vzorců do kódu,
• schopné lépe revidovat kód a odstraňovat chyby,
• existence obávající se publikovat mizerný kód a poté snášet nevraživé pohledy uživatelů a přispěvatelů do kódu

Mimochodem, dneska jsem objevil Ameriku, aneb c{cc,++}-analyzer z clangu. Výborná věc, stačí použít scan-build nebo předefinovat CC a za zatraceně dlouhý čas z toho vyleze pěkná analýza a informace o eventuálním výskytu chyb :)

V případě chyb dokonce vygeneruje scan-build i pěknou html stránku s přehledem (ale vážně moc pěknou!)

[mity]

Vskutku zajímavé. Nicméně hádám, že analýza je zkreslená výběrovým efektem: Komerční projekt služeb Coverity využívá, protože to šéf rozhodl a firma platí. Umím si moc dobře představit, že motivací může být, pokud firma pochybuje o kvalitě kódu svých zaměstnanců, či prostě proto, že někdo nařídil nějakou firemní politiku.

Naproti tomu open source projekt tam je vždy ze své vlastní motivace. Ta asi existuje jenom u projektů, kde se kvalita kódu cení, což bohužel není automatické. FOSS projekt, který se příliš nestará o kvalitu svého kódu, nebude proto v analýze zohledněn.

[Peter Fodrek]

Je to dost relevantne, Coverity od roku 2006 kontroluje statickou analyzou (cez Coverity SAVE) vsetok SW, a jeho nove verzie, ktory pouziva americke ministerstvo vnutra a jemu podriadene organizacie, a ktory sa uchdza o to, aby ho pouzivali...

Kazy rok pise Coverity o tom spravu pre ministerstvo a kongres, ktora ma verejnu cast od roku 2011 a tato sprava je tou verejnou castou

[www]

Jeden ze zaveru je, ze Linux patri kvalitou k horsim projektum:

Coverity’s analysis found an average defect density of .59 for open source C/C++ projects that leverage the Scan service.

[...]

Coverity scanned more than 8.5 million lines of Linux code and found a defect density of .61.

[potato]

Pán bude asi expert na statistiku...

Závěr je, že Linux kernel patří kvalitou k typickým projektům.

[nyan]

Nooo... ono to neni tak uplne jednoduche. Kdesi sem cetl vysledek podobneho scanu, kde scanovali zvlast "jadro jadra" a ovladace jadra. Vysledkem bylo (IIRC) ze v ovladacich je 7x vic chyb na stejny pocet radku. Takze ty casti co pouzivaji vsichni jsou na tom mnohem lip.