Rychlost opravy chyb aneb úpadek Gnome a KDE

18.5.2008 12:02 | Přečteno: 1495× | Linux | poslední úprava: 18.5.2008 14:36

Před více než rokem jsem porovnával rychlost opravy chyb, a teď mě napadlo podívat se, jak se od té doby situace změnila.

Metodika zůstala stejná:

Vyberou se chyby z bugzilly za šestiměsíční období (leden-červen 2006 a květen-říjen 2007). Zajímavé jsou jen opravdové chyby, takže nepočítáme duplicity, neplatné chyby a chyby způsobené původním kódem (upstream). Pokud nebyla chyba opravena do 6 měsíců, počítá se jako neopravená.

Oproti původnímu srovnání jsem v Mandriví Bugzille počítal jen položku Mandriva Linux (i když ty ostatní položky měly dohromady jen pár desítek bugů) a v Novellí Bugzille jen položku openSUSE. Vynechal jsem RedHat, anžto jsem nakonec nějak nepochopil, jakým způsobem tu Bugzillu vedou.

A výsledek je na obrázcích.

Mandriva si polepšila, očividně je to důsledek změn, které zavedl Adam Williamson. (Nahlášená chyba je nejprve prozkoumána členy triage teamu, kteří se postarají, aby se nejednalo o duplicitu a aby hlášení obsahovalo všechny potřebné informace. Teprve pak je předána vývojářům, kteří tak neztrácejí čas.)

openSUSE je stabilní, Gentoo si mírně polepšilo.

Ale velké překvapení mě čekalo u KDE a Gnome.

U KDE očividně platilo, že chyba je buďto opravena v den nahlášení anebo nikdy. Teď silně polevili, a to i přes výrazně nižší počet hlášení.

Největší překvapení bylo ale u Gnome. Z 50% úspěšnosti se dostali na 16 %. Musí se ale uznat, že měli trochu těžší situaci - počet hlášení se jim ztrojnásobil a polovina z nich byly duplicity (<flame>tipnul bych si na ubunťáky - je jich hodně, mají Gnome jako default a mají vyšší podíl BFU</flame>) (za duplicity mohou hlavně automatická hlášení při pádu aplikací, hlavně od uživatelů Fedory a Ubuntu)

Data:

Mandriva old
(2006-01-01 - 2006-06-30)
Celkový počet chyb: 2634
Z nich nás ale zajímá jen: 2089
(Protože nepočítáme 215 DUPLICATE, 46 WORKSFORME, 175 INVALID, 74 WONTFIX a 35 REPORTEDUPSTREAM)
Neopraveno zůstalo: 1050
Opraveno bylo: 1039
Celkem bugů opravených do 1 dne: 207
Celkem bugů opravených do 7 dnů: 205
Celkem bugů opravených do 14 dnů: 85
Celkem bugů opravených do 30 dnů: 112
Celkem bugů opravených do 61 dnů: 127
Celkem bugů opravených do 183 dnů: 303

Mandriva new
(2007-05-01 - 2007-10-30)
Celkový počet chyb: 4174
Z nich nás ale zajímá jen: 3128
(Protože nepočítáme 479 DUPLICATE, 54 WORKSFORME, 306 INVALID, 154 WONTFIX a 53 REPORTEDUPSTREAM)
Neopraveno zůstalo: 1278
Opraveno bylo: 1850
Celkem bugů opravených do 1 dne: 334
Celkem bugů opravených do 7 dnů: 456
Celkem bugů opravených do 14 dnů: 201
Celkem bugů opravených do 30 dnů: 237
Celkem bugů opravených do 61 dnů: 192
Celkem bugů opravených do 183 dnů: 430

openSUSE old
Celkový počet chyb: 7005
Z nich nás ale zajímá jen: 4297
(Protože nepočítáme 1093 DUPLICATE, 263 WORKSFORME, 801 INVALID a 551 WONTFIX)
Neopraveno zůstalo: 1525
Opraveno bylo: 2772
Celkem bugů opravených do 1 dne: 474
Celkem bugů opravených do 7 dnů: 707
Celkem bugů opravených do 14 dnů: 337
Celkem bugů opravených do 30 dnů: 431
Celkem bugů opravených do 61 dnů: 359
Celkem bugů opravených do 183 dnů: 464

openSUSE new
Celkový počet chyb: 7368
Z nich nás ale zajímá jen: 4710
(Protože nepočítáme 1221 DUPLICATE, 294 WORKSFORME, 611 INVALID a 532 WONTFIX)
Neopraveno zůstalo: 1674
Opraveno bylo: 3036
Celkem bugů opravených do 1 dne: 457
Celkem bugů opravených do 7 dnů: 775
Celkem bugů opravených do 14 dnů: 389
Celkem bugů opravených do 30 dnů: 454
Celkem bugů opravených do 61 dnů: 425
Celkem bugů opravených do 183 dnů: 536

gentoo old
Celkový počet chyb: 20603
Z nich nás ale zajímá jen: 13871
(Protože nepočítáme 4179 DUPLICATE, 630 WORKSFORME, 1412 INVALID a 511 WONTFIX)
Neopraveno zůstalo: 5088
Opraveno bylo: 8783
Celkem bugů opravených do 1 dne: 2218
Celkem bugů opravených do 7 dnů: 2037
Celkem bugů opravených do 14 dnů: 851
Celkem bugů opravených do 30 dnů: 989
Celkem bugů opravených do 61 dnů: 1006
Celkem bugů opravených do 183 dnů: 1682

gentoo new
Celkový počet chyb: 13675
Z nich nás ale zajímá jen: 10103
(Protože nepočítáme 2153 DUPLICATE, 355 WORKSFORME, 763 INVALID a 301 WONTFIX)
Neopraveno zůstalo: 3348
Opraveno bylo: 6755
Celkem bugů opravených do 1 dne: 1557
Celkem bugů opravených do 7 dnů: 1518
Celkem bugů opravených do 14 dnů: 695
Celkem bugů opravených do 30 dnů: 855
Celkem bugů opravených do 61 dnů: 935
Celkem bugů opravených do 183 dnů: 1195

kde old
Celkový počet chyb: 10724
Z nich nás ale zajímá jen: 7142
(Protože nepočítáme 1364 DUPLICATE, 966 WORKSFORME, 995 INVALID a 257 WONTFIX)
Neopraveno zůstalo: 5176
Opraveno bylo: 1966
Celkem bugů opravených do 1 dne: 1731
Celkem bugů opravených do 7 dnů: 16
Celkem bugů opravených do 14 dnů: 0
Celkem bugů opravených do 30 dnů: 27
Celkem bugů opravených do 61 dnů: 85
Celkem bugů opravených do 183 dnů: 107

kde new
Celkový počet chyb: 6689
Z nich nás ale zajímá jen: 4612
(Protože nepočítáme 825 DUPLICATE, 425 WORKSFORME, 678 INVALID a 149 WONTFIX)
Neopraveno zůstalo: 3648
Opraveno bylo: 964
Celkem bugů opravených do 1 dne: 276
Celkem bugů opravených do 7 dnů: 145
Celkem bugů opravených do 14 dnů: 61
Celkem bugů opravených do 30 dnů: 81
Celkem bugů opravených do 61 dnů: 117
Celkem bugů opravených do 183 dnů: 284

gnome old
Celkový počet chyb: 20740
Z nich nás ale zajímá jen: 15018
(Protože nepočítáme 3809 DUPLICATE, 0 WORKSFORME, 406 INVALID, 695 NOTABUG, 481 NOTGNOME, 0 NOTXIMIAN a 331 WONTFIX)
Neopraveno zůstalo: 7627
Opraveno bylo: 7391
Celkem bugů opravených do 1 dne: 1843
Celkem bugů opravených do 7 dnů: 1753
Celkem bugů opravených do 14 dnů: 748
Celkem bugů opravených do 30 dnů: 908
Celkem bugů opravených do 61 dnů: 851
Celkem bugů opravených do 183 dnů: 1288

gnome new
Celkový počet chyb: 63421
Z nich nás ale zajímá jen: 35707
(Protože nepočítáme 25159 DUPLICATE, 0 WORKSFORME, 449 INVALID, 645 NOTABUG, 1184 NOTGNOME, 0 NOTXIMIAN a 277 WONTFIX)
Neopraveno zůstalo: 29887
Opraveno bylo: 5820
Celkem bugů opravených do 1 dne: 1447
Celkem bugů opravených do 7 dnů: 1262
Celkem bugů opravených do 14 dnů: 513
Celkem bugů opravených do 30 dnů: 620
Celkem bugů opravených do 61 dnů: 700
Celkem bugů opravených do 183 dnů: 1278

       

Obrázky

Komentáře

[freshmouse]

Totální nesmysl. Navíc obohacený o kopnutí do ubunťáků a žvásty o úpadku.

Co ta čísla mají znamenat? Jó, kdybys takhle ty bugzilly fakt prošel a pak dělal závěry, beru, ale tohle nemá žádnou hodnotu, něco jako že devět českých žen z deseti používá ten a ten prací prášek. Napadlo tě někdy např. to, že do bugzill se nehlásí jen chyby?

[Chocolate Bear]

Nesmysl by to třeba byl, kdyby se tím porovnávali ty projekty navzájem, ale já to pochopil tak, že jde o srovnání minulost vs bližší minilost u každého projektu. Hodnotil jsem jako dobré.

[freshmouse]

Já to pochopil taky tak, ale na tom moc nezáleží. Prostě se porovnává starší nesmysl s novějším nesmyslem...

[Chocolate Bear]

Potom ale nechápu "Co ta čísla mají znamenat? Jó, kdybys takhle ty bugzilly fakt prošel". Snad je jedno, co mají znamenat. Pokud znamenají u jednotlivých projektů pořád to samé, tak jejich porovnání má smysl.

[freshmouse]

Ano, samotná komparace má smysl, ale jednotlivá data ne. Je to jako zkoumat, kolik andělů se na špičku jehly vešlo dnes a kolik včera...

"Co ta čísla mají znamenat? Jó, kdybys takhle ty bugzilly fakt prošel" -- tím jsem myslel to, že v Bugzille jsou různé záznamy. Různě prioritní, různě důležité. Jsou tam nejen chyby, ale i požadavky funkcí -- nesmyslných i důležitých. A i podle toho jsou požadavky řešeny.

Kdyby autor x let procházel a používal nějakou bugzillu a pak tady řekl, že je někde úpadek nebo že se někde daří, tak jo, ale on udělal jen výcuc čísel, přičemž silně pochybuju, že ty bugzilly zná i jinak než z minulého výcucu...

[Out-sider]

No jak tě tak sleduju, ještě že autor neprošel Bugzillu ubuntu a nevyplivl tady negativně vypadající graf. Nechcu si ani domyslet, jak bys tady hystericky vyváděl

[freshmouse]

Já hystericky nevyvádím. Jen jsem podotkl, že je je toto porovnání totální nesmysl a závěry z něho plynoucí taky. Toť vše. Nevím, jak s tím souvisí Ubuntu.

[Out-sider]

Totální nesmysl. Navíc obohacený o kopnutí do ubunťáků a žvásty o úpadku

[freshmouse]

A?

[hajma]

bugzilly znam bohuzel moc dobre, netreba pochybovat.

Pozadavky funkci - enhancement - tech je v Gnomi bugzille v 05/2007 - 10/2007 asi 3000, to se v tom mnozstvi ztrati. Takze zase nic.

Jinak obecne - cisla jsou cisla, mohou znamenat cokoli. Pokud nyni v Gnome opravili 5800 bugu a rok pred tim za stejne obdobi 7400, tak ja si myslim, ze je to docela vyrazne zhorseni. A neni v tom zadne zaujeti proti Gnome, KDE je na tom daleko hur.

[freshmouse]

Ano, ale to stále nic nevypovídá o samotných hlášeních. Je otázkou, co a jak se vyřešilo, například co bylo záplatováno atd. Co se týče třeba GNOME Bugzilly, občas tam něco přispěju, a všiml jsem si toho, že se někdy stává, že i když je problém vyřešen, v Bugzille to není označeno jako FIXED. A to je právě to, co ti vyčítám -- podle mě všechny ty bugzilly osobně neznáš a data, co jsi sem poskytl, nemají tedy takovou hodnotu.

A ještě jen drobnost. Porovnáváš období leden až červen a květen až prosinec, což jsou různé "sezony". Analogicky bych takhle mohl srovnávat, jak lidé jezdí na dovolenou k moři: zatímco v měsících dubnu až září 2007 jezdí hodně, v říjnu 2007 až březnu 2008 jezdí málo. Lze z toho vyvodit, že lidé přestávají jezdit k moři?

[hajma]

A ja si zase myslim, ze se to srovnavat da. Samozrejme, ze budou bugy, ktere jsou fixnute, ale zapomeli je tak oznacit. Budou i bugy, ktere nekdo oznacil jako duplicate a pritom se jednalo o neco uplne jineho, jenomze ten, kdo bug nahlasil se jiz neobtezoval chybu znovu otevrit a upozornit na to. atd atd.

Jenze tyto vyjimky budou tvorit radove max procenta.

Co se tyka obdobi - pokud najdu chybu, me je jedno jestli je zrovna leden nebo zari, ja chci, aby byla opravena co nejdrive. Ale ze me to samotneho zajimalo, zkusil jsem si cisla pro Gnome v obdobi leden-cerven 2007. A tam je to dokonce jeste horsi:

Celkový počet chyb: 19784
Z nich nás ale zajímá jen: 9189
(Protože nepočítáme 9766 DUPLICATE, 0 WORKSFORME, 118 INVALID, 124 NOTABUG, 559 NOTGNOME, 0 NOTXIMIAN a 28 WONTFIX)
Neopraveno zůstalo: 8381
Opraveno bylo: 808
Celkem bugů opravených do 1 dne: 153
Celkem bugů opravených do 7 dnů: 152
Celkem bugů opravených do 14 dnů: 84
Celkem bugů opravených do 30 dnů: 103
Celkem bugů opravených do 61 dnů: 94
Celkem bugů opravených do 183 dnů: 222

[hajma]

noo, kdyz se na to kouknu z druhe strany, tak se da rict, ze Gnome bylo v upadku a ted se z nej pomalu dostava

[Käyttäjä 11133]

i když je problém vyřešen, v Bugzille to není označeno jako FIXED

Ale to je nepořádnost vývojářů...

[freshmouse]

Ale kdybys třeba pojednal o bugzille projektu, co dobře znáš, s chutí bych si to přečetl a hodnotil dobře.

[Out-sider]

Panečku ty jseš ale vůl. Zeptal bych se tě, jestli náhodou nepoužíváš ubuntu , ale obávám se, že to vím!

[xkucf03]

No a, proč si trochu nekopnout, že ho používá spousta lam je fakt. To že ho mají i jiní lidé jako ty nebo já na tom moc nemění.

A jinak souhlasím, čísla z bugzill se dají použít spíš jako generátor náhodných čísel než nějaké hodnocení - pokud do nich může zadávat chyby kdokoli, resp. kdokoli s registrací.

Ale hodnotím kladně, za to, že si s tím autor dal práci a napsal komentáře.

[Chocolate Bear]

Jak to vlastně nakonec dopadlo s bugy v KDE3, byly všechny uzavřeny? To by graf pro tento rok mohl bejt zajímavej

[Out-sider]

Taky by měl zajímalo, jak se do té statistiky pormítá KDE3 a KDE4 a postupný přechod.

[multi]

+1 zajimavej pruzkum

[hajma]

ackoliv vetsinou na freshmouse nereaguji, nedalo mi to a podival jsem se na ty dupl. v Gnome podrobneji. Naprosta vetsina z nich je zpusobena automatickymi hlasenimi pri padu aplikace.
Co se tyka rozdeleni dle distribuci, Ubuntu za to nemuze (az tak uplne):

resolution=DUPLICATE & Comment contains 'fedora' = 11995
resolution=DUPLICATE & Comment contains 'ubuntu' = 8160
resolution=DUPLICATE & Comment contains 'debian' = 1475
resolution=DUPLICATE & Comment contains 'suse' = 825
resolution=DUPLICATE & Comment contains 'gentoo' = 790
resolution=DUPLICATE & Comment contains 'mandriva' = 459
takze spornou vetu ze zapisku upravim.

[freshmouse]

Díky.

[Let_Me_Be]

Booze, to je blbost. Aby to melo alespon nenulovy vyznam, tak by to muselo byt rozdelene podle zavaznosti chyb. Jinak u KDE je celkem logicke, Uvedene obdobi je obdobi intenzivni prace na KDE4.

[Chocolate Bear]

Je to blbost, ale u KDE je to logické

[hajma]

Mumbo ... perhaps, Jumbo ... perhaps not

podle mych zkusenosti to sedi. Chyby v KDE mnou nahlasene jsou nereseny uz veky. A je mi jedno, jestli se kona prechod na 4 nebo ne.