Dotaz: Problém s prioritou procesu

[Milan Dobeš]

Ahoj, mám na linuxovém serveru databázovou aplikaci, kterou používá několik klientů přes telnet. Zjistil jsem problém s prioritou, který se projevuje tak, že když jeden z klientů spustí časově náročnou úlohu, která trvá řádově minuty (uzávěrka a.t.d.), ostatní kteří pořizují data (a jejich proces tak většinou čeká na klávesnici) většinou "vytuhnou" a procesor "zabere" ten časově náročný klient.
Je možné nějak zajistit aby čas procesoru byl nějak rovnoměrně členěn mezi všechny klienty (samozřejmě za cenu zpomalení té časově náročné úlohy), eventuálně aby se priorita procesu nějak dynamicky zvyšovala neúměrně spotřebovanému času, nebo je to principiálně neřešitelný problém?
Moc díky za odpověď.

Odpovědi

[Michal Kubeček]

Řekl bych, že nepůjde o problém s prioritou procesů, ale o problém toho, jak ta databázová aplikace používá (nebo nepoužívá) transakce.

[Milan Dobeš]

To je na mě moc, jaké transakce máš prosím Tě na mysli??? S daty aplikace pracuje pomocí souborových a záznamových zámků které existují pouze po nezbytně nutnou dobu. V nich problém zcela jistě není.

[Michal Kubeček]

Tohle ovšem vypadá právě na to, že ten dlouho trvající proces něco zamkne a ostatní mohou pracovat až poté, co on skončí. Nebo jste to chování možná jen špatně popsal…

P.S. poněkud mne překvapuje, že někdo programuje (nebo i jen spravuje) databázové aplikace a nemá tušení, co jsou to transakce…

[Cronin]

Just for fun: No, niekto nazyva databazou napr. aj MySQL.

[unchallenger]

Klidně nazývám databází i cdb. A když mysqlisti vědí, že transakce umí v MySQL jen některé backendy, tak snad vědí i to, co transakce jsou...

[Milan Dobeš]

Díky za pomoc, fakt jste moc pomohli Myslím že jsem celkem jasně odpověděl jak aplikace pracuje s daty, že používá pouze zámky a ne databázové transakce. Z Vaší odpovědi jsem vydedukoval že mi unikly někde nějaké jiné transakce přímo v Linuxu. Jinak ta aplikace skutečně například 5 minut zpracovává data (pouze je čte, nezamyká, pouze na závěr na pár sekund zamkne a zapíše to co se spočítalo) a ostatní během uzávěrky nemohou pracovat prostě proto, že je systém většinou nepustí k lizu (občas ano, takže žádné zámky nebo transakce v tom nejsou). Prostě procesor dostane ten klient co dělá uzávěrku a ostatní většinou čekají. Pokud to skouším například na 2 procesorovém stroji, musím spustit 2 uzávěrky na 2 klientech aby se ostatní zastavili. Pokud jede jedna uzávěrka, ostatní se střídají na druhém procesoru a jedou. To je další důkaz že aplikace je v tom nevinně. Takže ještě jednou prosím máte nějaký nápad? Lze nějak prioritu dynamicky měnit na základě nepřímé úměry k spotřebovanému času nebo to lze řešit nějak jinak???

[Michal Kubeček]

Hlavně byste musel zjistit, co se vám to tam vlastně zahlcuje, jestli je to opravdu čas procesoru, a čím se to zahlcuje. Protože dost často procesor nevytěžuje klient, ale databázový server, a pak vám jakékoli nastavení priority klienta není k ničemu. Problém může být i v tom, jak server vlastně zpracovává paralelní dotazy. Takže bych především zjistil, zda nastavení priority klienta vůbec něco změní.

[Milan Dobeš]

Nějak se tu neobjevila moje předchozí odpověď takže ještě jednou. Aplikace pracuje s daty nativně, bez SQL serveru. V TOPu vidím jen ty běžící aplikace, z toho jedna na 99% a ostatní čekají na klávesu nebo po odklepnutí klávesy na procesor. LA je něco přes 1, po odklepnutí klávesy u čekajících aplikací pochopitelně narůstá podle počtu klientů čekajících na procesor.

[ZAH]

Co ukazuje top. Visí to skutečně vinou té aplikace nebo i jiných procesů.

[Milan Dobeš]

V TOPu vidím jen ty aplikace třeba spuštěné s nejnižší prioritou, jedna z nich jede jak zběsilá na 99% a ostatní stojí. Překlapilo mě že když na té stojící aplikaci která čeká na stisk klávesy tu klávesu odklepnu, tak se nerozjede a nadále čeká. Občas se po náhodné době (až desítky sekund) pohne a celkem bleskurychle dospějě k čekání na další klávesu. Po dalším odklepnutí znova čeká. Zkoušel jsem to na jedno i víceprocesorových strojích s kernelem 2.4 i 2.6. Pochopitelně na 2 procesorových strojích jsem musel spustit 2 náročné úlohy aby mi ta třetí takto mrzla.

[Michal Kubeček]

Je mi líto, ale podle vašeho popisu mi to pořád nepřipadá jako problém s prioritou procesů. Mají-li procesy stejnou prioritu a chtějí-li všechny běžet (nečekají na něco), budou se o procesor dělit přibližně rovným dílem.

[Milan Dobeš]

Přesně to jsem očekával a proto mě toto chování dost překlapilo. Nemůže za to nějaká podivná optimalizace která by v případě že má více procesů stejnou prioritu upřednostnila ten který je právě zpracovávaný (aby nedocházelo ke ztrátám času při přepínání procesů)? Jinak si to chování neumím vysvětlit.

V reakci na Vaši odpověď mě napadá otázka co to vlastně znamená "rovným dílem". Pokud je to "rovným dílem" v nějakém čase, jaký je ten čas? Lze jej někde nějak nastavit?

[unchallenger]

Největší timeslice jsou řádově stovky milisekund (nebudu uvádět žádné číslo, protože to různé patche různě mění), a ten to ani nedostane; běžné jsou ~100 ms. Takže s granularitou několik sekund už bys měl pozorovat zhruba vyrovnané časy.

[Milan Dobeš]

Díky za info, alespoň vím kde problém nehledat. Pokud na něco dojdu, napíši to sem. Pro úplnost, aplikace je ve FoxPro for UNIX a běží na Linuxu upraveném ABI patchem. Možná bude problém v něm.