Dotaz: Proces zere 100 CPU - jak dat na pozadi? KDE

[petr_fm]

Ahoj, v KDE - Kubuntu jsem spustil na pozadui kopirovani 30GB z TC kontejneru v siti do lokalni slozky. Procesor lita mezi 95 az 100 procenty. Mam C2D Da se nejak jednoduse priskrtit to kopirovani, aby se s PC dalo pracovat?

V TOP se mi zobrazuje proces Kworker - WTF? To je nejaky univerzalni proces pro ulohy spustene pres KDE? Jak to tedy hodit do pozadi? Renice asi nepujde pouzit, ze? Idealni by stejne bylo nejake klikatko.

Diky za tip

P.

Odpovědi

[petr_fm]

Jeste aby bylo jasno - nepustil jsem to na pozadi, ale normaqlne naklikal v dolphinu, takze se to kopiruje a mam process bar v oznamovani v liste. Moje idea je, ze by tam misto pause a stop bylo i tlacitko background, ale kde nic, tu nic.

[Pavel 'TIGER' Růžička]

Včera jsem po síti kopíroval 27GB a normálně jsem si pustil po té samé síti ještě film a mé C2D to zvládalo bez problému. Pravdou je, že nemám KDE, ale tak nějak sestaven desktop podle mých představ.

[petr_fm]

Ono jde spíš o to, že to kopíruju z TrueCrypt kontejneru, který mám mountovaný do /media, takže to dešifrování dělá to C2D. Taky jsem neříkal, že mi běží jen to ale fakt se s tím nedá dělat... Kopírování mi chodí po síti OK, ale ten TrueCrypt to spolehlivě zabije. Dá se to nějak "ztlumit"? prostě sundat nohu z plynu? ))

[petr_fm]

OK, zase jsem se neco naucil... CTRL+ESC otevre Aktivita systemu - tady muzu vybirat procesy a pres F8 menit jejich prioritu - NADHERNE !!! Ma to jen jednu vaznou chybu - je tam nekolik procesu Kworker ktere berou max 12 procent cpu a ruzne to poskakuje. Nic nebere vice, nez 15 procent, pritom widget sledujici procesor ukazuje narust na 98 procent a system se skoro nehne.

Kde udelali soudruzi chybu?

[nobody]

serad si to podle jmena procesu => prestane ti to poskakovat pak oznac vice polozek a zmen prioritu vsem najednou ;)

[nobody]

a jeste detail, pokud chces videt v seznamu procesu i sloupec s priority zmackni pravou mys nad hlavickou tabulky "jmeno,uzivatelske,..."

[petr_fm]

Uz jsem si tam pridal procesorovy cas a to je smysluplnejsi udaj, protoze procenta porad poskakuji. Udelal jsem to naopak, prikouril jsem trochu Plasma desktopu a zacalo to frcet, do chvile, nez spadnul mel jsem chvili cernou obrazovku, pak se restartoval a jede to, ale zase ma normalni prioritu, tak nevim.

A jinak, tlacim to do /home, takze na ext4, v tom problem nebude, spis vadi ta sit a truecrypt.

[rADOn]

Pokud proces visi na diskovym io tak se to nepocita jako jeho cas. Pokud ale stihne zatopit dost na to aby kernel stravil vetsinu casu cekanim az se protoci nejakej spinlock tak je masina na plech a cas straveny v ring0 bude ve statistice chybet. Chytrejsi widgety na sledovani to i umi ukazat ("prohlizec zateze systemu" ukazuje zvlast userspace, kernel a io cas), ale i na hloupejsim to poznas protoze se to zacne chovat jak popisujes: mas zatez ktera odpovida 100% zatezi jednoho jadra a nechce se hnout. Pokud je to jeden proces tak se zalomi na jednom jadre, kdyz jich bude vic tak obcas preskoci ale porad to bude dohromady davat 100%.

Pokud te netrapi cas, docela hodne v takovym pripade pomuze snizit prioritu diskoveho planovace na idle. Kernel pak nebude ztracet cas tocenim spinlocku a takovou ulohu rovnou odlozi na "az nebude do ceho pichnout". Cili to bude trvat vyrazne dele (staci pustit browser ktery tu a tam ukapne par bajtu do svoji cache a kernel uz to bere ze je do ceho pichnout) ale masina uz se nechova jak v poslednim tazeni.

BTW v podstate soudruzi udelali chybu v tom ze kdyz dostanou moc prace tak se snazi udelat vsechnu najednou. Vetsinou je to tak dobre protoze se tak zabrani prostojum a vyzdimes vic prace za jednotku casu.

Pak je tu jeste jedna znepokojivejsi moznost – muze se to takhle chovat taky proto ze disk je pred zdechnutim. Zacne travit vetsinu casu relokaci vadnych sektoru nebo nejakou takovou ptakovinou a s tim kernelovej io planovac nic nenadela.

[lertimir]

Jak se u běžícího procesu zasahuje do diskového plánovače? Nepomohla by takové akce i při práci s flashkama nebo zvýšené zátěži?

[rADOn]

To uzasny kdeckovy klikatko zmineny vyse to umi. Jinak ionice -c3 -p pid

[tsLnox]

kworker nemá v názvu k podle KDE, ale podle kernelu. Na jakej FS to tlačíš?

[Sten]

kworker je pseudoproces, ve kterém běží pracovní vlákna jádra, tedy zřejmě i TrueCrypt. renice na něj samozřejmě použít nejde. Nicméně kworker sám by neměl počítač nijak zpomalovat, to spíš bude způsobovat zápis na ten disk. Tomu lze snížit prioritu pomocí ionice na příslušný proces (zjistit jde přes iotop) nebo vybráním IO scheduleru, který tohle umí řešit.

[petr_fm]

Mas recht clovece. To je presne ono. Procesor se flaka, ale IO je na 95 procentech. kdeinit4 a mount.ntfs uplne zahlti io. Da se tohle regulovat nejak pres klikatko v KDE? Protoze pak dochazi k tomu, ze kopirovani, ktere ma predpokladany cas 7 hodin uplne obsadi IO a nespustim si ani kalkulacku (s trochou nadsazky) ale opravdu, kazde okno se otevira cca minutu.

V tomhle pripade by se kopirovaci akce mely odsouvat do pozadi, ne?

[chrono]

V ich bugzille je žiadosť o to, aby integrovali ionice pre I/O aktivity viac ako 5 rokov, nič také sa ale do KDE zatiaľ nedostalo. (jediná možnosť teda asi je použiť ionice)

[Sten]

Klikátko k tomu neznám.

ionice jde použít třeba takto:

ionice -c 3 -p $(pidof mount.ntfs)

mount.ntfs smí číst a zapisovat, jen pokud o to nestojí nikdo jiný
nebo takto:

ionice -n 7 -p $(pidof mount.ntfs)

mount.ntfs bude mít nejnižší prioritu, ale pořád bude trochu číst a zapisovat, i když čtou a zapisují ostatní

Jde zároveň nastavit i rovnou při spuštění programu:

ionice -n 7 mount.ntfs ...

Nastavit IO scheduler lze pomocí /sys/block/${DISK}/queue/scheduler:

cat /sys/block/sda/queue/scheduler # Vypíše dostupné schedulery pro disk sda, aktivní je označen
echo deadline >/sys/block/sda/queue/scheduler # Vybere deadline pro disk sda (než se změna projeví, může to chvíli trvat)

Pro trvalé nastavení se používá parametr elevator=${SCHEDULER} při bootu nebo, pokud chcete různé schedulery pro různá zařízení, lze použít sysfsutils.

[petr_fm]

jenomže scheduler pro zarizeni je naprd. Ja mam v tomhle pc jen jeden disk, kde mam jak root, tak /home. A kdyz pak neco kopiruju do /home, uplne se mi ucpe cely system.

Dela Vam to taky takove problemy s behem systemu? to by chtelo nejake hezci reseni, nez prikazovou radku pri kazdem vetsim kopirovani. Myslim, ze ve W7 mi to chodi lepe, ze se systemem jde pocas kopirovani normalne makat - sice je pomalejsi, ale to, co mi udela to kubuntu je des - to se fakt ani nehne. Porad musim pausovat a poustet kopirovani, abych mohl na pc neco delat.

[pavlix]

Vedle toho, co umí různé kernelové plánovače dost zálení na tom, co dokáže userspace využít bez specifického administrátorského nebo uživatelského zásahu. Třeba na Windows už nějakých sto let fungovala priorita klíčových GUI procesů, které zajišťovaly to, aby člověk mohl ovládat systém a sestřelit ošklivou aplikaci, což se na linuxovém desktopu nikdy moc neřešilo. Jsem zvědavý, jestli na tom třeba zrovna nástup systemd něco změní, vždycky jsem si přál mít správce uživatelských služeb a tady by jiná instance stejného nástroje spravovala jak systémové, tak uživatelské.

Je vcelku zjevné, že by souborový manažer neměl mít úplně stejné podmínky jako třeba ovládací prvky desktopu a neměl by mít možnost s nimi bojovat o čas. Na druhou stranu není od věci, když umí provádět akce na pozadí tak, aby nenarušily běh zbytku toho stejného programu, na což je asi ideální se forknout a nechat se o průběhu jen informovat, nebo si na pozadí spustit službu třeba pomocí toho správce uživatelských služeb, který se zatím nepoužívá.

[petr_fm]

Jo, ve win si pamatuju uz hodne dlouho tu volbu - optimalizovat na vykon aplikaci, nebo sluzeb. Proste pokud je to server, pak by melo mit nejake GUI nizsi prioritu, pokud je to desktop, pak mne nezajima, jak dlouho se bude co kopirovat, ale chci se systemem pohodlne pracovat.

Jinak nepochopil jsem tuhle tvou vetu :

na což je asi ideální se forknout a nechat se o průběhu jen informovat, nebo si na pozadí spustit službu třeba pomocí toho správce uživatelských služeb, který se zatím nepoužívá

Poradis mi, jak to prakticky udelat? Co je ten spravce uzivatelskych sluzeb? to je neco ze systemd? o systemd vim jen to, ze je to NECO, na co vsichni nadavaji Jinak je fakt, ze jsem docela ziral, ze souborovy manazer defakto posila kopirovaci ulohy nekam dale do systemu a normalne se s nim da pracovat - to z WIN neznam, snad krom pouziti integrovaneho spravce souboru, ktery zase dela bordel s x okny na plose... Jak je to ve Win8 nevim, ten nemam a nebudu mit

[pavlix]

Jo, ve win si pamatuju uz hodne dlouho tu volbu - optimalizovat na vykon aplikaci, nebo sluzeb.

Takové optimalizace jsou i na linuxu, hlavně co se týče ladění odezvy. Server obvykle nepotřebuje tak rychlou odezvu jako GUI a když obětuješ odezvu, jako odměnu získáš méně context switchů.

Proste pokud je to server, pak by melo mit nejake GUI nizsi prioritu,

Pokud je to čistý sever, není GUI vůbec spuštěné, pokud je spuštěné, tak to má asi nějaký důvod, chci ho používat, a určitě nechci, aby se sekalo.

pokud je to desktop, pak mne nezajima, jak dlouho se bude co kopirovat, ale chci se systemem pohodlne pracovat.

To rozhodně, akorát za desktop pak považuju každý stroj, kde mám spuštěné GUI, i kdyby to byl primárním účelem server.

Poradis mi, jak to prakticky udelat?

To forknutí je možné i dnes, ale je to věcí toho nástroje, který zajišťuje to kopírování. A řeší to především problém neovladatelnosti toho samotného nástroje, i když jako vedlejší efekt to může pomoci i všemu ostatnímu. Jediné, co můžeš, je kopat do vývojářů nebo zkusit poslat patch.

to je neco ze systemd?

Správu služeb zajišťuje systemd, nebo to do jisté míry zajišťovaly initscripty, upstart, runit a podobné. Taky není špatná socketová aktivace, kterou umí například systemd, inetd a xinetd. To vše se většinou používalo jen na systémové úrovni a docela rád bych to zkusil i na úrovni session, nacož teď pokud vím cílí hlavně systemd a to asi nejvíc ve spolupráci s Gnome. Stejnětak by to mohl být jiný software, ale k tomu se dosud nikdo nerozhoupal.

Jinak je fakt, ze jsem docela ziral, ze souborovy manazer defakto posila kopirovaci ulohy nekam dale do systemu a normalne se s nim da pracovat - to z WIN neznam

Když jsem nějak víc používal Windows (začítky XP a dřív), tak jsem tam vždy měl nějaký slušný software typu Total Commander, který tuším uměl běžně odložit práci na pozadí.

[Sten]

To by právě jiný scheduler mohl vyřešit, dobré zkušenosti mám s deadline. Mě to systém nedělá, ale mám 16 GiB RAM a SSD cache

Mimochodem důvod může být i používání NTFS. To prostě v Linuxu moc dobře nefunguje.

[MadCatX]

Jeden z problémů je NTFS. S tím jsem měl problémy z hlediska výkonu vždycky. I třeba hash check torrentu na NTFS oddílu dokázal solidně vytížit disk i CPU. Jestli máte /home naformátované v NTFS, je to ryzí výkonová sebevražda.

Co tam máte za jádro? Mám dojem, že nějaké úpravy IO schedulerů se nedávno do jádra dostaly, ale je fakt, že i 3.16 se mi při masivním IO dokáže zasekat. Zkuste si pohrát jednak s IO schedulerem a pokud by žádný z těch, co jsou běžně k dispozici problém neřešil, mrkněte se po jádře s BFQ schedulerem.

[lertimir]

Souhlas. NTFS má na procesorovou zátěž tak 3-5 větší požadavky než nativní linuxový FS (ext3/4, XFS, Reiser). Vhodné jedině v podstatě pro externí disky a jako přístup k nativnímu Win disku. Nesmysl pro /home už z toho důvodu, že neřeší posix práva.

[petrfm]

No, je to jasne... kopiroval jsem z externiho USB disku, kde mam kvuli kompatibilite s W NTFS sice druha bezici uloha byla kopirovani z /home na samba disk, ale zrejme to zasekalo to kopirovani z NTFS. Pravda, s ntfs jsem mel vyrazne problemy i kdyz jsem testoval sambu a sifrovani na raspberry, kde je vykonu silny nedostatek.

Jake mam na tom kubuntu jadro nevim, mam ho v praci a nepripojim se tam, protoze je to desktop, mrknu se zitra.

[Sten]

Na externí disky mohu doporučit UDF. Windows se sice snaží tvářit, že to neumí (naklikat formátování v UDF tam nejde, jedině přes command line), ale s naformátovaným diskem si bez problémů poradí.

[petrfm]

Chtel jsem si vyrobit par UDF flashek, ale zjistil jsem, ze to nejak neumi ani linux. Mam tady gparted a formatovani na UDF mi nedovoli, ani nenabidne. Je tedy vubec udf dobre podporovany, kdyz se musi zrejme doinstalovat? Neni pak lepsi pouzivat ten FAT/NTFS i za cenu vyssi zateze CPU?

[nobody]

mkudffs z baliku udftools je jen na vytvareni,
na cteni nepotrebujes snad doinstalovat nic :)

[Sten]

GParted formátovat UDF neumí, ale to neznamená, že by s tím měl Linux problém, je to chyba GParted (a rozhodně to není jediné, co Linuxu umí a GParted ne).

Linux má nativní podporu pro UDF, protože je to systém pro DVD a BluRay (to je ostatně stejný důvod, proč ho umí i Windows), mám několik disků naformátovaných v UDF a zatím fungovaly všude, pouze Windows XP neumí zapisovat, jen číst. Je taky potřeba dát pozor na to, že UDF umožňuje v Linuxu nahrát soubory lišící se velikostí písmen, což ale nefunguje správně ve Windows, nebo normalizací, což zase nefunguje na Macu.

Pro formátování je potřeba doinstalovat utilitu mkudffs, bývá v balíčku udftools.

[petrfm]

Hmm a pak se to nauci i gparted, nebo teda budu mit dalsi utilitu jen na formatovani prenosnych disku? A porovnavali jste vykon takoveho FS s FATem, popr. NTFS? Je tam velky rozdil v zatezi procesoru, atd?