Dotaz: jeden proces na vice procesorech

[David]

Ahoj, na stroji mi bezi kazdy den jeden proces (zalohovani serveru), ktery ten stroj docela zabije. Stroj ma dva procesory, ale proces vyuziva pouze jeden. Slo by nejak udelat, aby vyuzival i ten druhy? Diky, David

Odpovědi

[Filip Jirsák]

Ten proces by musel být vícevláknový a zámky by mu musely povolit běh více vláken současně. Např. tar nejprve skládá soubory za sebe, což nemůže běžet ve více vláknech, následující obyčejným gzip nebo bzip2 nejspíš ve více vláknech také běžet nemohou (pro bzip2 existuje speciální paralelní verze Parallel BZIP2).

[David]

Jedna se o proces bacula-dir, tedy o Directora zalohovaciho systemu Bacula. V dokumentaci jsem nic o vicevlaknove verzi nenasel, otazka tedy byla myslena tak, jestli neexituje neco co by se dalo mezi bacula-dir a jadro co by udelalo neco jao emulaci toho, ze bacula-dir bezi na vice vlaknech.

[Michal Kubeček]

To opravdu těžko. Navíc bych odhadoval, že to vaše "zabije stroj" je dáno spíš udušením diskových operací než zátěží procesoru. Protože pro zbytek systému zůstane k dispozici druhý procesor (jádro), takže by zpomalení ostatních procesů (z hlediska procesorového výkonu) nemělo být nijak drastické.

[David]

Zabije stroje nebylo napsano moc vhodne, slo o to, ze restore zalohy trva hodne dlouho a po tu dobu, co se pocita co se ma obnovit jede jeden procesor na 100 procent a druhy je idle. Ale jak vidim, s tim asi nic neudelam, skoda :(. Ale i tak diky za odpovedi.

[dustin]

Jedině snad zálohu rozdělit na více částí a každou zálohovat jinou baculou.

[David]

Ono zalohy jsou v pohode, jde o obnovy, director nejdriv pocita na kterych volumes a kde jsou soubory k obnove a to je to co trva i 8h :(

[dustin]

Právě pokud by to bylo rozdělené, mohl bys spustit dva procesy obnovy. Možná by to šlo i na stávající struktuře.

[David]

nechapu :( Mam stroj, jehoz obnova trva 8h, nevim jak bych si mel poustet dalsi proces, ktery by obnovu urychlil....

[dustin]

No píšeš, že bacula při obnovování zabere celý procesor, druhý se fláká a chceš jej do obnovy také zapojit. Tak jeden proces bude obnovovat třeba home a druhý zbytek. Pokud je jak píšeš úzké místo procesorový výkon, mohla by být obnova kratší.

[David]

Njn, jenze to takhle nefunguje. Ja si zadam, ze chci provest restore nejakeho klienta, on si projde relevantni zalohy toho clienta (to je to co trva 8h) a pak si vyberu co chci obnovit.....

[dustin]

Vždyť proto píšu, že by asi bylo potřeba toho klienta zadat dvakrát, pokaždé s jinými include/exclude cestami. Byly by to dvě různé konfigurace. Shodou okolností bys jejich obnovu pustil současně.

[Filip Jirsák]

Vzhledem k tomu, že to celé nejspíš vázne na diskových operacích, tohle rozdělení by ale stejně nepomohlo.

[dustin]

Taky se to tedy myslím, nicméně autor dotazu tvrdí, že je problém v CPU. Pokud rozbaluje a má opravdu rychlé pole, možná to tak opravdu je.

[David]

opravdu nechapu...mam pocit, ze ste baculu nikdy nepouzival. Restore delam pomoci konzoloveho (bacula konzole) prikazu restore

Console restore command, which is the recommended way of doing restoring files

ten nejdriv....ale dyt sem to uz psal......

[dustin]

Baculu jsem opravdu nikdy nepoužíval, využíváme backuppc. Bylo to myšleno tak, že by se nadefinovaly dvě definice pro jeden stroj, pod různými názvy - server-all, server-home. Pokud by šlo restore baculy spustit dvakrát (nevím, zda to třeba neběží z jedné páskové mechaniky se sekvenčním přístupem), stačilo by na jedné spustit restore klienta server-all, na druhé server-home. Nebo restore umí specifikovat podadresáře, které se mají obnovit - pokud by šlo spustit baculu restore dvakrát s různými omezeními, stačil by jenom jeden nadefinovaný klient.

Ale celá tato diskuse je asi o ničem, takže v ní končím.

[tmr]

Bohužel pokud není ten proces vícevláknový tak to asi nepude :(

[Kyosuke]

Pokud jde o vytížení procesoru kompresí nebo dekompresí, 7zip je multithreaded a i singlethreaded dekomprimuje hodně rychle. A měl by tam jít nějak dohackovat jako kompresor. Pokud o vytížení kompresí nejde, asi by nezbylo než to celé začít nějak profilovat.