Dotaz: fronta skriptu

[honza]

DD, jakym zpusobem by sly spoustet shellove skripty, ktere by se postupne provadely (na jednom prip. i vice strojich) a vyuzivalo se prip. i toho, ze stroj je viceprocesorovy? Je nutne pouzit nejaky clusteringovy mechnismus? Tj. musim k tomu instalovat nejakou specialni nastavbu OS nebo lze pouzit nejakou generickou distribuci?
Dekuju. Honza

Odpovědi

[outsider]

dva skripty za sebou spustite ...

sh$ skript1.sh; skript2.sh

... ale to asi nechcete. Tak napiste priklad, co vlastne chcete.

[honza]

mam soubor skriptA.sh obsahujici neco jako

spocti A od1 do1
spocti A od2 do2
spocti A od3 do3
spocti A od4 do4
spocti A od5 do5
spocti A od6 do6

abych si usetril cas vypoctu na 2procesorove masine, rozdelim tento skript na 2 mensi skriptA1.sh obsahujici

spocti A od1 do1
spocti A od2 do2
spocti A od3 do3

a skriptA4.sh obsahujici

spocti A od4 do4
spocti A od5 do5
spocti A od6 do6

a pak spustim v jednom terminalu skriptA1.sh a v jinem skriptA4.sh. mezitim si pripravim dalsi skript skriptB.sh obsahujici neco jako

spocti B od1 do1
spocti B od2 do2
spocti B od3 do3
spocti B od4 do4
spocti B od5 do5
spocti B od6 do6

nebo rovnou 2 skripty skriptB1.sh a skriptB4.sh. Jakym "rozumnym" zpusobem je ted mam spustit, aby provedly a to nejlepe az po provedeni tech A-ckovych bratricku? Mam je zavolat na konci tech A-ckovych? A na konec B-ckovych pripsat C-ckove? A kdyz 2.den budu chtit pustit zase ty A-ckove a uz ne B-ckove, tak mam ty posledni radky zase umazavat? kdyby bylo neco jako

posli_skript_do_fronty skriptA1.sh
posli_skript_do_fronty skriptA2.sh
posli_skript_do_fronty skriptB1.sh
posli_skript_do_fronty skriptB2.sh

upravovalo by se mi to mnohem prijemneji.
Dekuju za rady. Honza

[Michal Kubeček]

Typický příklad úlohy, která je tak jednoduchá, že než bych pátral, jak se to jmenuje, napsal bych si to sám… :-)

[ab]

Obecne se to resi pres clusterovy software. Pokud mate zakladni znalosti sitovani, tak TORQUE (fork PBS) (http://old.clusterresources.com/products/torque/) byste mohl rozchodit odhadem za dva dny. (Samotna instalace je kratka, ale napred je potreba precist si teorii.)

Do fronty se joby zasilaji prikazem "qsub skript", stav fronty se zjistuje prikazem "qstat". TORQUE automaticky zajisti distribuci skriptu na dostupne masiny.

Pokud chcete spustit nekolika skriptu na jedne viceprocesorove masine a nechcete instalovat TORQUE nebo podobny system, tak muzete pouzit "make" s odpovidajicim Makefile. Make se bezne pouziva pri kompilaci (napr. "make -j4 cosi" na 4-procesorove masine), ale stejny princip se da pouzit i pro skripty. Pokud znate make, tak je to trivialni uloha.

[ab]

Ted vidim, ze treba v openSUSE 10.2 je OpenPBS soucasti distribuce. Instalace pro jednu masinu by proto byla trivialni. U vice masin bych pouzil TORQUE nebo neco podobneho (viz nabidka Sunu). Moje zkusenost je, ze cilem OpenPBS je spis nalakat zakazniky na komercni verzi PBS, nez poskytovat funkcni software. Mimo jine i proto vznikl TORQUE.

[honza]

dekuju za rady, vyzkousim. pekny den! Honza