Administrace komentářů

Zdravím!

Řeším následující problém: z různých zdrojů přichází na jeden stroj asynchronně požadavky na jistý (paměťově náročný) výpočet, inicializovaný z bash skriptu. Chtěl bych, aby pokud je paměti dost, tak se samotný výpočet pustil přímo, jinak počkal chvíli, než se paměť uvolní.

Naivní přístup (v cyklu kontrolovat free a případně sleep) neuspěl, protože pokud přijde padesát požadavků najednou, tak se všechny vesele pustí a v polovině výpočtu jim všem dojde paměť. Proto navíc požaduji, aby paměť byla volná několik testů po sobě a taky testuji, jestli už neběží nějaké velké množství výpočtů (ony ty potvory alokují paměť až řádově během desítek vteřin, takže když vidím deset procesů a kopec volné paměti, je lepší čekat než se mezi ně pouštět).

Současný kód vypadá zhruba takto:

function get_freemem() {
    # "our" free memory = free RAM + buffers/cache - used swap
    # minus "give way" (custom list of simple command names and
    # amount of memory they might grow)
    reserve=0
    progs="`ps -eo comm | tail -n +2`"
    for i in $@; do
        cmd="`sed 's/=.*$//' <<< "$i"`"
        res="`sed 's/^.*=//; s/[^0-9]//g' <<< "$i"`"
        [ -z "$res" ] && continue

        reserve=$(( $reserve + `grep "$cmd" <<< "$progs" | wc -l` * $res ))
    done

    f="`free`"
    mem="`tail -n 2 <<< "$f" | head -n 1 | sed 's/^.* //'`"
    swap="`tail -n 1 <<< "$f" | sed 's/ \+/ /g' | cut -d ' ' -f 3`"

    echo $mem - $swap - $reserve | bc
}

function wait_freemem() {
    counter=0
    max_timeout=36000

    timein_counter=0
    timein_required=5

    mem_needed=1048576

    # we reserve additional 512M for each "java" we find in ps
    reserves="java=524288"

    while [ $counter -lt $max_timeout ]; do
        mem="`get_freemem $reserves`"
        [ $mem -gt $mem_needed ] && timein_counter=$(( $timein_counter + 1 )) || timein_counter=0
        [ $timein_counter -ge $timein_required -a $(( $counter % $timein_required )) == 0  ] && return 0

        sleep 1
        timeout_counter=$(( $timeout_counter + 1 ))
    done

    return 1
}

Každopádně i přes tyto opatření pokud přijde hodně dotazů, je schopno se jich kvůli race condition dost pustit najednou (ono asi bych mohl zvednout timein_required na nějakou velkou hodnotu a pak prostě doufat, že to bude stačit, ale to taky prodlouží čekání jediného procesu pokud je stroj nečinný).

Tak bych se rád zeptal, jestli někdo neví o spolehlivé metodě, jak potenciálně velké množství procesů zesynchronizovat tak, aby se v případě dostatku paměti pustily paralelně, ale pokud je paměti míň, tak se většina z nich zablokovala a pouštěli se po jednom (dvou, třech, atd., podle volné paměti)? Ideálně v bashi, ale nebráním se jiným metodám.

Díky!