abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 0
dnes 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 0
včera 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 16
včera 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
5.12. 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 50
5.12. 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 10
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 17
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 26
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (8%)
 (5%)
 (3%)
Celkem 780 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Čekání na volnou paměť

Jan Zahornadsky avatar 10.1.2014 05:05 Jan Zahornadsky | skóre: 22 | blog: hans_blog
Čekání na volnou paměť
Přečteno: 462×
Zdravím!

Řeším následující problém: z různých zdrojů přichází na jeden stroj asynchronně požadavky na jistý (paměťově náročný) výpočet, inicializovaný z bash skriptu. Chtěl bych, aby pokud je paměti dost, tak se samotný výpočet pustil přímo, jinak počkal chvíli, než se paměť uvolní.

Naivní přístup (v cyklu kontrolovat free a případně sleep) neuspěl, protože pokud přijde padesát požadavků najednou, tak se všechny vesele pustí a v polovině výpočtu jim všem dojde paměť. Proto navíc požaduji, aby paměť byla volná několik testů po sobě a taky testuji, jestli už neběží nějaké velké množství výpočtů (ony ty potvory alokují paměť až řádově během desítek vteřin, takže když vidím deset procesů a kopec volné paměti, je lepší čekat než se mezi ně pouštět).

Současný kód vypadá zhruba takto:
function get_freemem() {
    # "our" free memory = free RAM + buffers/cache - used swap
    # minus "give way" (custom list of simple command names and
    # amount of memory they might grow)
    reserve=0
    progs="`ps -eo comm | tail -n +2`"
    for i in $@; do
        cmd="`sed 's/=.*$//' <<< "$i"`"
        res="`sed 's/^.*=//; s/[^0-9]//g' <<< "$i"`"
        [ -z "$res" ] && continue

        reserve=$(( $reserve + `grep "$cmd" <<< "$progs" | wc -l` * $res ))
    done

    f="`free`"
    mem="`tail -n 2 <<< "$f" | head -n 1 | sed 's/^.* //'`"
    swap="`tail -n 1 <<< "$f" | sed 's/ \+/ /g' | cut -d ' ' -f 3`"

    echo $mem - $swap - $reserve | bc
}

function wait_freemem() {
    counter=0
    max_timeout=36000

    timein_counter=0
    timein_required=5

    mem_needed=1048576

    # we reserve additional 512M for each "java" we find in ps
    reserves="java=524288"

    while [ $counter -lt $max_timeout ]; do
        mem="`get_freemem $reserves`"
        [ $mem -gt $mem_needed ] && timein_counter=$(( $timein_counter + 1 )) || timein_counter=0
        [ $timein_counter -ge $timein_required -a $(( $counter % $timein_required )) == 0  ] && return 0

        sleep 1
        timeout_counter=$(( $timeout_counter + 1 ))
    done

    return 1
}
Každopádně i přes tyto opatření pokud přijde hodně dotazů, je schopno se jich kvůli race condition dost pustit najednou (ono asi bych mohl zvednout timein_required na nějakou velkou hodnotu a pak prostě doufat, že to bude stačit, ale to taky prodlouží čekání jediného procesu pokud je stroj nečinný).

Tak bych se rád zeptal, jestli někdo neví o spolehlivé metodě, jak potenciálně velké množství procesů zesynchronizovat tak, aby se v případě dostatku paměti pustily paralelně, ale pokud je paměti míň, tak se většina z nich zablokovala a pouštěli se po jednom (dvou, třech, atd., podle volné paměti)? Ideálně v bashi, ale nebráním se jiným metodám.

Díky!
Actually, I was half an hour into the pointer scripting documentation when she got dressed and left.

Odpovědi

Jan Zahornadsky avatar 10.1.2014 06:23 Jan Zahornadsky | skóre: 22 | blog: hans_blog
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
V tom kódu je timeout_counter a counter jedna a ta samá proměnná, jde o mou nepozornost při úpravě :-)
Actually, I was half an hour into the pointer scripting documentation when she got dressed and left.
10.1.2014 07:00 CandySan | skóre: 9 | blog: bonzacek
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Zkus si vytvorit frontu. Jednotlive pozadavky stosuj do fronty tak, ze kazdy prichozi se tam rovnou zaradi a zustava v ni viset dokud neni obslouzen. Bud napevno urcis pocet paralelnich vypoctu a jen tolik jich dovolis, nebo tomu jeste predradis nejakou logiku tesne pred obslouzeni dalsiho pozadavku.

Obsluha fronty bude muset mit prehled o poctu bezicich procesu a vzdy kdyz jeden skonci, tak spusti dalsi, pokud stale bude platit, ze je povoleny takovy pocet vypoctu (tedy zde se muze zase porovnat stav pameti, ale popisujes to jako tezko predvidatelne, takze bych se spis uchylil k pevnemu poctu).

Chce to samozrejme doladit. Ja to strelil jen od boku jako smer, kterym bych se nejspis vydal ja.
Jan Zahornadsky avatar 10.1.2014 08:28 Jan Zahornadsky | skóre: 22 | blog: hans_blog
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Fronta jako taková není špatný nápad, dokonce by stálo za úvahu nechat běžět nějakého "workera" na té mašině, který třeba na nějakém portu poslouchá požadavky a vykonává je v rozumném kompromisu na počet současně běžících úloh a jejich paměťovou náročnost.

Ale to bych asi musel dost přepsat současný stav věcí, kde vstupním bodem výpočtu je bash skript, který může pustit kdekdo, ať už z terminálu, nebo zprostředkovaně přes apache...

Pokud bych nehleděl na paměť, ale jenom chtěl zajistit, že jich nepoběží víc než X najednou, tak můžu vytvářet zámky někde v tmp typu /tmp/muj_program_lock_0/tmp/muj_program_lock_X...
Actually, I was half an hour into the pointer scripting documentation when she got dressed and left.
10.1.2014 08:42 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Možná by bylo jednodušší udělat to tak, že program si potřebnou paměť zkusí naalokovat hned na začátku (pokud ví, kolik bude potřebovat) a pokud to selže, tak se prostě vrátí do fronty.
Jan Zahornadsky avatar 10.1.2014 08:50 Jan Zahornadsky | skóre: 22 | blog: hans_blog
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Právě že ono to selhat nemusí. Jaderný OOM killer se může rozhodnout zabít jiný program a ten nově spuštěný nechat běžet (co může způsobit kdejaké problémy), většinou ale paměť dostane a bude se velmi aktivně swapovat, co zpomalí všechno, a tak by mnohem rychlejší bylo je pouštět po jednom.
Actually, I was half an hour into the pointer scripting documentation when she got dressed and left.
10.1.2014 10:23 Sten
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Tak vypněte overcommit :-)
rADOn avatar 10.1.2014 12:50 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Jestli se vejde do swapu, tak by se fronta dala zrealizovat jednoduse tak ze nejakej hlidaci proces bude rozesilat SIGSTOP pak to zase ozivovat az napeti klesne. Sice se ti to odswapuje, ale stopnutej proces je v bloku a nebude se snazit z toho swapu zase proboxovat ven nerkuli pretahovat o posledni kousek fyzicky pameti.
"2^24 comments ought to be enough for anyone" -- CmdrTaco
10.1.2014 20:02 v
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Nebylo by nejjednodušší použít pojmenované roury? Vytvořit si další skript, který by se spustil jako daemon a pravidelně nějakou frekvecí zapisoval do nějaké pojmenované roury např. "1" nebo "0" podle dostupné paměti. V tom inicializačním skriptu pravidelně (v cyklu) přečítat rouru dokud nedostanu 1, pak skript poběží dál. V podstatě se pak dostane 1, 0 nebo nic podle toho, kolik skriptů najednou se snaží rouru přečíst - vždy se dostane na jednoho a ten má pak nárok, pokud dostane 1 běžet dál.
Jan Zahornadsky avatar 11.1.2014 10:07 Jan Zahornadsky | skóre: 22 | blog: hans_blog
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Toto zní hodně zajímavě, jak bych mohl nějak zařídit spuštění takového démona? Na tom stroji to všechno běží pod obyčejným uživatelem a tak bych se rád vyhnul požadování nějakých vlastních initskriptů při startu...
Actually, I was half an hour into the pointer scripting documentation when she got dressed and left.
rADOn avatar 11.1.2014 11:17 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Na to ani nepotrebujes psat do ty roury nuly - staci nezapsat nic a vsichni citatele zustanou viset v bloku.
"2^24 comments ought to be enough for anyone" -- CmdrTaco
Josef Kufner avatar 11.1.2014 12:44 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Čekání na volnou paměť
Na to není potřeba roura. Stačí posílat SIGSTOP a SIGCONT. A ani nejspíš nebude nutné jakkoliv upravovat aplikace (výchozí obsluha těchto signálů je jak název napovídá).
Hello world ! Segmentation fault (core dumped)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.