abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 17:02 | Pozvánky

Přijďte si popovídat o open source obecně a openSUSE konkrétně s dalšími uživateli a vývojáři. Oslava nového vydání openSUSE Leap se uskuteční 16. prosince od 17:00 v nových prostorách firmy SUSE v Praze. K dispozici bude nějaké občerstvení a DVD pro ty, kdo je sbírají nebo ještě mají mechaniku. Po párty v kanceláři se bude pokračovat v některé z hospod v okolí.

Miška | Komentářů: 7
včera 14:55 | Zajímavý software

Byla vydána verze Alpha 1.0 otevřeného operačního systému pro chytré hodinky AsteroidOS. Podporovány jsou hodinky LG G Watch, LG G Watch Urbane, Asus ZenWatch 2 a Sony Smartwatch 3. Ukázka ovládání hodinek na YouTube. Jaroslav Řezník přednášel o AsteroidOS na chytrých hodinkách (videozáznam) na letošní konferenci OpenAlt.

Ladislav Hagara | Komentářů: 0
včera 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
včera 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
9.12. 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
9.12. 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
9.12. 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
9.12. 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (23%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 810 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: pthread & semafor v C - preco tento kod zastavi?

8.6.2011 11:59 PeterS. | skóre: 10
pthread & semafor v C - preco tento kod zastavi?
Přečteno: 469×
Příloha:

Ahojte, učim sa trochu multithreading v C, a narazil som na správanie ktorému nerozumiem. Mám tento programček:



#include <stdio.h>
#include <pthread.h>
#include <semaphore.h>
#include <unistd.h>

#define ITER 10000

sem_t sem;

void *threadFunc(void *arg)
{
//This function does nothing
usleep(1);
sem_post(&sem);

return NULL;
}

int main(void) {
pthread_t pth[ITER];    // array of thread identifiers
int j=0    ;
signed int valp; //value of semaphore

sem_init(&sem, 0, 3);



for (j=0;j <ITER;j++)  {

sem_getvalue(&sem,&valp);
printf ("Semaphore value: %.d\n",valp);

sem_wait(&sem);

printf ("Starting thread %.d\n", j);
pthread_create(&pth[j],NULL,threadFunc, NULL);

}

return 0;
}







(To isté je v priloženom súbore)

problem je že to neurobí všetkých 10 000 threadov, ale zastaví to pri tomto:

Starting thread 378
Semaphore value: 1
Starting thread 379
Semaphore value: 1
Starting thread 380
Semaphore value: 1
Starting thread 381
Semaphore value: 1
Starting thread 382
Semaphore value: 1
Starting thread 383
Semaphore value:

a stoji to, kým to nezabijem. Vedel by mi niekto vysvetliť, prečo sa to stáva a ako sa tomu vyhnúť?

 

Vďaka

Odpovědi

8.6.2011 12:11 Atom321 | skóre: 20
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Něco se asi nepovede. Testujte návratové hodnoty funkcí pthread_create() a sem_xxx().
8.6.2011 12:27 PeterS. | skóre: 10
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Takže s návratovým stavom to vyzerá takto:

pthread_create returned:  
Semaphore value: 2
Starting thread 380
pthread_create returned:  
Semaphore value: 2
Starting thread 381
pthread_create returned: 12 
Semaphore value: 2
Starting thread 382
pthread_create returned: 12 
Semaphore value: 1
Starting thread 383
pthread_create returned: 12 
Semaphore value: 
Riešenie z netu: "the solution is to use the PTHREAD_CREATE_DETACHED flag."

When a thread is created detached (PTHREAD_CREATE_DETACHED), its thread ID and other resources can be reused as soon as the thread terminates.

Takže skusim pozmeniť kod v tomto zmysle.

Inak, je to normálny prístup, ked potrebujem vytvoriť rádovo miliony threadov v pár sekundách, alebo ten program mám premyslieť inak?
8.6.2011 12:16 mich | skóre: 16
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Narazil jste na maximální počet vláken, musíte je buď joinnout nebo detachnout (omlouvám se za prznění češtiny). Když pod pthread_create přidáte řádek pthread_detach(pth[j]); bude vše fungovat. Řeší se to například zde
je to teď v módě, na žive o tom furt píšou
8.6.2011 12:33 PeterS. | skóre: 10
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
ten riadok funguje, super.

Ale mám podotázku čo sa týka vplývu na výkon. Tých threadov je veľa (písal som vyššie), je rozumné zakaždým volať pthread_detach, alebo mám vyskúmať možnosť ako urobiť túto možnosť defaultnou, malo by to byť nejako takto:
pthread_attr_t tattr;
pthread_attr_setdetachstate(&tattr,PTHREAD_CREATE_DETACHED);
8.6.2011 13:01 mich | skóre: 16
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Mezi voláním pthread_detach a nastavením atributu vlákna by neměl být výkonnostní rozdíl, nicméně ten přístup s pthread_attr_t je přehlednější, takže bych ho preferoval. Otázkou je, jestli je potřeba vytvářet tolik vláken, navíc když jich máte najednou spuštěno jen malé množství. Pokud to jde, tak jich vytvořte jen pár a postupně jim "zadávejte práci", snad jde pochopit co jsem tím chtěl říct. Vytvoření vlákna totiž poměrně časově náročné je, zvláště pak, pokud se bavíme o milionech vláken.
je to teď v módě, na žive o tom furt píšou
8.6.2011 13:12 kuka
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Presne tak, hledej "thread pooling".
8.6.2011 13:15 Ivan
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Navic, kazde vlakno ma vlastni stack ktery samozrejme zere pamet - alespon maly kousek. Jestli nejsem uplne vedle tak na AIXu maji vlakna prealokovano 8MB ram stacku.
8.6.2011 13:33 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Velikost zásobníku lze snížit buď nastavením resource limitu (ulimit -s nebo setrlimit()) nebo rovnou pomocí pthread_attr_setstacksize(). Těch defaultních 8 MB je nesmyslně moc, u multithreadových aplikací obvykle používám 64-128 KB. Jen je pak samozřejmě potřeba být trochu opatrnější na statické lokální proměnné.
8.6.2011 14:14 PeterS. | skóre: 10
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
OK, diky

ten thread pooling si pozriem (ešte som to nepočul...)

trochu som ten program prerobil, tých threadov bude asi 50 -100 x menej, a neriešim ich tvorbu loop-om a semaformi, takže toto odpadlo. Ale na druhej stráne sa mi nepáči že počet threadov je tam napevno zakodovaný. Ale určite to bude ešte prekopávať, len dneska som sa začal threadom venovať...

Mimochodom ten prínos nebol taký veľký ako som čakal, zjavne problém bude v tých častiach ktoré nepararelizujem...

8.6.2011 14:47 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Ale na druhej stráne sa mi nepáči že počet threadov je tam napevno zakodovaný.

Pevný strop tam sice je, ale je podstatně vyšší (obvykle jsou to přinejmenším desítky tisíc). Vy jste ve skutečnosti narazil spíš na to, že vám defaultní 8MB zásobníky pro každý thread vyčerpaly paměť (vynásobte si 8 MB počtem vláken). Tomu se ale dá snadno předejít - viz můj předchozí příspěvek.

8.6.2011 14:59 PeterS. | skóre: 10
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
no fakticky som mal na mysli tou vetou niečo iné.

S tým prvým dizajnom som si mohol ľahko určovať počet threadov (pred kompiláciou samozrejme), teraz to mám tak, že sa spustia 3 thready (robia viac ako robili predtým) a program čaká kým všetky 3 skončia (pthrad_join). A ide další cyklus...

Ale ako som písal, s tým kodom sa len zatiaľ len hrám a skušam čo sa da s nim urobiť, takže finálna podoba môže byť uplne iná.
8.6.2011 15:14 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
teraz to mám tak, že sa spustia 3 thready (robia viac ako robili predtým) a program čaká kým všetky 3 skončia (pthrad_join). A ide další cyklus...

To není moc šťastné řešení, takhle tam budete mít zbytečné prostoje při čekání, až skončí všechny tři pracovní thready. Efektivnější je třeba

(A) na začátku vytvoříte určitý počet "worker" threadů, které si budou v cyklu brát z fronty požadavky a vykonávat je. Hlavní thread bude postupně ukládat požadavky do fronty (když bude plná, počká - např. pomocí condition variable). Až budou všechny požadavky zadané, počká, až budou všechny hotové a worker thready ukončí (pthread_cancel() nebo nastavením příznaku a buď rozesláním signálu nebo pthread_cond_broadcast()).

(B) pokud vás netrápí režie vytvoření threadu (obvykle ne), lze to řešit tak, že si vyrobíte semafor s počáteční/maximální hodnotou nastavenou na požadovaný počet worker threads a v cyklu vždy počkáte na semafor a vyrobíte worker thread (cyklus ukončíte, když už došly úlohy). Tím bude zajištěno, že v žádném okamžiku nepoběží víc worker threadů než chcete, a jakmile nějaký skončí, spustí se nový. Na konci samozřejmě musíte opět počkat, až budou všichni hotovi (ukončování v tomto případě řešit nepotřebujete).

8.6.2011 15:31 PeterS. | skóre: 10
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
pozriem sa na tie "worker" thready - vlastne už sa pozerám ale akosi som zatiaľ nenarazil na vhodný tutoriál/howto ...
8.6.2011 15:46 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Asi se mi nechtěně podařilo vás zmást. Termín "worker" thread je jen označení threadu, který je určen k tomu, aby vykonával nějakou činnost, přičemž někdo jiný mezi jednotlivé "worker" thready rozděluje práci. Ve scénáři B worker thread jen jednorázově provede, co se po něm chce (zadání se mu typicky předá přes argument jeho hlavní funkce), ve scénáři A si v cyklu bere jednotlivá zadání z nějaké fronty.
8.6.2011 13:40 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: pthread & semafor v C - preco tento kod zastavi?
Manuálová stránka není úplně jednoznačná ohledně toho, co se stane při volání pthread_detach() na vlákno, které už mezitím stihlo skončit, takže raději používám pthread_detach(pthread_self()) ve vlákně samotném (nebo atribut).

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.