Dotaz: Rychlost dlopen vs dynamicky přilinkovaná lib

[Ondra]

Ahoj.

Nevíte, jestli je nějaký výkonostní rozdíl ve volání funkcí z knihovny mezi tím, když linkuji (dynamicky) knihovnu už při překladu a připojením až za běhu (buď dlopen nebo něco nad tím). Nejedná se mně o režii se samotným připojováním, tam určitě něco bude (je to jenom jednorázová záležitost), ale o samotné volání funkcí.

Osobně bych si tipl, že to bude stejné, jakmile se to natáhne, tak už to vyjde stejně, ať je volaná funkce kdekoliv.

Dík, Ondra

Odpovědi

[#Tom]

Toto je knihovna s testovací funkcí, lib.c:

#include <stdio.h>

void neco() {
  printf("Něco\n");
}

Toto je první program prog1.c:

void neco();

int main() {
  neco();
  return 0;
}

Toto je druhý program prog2.c:

#include <dlfcn.h>

void (*neco)();

int main() {
  void *lib = dlopen("./lib.so", RTLD_NOW);
  neco = dlsym(lib, "neco");
  neco();
  dlclose(lib);
  return 0;
}

A teď k překladu:

gcc -fPIC -shared -o lib.so lib.c
gcc -o prog1 prog1.c ./lib.so -ldl
gcc -o prog2 prog2.c -ldl

A teď k testování:

time { for i in `seq 1 1000`; do ./prog1 >& /dev/null; done; }
time { for i in `seq 1 1000`; do ./prog2 >& /dev/null; done; }

První program je uměle spojen s knihovnou dl, aby se zaváděla také a spušení brzdila. Můžete zkusit -ldl vyhodit.

[unchallenger]

Takhle ale právě ne, protože tohle měří téměř čistě režii zavedení programu. Je zapotřebí tu funkci mnohokrát zavolat při jednom spuštění.

[Michal Marek (twofish)]

Pak asi bude volání funkce přes ukazatel nepatrně pomalejší (musí se načíst adresa, která se pak zavolá), ale bůhví jestli to bude měřitelné

[unchallenger]

Adresa se musí načíst stejně, volání knihovních funkcí z DSO je vždy nepřímé, a [nejpozději] při prvním volání se navíc musí najít podle jména v nějaké hash tabulce (u dlopen()utých explicitně při dlsym()). Podle mě bys mohl u s dlsym() skončit i u stejné úrovně nepřímosti jako při normálním volání. Další případ je volání pomocí pointeru na funkci, který ti modul předal sám nějak jinak... No, hlavně jak dostat měřitelné rozdíly.

Literatura [PDF]

[Ondra]

Zkoušel jsem něco měřit (volal jsem stejnou fci cca 100000000x - počet nul teď přesně nevím, prostě tak, aby to trvalo několik sekund). dlopen bylo trošku pomalejší (cca o 1%).

Pointer na funkci ještě vyzkouším, je to zajímavý nápad.

Díky všem.

[unchallenger]

Pokud jsi volal triviální funkci, tak má celá smyčka jen několik instrukcí a reálný rozdíl v další úrovni nepřímosti -- kdyby tam byl -- by měl být větší než 1%. Jedno procento budou nějaké jiné, jemnější efekty, byť reprodukovatelné.

[Ondra]

Tak jsem to skoušel měřit s voláním prázdné funkce (tam by se režie vlastního volání měla projevit nejvíce), pak jsem volal funkci, která dělala nějaké výpočty s celými čísly a nakonec i s voláním funkce mpf_init2 z knihovny libgmp (asi tam měla být spíš nějaká, která něco počítá). Výsledek je, že pokaždé je rychlejší něco jiného, ale rozdíl nikdy není nijak velký.

Takže po takovém rychlém "měření" to asi můžu považovat za docela rovnocenné. Asi bych musel udělat opravdové měření s hodně iteracemi, aby to trvalo aspoň minutu (na to se mně teď nechtělo čekat). A možná může záležet i na tom, jestli dlopen()ovaná knihovna ještě dynamicky linkuje něco dalšího (jak třeba gmp) nebo ne.

[Ondra]

brrrr....

s/skoušel/zkoušel/

(hlavně, že jsem to po sobě četl... )

[zde]

Trochu jsem se bál že dlsym() vrátí ukazatel na PLT slot, ale naštěstí nikoliv, dostaneš přímo ukazatel na funkci. Ten link co uvádíš jsem kdysi docela podrobně četl, vynikající dokument, všechna čest. Jen jsem měl takový nepříjemný pocit, že mezi řádky je napsáno velkými bílými písmeny: "ELF saje".

Výborný popis ELF internals je ještě ftp://people.redhat.com/jakub/prelink/prelink.pdf, a mám pocit že mezi řádky je psáno to samé.

< FLAME>Škoda že SuSE nemá stejně kvalitní lidi jako RedHat.< /FLAME> :)

[#Tom]

A ten nepatrný rozdíl bude volání dlopen a dlsym.

[unchallenger]

Tak to nevím. Nedávano jsem takové věci benchmarkoval, a dlopen()utí téměř stovky různých modulů mi trvá 0,05s. Záleží tedy dost na tom, jak se linkují a jak se resolvují jejich symboly, ale stejně by jeden dlopen() a dlsym() neměly mít měřitelnou režii -- ostatně to se snadno ověří, když se zdesetinásobí počet iterací, zda zůstane rozdíl 1%, nebo se zmenší na 0,1%.

[msts]

Mam pocit, ze to takto jednoducho merat nepojde. Ak sa totiz nejaka kniznica nacita, zostava v zdielanej pam. To znamena, ze meranie moze byt nejednoznacne, podla toho, ake kniznice uz niekto iny zacal pouzivat (ci uz su v pam.). Co sa rozdielu tyka, rezia podla mna zostava nie vo volani, to sa uz vyrovna normalnemu volania staticky nalinkovanej funkcie, ale loadovani kniznice. (samozrejme az na nejake rozdiely sposobene odswapovanim stranok, ale to uz je detail).

[unchallenger]

Možná by nebylo špatné si nejprve ověřit svá tvrzení v praxi...

[zde]

Pokud ti jde o maximálně efektivní volání funkce z knihovny, bude její volání přes pointer, získaný z dlopen() + dlsym() o dost rychlejší, než přímé přilinkování knihovny.

Když z jedné ELF binárky voláš funkci z jiného modulu, zavolá se nejprve PLT slot, který je po prvním volání napatchován tak, že obsahuje instukci JMP na správnou adresu. Provede se tedy CALL disp32 + JMP disp32.

Pokud ale adresu kterou vrátí dlsym() uložíš do automatické proměnné, bude se provádět jen jedna instrukce CALL [bp + imm8], což je výrazně rychlejší. S trochou štěstí ten pointer na funkci bude v registru, takže kód bude ještě o trochu efektivnější: CALL [reg].

ELF je jedna z věcí které byly navrženy docela špatně, a kde Linuks za Windows zaostává. Win32 si na žádné PLT sloty nehraje, jednoduše pro každou funkci z jiného modulu udělá globální proměnnou, takže přímé volání funkce z jiného modulu se provádí jako CALL [imm32], takže při inter-module voláních Windows ušetří jednu instrukci.

[zde]

Huh, tak jsem se drobet spletl, resolvovanej PLT slot je ještě pitomnější než jsem doufal, takže ten druhej JMP, který se v PLT slotu provádí, je navíc nepřímý- asi se jim nechtělo dělat celou PLT R/W a patchovat jej. Škoda, mám pocit že moderní CPU umějí dekódovat přímý nepodmíněný skok, aniž by na rozdíl od toto nepřímého flushnuli pipeline, takže dva přímé nepodmíněné skoky mohly být rychlejší než jeden nepřímý ve Win32.

[zde]

Byl jsem zvědav kolik ten rozdíl dělá, a jde o 3 hodinové takty (Celeron Mendocino). Zkuste to i na Pleskotu a AMD, prosim.

$ more tst_so.c
void dummy() {}
$ more tst_main.c 
#include < dlfcn.h>
#include < stdio.h>
#include < stdlib.h>
#include < asm/msr.h>

#define TIME(x) { \
        int b, e; rdtscl(b); x; rdtscl(e); \
        printf (#x ": %d\n", e - b);}


void dump (char *txt, unsigned char *p)
{
        int i;
        printf("%s at %p:", txt, p);
        i = 10; do printf(" %02x", *p++); while (--i);
        printf("\n");
}

extern int dummy (void);

int main ()
{
        int i;

        dump("dummy", (unsigned char*)dummy);
        i = 10; do TIME(dummy()) while (--i);

        void *module = dlopen("./tst_so.so", RTLD_NOW);
        if (!module) { perror("dlopen"); exit(1); }
        int (*dummy_ptr)() = dlsym(module, "dummy");
        if (!dummy_ptr) { perror("dlsym"); exit(1); }

        dump("dummy_ptr", (unsigned char*)dummy_ptr);
        i = 10; do TIME(dummy_ptr()) while (--i);
}
$ gcc -O -fomit-frame-pointer -fpic -shared tst_so.c -o tst_so.so
$ gcc -O -fomit-frame-pointer tst_main.c tst_so.so -ldl
$ LD_LIBRARY_PATH=. ./a.out
dummy at 0x804851c: ff 25 d8 99 04 08 68 30 00 00
dummy(): 1358
dummy(): 49
dummy(): 70
dummy(): 38
dummy(): 38
dummy(): 38
dummy(): 38
dummy(): 38
dummy(): 38
dummy(): 38
dummy_ptr at 0xb7f804bc: c3 90 90 90 55 89 e5 56 53 e8
dummy_ptr(): 375
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35
dummy_ptr(): 35