abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 16:33 | Nová verze

    Byla vydána nová verze 1.54.0 sady nástrojů pro správu síťových připojení NetworkManager. Novinkám se v příspěvku na blogu NetworkManageru věnuje Jan Václav.

    Ladislav Hagara | Komentářů: 0
    dnes 14:11 | IT novinky

    Knižní edice správce české národní domény přináší novou knihu zkušeného programátora Pavla Tišnovského s názvem Programovací jazyk Go. Publikace nabízí srozumitelný a prakticky zaměřený pohled na programování v tomto moderním jazyce. Nejedná se však o klasickou učebnici, ale spíše o průvodce pro vývojáře, kteří s Go začínají, nebo pro ty, kdo hledají odpovědi na konkrétní otázky či inspiraci k dalšímu objevování. Tištěná i digitální verze knihy je již nyní k dispozici u většiny knihkupců.

    Ladislav Hagara | Komentářů: 0
    dnes 13:11 | IT novinky

    OpenAI zpřístupnila (en) nové nenáročné otevřené jazykové modely gpt-oss (gpt-oss-120b a gpt-oss-20b). Přístupné jsou pod licencí Apache 2.0.

    Ladislav Hagara | Komentářů: 2
    dnes 04:33 | Nová verze

    Byla vydána RC verze openSUSE Leap 16. S novým instalátorem Agama, Xfce nad Waylandem a SELinuxem.

    Ladislav Hagara | Komentářů: 0
    dnes 03:44 | Nová verze

    Google Chrome 139 byl prohlášen za stabilní. Nejnovější stabilní verze 139.0.7258.66 přináší řadu novinek z hlediska uživatelů i vývojářů. Podrobný přehled v poznámkách k vydání. Opraveno bylo 12 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře. S verzí 139 přestal být podporován Android 8.0 (Oreo) a Android 9.0 (Pie).

    Ladislav Hagara | Komentářů: 0
    včera 19:11 | Komunita

    Společnost JetBrains se stala platinovým sponzorem multiplatformního open source herního enginu Godot. K vývoji her lze používat Rider for Godot. Zdarma pro nekomerční účely.

    Ladislav Hagara | Komentářů: 0
    včera 16:55 | Nová verze

    Byla vydána verze 9.0 open source virtualizační platformy Proxmox VE (Proxmox Virtual Environment, Wikipedie) založené na Debianu. Verze 9.0 je založena na Debianu 13 Trixie. Přehled novinek v poznámkách k vydání a informačním videu.

    Ladislav Hagara | Komentářů: 0
    včera 13:44 | IT novinky

    Operátor O2 dává všem svým zákazníkům s mobilními službami poukaz v hodnotě 300 Kč na nákup telefonu nebo příslušenství jako omluvu za pondělní zhoršenou dostupnost služeb.

    Ladislav Hagara | Komentářů: 12
    včera 04:00 | Nová verze

    Společnost NVIDIA vydala verzi 13.0 toolkitu CUDA (Wikipedie) umožňujícího vývoj aplikací běžících na jejich grafických kartách. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    4.8. 04:22 | IT novinky

    Byly vyhlášeni vítězové a zveřejněny vítězné zdrojové kódy (YouTube, GitHub) již 28. ročníku soutěže International Obfuscated C Code Contest (IOCCC), tj. soutěže o nejnepřehlednější (nejobfuskovanější) zdrojový kód v jazyce C.

    Ladislav Hagara | Komentářů: 9
    Kolik tabů máte standardně otevřeno ve web prohlížeči?
     (30%)
     (27%)
     (5%)
     (7%)
     (3%)
     (1%)
     (2%)
     (23%)
    Celkem 230 hlasů
     Komentářů: 23, poslední 4.8. 13:01
    Rozcestník

    Poke-a-hole (pahole) a přátelé

    15. 7. 2009 | Jirka Bourek | Programování | 2951×

    Omezení otisku binárního kódu v paměti [memory footprint] je důležité pro zlepšení výkonnosti. Poke-a-hole (pahole) a další programy, které vyvinul Arnaldo Carvalho de Melo, pomáhají analyzovat binární objektové soubory a hledat v nich neefektivity, jako jsou díry v datových strukturách nebo funkce, které jsou deklarovány jako inline, ale v objektovém kódu jsou od-inlinovány.

    Obsah

    Poke-a-hole a přátelé

    link

    Originál tohoto článku pro lwn.net napsal Goldwyn Rodrigues.

    Poke-a-hole

    link

    Poke-a-hole (pahole) je nástroj pro analýzu objektových souborů, který hledá velikost datových struktur a díry způsobené zarovnáváním prvků na šířku slova CPU překladačem. Jako příklad vezměme následující strukturu:

    struct sample {
        char a[2];
        long l;
        int i;
        void *p;
        short s;
    };

    Sečtením velikosti jednotlivých prvků získáme očekávanou velikost této struktury:

     2*1 (char) + 4 (long) + 4 (int) + 4 (ukazatel) + 2 (short) = 16 bytů

    Překlad na 32bitové architektuře (ILP32 či Int-Long-Pointer 32 bitů) ukazuje, že velikost je ve skutečnosti 20 bytů. Překladač vkládá byty navíc, kterými zarovnává prvky na šířku slova CPU. V tomto případě jsou vloženy 2 byty za char a[2] a za short s. Překlad programu na 64bitovém stroji (LP64 či Long-Pointer 64 bitů) vede k tomu, že struktura zabírá 40 bytů. V tomto případě je za char a[2] vloženo šest bytů, čtyři byty za int i a šest bytů za short s. Pahole bylo vyvinuto k tomu, aby se zaměřilo na takovéto díry vytvořené překladačem kvůli zarovnávání. Aby bylo možné objektové soubory analyzovat, musí být zdrojový kód přeložen s ladícím příznakem „-g“. V jádře je to aktivováno pomocí CONFIG_DEBUG_INFO nebo „Kernel Hacking > Compile the kernel with debug info“.

    Analýza objektového souboru generovaného programem se struct sample na stroji typu i386 vede na:

    i386$ pahole sizes.o
    struct sample {
        char      c[2];   /*     0      2 */
    
        /* XXX 2 bytes hole, try to pack */
    
        long int  l;      /*     4      4 */
        int       i;      /*     8      4 */
        void *    p;      /*    12      4 */
        short int s;      /*    16      2 */
    
        /* size: 20, cachelines: 1, members: 5 */
        /* sum members: 16, holes: 1, sum holes: 2 */
        /* padding: 2 */
        /* last cacheline: 20 bytes */
    };

    Každému prvku struktury jsou přiřazena dvě čísla vypsaná jako C komentáře. První číslo reprezentuje posun [offset] prvku od začátku struktury, druhé je velikost v bytech. Na konci struktury pahole shrne detaily o velikosti a dírách ve struktuře.

    Podobně analýza objektového souboru generovaného programem se struct sample na stroji x86_64 vede na:

    x86_64$ pahole sizes.o 
        struct sample {
        char      c[2];   /*     0      2 */
    
        /* XXX 6 bytes hole, try to pack */
    
        long int  l;      /*     8      8 */
        int       i;      /*    16      4 */
    
        /* XXX 4 bytes hole, try to pack */
    
        void *    p;      /*    24      8 */
        short int s;      /*    32      2 */
    
        /* size: 40, cachelines: 1, members: 5 */
        /* sum members: 24, holes: 2, sum holes: 10 */
        /* padding: 6 */
        /* last cacheline: 40 bytes */
    };

    Zde si všimněte díry, která přibyla za int i a v objektovém kódu přeloženém na 32bitovém stroji nebyla. Překládat zdrojový kód vyvinutý pro i386, ale přeložený na x86_64 může znamenat plýtvat místem ještě víc, protože problémy se zarovnáváním tady narůstají kvůli osmibytovému long a ukazateli, zatímco integer zůstal čtyřbytový. Běžná chyba vývojářů, kteří portují aplikace z i386 na x86_64, je vynechání restrukturalizace struktur. To vede k většímu otisku programu v paměti, než se očekávalo. Větší datové struktury vedou k nutnosti číst víc řádek v cache, než je nutné, čímž se snižuje výkonnost.

    Pahole umí navrhnout alternativní kompaktní strukturu, která reorganizuje datové prvky, pokud se použije volba --reorganize. Pahole také akceptuje volitelný --show_reorg_steps, který ukáže kroky, které vedly ke kompresi struktury.

    x86_64$ pahole --show_reorg_steps --reorganize -C sample sizes.o 
    /* Moving 'i' from after 'l' to after 'c' */
    struct sample {
        char        c[2];  /*     0     2 */
    
        /* XXX 2 bytes hole, try to pack */
    
        int         i;     /*     4     4 */
        long int    l;     /*     8     8 */
        void *      p;     /*    16     8 */
        short int   s;     /*    24     2 */
    
        /* size: 32, cachelines: 1, members: 5 */
        /* sum members: 24, holes: 1, sum holes: 2 */
        /* padding: 6 */
        /* last cacheline: 32 bytes */
    }
    
    /* Moving 's' from after 'p' to after 'c' */
    struct sample {
        char        c[2];  /*     0     2 */
        short int   s;     /*     2     2 */
        int         i;     /*     4     4 */
        long int    l;     /*     8     8 */
        void *      p;     /*    16     8 */
    
        /* size: 24, cachelines: 1, members: 5 */
        /* last cacheline: 24 bytes */
    }
    
    /* Final reorganized struct: */
    struct sample {
        char        c[2];  /*     0     2 */
        short int   s;     /*     2     2 */
        int         i;     /*     4     4 */
        long int    l;     /*     8     8 */
        void *      p;     /*   16      8 */
    
        /* size: 24, cachelines: 1, members: 5 */
        /* last cacheline: 24 bytes */
    };   /* saved 16 bytes! */

    Algoritmus --reorganize se snaží strukturu zhustit tím, že datové prvky z konce struktury přesouvá tak, aby zaplnil díry. Snaží se vyplňující volné místo přesunout na konec struktury. Degraduje bitová pole na menší základní typ, pokud má použitý typ víc bitů, než je prvkem v bitovém poli využíváno – například int flag:1 bude degradováno na char.

    Přílišná snaha strukturu zhustit nicméně může občas výkonnost poškodit. Zápisy do datových prvků mohou vynutit zápis řádek v cache jiných datových prvků, které byly načteny ze stejného řádku v cache. Některé struktury jsou tedy definovány s ____cacheline_aligned, čímž se vynutí, aby začínaly od začátku čerstvého řádku v cache. Příklad výstupu struktury, ve které se použilo ____cacheline_aligneddrivers/net/e100.c:

    struct nic {
        /* Begin: frequently used values: keep adjacent for cache
         * effect */
        u32 msg_enable                          ____cacheline_aligned;
        struct net_device *netdev;
        struct pci_dev *pdev;
    
        struct rx *rxs                          ____cacheline_aligned;
        struct rx *rx_to_use;
        struct rx *rx_to_clean;
        struct rfd blank_rfd;
        enum ru_state ru_running;
    
        spinlock_t cb_lock                      ____cacheline_aligned;
        spinlock_t cmd_lock;
    
    <výstup zkrácen>

    Analýza struktury nic pomocí pahole ukáže díry těsně před hranicí řádku v cache, před prvky rxscb_lock.

     x86_64$ pahole -C nic /space/kernels/linux-2.6/drivers/net/e100.o   
    struct nic {
        u32                        msg_enable;           /*     0     4 */
    
        /* XXX 4 bytes hole, try to pack */
    
        struct net_device *        netdev;               /*     8     8 */
        struct pci_dev *           pdev;                 /*    16     8 */
    
        /* XXX 40 bytes hole, try to pack */
    
        /* --- cacheline 1 boundary (64 bytes) --- */
        struct rx *                rxs;                  /*    64     8 */
        struct rx *                rx_to_use;            /*    72     8 */
        struct rx *                rx_to_clean;          /*    80     8 */
        struct rfd                 blank_rfd;            /*    88    16 */
        enum ru_state              ru_running;           /*   104     4 */
    
        /* XXX 20 bytes hole, try to pack */
    
        /* --- cacheline 2 boundary (128 bytes) --- */
        spinlock_t                 cb_lock;              /*   128     4 */
        spinlock_t                 cmd_lock;             /*   132     4 */
    
    <výstup zkrácen>

    Kromě zaplňování děr lze pahole použít k umístění datových polí na konkrétní vzdálenost od začátku struktury. Pahole také může vypsat velikosti všech datových struktur:

    x86_64$ pahole --sizes linux-2.6/vmlinux | sort -k3 -nr | head -5
    tty_struct  1328    10
    vc_data     432     9
    request_queue       2272    8
    net_device  1536    8
    mddev_s     792     8

    První pole reprezentuje jméno struktury, další současnou velikost a poslední počet děr ve struktuře.

    Podobně lze získat shrnutí pro datové struktury, které lze zhustit, aby se zmenšila jejich spotřeba paměti:

    x86_64$ pahole --packable sizes.o 
    sample      40      24      16

    První pole reprezentuje strukturu, další současnou velikost, třetí velikost po zhuštění a čtvrté celkový počet bytů ušetřený odstraněním děr.

    Pfunct

    link

    Nástroj pfunct ukazuje vlastnosti funkcí v objektovém kódu. Umí zobrazit počet návěští pro goto, počet parametrů funkcí, velikost funkcí atd. Nejpopulárnější použití je ale nalezení počtu funkcí, které jsou deklarovány jako inline, ale inlinovány nebyly, či počet funkcí, které nebyly deklarovány inline, ale inlinovány byly. Překladač se snaží optimalizovat funkce inlinováním v závislosti na velikosti.

    x86_64$ pfunct --cc_inlined linux-2.6/vmlinux | tail -5
    run_init_process
    do_initcalls
    zap_identity_mappings
    clear_bss
    copy_bootdata

    Překladač se také může rozhodnout zrušit inlinování funkcí, které byly specificky deklarovány jako inline. To se může stát z několika důvodů, jako je například rekurzivní volání, kde by inlinování způsobilo nekonečnou smyčku. pfunct --cc_inlined ukazuje funkce, které byly deklarovány inline, ale překladač to zrušil. Takové funkce jsou dobrými kandidáty na kontrolu nebo úplné odstranění deklarace inline. pfunct --cc_uninlined naštěstí u vmlinux (pouze) nezobrazilo žádné funkce.

    Ladící informace

    link

    Nástroje závisí na sekci debug_info objektového souboru, která je k dispozici, když je zdrojový kód přeložen s použitím ladící volby. Nástroje, které jsou součástí projektu pahole, umí použít standard DWARF nebo kompaktní C-Type formát (CTF), což jsou běžné formáty ladících souborů využívané většinou překladačů. GCC používá formát DWARF.

    Ladící data jsou organizována do sekce debug_info ELF (Executable and Linkage Format, spustitelný a linkovaný formát) v podobě značek s hodnotami, které reprezentují proměnné, parametry funkcí atd. a které jsou uloženy v hierarchickém vnořovaném formátu. Čisté informace lze přečíst pomocí readelf, které je součástí binutils, nebo eu-readelf, které je součástí elfutils. Většina standardních distribucí balíčky překládá bez ladících informací, protože kvůli nim binárky bývají poměrně velké. Místo toho tyto informace poskytují jako balíčky s ladícími informacemi, které lze analyzovat těmito nástroji nebo pomocí gdb.

    Nástroje zmíněné v tomto článku byly původně vyvinuty k analýze objektových souborů jádra. Nejsou nicméně omezeny na objektové soubory jádra a lze je použít na jakýkoliv program pro uživatelský prostor, pro který jsou vygenerovány ladící informace. Zdrojový kód nástrojů pahole je spravován na git://git.kernel.org/pub/scm/linux/kernel/git/acme/pahole.git. Více informací o pahole a dalších nástrojích pro analýzu ladících objektových souborů lze nalézt v PDF o sedmi trpaslících.

           

    Hodnocení: 100 %

            špatnédobré        

    Nástroje: Tisk bez diskuse

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    alblaho avatar 15.7.2009 08:12 alblaho | skóre: 17 | blog: alblog
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    Otisk binárního kódu je to, co většinou nazývá "memory footprint"?
    15.7.2009 08:34 Robert Krátký | skóre: 94 | blog: Robertův bloček
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    Ano.
    15.7.2009 09:51 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    „Binární kód“ je jaksi vynalézavost překladatele. Popravdě se mi zde doslovný překlad nelíbí. V češtině se žádný otisk, pokud vím, neříká. Držel bych se obyčejné „paměťové náročnosti“. Myslím, že náročnost hravě zastane jak velikost (o kterou jde především), tak potíže s vyrovnávací pamětí.
    15.7.2009 10:17 Jan Kundrát (jkt) | skóre: 27 | blog: jkt | Praha - Bohnice
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    Ano, "pametova narocnost" je obvykly preklad.
    15.7.2009 11:42 Ladicek | skóre: 28 | blog: variace | Havlíčkův brod
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    Souhlasím s paměťovou náročností, slovo otisk se dá celkem slušně použít v souvislosti s klíči a certifikáty, ale jako překlad výrazu memory footprint je úplně mimo.
    Ještě na tom nejsem tak špatně, abych četl Viewegha.
    15.7.2009 13:46 Pip
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    Jen doufam, ze nejste prekladatel.
    15.7.2009 13:57 Ladicek | skóre: 28 | blog: variace | Havlíčkův brod
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    Pokud vy ano, pak jsem rád, že mne tahle myšlenka nikdy nenapadla ;-)
    Ještě na tom nejsem tak špatně, abych četl Viewegha.
    .. avatar 16.7.2009 09:08 .. | skóre: 4 | blog:
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    +1 k "paměťová náročnost". Ze začátku článku jsem marně hloubal, co že to ten paměťový otisk je, než mi došlo, že je to jen nevhodný překlad "memory footprint". Asi by stálo za to opravit to v článku.
    15.7.2009 14:04 kralyk z abclinuxu | skóre: 29 | blog:
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé
    To je velmi zajímavé, dík za článek.
    Jen pro zajímavost; dají se tyhle utility použít i na binárky pro jiný platformy, třeba MIPS nebo PPC?
    27.7.2009 19:07 Arnaldo Carvalho de Melo
    Rozbalit Rozbalit vše Re: Poke-a-hole (pahole) a přátelé

    Ano, mohou být použity pro jakýkoli binární s trpasličí / CTF info, například si můžete na x86_64 strojově analyzovat jeden objekt PPC souboru.

    Je nám líto, ale toto bylo provedeno pomocí Google Translate, doufám, že je dost dobrý,

    Arnaldo

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.