abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 20:00 | Nová verze

    Wayfire, kompozitní správce oken běžící nad Waylandem a využívající wlroots, byl vydán ve verzi 0.10.0. Zdrojové kódy jsou k dispozici na GitHubu. Videoukázky na YouTube.

    Ladislav Hagara | Komentářů: 0
    včera 04:00 | Komunita

    Před necelými čtyřmi měsíci byl Steven Deobald jmenován novým výkonným ředitelem GNOME Foundation. Včera skončil, protože "nebyl pro tuto roli v tento čas ten pravý".

    Ladislav Hagara | Komentářů: 7
    29.8. 18:33 | Zajímavý článek

    Nové číslo časopisu Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 156 (pdf).

    Ladislav Hagara | Komentářů: 0
    29.8. 15:11 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu optimalizovaná pro jednodeskové počítače na platformě ARM a RISC-V, ke stažení ale také pro Intel a AMD, byl vydán ve verzi 25.8.1. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    29.8. 12:11 | IT novinky

    Včera večer měl na YouTube premiéru dokumentární film Python: The Documentary | An origin story.

    Ladislav Hagara | Komentářů: 0
    28.8. 23:33 | Nová verze

    Společnost comma.ai po třech letech od vydání verze 0.9 vydala novou verzi 0.10 open source pokročilého asistenčního systému pro řidiče openpilot (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    28.8. 21:55 | Nová verze Ladislav Hagara | Komentářů: 3
    28.8. 14:11 | IT novinky

    Řada vestavěných počítačových desek a vývojových platforem NVIDIA Jetson se rozrostla o NVIDIA Jetson Thor. Ve srovnání se svým předchůdcem NVIDIA Jetson Orin nabízí 7,5krát vyšší výpočetní výkon umělé inteligence a 3,5krát vyšší energetickou účinnost. Softwarový stack NVIDIA JetPack 7 je založen na Ubuntu 24.04 LTS.

    Ladislav Hagara | Komentářů: 4
    28.8. 00:44 | Bezpečnostní upozornění

    Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) spolu s NSA a dalšími americkými úřady upozorňuje (en) na čínského aktéra Salt Typhoon, který kompromituje sítě po celém světě.

    Ladislav Hagara | Komentářů: 26
    27.8. 16:33 | IT novinky

    Společnost Framework Computer představila (YouTube) nový výkonnější Framework Laptop 16. Rozhodnou se lze například pro procesor Ryzen AI 9 HX 370 a grafickou kartu NVIDIA GeForce RTX 5070.

    Ladislav Hagara | Komentářů: 1
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (80%)
     (9%)
     (3%)
     (4%)
     (4%)
     (1%)
    Celkem 113 hlasů
     Komentářů: 9, poslední 28.8. 11:53
    Rozcestník

    Dotaz: Nízký výkon ZFS při čtení mirrored NVME disků

    29.5.2023 01:20 v.
    Nízký výkon ZFS při čtení mirrored NVME disků
    Přečteno: 867×
    Na posledním proxmoxu VE (debian) mám 2 serverové micron NVME pcie disky v zfs mirroru, ashift 12 (s 13 se to chová v podstatě stejně), bez komprese. Pokud na jednom z disků vytvořím XFS, tak přes fio dostanu něco přes 300k IOPS zápis, přes 800k IOPS čtení. To beru jako referenční hodnoty.

    Nicméně v ZFS mirroru dostanu také přes 300K IOPS zápis, ale čtení jen kolem 200k IOPS. To je 4x méně než na XFS na jednom disku. Zkoušel jsem vypnout cache (v tom případě spadne čtení až na 20k), vypnout checksumy (bez efektu). Problém vidím v tom, že při testování přes fio je CPU hodně saturován (až na 100%] a zvýšení numjobs to spíš zhorší (více CPU využitých na 100 procent při nižším výkonu ... nechápu). Dokázal by mi někdo, kdo má větší znalosti ZFS vysvětlit dané chování? Díky.

    IOPS testování pomocí:
    fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=fiotest --filename=fiotest --bs=4k --iodepth=32 --size=8G -numjobs=20 --readwrite=randwrite
    
    fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=fiotest --filename=testfio --bs=4k --iodepth=256 --size=8G --numjobs=20 --readwrite=randread
    

    Odpovědi

    29.5.2023 11:44 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Rob9 to aj vtedy, keď celý odiel je vo RAMFS?
    debian.plus@protonmail.com
    29.5.2023 22:10 v.
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Když vytvořím zfs mirror na /dev/ram0 a /dev/ram1, pak se to chová jinak a je to pomalejší. Při testování se CPU "fláká", ale max. IOPS při zápisu je 52k, při čtení 152k. Na tyto hodnoty se to dostane okamžitě a je to nějaký strop něčeho, nevím čeho.
    29.5.2023 13:01 PetebLazar | skóre: 34 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    O jaký model SSD jde konkrétně?

    Byla mezi testy zápisu a čtení dostatečná "relaxační prodleva"?

    Byl v době zahájení testů XFS/ZFS volný prostor TRIMovaný?

    29.5.2023 22:11 v.
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Micron_7450. Netrimoval jsem, jsou to 6TB nové disky. I když jsem testoval jen zápis, chovalo se to stejně, takže nezávisle na prodlevě.
    29.5.2023 23:36 PetebLazar | skóre: 34 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Tak jsem zkusil pro zajímavost ten rndread na svém RAID0(ext4) ze 4x NVMe Samsung 970Pro 1TB (Thr 1950X osazených v PCIe 16x3.0 s bifurkací na čtyři M.2 4x3.0) s výsledkem:

    Jobs: 20 (f=20): [r(20)][100.0%][r=8625MiB/s][r=2208k IOPS][eta 00m:00s]

    I podle průběžného snímku z iostat 1 to vypadá, že to dělalo 2208 ktps
    Device        tps         kB_read/s      kB_wrtn/s    kB_dscd/s    kB_read    kB_wrtn    kB_dscd
    md0           2208591,00   8834368,00         0,00         0,00    8834368          0          0
    nvme1n1       551242,00   2204968,00         0,00         0,00    2204968          0          0
    nvme2n1       552301,00   2209200,00         0,00         0,00    2209200          0          0
    nvme3n1       552643,00   2210564,00         0,00         0,00    2210564          0          0
    nvme4n1       552201,00   2208804,00         0,00         0,00    2208804          0          0
    
    Test zápisu na tom byl hůře, ale díky přímému zápisu do MLC-2bit (bez pseudo-SLC cache) by měl být předvídatelnější. V trvalém sekvenčním zápisu by měl být stropem jednotlivého SSD cca 2,6GB/s, ale k tomu jsem se díky dnes již limitovaného výkonu stroje z 2017/9 nepřiblížil.

    Jobs: 19 (f=17): [w(1),_(1),w(11),f(1),w(1),f(1),w(4)][96.0%][w=6686MiB/s][w=1712k IOPS][eta 00m:01s]
    Device        tps           kB_read/s    kB_wrtn/s    kB_dscd/s    kB_read    kB_wrtn    kB_dscd
    md0           1714455,00         0,00   6857820,00         0,00          0    6857820          0
    nvme1n1       428542,00         0,00   1714168,00         0,00          0    1714168          0
    nvme2n1       427347,00         0,00   1709384,00         0,00          0    1709384          0
    nvme3n1       429390,00         0,00   1717556,00         0,00          0    1717556          0
    nvme4n1       429205,00         0,00   1716820,00         0,00          0    1716820          0
    
    30.5.2023 02:59 v.
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Při testování čtení mi iostat ukazuje toto:
    Device             tps    kB_read/s    kB_wrtn/s    kB_dscd/s    kB_read    kB_wrtn    kB_dscd
    dm-0              0.00         0.00         0.00         0.00          0          0          0
    dm-1              0.00         0.00         0.00         0.00          0          0          0
    dm-2              0.00         0.00         0.00         0.00          0          0          0
    dm-3              0.00         0.00         0.00         0.00          0          0          0
    dm-4              0.00         0.00         0.00         0.00          0          0          0
    nvme0n1           0.00         0.00         0.00         0.00          0          0          0
    nvme1n1           0.00         0.00         0.00         0.00          0          0          0
    sda               0.00         0.00         0.00         0.00          0          0          0
    
    Vypadá to, že ZFS dává všechno z nějaké RAM cache a vůbec to nesahá na disky...
    30.5.2023 11:50 PetebLazar | skóre: 34 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Vypadá to tak.

    Podle specifikací výrobce by ty moje 970Pro jednotlivě měly mít po 500kIOPS pro random R/W, takže ta moje čísla nevypadají úplně mimo.
    29.5.2023 15:12 copper
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    atime je vypnuté?

    zfs set atime=off xxxx
    29.5.2023 22:16 v.
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Měl jsem zapnuté relatime. S atime na off je to jen o kousek rychlejší (o cca 2 procenta).
    29.5.2023 22:51 ewew | skóre: 40 | blog: ewewov_blog
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků

    Čo tam máš za základnú dosku ak existuje ? Môžeš sem vložiť výstup z dmesg ? Ako vyzerá /proc/interrupts ?

    Na dosku sa pýtam, pretože mám podozrenie, že tam máš zdielanie IRQ alebo dátových liniek. Dmesg kvôlo celkovej konfigurácii po spustení a /proc/interrupts môžeš skontrolovať ako si cpu rozdelili jednotlivé prerušenia.

    Pri testoch si pusti iotopalebo atop.

    Root v linuxe : "Root povedal, linux vykona."
    30.5.2023 03:08 v.
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    Příloha:
    Je to server ProLiant DL380 Gen10 (868703-B21), lshw identifikuje desku jako "ProLiant DL380 Gen10". dmesg + interrupts v příloze.
    5.6.2023 18:18 Heretik 《小魔神》
    Rozbalit Rozbalit vše Re: Nízký výkon ZFS při čtení mirrored NVME disků
    ZFS kešuje přes RAM velmi silně, by design. (Hlavně proto se doporučuje zásadně ECC.) Příkladem, 8G RAM stroj je v BSD tradičně považován za nedostatečný pro ZFS a je potřeba u takového uměle snížit využití paměti u ZFS vhodnou konfigurací (nebo použít jiný souborový systém). To spolehlivě funguje, kdysi jsem to úspěšně provedl pro nějaký intelský tablet.

    Takže třeba oblíbené miniaturní Linuxové virtuální servery s dispozicí okolo 2G RAM se pro vlastní ZFS naprosto nehodí. V BSD se to pro virtuály řeší opačně: zpool běží na hostu a jednotlivé virtuály dostávají delegované datasety přímo od něj. Plný výkon pole v hostu zůstává zachován. Obávám se však, že delegace v Linuxu (stále ještě) nefunguje, alespoň se pamatuji, že dříve v Linuxovém kernelu patřičné bezpečnostní facility pro delegaci mimo root úplně chyběly. Nevím jak dnes. Takže delegace asi není řešení pro ZoL.

    Domníval bych se, že někde dochází k serializaci io požadavků. Moje pochybnost by v tomto případě byla namířena spíše na hypervisor. Takové zpomalení čtení je nepřirozené, zpool dokonce umožňuje čtení v mirroru paralelizovat. Asi by bylo užitečné vyloučit problém ZFS jako takového na konkrétních řadičích konkrétního výrobce změřením rychlosti těch disků v syrovém FBSD.

    Linuxové kontejnery nepovažuji za cestu, to je kludge.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.