abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    dnes 20:22 | IT novinky

    Linux Foundation Europe představila projekt RISE (RISC-V Software Ecosystem), jehož cílem je urychlit vývoj open source softwaru pro architekturu RISC-V.

    Ladislav Hagara | Komentářů: 0
    dnes 14:55 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu pro jednodeskové počítače na platformě ARM, byl vydán ve verzi 23.05. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    dnes 12:33 | Komunita

    Minulý týden proběhla openSUSE Conference 2023. Mimo jiné bylo oznámeno přejmenování systému MicroOS Desktop. MicroOS Desktop GNOME byl přejmenován na openSUSE Aeon a MicroOS Desktop Plasma na openSUSE Kalpa.

    Ladislav Hagara | Komentářů: 0
    dnes 09:00 | Komunita

    Thom Holwerda z OSnews si všímá, že vývoj operačního systému MINIX je prakticky mrtvý. Jeho hlavní autor, Andrew Tanenbaum, formálně odešel do důchodu v roce 2014 a příspěvky do kódu v následujících letech vůbec ustaly. Stav projektu shrnuje diskuze z roku 2020. Sice vyšlo najevo, že Intel používal MINIX v Management Engine, ale změny nezveřejňoval.

    Fluttershy, yay! | Komentářů: 0
    dnes 07:00 | Nová verze

    Google Chrome 114 byl prohlášen za stabilní. Nejnovější stabilní verze 114.0.5735.90 přináší řadu oprav a vylepšení (YouTube). Vypíchnut je CHIPS (Cookies Having Independent Partitioned State). Opraveno bylo 16 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře.

    Ladislav Hagara | Komentářů: 0
    včera 17:33 | Komunita

    Byly zveřejněny prezentace a videozáznamy přednášek a fotografie z česko-slovenského setkání poskytovatelů přístupu k internetu, provozovatelů telekomunikačních sítí, registrátorů domén a provozovatelů počítačových sítí a technických nadšenců CSNOG 2023 (Czech and Slovak Network Operators Group) konaného 16. a 17. května ve Zlínu.

    Ladislav Hagara | Komentářů: 0
    včera 17:00 | Pozvánky

    Soutěž amatérských robotů Robotický den 2023 proběhne v neděli 4. června v Kongresovém centru Praha.

    Ladislav Hagara | Komentářů: 0
    včera 14:11 | IT novinky

    V Tchaj-peji probíhá počítačový veletrh COMPUTEX 2023. Firmy představují své novinky. Nvidia například superpočítač DGX GH200 AI.

    Ladislav Hagara | Komentářů: 2
    včera 12:11 | Nová verze

    Vyšla nová verze XMPP (Jabber) klienta Gajim. Nejvýznamnější novinkou je integrace OMEMO pluginu přímo do jádra aplikace, takže již není třeba plugin samostatně instalovat. Přehled dalších novinek je dostupný na oficiálních stránkách. Gajim je vytvořen v jazyce Python s využitím knihovny GTK a vedle Linuxu jej lze vyzkoušet i na platformách MacOS a Windows.

    sonicpp | Komentářů: 0
    29.5. 22:22 | Komunita

    Komunita KDE představila stránku KDE for Developers pro vývojáře používající KDE aplikace. Postupně byly představeny stránky pro umělce KDE for Creators, děti KDE for Kids a vědce KDE for Scientists.

    Ladislav Hagara | Komentářů: 8
    Obnovovací frekvenci obrazovky (LCD) preferuji
     (74%)
     (20%)
     (4%)
     (2%)
    Celkem 833 hlasů
     Komentářů: 13, poslední 25.5. 07:25
    Rozcestník

    Dotaz: Vysoka IO utilizace na SSD

    9.5.2015 18:09 Petr Holik
    Vysoka IO utilizace na SSD
    Přečteno: 853×
    Ahoj, pred par dny jsme presunuli stroj(kontejner), kde bezi pouze databaze z HDD(obycejne 500GB/7K2 SATA) na SSD. Utilizace sice klesla, ale temer neznatelne. Ted se stabilne pohybuje okolo 86% coz mi prijde vzhledem k poctu IO strasne moc. SSD jsou sdb a sdd jsou v RAIDu1 jako MD device a nad tim je LVMko.
    #iostat -x -d
    Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
    sdb               1.04    37.88    9.27  155.27   597.12  1908.68    30.46     0.83    5.03    0.77    5.29   4.75  78.24
    sdd               0.00    37.59    0.00  164.83     0.03  2501.57    30.35     0.89    5.39    3.17    5.39   4.76  78.46
    md1               0.00     0.00    1.04  192.82     4.21  1901.66    19.66     0.00    0.00    0.00    0.00   0.00   0.00
    dm-1              0.00     0.00    0.00  154.48     0.07  1311.27    16.98     1.11    7.21    6.66    7.21   5.42  83.73
    MD device je nad oddily, ktere zacinaji 2048 b od zacatku
    # fdisk -l /dev/sdb
    Disk /dev/sdb: 120.0 GB, 120034123776 bytes
    1 heads, 53 sectors/track, 4423427 cylinders, total 234441648 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
       Device Boot      Start         End      Blocks   Id  System
    /dev/sdb1            2048   220203007   110100480   83  Linux

    SSD jsou Device Model: INTEL SSDSC2BW120A4

    Distro Debian 6 jadro 2.6.32

    Jeste podotykam, ze chci resit jenom utilizaci, a ne to, zda by se nemela optimalizavat DB :)

    Odpovědi

    10.5.2015 01:40 B.E.
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    Ahoj, zkus: cat /proc/mdstat (zda neprobiha resync/check ?)

    nainstaluj iotop (iotop -o ukaze, co aktualne vyzira disk)

    debian 6 - j. 2.6.32 + kontejnery - neni to nahodou jadro pro vservery? na ssdeckach jsem ho jeste nezkousel, ale myslim ze uz podporu pro ssd ma.

    (kdybys potreboval novejsi jadro, tak zkus http://repo.psand.net/ - jadra s podporou vserver prestal debian po 6ce podporovat, takze v debian7 uz neni. Todle dela manik, kterej prispiva do vservers.org)

    co jsem slysel, tak obvykle DB delal moc SYNCu na disk a protoze jsou oba disky v Raidu, tak se musi cekat na oba dva, nez data zapisou)

    snad sem trochu pomohl, urcite se tu casem najde nejaka makovice, ktera pomuze vic :o)

    Entý
    10.5.2015 10:12 Petr Holik
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    Ahoj, resync ani check neprobiha :( iotop tam je, vypada takhle nejak:
      TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
    11174  be/3 root        0.00 B/s    0.00 B/s  0.00 % 69.10 % [jbd2/dm-1-8]
      669  be/3 root        0.00 B/s    0.00 B/s  0.00 %  3.06 % [jbd2/dm-0-8]
    807122 be/4 Debian-e    0.00 B/s   56.56 K/s  0.00 %  2.74 % mysqld --basedir=/usr --datadir=/var/lib/mysql/ --p~mysql/mysql.pid --socket=/var/run/mysqld/mysqld.sock
    37963  be/4 Debian-e    0.00 B/s   56.56 K/s  0.00 %  2.65 % mysqld --basedir=/usr --datadir=/var/lib/mysql/ --pl~mysql/mysql.pid --socket=/var/run/mysqld/mysqld.sock
    113161 be/4 Debian-e    0.00 B/s   22.63 K/s  0.00 %  0.93 % mysqld --basedir=/usr --datadir=/var/lib/mysql/ --p~mysql/mysql.pid --socket=/var/run/mysqld/mysqld.sock
    113159 be/4 Debian-e    0.00 B/s   15.08 K/s  0.00 %  0.76 % mysqld --basedir=/usr --datadir=/var/lib/mysql/ --p~mysql/mysql.pid --socket=/var/run/mysqld/mysqld.sock
    37939  be/4 Debian-e    0.00 B/s    3.77 K/s  0.00 %  0.20 % mysqld --basedir=/usr --datadir=/var/lib/mysql/ --pl~mysql/mysql.pid --socket=/var/run/mysqld/mysqld.sock

    Co se tyka jadra, tak je pouzivame virtualizaci, ale ne vserver ale openvz. konkretne tam je 2.6.32-openvz-042stab104.1-amd64

    ad sync - tak je to pravda ackoliv db je cela v pameti tak flushuje dirty stranky na disky(je tam docela dost zapisu). Ano ceka se na obe SSDcka nicmene tim ze nerotuji, a nemusi se u nich cekat az se nekam vystavi hlavicka, tak by se tim u nich nemela zvetsovat latence(snizovat IO/s), coz ostatne je videt i z vypisu vyse, kde maji oba uplne stejnou utilizaci.

    Vrta mi to hlavou, protoze ta IO zatez po prechodu na SSD klesla uplne minimalne, a ty disky by mely zvladat desitky tisic 4KB IO za sekundu. Doufam, ze se takova hlava najde :) jinak asi budu muset koupit jeste dalsi SSDcka a v nejakem neprodukcnim serveru to otestovat.

    10.5.2015 23:54 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    To co dělá hlavní zátěž je žurnál na dm-1. zkusil bych commit=60 do fstab a předpokládám, že noatime tam už je. Zkusil bych se ptát iotop -obtqqq | grep jbd2 co se v průběhu děje. A možná se dá použít i echo 1 > /proc/sys/vm/block_dump, kdy se monitorují veškeré diskové akce a z dmesg výstup vytáhnu. Tady opatrně. Určite je nutné vypnout log (tam se to zapisuje také a dostaneme se do smyčky)
    11.5.2015 10:08 trubicoid
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    ...

    MD device je nad oddily, ktere zacinaji 2048 b od zacatku

    vono to takhle uplne nestaci, obzvlast, kdyz mate partice > md > lvm > ext4, nakonec musi byt ty bloky v ext4 zarovnany treba na 2048b, nebo 4096b (pro jistotu)

    pro vice informaci trebas

    nakonec tam vlastne ani ty partice byt nemusi; jediny duvod pro ne je, aby se nepouzilo cele misto a na konci zbylo misto na over-provisioning

    11.5.2015 20:59 Petr Holik
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    Ahoj,

    dik za info, koupim dalsi SSD a vyzkousim jaky to ma vliv.

    Partice jsem tam delal a delam(pro ne-hw raid) pro to, ze kdyz je novy disk, co se v tom poli meni, lehce mensi, tak se s tim zbytecne nemusi cachrovat(zmensovani fs online pod bezici databazi neni zrovna moje oblibena cinnost :)
    12.5.2015 16:52 trubicoid
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    ten lvm taky nechapu, asi zvyk no

    prave vsechny urovne musi byt zarovnany, coz je oprusk

    jednoducha zkouska by bylo vzit jen jeden ssd a bez partice na nem udelat primo ext4, tim padem bude vse zarovnany a zkusit to tak

    jinak partice by nekonec nemela byt jen lehce mensi, ale spis az o 20% mensi, tedy 100GB misto 120GB, kvuliva overprovisioningu
    12.5.2015 21:04 Petr Holik
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    Ahoj,

    LVM je tam z jedineho duvodu - SNAPSHOTy - tzn zalohovani za behu.

    Nemas nejaky dobry clanek o tom? Kdyz sam o sobe udelam partici na SSD mensi a zbytek nevyuzivam, tak to to SSDcko pouzije jako na overprovisioning?

    Druhou veci je to, ze na FS je zaplneno jenom cca 13 procent mista, to ma taky vliv? Nebo je to jenom o te velikosti partition?

    12.5.2015 22:28 trubicoid
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    to zalezi na vyrobci SSD, nektery to delali utilitou do widli, nektery potrebovali nastavit Host Protected Area, nekterym staci proste nepsat po celem disku, coz udelas tou partici

    nebo stejne funguje i kdyz tam mas ext4, neni uplne plny a udelas fstrim, zalezi, zas jestli tem fstrim proleze pres vsechny ty vrstvy fs-lvm-dm (fstrim poustis z cronu? lepsi vykon nez discard mount option, to tam doufam nemas, ze? to by to taky mohlo tedy delat)

    vono jako ten overprovisioning a volny misto a fstrim hrajou roli az kdyz se zapise hodne dat, pak by se mohlo ssd zpomalovat pri zapise, jestli to dela uz od zacatku a pri cteni, tak bych spis kontroloval zarovnani

    jeste dobrej trik je smazani ssd pred pouzitim, tim mu vlastne reknes, ze je vsude volno, kupodivu se to nedela jak u hdd pomoci dd if=/dev/zero, ale pres ata secure erase treba takto

    tam je taky odkaz na overprovisioning pres hpa, to muzes zkusit, nektery ssd to hpa nepoberou, pak to asi nepotrebujou a udelas to bud partici nebo volnym mistem

    bych asi zkusil prvne na holej disk bez dm a lvm treba ext4 nebo xfs a videlo by se, jestli to taky dela; na ty snapshoty mozna btrfs? xfs to myslim taky umi, nebo klidne to lvm, jen kontroluj zarovani a ze to nebude pomalejsi nez ten holej disk
    13.5.2015 19:38 Petr Holik
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    Ahoj,

    diky zalaboruju nad novym diskem. Kdyz na neco prijdu postnu to sem :)
    13.5.2015 20:14 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    Podle mne je úplně jedno u moderních disků, jestli nechám 20% tím, že mám menší oddíl, nebo tím, že na oddíle nechávám 20% volného místa a používám trim, aby volný prostor byl disku sdělen. Definování oddílů nijak nespecifikuje do kterých buňek se zapisuje. Celou alokaci řídí řadič SSD a vždy s ním pracuje jako s celkem.
    14.5.2015 08:54 trubicoid
    Rozbalit Rozbalit vše Re: Vysoka IO utilizace na SSD
    nektery ssd bazirujou na tom hpa, nektery to hpa ani nepodporujou

    novy to maji asi tak jak rikas, akorat musis hlidat volny misto a trimovat

    ta partice o 20% mensi nez disk zajisti to, ze nemusis hlidat volny misto no, neni to vyber bunek

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.