abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:00 | Komunita

    Před necelými čtyřmi měsíci byl Steven Deobald jmenován novým výkonným ředitelem GNOME Foundation. Včera skončil, protože "nebyl pro tuto roli v tento čas ten pravý".

    Ladislav Hagara | Komentářů: 3
    včera 18:33 | Zajímavý článek

    Nové číslo časopisu Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 156 (pdf).

    Ladislav Hagara | Komentářů: 0
    včera 15:11 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu optimalizovaná pro jednodeskové počítače na platformě ARM a RISC-V, ke stažení ale také pro Intel a AMD, byl vydán ve verzi 25.8.1. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    včera 12:11 | IT novinky

    Včera večer měl na YouTube premiéru dokumentární film Python: The Documentary | An origin story.

    Ladislav Hagara | Komentářů: 0
    28.8. 23:33 | Nová verze

    Společnost comma.ai po třech letech od vydání verze 0.9 vydala novou verzi 0.10 open source pokročilého asistenčního systému pro řidiče openpilot (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    28.8. 21:55 | Nová verze Ladislav Hagara | Komentářů: 2
    28.8. 14:11 | IT novinky

    Řada vestavěných počítačových desek a vývojových platforem NVIDIA Jetson se rozrostla o NVIDIA Jetson Thor. Ve srovnání se svým předchůdcem NVIDIA Jetson Orin nabízí 7,5krát vyšší výpočetní výkon umělé inteligence a 3,5krát vyšší energetickou účinnost. Softwarový stack NVIDIA JetPack 7 je založen na Ubuntu 24.04 LTS.

    Ladislav Hagara | Komentářů: 4
    28.8. 00:44 | Bezpečnostní upozornění

    Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) spolu s NSA a dalšími americkými úřady upozorňuje (en) na čínského aktéra Salt Typhoon, který kompromituje sítě po celém světě.

    Ladislav Hagara | Komentářů: 26
    27.8. 16:33 | IT novinky

    Společnost Framework Computer představila (YouTube) nový výkonnější Framework Laptop 16. Rozhodnou se lze například pro procesor Ryzen AI 9 HX 370 a grafickou kartu NVIDIA GeForce RTX 5070.

    Ladislav Hagara | Komentářů: 1
    27.8. 14:22 | IT novinky

    Google oznamuje, že na „certifikovaných“ zařízeních s Androidem omezí instalaci aplikací (včetně „sideloadingu“) tak, že bude vyžadovat, aby aplikace byly podepsány centrálně registrovanými vývojáři s ověřenou identitou. Tato politika bude implementována během roku 2026 ve vybraných zemích (jihovýchodní Asie, Brazílie) a od roku 2027 celosvětově.

    Fluttershy, yay! | Komentářů: 11
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (80%)
     (8%)
     (3%)
     (4%)
     (5%)
     (1%)
    Celkem 110 hlasů
     Komentářů: 9, poslední 28.8. 11:53
    Rozcestník

    Dotaz: saturace disku

    19.2.2020 15:22 chtel_bych_se_zeptat
    saturace disku
    Přečteno: 571×
    Dobry den, chci si napsat maly skriptik, ktery me upozorni, jestlize bude nejaky z mych disku na serveru saturovany.

    Chci se zeptat, jestli si myslite ze sledovani hodnoty %util z outputu "iostat -x" je pro tento ucel vhodne. Vim ze asi neni uplne nejstastnejsi predpokladat, ze zarizeni ktere je vyuzito na 100% je automaticky saturovane, ale pokud k tomu pridam nejakou casovou hodnotu - napr. velmi obecne, disk je busy na 100%, 5x checku po sobe = velmi velka pravdepodobnost, ze disk nestiha.

    Predem dekuji za vsechny vase nazory. :)

    Odpovědi

    19.2.2020 15:34 Kolega
    Rozbalit Rozbalit vše Re: saturace disku
    Icinga pouziva check_iostats https://icinga.com/docs/icinga2/latest/doc/10-icinga-template-library/#iostats
    19.2.2020 15:37 majales | skóre: 30 | blog: Majales
    Rozbalit Rozbalit vše Re: saturace disku
    Sice je to pro vás asi kanón na vrabce, ale co takhle icinga2 a check_iostats nebo alespoň munin?
    19.2.2020 17:16 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: saturace disku
    Když na disk budeš kopírovat něco většího z něčeho rychlejšího (nebo v opačném směru), pojede vždy naplno, ne? Klidně i hodinu v kuse, když to bude něco velkého.
    19.2.2020 17:23 j
    Rozbalit Rozbalit vše Re: saturace disku
    Ani ve snu, linearni zapis/cteni generuje mizivou zatez.
    19.2.2020 17:48 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: saturace disku
    Zápis i čtení souborů z filesystému není lineární přístup na médium. Na serveru se to navíc ještě namíchá strukturou raidu.
    19.2.2020 17:51 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: saturace disku
    Samozřejmě mluvím o saturaci IOPS.
    20.2.2020 08:06 j
    Rozbalit Rozbalit vše Re: saturace disku
    "Když na disk budeš kopírovat něco většího..."

    Tak se vse co je v ceste od samotnyho disku az po system snazi sec muze z toho linearni cteni/zapis udelat. (mimochodem, tohle je jeden z duvodu, proc komercni pole pouzivaji disky s vlastnim firmwarem, aby to pole melo kontrolu nad tim, co se deje)

    Typicky mnohem vetsi zatizeni generuje provoz databazi, protoze tam se jaksi neda moc predikovat, co se bude cist priste, nebo kam se bude priste zapisovat. Ostatne i kazdej bench ma random RW testy, ktery kupodivu podavaji vzdy mnohem horsi vysledky (a to i na SSD) nez prosty cteni nebo zapis nejakyho souboru.
    20.2.2020 08:13 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: saturace disku
    Pokiaľ sa minie SLC cache na TLC disku, tak výkon môže zletieť do priepasti. A aj zletí.
    20.2.2020 16:23 j
    Rozbalit Rozbalit vše Re: saturace disku
    Na to nemusis mit ani zadnou cache, i linearni RW v ramce bude vykazovat podstatne vyssi prenosovy rychlosti, nez random. Jednoduse proto, ze ten "seek" nema nikdy nulovej vliv.

    Rozdil je jen v tom, kolik seeku za sekundu ta ktera technologie zvladne. A to je vpodsate presne to, cemu se rika IOps. Akorat ze jako ve vsem (kapacita a MB neni jako MB), se i v tomhle vyrobci naucili velmi rychle podvadet. Takze zarimco u SAS disku bude uvedena "smesne nizka" stredni hodnota, u vetsiny sata disku (specielne samsung) hodnota maximalni. Ta stredni pak bude klidne o rad nizssi nez u toho sasu.

    Proto se hromada tupcu strasne divi, kdyz jim SSDcko pod zatezi dava 20MB/s.
    20.2.2020 18:57 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: saturace disku
    Mne to kleslo na cca 33MB/s (264Mb/s) pri SSD ktorý papierovo zvládal zápis 500 MB/s. Trochu som si o tom µBlogol. Ale nedivil som sa tomu, ten disk som mal akoby zdarma. Skôr som sa divil že čo majú ľudia v tej mantre SSD a kadejaké NVMe. Divil som sa tomu aj pri nástupe SSD, keď žrali viac elektriky ako rotačné disky. A to sa pri notebookoch veľmi oplatilo.
    19.2.2020 17:22 j
    Rozbalit Rozbalit vše Re: saturace disku
    Tool mas spravnej, a to co z toho chces jsou IOps. 15k disk umi (v nejlepsim pripade) 200. Ruzny pole se pak chovaji ruzne. Trebas mirror dvou disku ti je schopen dodat 400 na cteni, ale zapis ma porad jen 200. Atd.

    Samo pomalejsi disky davaji min, kolik konkretne daji tvoje si muzes overit nejakym benchmarkem a vychazet z tech cisel.

    Prakticky kazdej tool na sledovani ma zrovne tohle implementovany, ale pokud chces vazne jen tohle, tak nema smysl neco takovyho provozovat => ten script postaci, a muzes si to tim scriptem klidne ladovat do nejaky ty rrd* databaze a potazmo si z toho pak primitivne vygenerovat nejaky grafy.

    *Pokud nevis jak to funguje, tak se deklaruje kolik hodnot si to ma jak dlouho pamatovat, a dal kolik trebas hodinovych prumeru, dennich prumeru atd. Tzn nepamatuje si to vsechny hodnoty za existenci sveta, ale postupne se stary prepisujou novejma a v delsich usecich se pak uz nepracuje s puvodnima hodnotama vubec. Ty pocitany hodnoty nemusi byt samo jenom prumer, muze to byt cokoli si prejes a muze jich byt v ramci casovy jednotky i vic (muzes si schovavat denni prumer + maximum a minimum trebas).

    A samo, z takovy databaze se da vysat trebas "poslednich 5 hodnot" a neco na zaklade toho udelat.

    Tuhle: https://oss.oetiker.ch/rrdtool/
    20.2.2020 18:36 chtel_bych_se_zeptat
    Rozbalit Rozbalit vše Re: saturace disku
    Ahoj, IOps zni dobre, ale co kdyz mam situaci, ve ktere presne nevim, co je cilovy disk zac - treba pri nasazeni scriptu na vice serveru, kdy si jednotlive disky nactu z /proc/diskstats a pak je chci dale sledovat.

    To bych je musel vzdy podrobit nejakem vstupnimu stress testu, abych vedel co z nich vymacknu a dostal nejakou dalsi hodnotu k porovnavani - nebo se pletu?

    Jak tak koukam na ten /proc/diskstats, tak tam vidim hodnoty jako "cas straveny ctenim dat", "cas straveny zapisem dat", "pocet dokoncenych ctecich operaci", "pocet dokoncenych zapisu dat" Zajimalo by me, jestli by se bud z techto hodnot (a nebo jinych v tomto souboru) nedalo odovodit, kdy je disk pomaly a nestiha.

    Taky si rikam, ze kdyz ten disk nestiha, tak se nekde ty operace musi radit do nejake fronty (fronta blokoveho zariceni?), nedala by se nejak sledovat?

    Predem moc diky vsem za dalsi uzitecne informace :)
    Heron avatar 19.2.2020 19:25 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: saturace disku
    Různé checky už doporučili ostatní, tohle umí v podstatě každý monitorovací nástroj.

    Ale jde o to, proč to chcete kontrolovat a čeho tím chcete dosáhnout. Jestli vám jde o pouhou kontrolu toho, jak jsou vytížené disky, tak ok. Pokud tím sledujete nějaký optimalizační cíl, tak tato hodnota toho zase tak příliš neříká. Linux má ionice, kterým lze nastavovat procesům různé priority diskových operací, takže když nějaké dlouhotrvající a na disk náročné úloze nastavíte idle, tak disk sice bude hodiny vytížen na 100%, ale v zásadě to žádnému dalšímu procesu nebude vadit. Dalším kamínkem do mozaiky je io scheduler. Výchozí je CFQ, který je obecně asi nejlepší, ale pro některé provozy se více hodí deadline nebo třeba i noop.

    Obecně je vhodnější sledovat latence pro vás důležitých operací. (Tohle platí nejen u disku.)
    19.2.2020 19:56 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: saturace disku

    r_await a w_await vypovídají o "saturaci" možná lépe než nějaký odhad v procentech.

    Neříkají ovšem příliš přesně, jak velký má tahle "saturace" celkový vliv na výkon systému. K tomu je nejlepší vážit hodnoty r_await a w_await hodnotami r/s a w/s. Tím se dá získat odhad ve stylu "jak dlouho celkově tento disk v nedávné době zdržoval systém".

    Celý takový odhad je samozřejmě relativní, tj. má smysl při porovnání mezi jednotlivými disky a hledání disku, který výrazně převyšuje ostatní. Není to magický údaj v procentech (s definicí 100% kdovíkde).

    Max avatar 20.2.2020 22:48 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: saturace disku
    Jak už napsal andrej, měření iops, či toku dat nic neřeší. Tam se vytížení disku nepozná. To se až pozná na latencích, což je právě ono sledování "r_await" a "w_await".
    Zdar Max
    Měl jsem sen ... :(

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.