Dotaz: agresivni dd, hight I/0 load

[linuxnew]

Dobry den, jsem zacatecnik v linuxu, instaloval jsem centOS 5.2_x64 na Intel SR1530 barebone (dualcore xeon, 2GB RAM, 2x 320GB SATa software RAID).

Vsechno slo celkem hladce, az do chvili kdy jsem zijistil, ze I/O opera delaji nejak podezrele vysoky load(mozna to tak ma byt, nejsem si jist), ale zda se mi to divne.

Pokud udelam napr.

#dd if=/dev/zero of=test.dat bs=1M count=4096

tak v top-u vidim load az nekam v 5ti, obe CPU vypadaji,ze se pomerne nezatezuji, jen je vysoky %wa (nekdy i 100%). Dokaze nekdo poradit co to ma znamenat? Prikaz provadit jako root a nelibi se mi to prilis, ze tak velky load vyvola dd. po skonceni dd je pres nekde kolem 70Mb/s. Filesystem je ext3, jadro 2.6.18.

Zkousel jsem totez i na jinem systemu s Debianem(2.6.28) a zde se to chova stejne?

Je to normalni? Jak tedy vytvarit rychle velke soubory? napr. 20~40GB.

diky.

Odpovědi

[Jakub Lucký]

Debian Sid, 2.6.26, load asi 5, systém zůstal bez problémů použivatelný...Bůhví, proč to tak je

Jak tedy vytvarit rychle velke soubory? napr. 20~40GB.

Vy vytváříte běžně soubory o velikosti 20-40GB pomocí dd ?

[linuxnew]

a jak jinam rozumne vytvaret image file  pro XEN? taky me to stve.

[Jakub Lucký]

aha, Xen to má takhle blbě...

napsat skript a pustit přes noc...

Jinak, je to logicky náročné, protože je to IO (jak píšou dole), ale nemá to vliv na CPU, mě běhá systém sám o sobě v pohodě...

[linuxnew]

Jak to myslite s tim skriptem? jakoze spoustet dd s nejakym appedned treba po 10MB a cekat po kazde sleep par vterin, aby si to "oddechlo", to radeji premyslim ted, ze

udelam z casti disku LVM (cetl jsem o tom ted neco) a budu pro kazdy system "krajet" z toho svazku a delat novou partition.

----

aha, Xen to má takhle blbě... a jste schopen doporucit jiny system pro virtualizaci, dostatecne pruzny, stabilni, a pokud mozno svobodny.

[Jakub Lucký]

Jak to myslite s tim skriptem? jakoze spoustet dd s nejakym appedned treba po 10MB a cekat po kazde sleep par vterin

Myslel jsem, že by stačilo spustit skript ve tři ráno, to load nevadí už vůbec...

aha, Xen to má takhle blbě... a jste schopen doporucit jiny system pro virtualizaci, dostatecne pruzny, stabilni, a pokud mozno svobodny.

To asi nejsem, jen mě překvapilo, že si neumí vytvořit image sám, ale musí se mu předtvářet tak ošklivým způsobem, jako je dd if=/dev/zero...

[podlesh]

No a co je na tom špatného? Stroj je dost silně zatížen, tak reportuje velkou zátěž. To se má tvářit jako že se nic neděje?

[rastos]

"load nekam v 5ti" znamená, že keď sa jadro rozhoduje, ktorý proces dostane CPU, tak jeden vyberie a ďalších 5 ostane čakať. Inak povedané vo fronte čaká priemerne 5 procesov. To ešte v princípe nemusí byť na závadu. Pokiaľ máš skutočne pocit, že systém nereaguje dosť svižne, tak sa pozri na ionice.

[linuxnew]

dekuji za vysvetleni

- jeste bych se rad optal ja jednu malickost, jak je mozne ze pokud bych poskytoval uzivatelum shell pres SSH tak mi muzou takto jednoduse pretizit system?  da se to nejak limitovat? neco jsem cetl o cgroups je to spravna cesta nebo snad ulimit?

diky.

[Jooky (inactive)]

Loadaverage neni vobec smerodajny udaj ked neviete co znamena. To cislo vyjadruje priemerny pocet processov, ktore su running (bezia), runable (cakaju v queue na vykonanie) a v stave Uninterruptible sleep (neprerusitelne cakanie). Ten posledny stav je to co u vas zvysuje loadaverage. Ak nenajky program caka na dokoncenie I/O operacie (dd) tak je v stave neprerusitelneho spania (v ps stav "D") a priratava sa do loadaverage. Toto spravanie je spravne ale nepoukazuje hned na "pretazeny" system. Pokial mate v systeme spravne balancovane zapisovanie/citanie z diskou tak to ani neni problem, kedze tie procesi len spia a cakaju az diskovy subsystem dokonci operaciu a vrati data.

ps: loadaverage dost zavisi od poctu procakov, mnozstva vlakien spracuvajucich I/O (zurnal, md, raid, ..) a to ze mate to cislo 5 ako pisete nemusi ani poukazovat na zatazeny system :o) radsej sa zamerajte na response time aplikacii, average I/O time, cpu load (samozrejme do uvahy sa neberie idle a wait io), alebo ine aplikacne specificke parametre

[Bluebear]

V prvé řadě: SSH účty poskytuj jen a pouze osobám, kterým naprosto důvěřuješ. Jak už má někdo na stroji shell, může dělat obrovskou spoustu věcí a není snadné to nějak omezit. Pokud sám cítíš, že nemáš dost zkušeností, nepokoušej se rozjíždět poskytování shellu osobám, které dobře neznáš.

[petr_p]

dd if=/dev/zero of=test.dat bs=1M seek=4095 count=1, pokud nevadí, že ten soubor bude děravý.