Dotaz: KVM - podivne problemy s vykonem virtualniho disku

[CandySan]

Zdar odbornici! Mam problem s vykonem disku virtualni masiny a uz nevim jak dal.

Stalo se mi to postupne u vice stroju. Nainstaloval jsem virt. masinu a nejakou dobu vse slapalo jak ma. Rychlost zapisu v rozmezi od 40 MB/s do 100 MB/s jak kdy a jak kde (samozrejme testovano na hodne velkych souborech, protoze ze zacatku se to nekde po ceste kesuje a ukazuje to z pocatku uplne nesmysly). Disk hostitele ukazuje podobne rychlosti (atop -d 1) a disky hostitele nejsou pretizene.

Obcas se stane, ze virtualni disk zacne byt velmi pomaly a virtualka zapisuje uz jen rychlosti kolem jednoho az maximalne tri MB/s (vetsinou jen 1 az 1,5 MB/s) a disky hostitele jsou vytizene na nejakych 97 az 99%. V tom okamziku se cela virtualka uvnitr zadrhava a cely system uvnitr je beznadejne pretizeny. Procesor hostitele ani procesor hosta vsak vytizeny neni a flakaji se. Tento stav pak zustava trvale - tedy neni to obcas lepsi a pak zase spatne, ale je to spatne uz stale.


Vedlo me to nejprve k problemum s diskem hostitele, ale to se ukazalo jako chybna stopa.
Zapis i cteni disku hostitele je stale kolem 120 MB/s.
Overuju to takto:
sync; time sh -c "dd if=/dev/zero of=./__testdata__ bs=1024k count=1000 oflag=direct; sync"
sync; time sh -c "dd if=./__testdata__ of=/dev/null bs=1024k count=1000 iflag=direct; sync"


Konfigurace hostitele i hosta:
Hostitel: debian; jadro 2.6.32-5-amd64; SW RAID1; planovac dedline na oba odisky (sda,sdb z nich je jestaven raid); virtualky lezi v LVM oddilu a pouzil jsem FS XFS; QEMU emulator version 1.1.2 (Debian 1.1.2+dfsg-2~bpo60+1)
Virtualka: format obrazu RAW; cache NONE; IO rezim NATIVE; OS windows i linux (stalo se mi to uz na vice strojich, ale tento zkoumany stroj ma aktualne w2k8r2)


Na stejnem hostiteli jsem provedl jeste i dalsi testy.
- po instalaci jsem si ulozil cely virtualni disk do zalohy a kdyz jsem zkusil vytvorit virtualku (dumpxml te aktualni bezici) stejnou jakou pouzivam na ostro a pripojil jsem do ni tento disk ze zalohy, tak stabilne dosahuju kolem 60 MB/s - na stejnem hostiteli, stejna konfigurace, jen trochu mladsi a jina sitovka aby nebyla kolize MAC.
- ten stejny virtualni disk na jinem hostiteli s obdobnymi parametry bezi dobre
- abych vyloucil, ze neni problem s definici virtualky (nejaky bug), tak jsem zkusil v jiz existujicich virtualkach (te ostre, kde to zlobilo, bylo pomale a pretezovalo to disk hostitele; i v te testovaci, kde zalozni image z pradavne doby funguje i ted spravne rychle) oba obrazy prohodit. “Spatna” virtualka se zacala chovat “dobre” a “dobra” masina zacala delat problemy, takze to me vede k tomu, ze to nejak souvisi s konkretnim obrazem a ne s definici virtualky
- zkusil jsem “spatnou” virtualku nabootovat z live cd abych vyloucil problem s bezicim os a bylo to opet spatne, takze os uvnitr virtualky taky skrtam (ted to resim na windows, ale pod linuxem jsem zaznamenal ten problem z drivejska taky)
- zjistil jsem, ze kdyz zdravy image zapisuje rychle a na stejnem hostiteli zacnu zapisovat do “spatneho” image (2 soubezne bezici virtualky), tak se razantne zpomali i ten zdravy image (rychlost klesne z 60 MB/s a zacne kolisat nekde kolem 3 az 8 MB/s). Po zruseni kopirovani v te “spatne” virtualce se da “dobra” virtualka opet rozbehla naplno.
- zkusil jsem vytvorit novy obraz a pomoci clonezilly (device-to-device) jsem se tam pokusil vykopirovat data ze “spatneho” obrazu. Cele to trvalo asi do 5 hodin (disk ma jen 50 GB - uz to bylo podezrele, ale nevedel jsem zda to neni jen tim, ze ten “spatny” image pretezuje celeho hostitele a tak jsem to nechal dobehnout). Vysledek je, ze i ten novy image ma stejne problemy s vykonem.
- v cirem zoufalstvi jsem zkusil prejmenovat ty obrazy (kdyby slo o nejaky bug navazany na jmeno - nekde neco zapsane nebo buh vi co...), ale vysledek stejne spatny
- pokud ma byt problem s obrazem, tak jsem zkusil zkonvertovat obraz z raw na qcow2, ale vysledek byl temer stejny... Byl sice zapis 2x rychlejsi s qcow2 nez s raw, ale stale se to pretezovalo a jen to poukazuje na nejaky bordel, protoze by to spravne melo byt obracene. Kdyz jsem ten samy image jeste zkonvertoval zpet na raw, tak jsem doahnul stejny vysledek jako pred konverzi. Check na tom qcow2 obrazu tvrdi, ze no error.
- zkusil jsem i zmenit device z IDE na VIRTIO a dodal jsem drivery, ale vysledek byl (prekvapive) jeste horsi
- ac by nebyl opravneny duvod k fragmentaci, tak i to jsem zkusil, ale fragmentace je jen nejakych 7%, tak jsem to hned vyloucil.


Nevim co dalsiho zkusit, nebo co dal merit, nebo co je tohle za bordel? Prosim pomoooc!

---

---

Odpovědi

[Jezus]

Mrkněte se, jestli na hostiteli cron nepouští pravidelný rebuild raidu. Bývá to v týdeních intervalech a je to velmi IO náročná věc. Všechny disky se musí kompletně přečíst.

[CandySan]

Diky za odpoved. Tenhle problem to bohuzel neni Jednak resync v dobe testu nebezel, ted nebezi a druhak mam resync pod kontrolou i z jinych duvodu.

Jelikoz je resync jen read only operace, tak vsechny hostitele mam navic nastavene tak, aby resync nebyl narocny (dev.raid.speed_limit_min = 100).

[Roman DAVID]

1) proc mate na LVM vytvoreny FS a v nem raw soubory tech virtualek ?

Kdyz uz pouzivate LVM, tak kazde virtualce dejte jeden LV.

 

2) Neswapuje vam nahodou ten hostitel? Vypnout swap !

[CandySan]

1. hmm... z tohoto uhlu pohledu jsem se na to nikdy nepodival a pritom to ma dost logiky! Zkusim nad tim popremyslet, protoze z hlediska tohoto meho problemu by to melo znamenat mnoho.

Dospel jsem k tomu puvodne tak, ze jsem ty soubory povazoval za nejjednodussi a nejsnazsi zpusob jak to provozovat, zalohovat a migrovat mezi servery, ale to by jiste slo i kdybych to nemel v souborech... Prozkoumam tuhle moznost. Diky moc za tip!

2. swapy mam uplne vypnute vsude, diky.

[CandySan]

Vyreseno!! Zkusil jsem vytvorit lvm oddil a ten zlobivej raw image jsem do nej vykopiroval (dd) a spustil jsem z nej virtualku a lita to zase jak blesk!

Zkusil jsem tam prenest i vsechny ostatni virtualky a soucasne je vsechny zatezovat a vykon se samozrejme rovnomerne deli, ale vzdy to ma dostatek vykonu a load neroste!

Parada! Diky moc za tip!