Dotaz: problémy s výkonem - Vmware Player vs. KVM

[Petr K.]

Přílohy:

• vmware-player.jpg (97616 bytů)
• KVM-bez-zapnute-writeback-cache.jpg (106258 bytů)
• KVM-bez-zapnute-writeback-cache.jpg (106258 bytů)
• testsrv.xml (3913 bytů)

Dobrý den.
Řeším, jaké mám možnosti optimalizace výkonu pro virtuální stroje provozované v KVM. Hlavní problém je v tom, že cokoli, co v KVM spustím, tak je velmi pomalé. Pomalostí myslím přístup k disku (read/write). Pod VMware je vše krásně funkční, rychlé a i výkonnostní testy jsou na tom podstatně lépe. Výkonnost čtení a zápisu z disků testuji programem CrystalDiskMark. Výkonnost RAM testuji programem AIDA64 Extreme.

Testovaný stroj s KVM
LVM (60GB) --> raw --> NTFS --> Windows Server 2012 R2, 2x vCPU, 4GB vRAM

Testovaný stroj v VMware Playerem
LVM (60 GB) --> ext4 --> mount point do /var/lib/vmware/testSRV --> tady diskimage 80GB --> v ní NTFS --> Windows Server 2012 R2, 2x vCPU, 4GB vRAM

Vše se testuje na stejném hardware.

Měl by někdo nějaký nápad, jak dosáhnout v KVM maximálního výkonu ?

Odpovědi

[Petr K.]

Příloha:

• KVM-se-zapnutou-writeback-cache.jpg (93405 bytů)

Doplnění přílohy: KVM-se-zapnutou-writeback-cache.jpg

[Max]

Nevidím, že by jsi používal virtio. Teď nemám k dispozici něco na test, používal jsem jeden čas qcow2 + virtio a pro management VM jsem používal virsh. Konfigurace byla takováto :

# vytvoříme si virtuální disk :
qemu-img create -f qcow2 ./name.qcow2 8G

# vytvoříme si VM :
virt-install --name JmenoVM --ram 16384 \
--os-type=linux \
--os-variant=ol5.11 \
--disk path=/vm/rac1-2_01.qcow2,format=qcow2,bus=virtio,size=60 \
-c /mnt/iso/Oracle/OEL/OEL-5U11-V47133-01.iso \
--network bridge=br0-lan,model=virtio,mac=RANDOM \
--graphics vnc,password=heslo,listen=0.0.0.0,port=5900 --noautoconsole \
-v --vcpus=12 \
--boot cdrom,hd

Záleží, jakou máš distribuci a jakou používáš verzi kernelu. Nejsem žádný kvm guru, ale minimálně v tom tvém xml nikde nevidím používat virtio u disku (bus="ide" by mělo být spíše bus="virtio").

Dnes existují dvě paravirtualizace, jedno je virtio-blk, druhé virtio-scsi. Virtio scsi je novější a ještě výkonnější. Pokud máš vhodný kernel, tak by jsi místo virtio blk měl použít bus="scsi" a dále nastavit model na virio-scsi.

Ještě by se slušelo upozornit, že výkon qcow2 nemusí být proti raw pomalejší.
Zdar Max

[Peter Golis]

Natívna rýchlosť diskov je prepdpokladám tých 120 až 145MB/s. Nuž, urýchliť to môžeš keď použiješ HW RAID s cache RAM a hlavne baterkou. Alebo použiješ DM Cache na rýchly NVMe či aspoň SSD. Voľbu writeback cache by som neodporúčal bez ECC RAM a UPS keďže ten VM by sa mal synchronizovať s diskom na pozadí.

Odporučil by som aj pohrať sa s rôznymi typmi radičov pre KVM, najmä virtio.

[PetebLazar]

Podle toho .xml to vypadá, že ten virtuální HDD jede v režimu emulace IDE?

Já pro VM na stanici využívám virtio-scsi (ovladače pro stranu GuestOS jsou asi nejčerstvejsi v rámci Fedora projektu). https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/archive-virtio/

[PetebLazar]

-object iothread,id=iothread0 \
-device virtio-scsi-pci,id=scsi0,iothread=iothread0,num_queues=32 \
-drive if=none,id=hd0,file=/dev/disk/by-id/nvme-Samsung_SSD_960_EVO_500GB_XXXXXXXXXXXXXXX,format=raw,aio=threads \
-device scsi-hd,bus=scsi0.0,drive=hd0 \

Vysledek benchmarku ve VM Win10 na vyhrazeném(nikoli passthrough!) NVMe Samsung EVO 960. Pozn. Ty num_queues=32 jsem tam přidal tesně před posledním testem (optimální hodnotu jsem zatím nehledal). https://www.monitos.cz/tmp/kvm_qemu_virtio_scsi.png

Nejsem fanda libvirt, ale dohledat někdy syntax QEMU OPTS pro spouštění VM z command line často znamená nakonfigurovat si požadované na zkušební VM ve virt-manageru, spustit tuto VM a z výpisu procesů (parametry spuštění) se dobrat postupu. Dokumentace, na rozdíl od libvirt (.xml), dosahuje spíše záporného rozsahu.

PC je X399/1950X/32GB.

[Petr K.]

Dobrý den a děkuji za vaše komentáře.
Pokud dám bus=virtio nebo bus=virtio-scsi, dostávám vždy hlášku ohledně špatné konfigurace.

error: XML document failed to validate against schema: Unable to validate doc against /usr/share/libvirt/schemas/domain.rng
Extra element devices in interleave
Element domain failed to validate content

Failed. Try again? [y,n,i,f,?]:

Možná by to chtělo stroj nadefinovat znovu se zachováním současného LVM.
Nikde jsem ale nenašel "best practices" na téma jak provozovat Windows Server 2012 R2 v prostředí KVM.

Petr K.

[PetebLazar]

Tady je odkaz na .xml z level1tech fora pro inspiraci. O jakou distribuci a verzi QEMU jde?

https://forum.level1techs.com/t/qemu-libvirt-sata-disk-performance/124115/2

[PetebLazar]

https://wiki.mikejung.biz/KVM_/_Xen Tady se mozna taky neco najde.

[Petr K.]

Tak problém s výkonem vyřešen.
K optimálnímu nastavení výkonu pomohl tento odkaz.

Všem děkuji

Petr K.