Dotaz: 2xSSD HWxSW (ne)raid pomale SSD

[MP]

Zdravim, vzhledem k planovani shared storage tu mam ted na testy HW, z ktereho se to stavet nebude, pro zjisteni urcitych informaci k implementaci:

DL180 G6, Xeon E5530 @ 2.4GHz, 6GB RAM
SmartArray P212 3Gbps SAS, 3Gbps SATA, fw 6.64 (=> rozeznava SSD), BBU s 1GB cache
Sata onboard 3Gbps
2x SAS 300GB 10k 6Gbps
2x SSD Intel 535 240GB SATA3 (up to 540/490MBps, 41k/80k IO r/w)
Debian 8.1 Jessie

Vysledky testu jsou ovlivneny:

1. P212 neni stavena na I/O SSD
2. k dispozici "jen" SATA2 pres P212, tak pres onboard radic

/usr/bin/fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75
/usr/bin/fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randread
/usr/bin/fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randwrite

Pro HW/SW/single mode nastaveno SSD napr. pro md0 takto (check-aligned potvrzuje zarovnani):

Disk /dev/md0p1: 200 GiB, 214748364800 bytes, 419430400 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Kazdopadne vysledky jsou ale velmi tristni u SSD, specialne iops pres fio:
scheduler cfq:

typ             R/W          R       W
R1 P212 SAS    612/204      963     833
R1 P212 SSD    891/297    10730     305
R1 mdraid SSD 1063/354     4011     417

scheduler deadline:

typ             R/W          R       W
R1 P212 SAS    565/188      949     819
R1 P212 SSD    888/296    29145     316
R1 mdraid SSD 1064/254     8079     513
onboard 1xSSD 1059/353     3776     507

hdparm -tT /dev/sdc1

Timing cached reads: 13682 MB in 2.00 seconds = 6845.57 MB/sec
Timing buffered disk reads: 454 MB in 3.00 seconds = 151.19 MB/sec

Z testu vyplyva:

1. zapis na SSD je strasny, stovky iops pouze??? bez ohledu na to, zda jde o sw/hw raid/neraid
2. mdraid je nasobne pomalejsi, nez radic, ktery by nemel byt na SSD optimalizovan
3. ani zapis neni zadna slava, sice je tam "29k na HW raidu", ale to by melo davat single SSD a to nedava ani omylem - pro porovnani byl zmeren vliv HW radice oproti onboard SATA pripojeni.
4. testovan byl i import dumpu PostgreSQL + analyzacni skript a i tam je obdobny typ performance s fio

Nejaky napad, proc jsou ty vysledky tak strasne?

Odpovědi

[trubicoid2]

no nevim, jak moc to mas zarovnane, ani jaky mas level RAIDu (jestli 0 tak jaky je chunk?); divne je I/O size optimal 512b, kdyz ve skutecnosti to bude 8 nebo 16k; zarovnavat tedy minimalne na 1M, anebo spis pro jistotu 4M

co zkusit teda primo na blokovym zarizeni (t.j. vyloucis vsechny nezarovnani) toto? ioping -R /dev/sdc

intel 530 mi v sata3 dava 6kiops a ve spec ma napsany 24kiops

[trubicoid2]

hdparm -t bys taky nemel poustet na sdc1, ale jen na sdc; dela mi to asi 327MB/s, spec 540MB/s

[MP]

Jedna se o Raid1.

# ioping -R /dev/sdc

--- /dev/sdc (block device 223.6 GiB) ioping statistics ---
10.7 k requests completed in 3.00 s, 3.60 k iops, 14.1 MiB/s
min/avg/max/mdev = 99 us / 277 us / 183.7 ms / 1.78 ms

root@monitor:/home/prochazka# smartctl -i /dev/sdc
smartctl 6.4 2014-10-07 r4002 [x86_64-linux-3.16.0-4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     INTEL SSDSC2BW240H6
Serial Number:    CVTR5290005C240CGN
LU WWN Device Id: 5 5cd2e4 14c8e6488
Firmware Version: RG20
User Capacity:    240,057,409,536 bytes [240 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 (minor revision not indicated)
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Mon Aug 24 16:20:52 2015 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Takze asi tak ohledne tech 512B...Jinak zarovnane to je, partisna ma 200GiB a prepocet na 512B je integer, to same prepocet na 2MiB, na 4MiB uz to je mimo zarovnani.

[trubicoid2]

tech 3.6kiops odpovida predchozimu testu fio a onboard sata2? je divny, ze mi pomalejsi disk jede rychleji, i kdyz v sata3 no

tak smart mi taky rika 512b, ale neni to pravda; jestli 2M jsou zarovnany, tak zarovnanim to tedy asi nebude (teda jestli se chapeme dobre, zalezi na zacatku dat, konec je fuk)

raid1 nema cuniky, ale muze se ti zarovnani dat rozhodit ulozenim raid-metadat na zacatek mdadm -E /dev/sdc1 | grep "Data Offset" je tez delitelne aspon 1M, lepe 4M? (mi to rika 16M, to je asi novej default, metadata ver 1.2)

tusim je to popsane tady, ale ted to nejede

[MP]

Ten "Data Offset" je deliteny 4MiB.

Jinak ten ioping znova, uz me to matlo:

# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb[0] sdc[1]
      234299968 blocks super 1.2 [2/2] [UU]
      bitmap: 0/2 pages [0KB], 65536KB chunk


onboard nonR /dev/sdb: 4.8k iops
onboard R1 /dev/md0: 4.64 iops

[trubicoid2]

hm, uz nevim, mas to podezrele pomale; ve starym notebooku mam samsung 840pro a ten je taky jen na sata2 a mam hdparm 263MB/s (to je omezeny prave sata2), kdezto ioping 9.7kiops

bych myslel, ze na sata2 bys mel dostat minimalne kolem 250MB/s a aspon 6kiops z jednoho disku. nejsou ty onboard sata2 porty treba nejak jenom port-multiplikovany, t.j. sdileny? jestli to mas treba v 1 a 2, tak co zkusit 1 a 3 treba?

jeste me napada co zkusit jiny sata draty? jinej pocitac? raid vypada normalne, jen nevim, proc mas bitmapu, ta by mela zpomalit ale jen zapis no

znicit mdadm --grow --bitmap=none /dev/md0

[lertimir]

No já bych velmi uvažoval o btrfs v režimu RAID 1. Ze třech důvodů, btrfs jako jediný používaný FS optimalizaci na SSD, režim copy-on-write a má checsumy na RAIDu tedy umí poznat jestli jeden disk posílá špatná data. mdadm pozná pouze jestli disk jako celek je nefunkční.

[trubicoid2]

u fs jeste nejsme, mu holy blokovy zarizeni jede pomaleji, nez by melo

[lertimir]

Zkusil bych jinou HW kombinaci. Vložit SSD do moderního desktopu, vložit do jiného systému se SATA2. Možné situace by mohly být. a) problém se SSD jako takovým (jede pomalu vždy) b) chbná implementace SATA2 v SSD, prostě to neotestovali (jede chybně i na jiném SATA2) c) koincidence mezi konkrétním řadičem a konkrétním SSD. Třeba tam se mnohdy opakovaně probíhají dohody o komunikaci, nevím moc jak tohle odmonitorovat a debugovat. Zkusil bych jiné SSD připojit k serveru.

[dustin]

A jsou vůbec ty sběrnice na tom starším proliantu schopné protlačit ten tok? Máme Intely S3500 v ještě mírně starších ML350 G5 na přidaném PCI-e SATA řadiči Marvell a taky se nedostaneme přes nějakých 180MB/s a 10k op/s v iostat. Ale přiznám se, že mě to až tak nepálí, ani netuším, jak bych to na těch dědečcích urychlil. Jsem rád, že to běží spolehlivě a že obcházím ty rozmazlené HP HW řadiče, které ta SSD ani nezdetekují.

[Trubicoid2]

180MB/s? Neni to jen SATAn1?

[GeorgeWH]

mam ten isty disk, ale 120gb verziu. chipset h81.

cfq

# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   7176 MB in  2.00 seconds = 3588.82 MB/sec
 Timing buffered disk reads: 1144 MB in  3.00 seconds = 381.30 MB/sec

# ioping -R /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
14.7 k requests completed in 3.00 s, 4.99 k iops, 19.5 MiB/s
min/avg/max/mdev = 61 us / 200 us / 185.9 ms / 1.53 ms

deadline

# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   8728 MB in  2.00 seconds = 4364.91 MB/sec
 Timing buffered disk reads: 938 MB in  3.00 seconds = 312.18 MB/sec

# ioping -R /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
15.2 k requests completed in 3.00 s, 5.17 k iops, 20.2 MiB/s
min/avg/max/mdev = 53 us / 193 us / 164.3 ms / 1.33 ms

[trubicoid2]

iops mate stejny; prutok MB/s mas lepsi

nekdy vetsi kapacity maj dvojnasobek iops, protoze pouziji dva interni radice paralelne; v tomto konkretnim pripade intel 535 120GB ma mit 24kiops r a 240GB 41kiops r

coz stale ukazuje ze to nejede optimalne u puvodniho tazatele, ale jen tak napul

jenom takova poznamka pod carou, ten hdparm nebo ioping je potreba pustit 5x nebo lip 10x a vzit nejvetsi hodnotu

[GeorgeWH]

ked som spusil fstrim (disk mam par dni, robil som tam niekolko instalacii a kadejake pokusy), tak iops sa zvysilo na 6.12k. skusil som aj:

# ioping -q -i 0 -w 10 -S 64m /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
108.6 k requests completed in 10.0 s, 11.1 k iops, 43.3 MiB/s
min/avg/max/mdev = 29 us / 90 us / 167.1 ms / 510 us

# ioping -q -i 0 -w 10 -S 64m /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
117.1 k requests completed in 10.0 s, 12.0 k iops, 47.0 MiB/s
min/avg/max/mdev = 28 us / 83 us / 167.8 ms / 501 us

problem u mna bude asi zle zarovanie (podla toho webu spomenuteho vyssie).

[MP]

Tak jsem to vcera vyzkousel na jinem stroji a vysledky jsou toto:

chipset Z77, i5, SATA3 - zrejme kvuli kabelum ale smart tvrdil, ze je to na SATA2

Pred testem spusten fstrim pro kazdy scheduler.

Scheduler CFQ:

ioping -R /dev/md0: 5.5k iops
fio /dev/md0 randread: 70.3k
fio /dev/md0 randwrite: 35k
fio /dev/md0 randrw: 38.5/12.8k
hdparm -tT /dev/md0: 14GB/228MBps

Scheduler Deadline:

ioping -R /dev/md0: 6k iops
fio /dev/md0 randread: 70.8k
fio /dev/md0 randwrite: 36k
fio /dev/md0 randrw: 37/12.5k
hdparm -tT /dev/md0: 13GB/241MBps

Takze to vypada na problem v samotnem serveru. Z techto vysledku je videt, ze cteni +/- odpovida teoretickym hodnotam v dokumentaci, ale zapis, ktery ma mit az 2x iops oproti cteni pokulhava - to odpovida i testum ruzne na webu, kde zapis na tyto Intely jsou dost podprumerne vzhledem k uvadenim hodnotam v dokumentaci - napr. test: http://hardforum.com/showthread.php?p=1041550085

[trubicoid2]

aha, asi to i tady jede sata2, jinak by hdparm ukazal vic, kable si sezen lepsi

iops vypadaji lip, jsem nevedel, ze bude tak velky rozdil mezi ioping a fio