Dotaz: Rychlost SATA vs SAS na Perc H700

[Tom]

Dobrý den,

mám DELL server s řadičem H700 (02:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS 2108 [Liberator] (rev 05))

V něm mám zapojené 4x SATA 1TB 7k disky v RAID10 (VD0) a 4x SAS 600 15k v dalším RAID10 (VD1)

Zkusil jsem otestovat rychlost pomocí fio, a jestli dobře chapu ty údaje, tak VD0 (SATA) je znatelně rychlejší než VD1 (SAS) ?

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 1.818 TB
Sector Size         : 512
Mirror Data         : 1.818 TB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
Bad Blocks Exist: No
Is VD Cached: Yes
Cache Cade Type : Read Only


Virtual Drive: 1 (Target Id: 1)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 1.089 TB
Sector Size         : 512
Mirror Data         : 1.089 TB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
Bad Blocks Exist: No
Is VD Cached: Yes
Cache Cade Type : Read Only

FIO spouštím takto:

fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=4k --size=4g --numjobs=1 --iodepth=1 --runtime=60 --time_based --end_fsync=1

A zde jsou vysledky:

Pro SATA pool:

random-write: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.36
Starting 1 process
Jobs: 1 (f=1): [F(1)][100.0%][eta 00m:00s]                           
random-write: (groupid=0, jobs=1): err= 0: pid=7601: Wed Jan 15 19:52:39 2025
  write: IOPS=39.4k, BW=154MiB/s (161MB/s)(13.0GiB/86370msec); 0 zone resets
    slat (usec): min=3, max=34451, avg= 4.06, stdev=18.90
    clat (nsec): min=754, max=474798, avg=852.46, stdev=342.24
     lat (usec): min=4, max=34457, avg= 4.91, stdev=18.91
    clat percentiles (nsec):
     |  1.00th=[  788],  5.00th=[  804], 10.00th=[  812], 20.00th=[  820],
     | 30.00th=[  828], 40.00th=[  836], 50.00th=[  836], 60.00th=[  844],
     | 70.00th=[  852], 80.00th=[  868], 90.00th=[  884], 95.00th=[  900],
     | 99.00th=[ 1112], 99.50th=[ 1272], 99.90th=[ 3920], 99.95th=[ 5600],
     | 99.99th=[ 6752]
   bw (  KiB/s): min=11104, max=728024, per=100.00%, avg=681828.72, stdev=118657.92, samples=39
   iops        : min= 2776, max=182006, avg=170457.23, stdev=29664.50, samples=39
  lat (nsec)   : 1000=98.56%
  lat (usec)   : 2=1.32%, 4=0.03%, 10=0.09%, 20=0.01%, 50=0.01%
  lat (usec)   : 100=0.01%, 250=0.01%, 500=0.01%
  cpu          : usr=6.05%, sys=23.29%, ctx=43488, majf=0, minf=15
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,3405018,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: bw=154MiB/s (161MB/s), 154MiB/s-154MiB/s (161MB/s-161MB/s), io=13.0GiB (13.9GB), run=86370-86370msec

Disk stats (read/write):
  sdb: ios=0/336221, sectors=0/27223840, merge=0/1328, ticks=0/4480718, in_queue=4480718, util=74.62%

a pro SAS pool:

random-write: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.36
Starting 1 process
Jobs: 1 (f=1): [w(1)][100.0%][eta 00m:00s]                         
random-write: (groupid=0, jobs=1): err= 0: pid=7629: Wed Jan 15 19:54:02 2025
  write: IOPS=27.3k, BW=107MiB/s (112MB/s)(8192MiB/76915msec); 0 zone resets
    slat (usec): min=3, max=171445, avg= 4.06, stdev=155.97
    clat (nsec): min=756, max=146517, avg=823.91, stdev=200.90
     lat (usec): min=4, max=171452, avg= 4.89, stdev=155.98
    clat percentiles (nsec):
     |  1.00th=[  780],  5.00th=[  788], 10.00th=[  796], 20.00th=[  796],
     | 30.00th=[  804], 40.00th=[  812], 50.00th=[  812], 60.00th=[  820],
     | 70.00th=[  820], 80.00th=[  828], 90.00th=[  844], 95.00th=[  868],
     | 99.00th=[  972], 99.50th=[ 1064], 99.90th=[ 1768], 99.95th=[ 5600],
     | 99.99th=[ 6304]
   bw (  KiB/s): min=128368, max=745832, per=100.00%, avg=671088.64, stdev=148465.89, samples=25
   iops        : min=32092, max=186458, avg=167772.16, stdev=37116.47, samples=25
  lat (nsec)   : 1000=99.20%
  lat (usec)   : 2=0.70%, 4=0.01%, 10=0.08%, 20=0.01%, 50=0.01%
  lat (usec)   : 250=0.01%
  cpu          : usr=4.23%, sys=15.52%, ctx=33897, majf=0, minf=25
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,2097153,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: bw=107MiB/s (112MB/s), 107MiB/s-107MiB/s (112MB/s-112MB/s), io=8192MiB (8590MB), run=76915-76915msec

Disk stats (read/write):
  sdc: ios=0/100982, sectors=0/16777328, merge=0/1226, ticks=0/2752731, in_queue=2752732, util=83.47%

Čekal bych že 15k SAS by mohl být znatelně rychlejší než SATA, ale ne že to bude naopak.Oba pooly maji stejné nastavení, běží na jednom serveru a řadiči. Procházím si parametry v MegaCli, ale nejaký zjevný problém nevidím. (ale hlavnš se s tím učím, takže tam možná bude nějaká drobná ale zásadní "banalita" )

Nemáte nejaký nápad, proč to tak je? Co zkontrolovat?

Děkuji.

Odpovědi

[X]

Je to SAS-2 radic, rychlostne ekvivalentni tem SATA III. Rekl bych, ze to vicemene sedi.

[PetebLazar]

Otázkou je, jak se asynchronnost jednotlivých disků (ve smyslu zpoždění stejných sektorů disků vůči sobě) podílí na okamžitém náhodném výkonu. I když vyjdeme z předpokladu, že požadavky na oba účastné členy IO operace dorazí ve stejný okamžik, jeden člen data nejspíše přečte(zapíše) se zpožděním odpovídajícímu rozdílu času potřebnému natočení plotny s cílovým sektorem pod hlavu. Taková konstalace může být pro skupinu SATA(7200rpm) HDD v daném okamžiku výhodnější než pro skupinu SAS(15000rpm). Jelikož se disky HDD asi neotačejí zcela shodnou rychlostí může být za nějakou dobu konstalace(vzájemné postavení sektorů) zcela odlišná.

[carbon]

ty 15k musi byt rychlejsi, podle me je ovlivnen druhy bench tim prvnim (flush cache), obzvlast kdyz to poustits hned po sobe - zkusil bych pred kazdym benchamrkem reboot

[Tom]

Ahoj, děkuji za nápady.

1. na serveru momentálně nic neběží, s disky nic nepracuje.

2. benchmarky nepouštím souběžně, i po restartu je to stejné, ten SASpool je pomalý, potom je spouštím v ruzném pořadí po sobě, .... SATApool je pokaždé rychlejší.

Jestě upřesnění k těm SAS diskům: je tam 1 ks s logem DELL, další 3 jsou normální Segate Cheetah (ty original DELLy už prý nešly koupit, tak se postupně mělily za std.)

U dvou disku na rámečku stále svítí LED aktivity disku, u druhych dvou pouze při běhu toho benchmarku. Jako by ty dva disky pořád neco delali (slot 6 a 7), jsou to std. Cheetah. Ve slotu 4 je ten DELL, ve slotu 5 std. Cheetah a nich svíti a activity LED pouze když běží benchmark.

Je nějaká možnost prověření/otestování těch jednotlivych disků? Nebo ten 1xDELL a 3x std.Cheetah prostě numůžou fungovat v jednom poolu?

Děkuji.

[carbon]

mno tak pokud mas na 2 discisch aktivitu (u dvou disku na rámečku stále svítí LED aktivity disku), tak to bude degradovat vykon celeho VD1 - nejede ti init/resync toho VD1? koukni se do BIOSu/iDracu/OMSA v jakem stavu ten VD1 je (popr koukni do logu v iDracu/OMSA)

ocividne ti VD1 sestavit jde, tak "kompatabilita" bude OK - ale pokud bude kterykoliv z tech disku z nejakeho duvodu pomaly (Cheetah + Dell), bude to degradovat celkovy vykon - v tom pripade by to chtelo obenchmarkovat disk po disku (H700 pry neumi JBOD, workaround je vytvorit novy VD pro kazdy 1 disk v rezimu raid0)

[Max]

Nemáš třeba na tom řadiči vypnutou cache? Většinou je to tak, že řadič má vlastní keš a vypíná keš na diskách, pokud používá keš na řadiči. Některé serverové disky navíc snad ani keš nemívají, protože spoléhají na keš na řadiči. Pokud by jsi na tom řadiči měl vypnutou keš, tak pak by obyčejné SATA disky s jejcih 256MB cache, případně 512MB cache per disk byly mnohem výkonnější, než mnohem dražší SAS disky bez cache.
Vařím jen z vody, reálně teď nevím, jak to funguje, vím, že to tak bylo kdysi.
Zdar Max

[Tom]

Podle tohoto předpokládám že cache je zapnutá:

Current Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU

Battery status hlásí OK.

Tak jsem VD1 smazal, vyhazel jsem disky ven. Když vložím jeden z těch dvou podezřelych disku do jakehokoliv slotu, žádný pool není vytvořen, tak se rozsvítí aktivity LED a svitit neprestane. Takže tyto 2 disky budou asi v háji. Nainstaloval jsem OMSA, tam jsem žádnou chybu neodhalil. Tedy kromě vykřičníku (non-critical), to je předpokládám tím, že disk neni certifikovany od DELLu.

Zkusil jsem tam dat vyřadeny disk DELL, LEDky svítí v pořádku tak jak mají, pool jde vytvořit, probíhá inicializace. Po nejaké době se rozsvítí červená led, OMSA ho označí jako failed a VD1 jako degraded, v logu záznam "Fault detected ". To je OK, disk je opravdu vadný, jen jsem chtěl vidět jak se to chová.

Dám tam jeden z těch "divných" disků, aktivity led se rozsvítí a už tak zůstane. Pole jede, status OK, v logu nic. Ale je to pomalé....

[dustin]

A nemá ten řadič nějaký ovládací soft, kde by jsi viděl status jednotlivých disků? Něco jako má HP hpacucli pro SmartArray.

[carbon]

maji perccli, myslim ze je to soucast OMSA (neznam, nikdy jsem nepouzil)

@Tom - neslo by identifikovat co se vlastne deje na zaklade tehle tabulky?

[Tom]

Tu tabulku už jsem našel dříve, ta vysvětluje "Status inicator". Ta svítí pořád zeleně, takže "Drive online". Stejné jako všechny ostatní disky. Problém je "Activity indicator", ten by měl svítít/blikat jen když disk pracuje. Ale na tom jednom disku svítí pořád. U ostatnich disků v klidu nesvití. (SATA i SAS pool)

Prochazím ruzné diskuze jestli to nekdo řešil, a našel jsem 2 názory:

1. Disk není certifikovany/original DELL a proto ta led pořád svítí, na výkon to nemá vliv. Ale celý SATA pool nemá orig disky, led nesvítí, v SAS poolu jsou 2 DELL + 2 std Segate, ale svítí jenom jeden.

2. H700 pracuje optimálně pouze když je něm vytvořen jenom jeden pool (VD), když je jich více tak má problém a výkon jde dolu.... To mi přijde dost divné, ale zkusím vyhodit ty SATA disky a uvidím co to udělá.......

[Tom]

Zdravím,

tak jsem se po delší době zase dostal k pokusům. A vypada to, že ty SAS disky nějak slušně nerozběhnu... Ze serveru jsem vyhodil ty SATA disky, misto nich jsem vložil ty SAS a vytvořil RAID10. "Background Initialization" tohoto poolu ze 4ks 600GB 15k disků trvala asi 20hodin. Potom nekolikrát fio test a vysledek pořád cca stejny/bídný.

Jestli je některý z těch disků nějaký vadný a celé to brzdí nevím, disky půjdou asi do šuplíku na "až někdy".

Teď jsem tam tedy vrátil ty 4 obyčejné 1TB SATA disky, inicializace beží a vypada to na cca 3hodiny. A i během té inicializace dává fio test cca o 50% lepší výsledek......

Asi to vzdávám, spíš dokoupím další 4x SATA 1TB disky a budu provozovat jeden 8xSATA RAID10 pool.