abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 0
dnes 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 0
včera 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
včera 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 3
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
7.12. 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 10
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (8%)
 (5%)
 (3%)
Celkem 799 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: 2xSSD HWxSW (ne)raid pomale SSD

24.8.2015 11:53 MP
2xSSD HWxSW (ne)raid pomale SSD
Přečteno: 517×
Zdravim, vzhledem k planovani shared storage tu mam ted na testy HW, z ktereho se to stavet nebude, pro zjisteni urcitych informaci k implementaci:
DL180 G6, Xeon E5530 @ 2.4GHz, 6GB RAM
SmartArray P212 3Gbps SAS, 3Gbps SATA, fw 6.64 (=> rozeznava SSD), BBU s 1GB cache
Sata onboard 3Gbps
2x SAS 300GB 10k 6Gbps
2x SSD Intel 535 240GB SATA3 (up to 540/490MBps, 41k/80k IO r/w)
Debian 8.1 Jessie
Vysledky testu jsou ovlivneny:
  1. P212 neni stavena na I/O SSD
  2. k dispozici "jen" SATA2 pres P212, tak pres onboard radic
/usr/bin/fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75
/usr/bin/fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randread
/usr/bin/fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randwrite
Pro HW/SW/single mode nastaveno SSD napr. pro md0 takto (check-aligned potvrzuje zarovnani):
Disk /dev/md0p1: 200 GiB, 214748364800 bytes, 419430400 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Kazdopadne vysledky jsou ale velmi tristni u SSD, specialne iops pres fio:
scheduler cfq:
typ             R/W          R       W
R1 P212 SAS    612/204      963     833
R1 P212 SSD    891/297    10730     305
R1 mdraid SSD 1063/354     4011     417
scheduler deadline:
typ             R/W          R       W
R1 P212 SAS    565/188      949     819
R1 P212 SSD    888/296    29145     316
R1 mdraid SSD 1064/254     8079     513
onboard 1xSSD 1059/353     3776     507
hdparm -tT /dev/sdc1
Timing cached reads: 13682 MB in 2.00 seconds = 6845.57 MB/sec
Timing buffered disk reads: 454 MB in 3.00 seconds = 151.19 MB/sec
Z testu vyplyva:
  1. zapis na SSD je strasny, stovky iops pouze??? bez ohledu na to, zda jde o sw/hw raid/neraid
  2. mdraid je nasobne pomalejsi, nez radic, ktery by nemel byt na SSD optimalizovan
  3. ani zapis neni zadna slava, sice je tam "29k na HW raidu", ale to by melo davat single SSD a to nedava ani omylem - pro porovnani byl zmeren vliv HW radice oproti onboard SATA pripojeni.
  4. testovan byl i import dumpu PostgreSQL + analyzacni skript a i tam je obdobny typ performance s fio
Nejaky napad, proc jsou ty vysledky tak strasne?

Odpovědi

24.8.2015 14:49 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
no nevim, jak moc to mas zarovnane, ani jaky mas level RAIDu (jestli 0 tak jaky je chunk?); divne je I/O size optimal 512b, kdyz ve skutecnosti to bude 8 nebo 16k; zarovnavat tedy minimalne na 1M, anebo spis pro jistotu 4M

co zkusit teda primo na blokovym zarizeni (t.j. vyloucis vsechny nezarovnani) toto? ioping -R /dev/sdc

intel 530 mi v sata3 dava 6kiops a ve spec ma napsany 24kiops
24.8.2015 14:58 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
hdparm -t bys taky nemel poustet na sdc1, ale jen na sdc; dela mi to asi 327MB/s, spec 540MB/s
24.8.2015 16:23 MP
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
Jedna se o Raid1.
# ioping -R /dev/sdc

--- /dev/sdc (block device 223.6 GiB) ioping statistics ---
10.7 k requests completed in 3.00 s, 3.60 k iops, 14.1 MiB/s
min/avg/max/mdev = 99 us / 277 us / 183.7 ms / 1.78 ms
root@monitor:/home/prochazka# smartctl -i /dev/sdc
smartctl 6.4 2014-10-07 r4002 [x86_64-linux-3.16.0-4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     INTEL SSDSC2BW240H6
Serial Number:    CVTR5290005C240CGN
LU WWN Device Id: 5 5cd2e4 14c8e6488
Firmware Version: RG20
User Capacity:    240,057,409,536 bytes [240 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 (minor revision not indicated)
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Mon Aug 24 16:20:52 2015 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
Takze asi tak ohledne tech 512B...Jinak zarovnane to je, partisna ma 200GiB a prepocet na 512B je integer, to same prepocet na 2MiB, na 4MiB uz to je mimo zarovnani.
24.8.2015 16:56 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
tech 3.6kiops odpovida predchozimu testu fio a onboard sata2? je divny, ze mi pomalejsi disk jede rychleji, i kdyz v sata3 no

tak smart mi taky rika 512b, ale neni to pravda; jestli 2M jsou zarovnany, tak zarovnanim to tedy asi nebude (teda jestli se chapeme dobre, zalezi na zacatku dat, konec je fuk)

raid1 nema cuniky, ale muze se ti zarovnani dat rozhodit ulozenim raid-metadat na zacatek mdadm -E /dev/sdc1 | grep "Data Offset" je tez delitelne aspon 1M, lepe 4M? (mi to rika 16M, to je asi novej default, metadata ver 1.2)

tusim je to popsane tady, ale ted to nejede
25.8.2015 10:13 MP
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
Ten "Data Offset" je deliteny 4MiB.

Jinak ten ioping znova, uz me to matlo:
# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb[0] sdc[1]
      234299968 blocks super 1.2 [2/2] [UU]
      bitmap: 0/2 pages [0KB], 65536KB chunk


onboard nonR /dev/sdb: 4.8k iops
onboard R1 /dev/md0: 4.64 iops
25.8.2015 11:22 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
hm, uz nevim, mas to podezrele pomale; ve starym notebooku mam samsung 840pro a ten je taky jen na sata2 a mam hdparm 263MB/s (to je omezeny prave sata2), kdezto ioping 9.7kiops

bych myslel, ze na sata2 bys mel dostat minimalne kolem 250MB/s a aspon 6kiops z jednoho disku. nejsou ty onboard sata2 porty treba nejak jenom port-multiplikovany, t.j. sdileny? jestli to mas treba v 1 a 2, tak co zkusit 1 a 3 treba?

jeste me napada co zkusit jiny sata draty? jinej pocitac? raid vypada normalne, jen nevim, proc mas bitmapu, ta by mela zpomalit ale jen zapis no

znicit mdadm --grow --bitmap=none /dev/md0
25.8.2015 11:18 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
No já bych velmi uvažoval o btrfs v režimu RAID 1. Ze třech důvodů, btrfs jako jediný používaný FS optimalizaci na SSD, režim copy-on-write a má checsumy na RAIDu tedy umí poznat jestli jeden disk posílá špatná data. mdadm pozná pouze jestli disk jako celek je nefunkční.
25.8.2015 11:25 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
u fs jeste nejsme, mu holy blokovy zarizeni jede pomaleji, nez by melo
25.8.2015 13:24 lertimir | skóre: 58 | blog: Par_slov
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
Zkusil bych jinou HW kombinaci. Vložit SSD do moderního desktopu, vložit do jiného systému se SATA2. Možné situace by mohly být. a) problém se SSD jako takovým (jede pomalu vždy) b) chbná implementace SATA2 v SSD, prostě to neotestovali (jede chybně i na jiném SATA2) c) koincidence mezi konkrétním řadičem a konkrétním SSD. Třeba tam se mnohdy opakovaně probíhají dohody o komunikaci, nevím moc jak tohle odmonitorovat a debugovat. Zkusil bych jiné SSD připojit k serveru.
25.8.2015 13:53 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
A jsou vůbec ty sběrnice na tom starším proliantu schopné protlačit ten tok? Máme Intely S3500 v ještě mírně starších ML350 G5 na přidaném PCI-e SATA řadiči Marvell a taky se nedostaneme přes nějakých 180MB/s a 10k op/s v iostat. Ale přiznám se, že mě to až tak nepálí, ani netuším, jak bych to na těch dědečcích urychlil. Jsem rád, že to běží spolehlivě a že obcházím ty rozmazlené HP HW řadiče, které ta SSD ani nezdetekují.
25.8.2015 14:35 Trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
180MB/s? Neni to jen SATAn1?
25.8.2015 16:17 GeorgeWH | skóre: 35
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
mam ten isty disk, ale 120gb verziu. chipset h81.

cfq
# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   7176 MB in  2.00 seconds = 3588.82 MB/sec
 Timing buffered disk reads: 1144 MB in  3.00 seconds = 381.30 MB/sec
# ioping -R /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
14.7 k requests completed in 3.00 s, 4.99 k iops, 19.5 MiB/s
min/avg/max/mdev = 61 us / 200 us / 185.9 ms / 1.53 ms
deadline
# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   8728 MB in  2.00 seconds = 4364.91 MB/sec
 Timing buffered disk reads: 938 MB in  3.00 seconds = 312.18 MB/sec
# ioping -R /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
15.2 k requests completed in 3.00 s, 5.17 k iops, 20.2 MiB/s
min/avg/max/mdev = 53 us / 193 us / 164.3 ms / 1.33 ms
25.8.2015 22:02 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
iops mate stejny; prutok MB/s mas lepsi

nekdy vetsi kapacity maj dvojnasobek iops, protoze pouziji dva interni radice paralelne; v tomto konkretnim pripade intel 535 120GB ma mit 24kiops r a 240GB 41kiops r

coz stale ukazuje ze to nejede optimalne u puvodniho tazatele, ale jen tak napul

jenom takova poznamka pod carou, ten hdparm nebo ioping je potreba pustit 5x nebo lip 10x a vzit nejvetsi hodnotu
25.8.2015 22:58 GeorgeWH | skóre: 35
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
ked som spusil fstrim (disk mam par dni, robil som tam niekolko instalacii a kadejake pokusy), tak iops sa zvysilo na 6.12k. skusil som aj:
# ioping -q -i 0 -w 10 -S 64m /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
108.6 k requests completed in 10.0 s, 11.1 k iops, 43.3 MiB/s
min/avg/max/mdev = 29 us / 90 us / 167.1 ms / 510 us
# ioping -q -i 0 -w 10 -S 64m /dev/sda

--- /dev/sda (block device 111.8 GiB) ioping statistics ---
117.1 k requests completed in 10.0 s, 12.0 k iops, 47.0 MiB/s
min/avg/max/mdev = 28 us / 83 us / 167.8 ms / 501 us
problem u mna bude asi zle zarovanie (podla toho webu spomenuteho vyssie).
26.8.2015 09:21 MP
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
Tak jsem to vcera vyzkousel na jinem stroji a vysledky jsou toto:
chipset Z77, i5, SATA3 - zrejme kvuli kabelum ale smart tvrdil, ze je to na SATA2
Pred testem spusten fstrim pro kazdy scheduler.

Scheduler CFQ:
ioping -R /dev/md0: 5.5k iops
fio /dev/md0 randread: 70.3k
fio /dev/md0 randwrite: 35k
fio /dev/md0 randrw: 38.5/12.8k
hdparm -tT /dev/md0: 14GB/228MBps
Scheduler Deadline:
ioping -R /dev/md0: 6k iops
fio /dev/md0 randread: 70.8k
fio /dev/md0 randwrite: 36k
fio /dev/md0 randrw: 37/12.5k
hdparm -tT /dev/md0: 13GB/241MBps
Takze to vypada na problem v samotnem serveru. Z techto vysledku je videt, ze cteni +/- odpovida teoretickym hodnotam v dokumentaci, ale zapis, ktery ma mit az 2x iops oproti cteni pokulhava - to odpovida i testum ruzne na webu, kde zapis na tyto Intely jsou dost podprumerne vzhledem k uvadenim hodnotam v dokumentaci - napr. test: http://hardforum.com/showthread.php?p=1041550085
26.8.2015 09:39 trubicoid2
Rozbalit Rozbalit vše Re: 2xSSD HWxSW (ne)raid pomale SSD
aha, asi to i tady jede sata2, jinak by hdparm ukazal vic, kable si sezen lepsi

iops vypadaji lip, jsem nevedel, ze bude tak velky rozdil mezi ioping a fio

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.