Dotaz: Pomaly RAID1 2x2TB (sifrovany)

[colek]

Mam doma raid1 2x2TB (zasifrovany) procesor atom 330

 

root@server:~# hdparm -tT /dev/md0:

Timing cached reads: 1448 MB in 2.00 seconds = 724.49 MB/sec

Timing buffered disk reads: 326 MB in 3.01 seconds = 108.34 MB/sec

 

root@server:~# cat /proc/mdstat

Personalities : [raid1]

md0 : active raid1 sda1[0] sdb1[1]

1953509848 blocks super 1.2 [2/2] [UU]

unused devices: <none>

 

 

Vse vypada dobre ale pri prenosu pres sambu se zapis asi po 20s skoro zastavi a zase rozbehne..

V cem Muze byt problem? Je atom na sifrovani disku nejak omezeny? nebo nestiha softwarovy raid? Poradi nekdo?

Odpovědi

[Petr Šobáň]

Já si tipnu pomalý CPU

Jaký je load?

[colek]

Zatizeni je 50 - 100%.. tzn > hodne... prijde me to neprimerene.. pri obyc kopirovani treba..

[Petr Šobáň]

Prostě atom je nevhodý. (nevýkonný, pomalý loudavý atd....)

Prostě mám ho na vdr tak vím o čem mluvím yum update ho 100% vytíží, load 3-4

[Jendа]

md0 je už zašifrované zařízení, nebo zařízení syrové (eh)?

Co openssl speed aes-256-cbc?

[colek]

Zatezuje jen jedno jadro..

root@server:~# openssl speed aes-256-cbc
Doing aes-256 cbc for 3s on 16 size blocks: 4987186 aes-256 cbc's in 3.00s
Doing aes-256 cbc for 3s on 64 size blocks: 1524287 aes-256 cbc's in 3.00s
Doing aes-256 cbc for 3s on 256 size blocks: 405467 aes-256 cbc's in 3.00s
Doing aes-256 cbc for 3s on 1024 size blocks: 103068 aes-256 cbc's in 3.00s
Doing aes-256 cbc for 3s on 8192 size blocks: 12963 aes-256 cbc's in 3.00s
OpenSSL 0.9.8o 01 Jun 2010
built on: Mon Feb 11 20:54:08 UTC 2013
options:bn(64,64) md2(int) rc4(ptr,char) des(idx,cisc,16,int) aes(partial) blowfish(ptr2)
compiler: gcc -fPIC -DOPENSSL_PIC -DZLIB -DOPENSSL_THREADS -D_REENTRANT -DDSO_DLFCN -DHAVE_DLFCN_H -m64 -DL_ENDIAN -DTERMIO -O3 -Wa,--noexecstack -g -Wall -DMD32_REG_T=int -DOPENSSL_BN_ASM_MONT -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DMD5_ASM -DAES_ASM
available timing options: TIMES TIMEB HZ=100 [sysconf value]
timing function used: times
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
aes-256 cbc      26598.33k    32518.12k    34599.85k    35180.54k    35397.63k

[Jendа]

Paralelní šifrování na víc jádrech je v Linuxu až od 3.4 a to ještě nevím, jestli je defaultně zapnuté.

Z Atomu N270 jsem na šifrovaný disk nikdy nevymáčkl přes 18 MB/s.

[colek]

Vypis fdisku..

root@server:~# fdisk -l

Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00077b61

Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      243201  1953511008+  fd  Linux raid autodetect

Disk /dev/sdc: 64.0 GB, 64023257088 bytes
255 heads, 63 sectors/track, 7783 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004032e

Device Boot      Start         End      Blocks   Id  System
/dev/sdc1   *           1          61      487424   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sdc2            7463        7784     2579457    5  Extended
/dev/sdc3              61        7463    59453440   83  Linux
/dev/sdc5            7463        7784     2579456   82  Linux swap / Solaris

Partition table entries are not in disk order

Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00070f48

Device Boot      Start         End      Blocks   Id  System
/dev/sda1               1      243201  1953511008+  fd  Linux raid autodetect

Disk /dev/md0: 2000.4 GB, 2000394084352 bytes
2 heads, 4 sectors/track, 488377462 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/dm-0: 60.9 GB, 60879269888 bytes
255 heads, 63 sectors/track, 7401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/dm-0 doesn't contain a valid partition table

Disk /dev/dm-1: 2640 MB, 2640310272 bytes
255 heads, 63 sectors/track, 320 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/dm-1 doesn't contain a valid partition table

Disk /dev/dm-2: 2000.4 GB, 2000393601024 bytes
255 heads, 63 sectors/track, 243200 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x08040000

Disk /dev/dm-2 doesn't contain a valid partition table

Disk /dev/dm-3: 2000.4 GB, 2000392548352 bytes
255 heads, 63 sectors/track, 243200 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/dm-3 doesn't contain a valid partition table

 

Sifrovane by mely byt az tyto i kdyz nevim proc jsou tam dva..

root@server:~# hdparm -tT /dev/dm-3

/dev/dm-3:
Timing cached reads:   1412 MB in  2.00 seconds = 706.25 MB/sec
Timing buffered disk reads:  74 MB in  3.08 seconds =  24.05 MB/sec

root@server:~# hdparm -tT /dev/dm-2

/dev/dm-2:
Timing cached reads:   1358 MB in  2.00 seconds = 679.25 MB/sec
Timing buffered disk reads: 328 MB in  3.02 seconds = 108.77 MB/sec

[lertimir]

Kromě slabého atomu bude závažný problém špatné zalicování oddílu/disku na 4k sektory. A provoz vyšších vrstev s nesmyslnou velikostí sektorů. Je třeba vše zrušit a nastavit nové oddíly se správnou hodnotou prvního sektoru.

[colek]

Aha ted na to koukam v tom vypisu fdisku ze

 

sda

Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

 

sdb

Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

 

raid pak

Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

 

Co je teda spravne? jde o WG green s advanced format..

[lertimir]

vzhledem k tomu, že jeden z disků je se 4k sektory, tak vše mít nastavené tak, že základní sektor čehokoliv (raidu i FS) je 4k a oddíl musí začínat na 4k hranici (ve výpisu z fdisk to znamená na čísle sektoru dělitelném 8)

[colek]

A neslo by ten disk s 512b sektory sfailovat v mdadmin DDckem prepsat a znova pripojit s 4Kb sektroty??

A partisny zacinaji na 2048 sektoru tak ze to je ok..

Nebo bude nejaky problem kdyz je tam ten druhy systemovy disk s 512b sektory?

Muze to tak brzdit kdyz jsou rozhazene sektory??

[lertimir]

Stačí, zalícování bylo správné a vyšší vrstvy nikdy neposílaly blok menší než 4k.

[colek]

Rozumi tomu nekdo proc mi to ukazuje dva dm-x o velikosti 2TB kdyz uz je sifrovany az raid?

[Jendа]

dmsetup info

[trubicoid2]

to neva, to budou jenom linky

ls -l /dev/md*

ls -l /dev/dm*

a co zkusit jiny sifry, jestli aes je na atomu pomaly? na amd64 jsou minimalne asemblerovy twofish, blowfish, camellia a salsa20 rychlejsi nez asemblerovy aes, nejrychlejsi je salsa20

[Jendа]

To by mě zajímalo - o kolik?

[trubicoid2]

vono openssl muze pouzivat jiny algoritmy nez jadro, nejlip testovat primo ty jaderny

1. nahrat vhodne moduly:

modprobe aes-x86_64

modprobe salsa20-x86_64

modprobe twofish-x86_64-3way

modprobe blowfish-x86_64

modprobe camellia-x86_64

modprobe serpent-sse2-x86_64

2. vlastni benchmark, pro amd k10 (bez aes-ni i bez avx) 2.7GHz dostanu:

modprobe tcrypt mode=200 sec=1 a kouknu do dmesg: testing speed of xts(aes) decryption ... test 14 (512 bit key, 8192 byte blocks): 18375 operations in 1 seconds

modprobe tcrypt mode=202 sec=1 a kouknu do dmesg: testing speed of xts(twofish) decryption ... test 14 (512 bit key, 8192 byte blocks): 23133 operations in 1 seconds

modprobe tcrypt mode=205 sec=1 a kouknu do dmesg: testing speed of xts(camellia) decryption ... test 14 (512 bit key, 8192 byte blocks): 21180 operations in 1 seconds

modprobe tcrypt mode=206 sec=1 a kouknu do dmesg: testing speed of salsa20 encryption ... test 9 (256 bit key, 8192 byte blocks): 40664 operations in 1 seconds

modprobe tcrypt mode=203 sec=1 a kouknu do dmesg: testing speed of ctr(blowfish) decryption ... test 9 (256 bit key, 8192 byte blocks): 36760 operations in 1 seconds

modprobe tcrypt mode=207 sec=1 a kouknu do dmesg: testing speed of xts(serpent) decryption ... test 9 (512 bit key, 8192 byte blocks): 8853 operations in 1 seconds

[colek]

pres openssl jsem otestoval jen blowfish a je to zhruba stejne..

blowfish cbc     30053.76k    33250.33k    34103.64k    34341.89k    34507.43k

aes-256 cbc      26582.17k    32535.85k    34692.18k    35323.56k    35498.67k

ostatni sifry pres co otestovat?

[the.max]

Nekde jsem cetl, ze pro sifrovani disku bylo dobry pouzit nejakou Epii, pac umi HW sifrovani. Nezkousel jsem to, nez jsem se k tomu dostal, tak Epie zacala plnila jinou funkci. Ale pravda je, ze v dobe kdy jsem to cetl, tak prvni Atomy byli snad teprve na rysovacim prkne.

[colek]

Vysledky na tom mem atomu

testing speed of xts(aes) decryption... (256 bit key, 8192 byte blocks): 5271 operations in 1 seconds (43180032 bytes)
testing speed of cbc(twofish) decryption... (256 bit key, 8192 byte blocks): 3906 operations in 1 seconds (31997952 bytes)
testing speed of cbc(camellia) decryption... (256 bit key, 8192 byte blocks): 2774 operations in 1 seconds (22724608 bytes)
testing speed of salsa20 encryption... (256 bit key, 8192 byte blocks): 7993 operations in 1 seconds (65478656 bytes)
testing speed of cbc(blowfish) decryption... (256 bit key, 8192 byte blocks): 3760 operations in 1 seconds (30801920 bytes)

[Trubicoid]

A ty moduly mas jak ja? U aes v xts by mel byt klic 512, aby to odpovidalo 256 bez xts. I tak je salsa rychlejsi. Pouzij salsa20-seqiv-benbi nebo salsa20-seqiv-plain s 256 klicem.

[colek]

No ale v instalaci debianu je jen AES, blowfish, serpent, twofish zadna salsa..

jinak

testing speed of xts(aes) decryption... (512 bit key, 8192 byte blocks): 3863 operations in 1 seconds (31645696 bytes)

[trubicoid2]

salsu si sam prikompilujes jako modul

[colek]

Jeste jedna otazka...

Je lepsi postavit raid ten zasifrovat a na nem teprve postavit LVM,

Nebo postavit raid na nem LVM a ten pak sifrovat??

[trubicoid2]

asize raid > luks > lvm

[lertimir]

No osobně bych v současnosti do systému, který má mít šifrované disky, ale procesor nemá podporu instrukční sady AES-NI nešel. Poměr cca 5x ve výpočetním výkonu šifry se přetaví tak v 2-3x větší výkon v datové propustnosti a hledal bych na čem jiném to postavit s AES a ne na atomu.