Dotaz: Zarovnání filesystému nad šifrovaným RAIDem 5

[lertimir]

V rámci stavby domácího serveru mám RAID 5 pole nad 4 disky a nad ním LUKS. Nad Luksem chci mít filesystem ext4 (nebo xfs). Distribuce aktualizovaný CentOS 7. Pokud by tam nebylo šifrování, tak nastavení mkfs.ext4 pomocí nastavení stride a stripe-with na hodnoty velikosti chunku a jeho trojnásobek (pro 3 datové disky), sdělí filesystému, jak je organizované podstavné RAID pole. Ale šifrování tam vloží hlavičku a začátek blokového zařízení pro ext4 může být jinde než je zarování raid pole a potřeboval bych tedy zjistit, kde vlastně začíná datová oblast a jak nastavit LUKS nebo ext4, aby finální filesystem byl v souladu s raidem. Kolegové s RH se tím někdy zabývali? Tohle na serverech by se mohlo nekdy stávat. Snad.

---

---

Odpovědi

[Andrej]

V rámci stavby domácího serveru mám RAID 5 pole nad 4 disky a nad ním LUKS. Nad Luksem chci mít filesystem ext4 (nebo xfs).

RAID na úrovni filesystému by takový problém vyřešil automaticky, aby se tím uživatel nemusel explicitně zabývat. A navíc by taky fungoval jako RAID se vším, co RAID slibuje, na rozdíl od téhle iluze RAIDu, která po poškození dat na jednom disku proaktivně naschvál poškodí data na všech ostatních discích.

[Jendа]

Ano, vyřešil by, kdyby existoval.

• ZFS RAID-5 neumí měnit velikost. Možná to pro tazatele nebude problém.
• btrfs RAID-5 je „Unstable, write hole still exists, parity not checksummed“

[lertimir]

Tomu rozumím, ale btrfs má pořád funkční jen RAID 1 ne RAID 5.

[Jendа]

cryptsetup má parametr --align-payload, ale přiznám se, že mě nastavovat tyto parametry nikdy nenapadlo.

[lertimir]

Myslím si, že je to důležité. Když máš zapsat (u raid 5 nad 4 disky) 3 stridy v jednou stripu tak jen spočitáš paritu a zapíšeš 4 stridy do 4 disků. Když zapisuješ jen 2 stridy tak nejdříve musíš přečíst 3. datový stride, spočítáš paritu a zapíše dva nové datové stridy a paritní. A když zapisuješ 1 stride tak, buď musíš nejdříve přečíst dva zbylé datové stridy spočíst paritu a zapsat nový datový stride a paritní, a nebo přečteš ten původní přepisovaný stride a paritní stride spočteš změnu v paritním a zapišeš nový a paritní, to podle toho co je výhodnější. V každém případě při nezalícovaném FS, si FS myslí že dělá operaci první s jedním stripem, zacímco fakticky pole musí udělat operace nad dvěma stipy, nad jedním tu druhou a nad druhým tu třetí. Obě jsou vyznamně pomalejší právě díky nutnosti čtení.

Takže --align-payload=3M by to mohlo zarovnat na správnou rovinu. Jde to nějak možné zkontrolovat. zkusil jsem si backup luks headeru, abych věděl jak je hlavička velká a dostal soubor o velkosti 257 bloků velikosti 4kB.

[lertimir]

Hm tak se asi lepší rady nedočkám ani od RH borců. zkusím podle Jendy, ale zatím netuším, jak si zjistím, co se skutečně na disku provedlo.

[logik]

Pro domácí potřebu RAID-5? To tě tak tlačí velikost disků? IMHO "raid 10" je ve výsledku rychlejší (to Tě asi netrápí) a bezproblémovější.

[lertimir]

Rychlost mne opravdu netrápí. Je to domácí server. nejdede tam žádná databáze a ani nijaké výkonné výpočty. rychlost do gigabitu zvládne v pohodě i jeden disk, takže o tohle nejde. V zadání dotazu jsem odkazoval na můj původní dotaz, kdy jsem řešil dělení disků na oddíly a na části jede RAID 10. Nicméně to je v činnosti, když jednou zálohy z netebboků a desktopů a tam o rychlost pole jde, protože seekuje jestli ty soubory v záloze už nejsou. Ale zbytek jsou data, kterým tato paritní ochrana stačí. Proč vyhazovat terabyty prostoru za něco v zásadě nepotřebuji. Navíc jsem měl příležitost za rozumnou cenu koupit HGST Ultrastar disky a podle BackBlaze to jsou disky s fakt nízkou poruchovostí.

[lertimir]

Ještě oživím tento dotaz. Ve výsledku mám RAID 5:

mdadm --detail /dev/md126
/dev/md126:
           Version : 1.2
     Creation Time : Sat Jan  6 19:15:22 2018
        Raid Level : raid5
        Array Size : 7296182592 (6958.18 GiB 7471.29 GB)
     Used Dev Size : 2432060864 (2319.39 GiB 2490.43 GB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sat Jan 13 23:30:41 2018
             State : active 
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

ve výpisu disků

Disk /dev/md126: 7471.3 GB, 7471290974208 bytes, 14592365184 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 196608 bytes

nad ním je LUKS a ve výpisu dá.

Disk /dev/mapper/uloziste: 7471.3 GB, 7471289401344 bytes, 14592362112 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 196608 bytes

a nad ním je file system

df
Filesystem            1K-blocks       Used  Available Use% Mounted on
/dev/mapper/uloziste 7238526024 4276218324 2960832080  60% /mnt/basic

Tohle z prvního pohledu vypadá dobře. Ale ten rozpor, který mám, a na který se chci zeptat, je v obsazeném prostoru. FS zabírá pře 4TB (což jsem nakopíroval a je správně) zatímco RAID pole pod LUKSem považuje za obsazené pouze 2,4TB a v zásadě se žádnými operacemi nad FS tato hodnota nemění. Takže mi není jasné, jak je to se synchronizacía konzistencí pole. pokud to nepovažuje za obsazené, tak to nebude přece synchronizovat. A proč si to myslí. Všechno mám zatím i jinde takže celé pole se může postavit znovu, ale nerozumím, proč se obsazení nepropisuje dolů.

[Jendа]

FS zabírá pře 4TB

Ne, FS zabírá 7.41 TB (size v df + nejspíš nějaké drobné na metadata).

zatímco RAID pole pod LUKSem považuje za obsazené pouze 2,4TB

Ukazuje to obsazené 2.49 TB na každém disku * 3 disky (4. je paritní) = 7.47 TB, což je stejné jako ta velikost FS.

a v zásadě se žádnými operacemi nad FS tato hodnota nemění

MD nevidí to dat, která jsou nad ním a synchronizace se řeší pouze write-intent bitmapou.

[lertimir]

Díky za vysvětlení. Nějak mne spletlo slovo "Used".

[k3dAR]

myslis "Used Dev Size"? to neni vyuzite misto v poli, ale velikost pouzitych zarizeni pro pole, stejne s ArraySize to bude u mirroru, jiste mas ten RAID5 nad partisnou co ma 2490.43 GB