Portál AbcLinuxu, 27. května 2024 07:00


Dotaz: luks a fallocate

10.3.2018 09:36 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
luks a fallocate
Přečteno: 310×
Odpovědět | Admin

Zdravím,

V diskuzi za tímto blogem mne zaujal příspěvek od KS , kde popisuje vytvoření samosmrskávacího / natahovacího luks kontejneru.

Síce jsem tam přihodil popis problému který jsem s tím měl, ale dotaz jsem vložil na nesprávné místo, proto jej zkopíruju sem, aby případní následovníci a odpovídající :-) měli snažší hledání.

Na serveru jsem vytvořil pomocí fallocate ( stejně jako KS ) zárodek kontejneru.

Z PC jsem coby root připojil složku s kontejnerem přes sshfs.

Kontejner jsem ze svého PC naformátoval, připojil, vytvořil ext4fs, a ten připojil mountem do svého /mnt/pokus.

Zkopíroval jsem dovnitř složku ( asi 2,7 GB) a po zkopírování jsem na serveru zkontroloval, že soubor má asi 3,6GB.

Pak jsem zase z kontejneru odmazal podsložku ( asi 800MB ) a zkontroloval, zda se kontejner zmenšil.

Nezmenšil, naopak opakovanou kontrolou jsem zjistil, že kontejner stále roste.

Z mého PC odtékalo konstantně asi 1MB/s směr server, a kontejner zhruba stejně rychle rostl.

Po odpojení kontejnerovaného ext4 z /mnt/pokus růst kontejneru i tok dat ustal

Nevím, kde jsem udělal chybu, ani mi není jasné, proč se to takto chová.

Předem díky za rady a poučení :-)

M.


Řešení dotazu:


Nástroje: Začni sledovat (0) ?Zašle upozornění na váš email při vložení nového komentáře.

Odpovědi

10.3.2018 10:26 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
Odpovědět | | Sbalit | Link | Blokovat | Admin
Zkusil jsem si to na lokálním systému ( bez sshfs ) a chová se to stejně ...
10.3.2018 11:29 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: luks a fallocate
Odpovědět | | Sbalit | Link | Blokovat | Admin
Odhliadnúc od toho že nepíšeš či máš cieľ na flash disku s FS ktorý umožnuje discard, ale mohol by si aspon prezradiť ako to chceš ten signál pretlačiť cez sshfs fuse.

Len sa pýtam, nechcelo sa mi to skúšať. Idem radšej na bicykel.
10.3.2018 13:41 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
viz :Zkusil jsem si to na lokálním systému ( bez sshfs ) a chová se to stejně .

Harddisk na serveru je ext4, na PC btrfs.

Musí být i systém na disku ( ten úplně vespod ) s discard ? to mně nenapadlo ..

10.3.2018 17:53 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: luks a fallocate
Robí to s TRIM. Takže čo myslíš, pôjde to aj keď nebude výsledok zapísaný na Flash/SSD a discard cez trim nebude aktívne?

PS: Bolo nádherne.
10.3.2018 14:09 Petr
Rozbalit Rozbalit vše Re: luks a fallocate
Odpovědět | | Sbalit | Link | Blokovat | Admin
$ cryptsetup luksOpen encpart encpart_decrypted --allow-discards $ mkfs.ext4 /dev/mapper/encpart_decrypted

Pouzil jsi --allow-discards ?
10.3.2018 15:53 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
Ano, podle návodu .. i v tom mount /dev/mapper/encpart_decrypted /mnt/encpart/ jsem dal -o discard ( podle návodu )
10.3.2018 16:16 Petr
Rozbalit Rozbalit vše Re: luks a fallocate
Muzes sem dat vse z toho testovani na lokalnim stroji? Vsechny prikazy, vystupy,..
10.3.2018 18:55 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
$ fallocate -l1 -o1T kontejner

$ sudo /usr/sbin/cryptsetup -q luksFormat kontejner
Zadejte heslo:

$du -h kontejner
136K    kontejner

$ sudo /usr/sbin/cryptsetup open --allow-discards  kontejner dmkontejner
Zadejte heslo pro kontejner:

$ sudo mkfs.ext4 /dev/mapper/dmkontejner 
mke2fs 1.42.11 (09-Jul-2014)
Zahazují se bloky zařízení: hotovo                          
Vytváří se systém souborů s 268434944 (4k) bloky a 67108864 uzly
UUID systému souborů=11e39018-fe21-490a-a900-f68201587435
Zálohy superbloku uloženy v blocích: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
        102400000, 214990848

Alokují se tabulky skupin: hotovo                          
Zapisuji tabulky iuzlů: hotovo                          
Vytváří se žurnál (32768 bloků): hotovo
Zapisuji superbloky a účtovací informace systému souborů: hotovo 

du -h kontejner
139M    kontejner

$mkdir  mntkontejner
$ sudo mount -o discard  /dev/mapper/dmkontejner mntkontejner/                                        

$ mount | grep mntko                                              
/dev/mapper/dmkontejner on /home/data/milan/mntkontejner type ext4 (rw,relatime,discard,data=ordered)

$ mount | grep data
/dev/sdb2 on /home/data type btrfs (rw,nosuid,nodev,noexec,relatime,space_cache,subvolid=257,subvol=/@)

## V PC mám malý (30G) SSD + 1T HDD na uživ. data. Jak je to propojené , je asi vidět ...

$du -h kontejner
683M    kontejner     

$du -h kontejner                                                                                           
759M    kontejner

$du -h kontejner                                                                                           
803M    kontejner

$du -h kontejner                                                                                           
839M    kontejner                                                                                                                       
$ sudo umount /dev/mapper/dmkontejner
                                               
$du -h kontejner
849M    kontejner

$du -h kontejner
849M    kontejner

$du -h kontejner
849M    kontejner

Hned po připojení FS v kontejneru začíná soubor růst, netřeba nic kopírovat. Zastaví se to až po odpojení FS

Řešení 1× (Milan Uhrák (tazatel))
11.3.2018 14:58 Petr
Rozbalit Rozbalit vše Re: luks a fallocate
Kdyz to zacne rust bez toho aby jsi tam neco nakopiroval, podivas se do /home/data/milan/mntkontejner je tam neco? Kdyz to nechas rust, zastavi se to nekde? Treba u 50gb?
Jendа avatar 11.3.2018 00:45 Jendа | skóre: 78 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: luks a fallocate
Odpovědět | | Sbalit | Link | Blokovat | Admin
Obávám se, že sshfs neumí tuhle magii s proděravěním souborů při TRIMu.

Mimochodem taky se dá pustit fstrim ručně (nepomůže to na sshfs, ale pokud by byl problém v ext4, tak to pomůže).
Já to s tou denacifikací Slovenska myslel vážně.
11.3.2018 09:21 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
Dělá to i lokálně na btrfs ..

A že netrimuje, to mě teď skoro nebolí ... ale on ROSTE bez jakékoliv další akce hned po mountu
11.3.2018 15:20 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: luks a fallocate
Neprepisuje sa ti to nulami aby to mohlo "zahodiť nepoužívané bloky plné núl"? V ombinácii s nefunkčným TRIM by som takéto chovanie pochopil.
Řešení 1× (Milan Uhrák (tazatel))
11.3.2018 16:31 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: luks a fallocate
Počkaj, nebude to samovolné narastanie len nejaká malá časť na koľko to narastie kvôlivá vytvoreniu žurnálu?

Som si to len zo srandy nasimuloval pri 1G sparse file. A po naformátovaní mi to zaberalo 16M. Po pripojení kedy sa mi pripravil žurnál a alokácia sa zastavila na 32M. Po zapísaní cca 200M do kontajnera to poskočilo o cca 200M. Po odmazaní tých 200M sa mi to zmenšilo naspäť na 32M.
11.3.2018 20:00 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
OK, a zařízení musí být TRIM-able ? a mountnuto s volbou discard ?

když ten kontejner udělám na obyč HDD patrišně mountnuté bez discard ( nebo ekvivalentu ) , tak to smrskáváni nebude fungovat ?
11.3.2018 20:31 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: luks a fallocate
Pri staršom SW áno. Pri novšom mi to shrinklo aj na rotačnom disku. Akurát to narastanie disku pri prvom pripojení kvôli vytvoreniu žurnálu ...

Ale silno by som odporúčal mať aktívny a funkčný trim ak chceš aby sa ti to shrinklo a aby sa uvoľnené dáta zmazali.
11.3.2018 22:06 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: luks a fallocate
Zrušte poplach !

u 1T kontejneru jsem nevěděl, co to bude dělat, když ho nechám růst do nekonečna. vytvořil jsem tedy 10G kontejner a růst se zastavil na 291M ... uf .. tady plaším .. a ono je to v pořádku.

Nakopíroval jsem 363M soubot, a velikost kontejneru poskočila na 648M ... po smazání se vrátila zpet na 291..

Tak se omlouvám, že tady vyvolávám zmatky ..

a děkuji všem ta trpělivost .. :-)

M.
12.3.2018 09:04 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: luks a fallocate
To potom sedí na ten žurnál, spravil sa ti na 10G disku cca 10x väčší ako mne na 1G :-)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.