Hry s KVM 6: Thin Provisioning - FreeBSD NAS 2

17.12.2019 13:37 | Přečteno: 1840× | Bežná práca s Desktopom | poslední úprava: 13.12.2019 17:49

V dnešnom dieli si začneme premieňať VM z FreeBSD na NAS s deduplikáciou a zdieľaním diskového priestoru.

Potrebné nástroje:

Všetko od minula.
Nástroje na prácu s NFS na stroji na ktorý budeme pripájať daný NAS, teda balík nfs-common.
A k tomu štandardné shellutils, cifs-utils a nfs-common.

Nové diskové obrazy pre NAS:

Vytvoríme si ďalšie diskové obrazy:

root@web:~# for i in `seq 1 6`
> do
> qemu-img create -f qcow2 /var/lib/libvirt/images/FreeBSD-12-ZFS-${i}.qcow2 10G
> done
Formatting '/var/lib/libvirt/images/FreeBSD-12-ZFS-1.qcow2', fmt=qcow2 size=10737418240 cluster_size=65536 lazy_refcounts=off refcount_bits=16
Formatting '/var/lib/libvirt/images/FreeBSD-12-ZFS-2.qcow2', fmt=qcow2 size=10737418240 cluster_size=65536 lazy_refcounts=off refcount_bits=16
Formatting '/var/lib/libvirt/images/FreeBSD-12-ZFS-3.qcow2', fmt=qcow2 size=10737418240 cluster_size=65536 lazy_refcounts=off refcount_bits=16
Formatting '/var/lib/libvirt/images/FreeBSD-12-ZFS-4.qcow2', fmt=qcow2 size=10737418240 cluster_size=65536 lazy_refcounts=off refcount_bits=16
Formatting '/var/lib/libvirt/images/FreeBSD-12-ZFS-5.qcow2', fmt=qcow2 size=10737418240 cluster_size=65536 lazy_refcounts=off refcount_bits=16
Formatting '/var/lib/libvirt/images/FreeBSD-12-ZFS-6.qcow2', fmt=qcow2 size=10737418240 cluster_size=65536 lazy_refcounts=off refcount_bits=16
root@web:~# 

Rovno si ich aj pripojíme:

golisp@web:~$ virsh attach-disk FreeBSD-12 /var/lib/libvirt/images/FreeBSD-12-ZFS-1.qcow2 sdc --driver qemu --subdriver qcow2 --targetbus sata --persistent
Disk attached successfully

golisp@web:~$ virsh attach-disk FreeBSD-12 /var/lib/libvirt/images/FreeBSD-12-ZFS-2.qcow2 sde --driver qemu --subdriver qcow2 --targetbus sata --persistent
Disk attached successfully

golisp@web:~$ virsh attach-disk FreeBSD-12 /var/lib/libvirt/images/FreeBSD-12-ZFS-3.qcow2 sdf --driver qemu --subdriver qcow2 --targetbus sata --persistent
Disk attached successfully

golisp@web:~$ virsh attach-disk FreeBSD-12 /var/lib/libvirt/images/FreeBSD-12-ZFS-4.qcow2 sdg --driver qemu --subdriver qcow2 --targetbus sata --persistent
Disk attached successfully

golisp@web:~$ virsh attach-disk FreeBSD-12 /var/lib/libvirt/images/FreeBSD-12-ZFS-5.qcow2 sdh --driver qemu --subdriver qcow2 --targetbus sata --persistent
Disk attached successfully

golisp@web:~$ virsh attach-disk FreeBSD-12 /var/lib/libvirt/images/FreeBSD-12-ZFS-6.qcow2 sdi --driver qemu --subdriver qcow2 --targetbus sata --persistent
Disk attached successfully

Skontroľujeme či sú pripojené:

golisp@web:~$ virsh domblklist FreeBSD-12 --details
Type       Device     Target     Source
------------------------------------------------
file       cdrom      sda        /home/golisp/VM/FreeBSD-12.0-RELEASE-amd64-disc1.iso
file       disk       sdb        /var/lib/libvirt/images/FreeBSD-12.qcow2
file       disk       sdc        /var/lib/libvirt/images/FreeBSD-12-ZFS-1.qcow2
file       disk       sde        /var/lib/libvirt/images/FreeBSD-12-ZFS-2.qcow2
file       disk       sdf        /var/lib/libvirt/images/FreeBSD-12-ZFS-3.qcow2
file       disk       sdg        /var/lib/libvirt/images/FreeBSD-12-ZFS-4.qcow2
file       disk       sdh        /var/lib/libvirt/images/FreeBSD-12-ZFS-5.qcow2
file       disk       sdi        /var/lib/libvirt/images/FreeBSD-12-ZFS-6.qcow2

Sú. Takže im môžeme premapovať TRIM na Discard aby sa uvoľňovalo miesto pri zmazaní:

golisp@web:~$ for i in `seq 1 6`
> do
> virt-xml FreeBSD-12 --edit path=/var/lib/libvirt/images/FreeBSD-12-ZFS-${i}.qcow2 --disk discard=unmap
> done
Domain 'FreeBSD-12' defined successfully.
Domain 'FreeBSD-12' defined successfully.
Domain 'FreeBSD-12' defined successfully.
Domain 'FreeBSD-12' defined successfully.
Domain 'FreeBSD-12' defined successfully.
Domain 'FreeBSD-12' defined successfully.
golisp@web:~$ 

Následne si jednoducho pozrieme disky vo virtuálke:

root@FreeBSD-12:~ # ls -l /dev/ada*
crw-r-----  1 root  operator  0x6b Nov 23 16:55 /dev/ada0
crw-r-----  1 root  operator  0x6c Nov 23 16:55 /dev/ada1
crw-r-----  1 root  operator  0x6d Nov 23 16:55 /dev/ada2
crw-r-----  1 root  operator  0x71 Nov 23 16:55 /dev/ada2p1
crw-r-----  1 root  operator  0x72 Nov 23 16:55 /dev/ada2p2
crw-r-----  1 root  operator  0x73 Nov 23 16:55 /dev/ada2p3
crw-r-----  1 root  operator  0x75 Nov 23 16:55 /dev/ada3
crw-r-----  1 root  operator  0x76 Nov 23 16:55 /dev/ada4
crw-r-----  1 root  operator  0x77 Nov 23 16:55 /dev/ada5
crw-r-----  1 root  operator  0x78 Nov 23 16:55 /dev/ada6
root@FreeBSD-12:~ # 

Vidíme že sa nám posunul disk na ktorom je nainštalovaný systém. To ale nevadí, stačí opraviť riadky v /etc/fstab. LiveCD je náš kamarát, a každý čitateľ vie ako pripojiť vylistovať disky, ten správny pripojiť a zmeniť obsah súboru.

Pripravenie ZFS:

Pre prácu s FS ZFS potrebujeme mať zabezpečené že sa nám načíta ovládač. Takže si do súboru /etc/rc.conf vložíme riadok:

zfs_enable="YES"

A následne naštartujeme službu aby sme nemuseli reštartovať počítač:

root@FreeBSD-12:~ # service zfs start
root@FreeBSD-12:~ # 

Teraz si vytvoríme ZFS Raid-Z ktorý je obdobou Raid5:

root@FreeBSD-12:~ # zpool create EXPORTS raidz ada0 ada1 ada3 ada4 ada5 spare ada6
root@FreeBSD-12:~ # zpool status
  pool: EXPORTS
 state: ONLINE
  scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	EXPORTS     ONLINE       0     0     0
	  raidz1-0  ONLINE       0     0     0
	    ada0    ONLINE       0     0     0
	    ada1    ONLINE       0     0     0
	    ada3    ONLINE       0     0     0
	    ada4    ONLINE       0     0     0
	    ada5    ONLINE       0     0     0
	spares
	  ada6      AVAIL   

errors: No known data errors
root@FreeBSD-12:~ # df -h /EXPORTS/
Filesystem    Size    Used   Avail Capacity  Mounted on
EXPORTS        38G     34K     38G     0%    /EXPORTS
root@FreeBSD-12:~ # zfs set nbmand=on EXPORTS
property 'nbmand' not supported on FreeBSD: permission denied

Takže ho máme vytvorený, ale nepodarilo sa nám nastaviť non-blocking mandatory locking (nbmand). Nastavenie nbmand sa používa ako uzamykanie súborov pri simultárnych prístupoch. Dosť by to pomohlo pri simultánnych prístupoch viacerých uživateľov cez NFS a zároveň cez Samba/CIFS.

Test TRIM na ZFS

Freebsd implementácia ZFS má už niekoľko rokov v sebe podporu TRIM, tak si ju vyskúšame.
Zaplníme si ZFS disk:

root@FreeBSD-12:~ # dd if=/dev/urandom of=/EXPORTS/fill bs=1M count=38k status=progress
  40791703552 bytes (41 GB, 38 GiB) transferred 1983.351s, 21 MB/s  
38912+0 records in
38912+0 records out
40802189312 bytes transferred in 1983.445835 secs (20571366 bytes/sec)
root@FreeBSD-12:~ # df -h /EXPORTS/
Filesystem    Size    Used   Avail Capacity  Mounted on
EXPORTS        38G     38G    345M    99%    /EXPORTS
root@FreeBSD-12:~ # 

Rýchlosť bola nič moc, ale čo by sme čakali na rotačnom disku pri simultánnom zápise piatich streamov.
Skontrolujeme zaplnenie virtuálnych diskov na hypervízore:

golisp@web:~$ sudo sh -c 'du -sh /var/lib/libvirt/images/FreeBSD*'
9.7G	/var/lib/libvirt/images/FreeBSD-12-ZFS-1.qcow2
9.7G	/var/lib/libvirt/images/FreeBSD-12-ZFS-2.qcow2
9.7G	/var/lib/libvirt/images/FreeBSD-12-ZFS-3.qcow2
3.7M	/var/lib/libvirt/images/FreeBSD-12-ZFS-4.qcow2
9.7G	/var/lib/libvirt/images/FreeBSD-12-ZFS-5.qcow2
9.7G	/var/lib/libvirt/images/FreeBSD-12-ZFS-6.qcow2
6.9G	/var/lib/libvirt/images/FreeBSD-12.qcow2

Vidíme že sa zaplnili takmer všetky disky pre ZFS okrem rezervného (spare) disku. Následne si zmažeme to zaplnenie.

root@FreeBSD-12:~ # rm -v /EXPORTS/fill
/EXPORTS/fill
root@FreeBSD-12:~ # df -h /EXPORTS
Filesystem    Size    Used   Avail Capacity  Mounted on
EXPORTS        38G     34K     38G     0%    /EXPORTS

Počkáme si chvíľku kým dobehne TRIM aby sme si pozreli na koľko to kleslo:

golisp@web:~$ sudo sh -c 'du -sh /var/lib/libvirt/images/FreeBSD*'
80M	/var/lib/libvirt/images/FreeBSD-12-ZFS-1.qcow2
81M	/var/lib/libvirt/images/FreeBSD-12-ZFS-2.qcow2
81M	/var/lib/libvirt/images/FreeBSD-12-ZFS-3.qcow2
3.7M	/var/lib/libvirt/images/FreeBSD-12-ZFS-4.qcow2
80M	/var/lib/libvirt/images/FreeBSD-12-ZFS-5.qcow2
80M	/var/lib/libvirt/images/FreeBSD-12-ZFS-6.qcow2
6.9G	/var/lib/libvirt/images/FreeBSD-12.qcow2

Vo výsledku to uvoľnilo takmer všetko miesto.

Nastavenie deduplikácie ZFS:

Ako sme hovorili, tak si nastavíme deduplikáciu. Kritéria budú: checksum sha256, pri zhode bude vykonaná fyzická verifikácia bloku.

root@FreeBSD-12:~ # zfs set dedup=sha512,verify EXPORTS

Nastavenie zdieľania priečinku pomocou NFS:

Keďže NFS je priamou súčasťou základného systému FreeBSD, tak ho nemusíme inštalovať a môžeme sa pohnúť ku konfigurácii. Takže si jednoducho povolíme zdieľanie priečinku pomocou unixového protokolu NFS.
Najprv si povolíme služby NFS:
Do súboru /etc/rc.conf pridáme riadky:

### NFS
rpcbind_enable="YES"
nfs_server_flags="-u -t -n 4"
nfs_server_enable="YES"
mountd_enable="YES"
mountd_flags="-r"

Vytvoríme si systémovú konfiguráciu, do súboru /etc/exports vložíme riadok (bez #):

# /etc/exports: the access control list for filesystems which may be exported

/EXPORTS        -maproot=root -network 192.168.122.0 -mask 255.255.255.0

A zapneme služby NFS:

root@FreeBSD-12:~ # service nfsd start
NFSv4 is disabled
Starting nfsd.
root@FreeBSD-12:~ # service nfsd status
nfsd is running as pid 979 980.

A finálne si pozrieme či máme vyexportovaný daný priečinok:

root@FreeBSD-12:~ # showmount -e FreeBSD-12
Exports list on FreeBSD-12:
/EXPORTS                           192.168.122.0 
root@FreeBSD-12:~ # 

Máme to nazdieľané. Bezpečnosť zatiaľ necháme stranou.

Nastavenie zdieľania priečinku pomocou Samba/CIFS:

Nainštalujeme si nástroje Samba/CIFS:

root@FreeBSD-12:~ # pkg search samba
p5-Samba-LDAP-0.05_2           Manage a Samba PDC with an LDAP Backend
p5-Samba-SIDhelper-0.0.0_3     Create SIDs based on G/UIDs
samba-nsupdate-9.14.2_1        nsupdate utility with GSS-TSIG support
samba410-4.10.8                Free SMB/CIFS and AD/DC server and client for Unix
samba48-4.8.12_4               Free SMB/CIFS and AD/DC server and client for Unix
root@FreeBSD-12:~ # pkg install samba410
Updating FreeBSD repository catalogue...
...

A potvrdíme nekonečné otázky.
Následne si zapneme službu Samba/CIFS:

root@FreeBSD-12:~ # service samba_server start
/usr/local/etc/rc.d/samba_server: WARNING: /usr/local/etc/smb4.conf is not readable.

Nemáme základný konfigurák, tak si ho vytvoríme:

root@FreeBSD-12:~ # cat /usr/local/etc/smb4.conf
[global]
        workgroup = MAMBA
        server string = %h server Version %v
        netbios name = FreeBSD-12
        security = user
        passdb backend = tdbsam
#       interfaces = 127.0.0.0/8 192.168.122.1/24
#       bind interfaces only = yes
        log file = /var/log/samba4/log.%m
        map to guest = bad user
        server role = standalone server

Reštartneme službu, pripravíme skupinu pre zápis a pripravíme si prvého užívateľa ktorému nastavíme heslo:

root@FreeBSD-12:~ # service samba_server restart
Performing sanity check on Samba configuration: OK
smbd not running? (check /var/run/samba4/smbd.pid).
nmbd not running? (check /var/run/samba4/nmbd.pid).
Performing sanity check on Samba configuration: OK
Starting nmbd.
Starting smbd.

A nastavíme lokálnemu užívateľovi heslo:

root@FreeBSD-12:~ # pdbedit -a golisp
new password:
retype new password:
Unix username:        golisp
..

A vytvoríme si zdieľaný priečinok:

root@FreeBSD-12:~ # net usershare add sharename /EXPORTS/ "Deduplicated NAS" golisp:F guest_ok=y
net usershare: usershares are currently disabled

Nejde to, tak s s tým teraz zdržovať nebudeme. V konfiguračnom súbore /usr/local/etc/smb4.conf si vytvoríme novú sekciu:

[EXPORTS]
	path=/EXPORTS/
	comment=Deduplicated NAS
;	usershare_acl=FREEBSD-12\golisp:F,
	guest ok = yes
	browseable = yes
	read only = no
	valid users = golisp

Následne si pozrieme čo poskytuje tento NAS cez Samba/CIFS:

golisp@web:~$ smbclient -L 192.168.122.231
Enter MAMBA\golisp's password: 
Anonymous login successful

	Sharename       Type      Comment
	---------       ----      -------
	EXPORTS         Disk      Deduplicated NAS
	IPC$            IPC       IPC Service (FreeBSD-12 server Version 4.10.8)
Reconnecting with SMB1 for workgroup listing.
Anonymous login successful

	Server               Comment
	---------            -------

	Workgroup            Master
	---------            -------
	MAMBA                

Vo fináe vidíme nazdieľaný priečinok. Týmto máme nainštalovanú a aj nakonfigurovanú ďalšiu službu Samba/CIFS.

Overenie funkčnosti zdieľania pomocou NFS

Teraz si otestujeme letmý zápis z hyervízora na toto NAS pomocou NFS. Najprv si pripojíme daný FS, potom si na ňom vytvoríme priečinok /mnt/nfs/rw a nastavíme mu pracovnú skupinu users a práva a zápis pre všetkých. Nakoniec ten prípojný bod odpojíme.

golisp@web:~$ sudo mount FreeBSD-12.vm:/EXPORTS/ /mnt/nfs -v -t nfs 
mount.nfs: timeout set for Tue Dec 10 19:28:26 2019
mount.nfs: trying text-based options 'vers=4.2,addr=192.168.122.231,clientaddr=192.168.122.1'
mount.nfs: mount(2): Protocol not supported
mount.nfs: trying text-based options 'vers=4.1,addr=192.168.122.231,clientaddr=192.168.122.1'
mount.nfs: mount(2): Protocol not supported
mount.nfs: trying text-based options 'vers=4.0,addr=192.168.122.231,clientaddr=192.168.122.1'
mount.nfs: mount(2): Protocol not supported
mount.nfs: trying text-based options 'addr=192.168.122.231'
mount.nfs: prog 100003, trying vers=3, prot=6
mount.nfs: trying 192.168.122.231 prog 100003 vers 3 prot TCP port 2049
mount.nfs: prog 100005, trying vers=3, prot=17
mount.nfs: trying 192.168.122.231 prog 100005 vers 3 prot UDP port 656
golisp@web:~$ sudo mkdir /mnt/nfs/rw
golisp@web:~$ sudo chgrp users /mnt/nfs/rw
golisp@web:~$ sudo chmod go+w /mnt/nfs/rw
golisp@web:~$ ls -ld /mnt/nfs/rw
drwxrwxrwx 2 root users 2 Dec 10 19:28 /mnt/nfs/rw
golisp@web:~$ dd if=/dev/urandom of=/mnt/nfs/rw/random bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 1.49727 s, 7.0 MB/s
golisp@web:~$ df -h /mnt/nfs
Filesystem               Size  Used Avail Use% Mounted on
FreeBSD-12.vm:/EXPORTS/   39G   10M   39G   1% /mnt/nfs
golisp@web:~$ sudo umount -v /mnt/nfs
/mnt/nfs: nfs mount point detected
/mnt/nfs: umounted

Ako vidíme, pripojenie priečinku a test zápisu fungoval to bez problémov, i keď sa nám to pripojilo v móde NFSv3.

Overenie funkčnosti zdieľania pomocou Samba/CIFS protokolu

Na záver zápisku si overíme či sa nám dá použiť takto zdieľaný diskový priestor aj cez Samba/CIFS. Vyššie sme si už pozreli čo nám server FreeBSD-12 zdieľa, takže si ten priečinok pripojíme a zapíšeme nejaké dáta.

golisp@web:~$ sudo mount.cifs -v -o user=golisp,uid=golisp,gid=sambashare //FreeBSD-12/EXPORTS /mnt/smb
[sudo] password for golisp: 
Password for golisp@//FreeBSD-12/EXPORTS:  **********
mount.cifs kernel mount options: ip=192.168.122.231,unc=\\FreeBSD-12\EXPORTS,uid=1000,gid=126,user=golisp,pass=********
golisp@web:~$ cp -pv /mnt/smb/rw/random /mnt/smb/rw/random2
'/mnt/smb/rw/random' -> '/mnt/smb/rw/random2'
golisp@web:~$ dd if=/dev/urandom of=/mnt/smb/rw/random bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.795053 s, 13.2 MB/s
golisp@web:~$ df -h /mnt/smb
Filesystem            Size  Used Avail Use% Mounted on
//FreeBSD-12/EXPORTS   39G   21M   39G   1% /mnt/smb
golisp@web:~$ sudo umount -v /mnt/smb
umount: /mnt/smb (//FreeBSD-12/EXPORTS) unmounted
golisp@web:~$ 

Týmto máme overenú základnú funkčnosť NAS. Síce sme sa nedostali do hĺbky, ale nejedná sa o podnikové riešenie. Na doma si každý bez problémov môže upraviť zoznam užívateľov zdieľaného priečinku, a nastaviť práva na FS.

Čo na budúce? Spravíme si niečo podobné na Ubuntu, minimálnej inštalácii. Len tak, aby sme si potom mohli finálne porovnať niektoré aspekty.

       

Komentáře

[...]

Čobole, je tak těžké naučit se nějaký evropský jazyk?

[NUKE GAZA! 🎆]

hele ;D

[_]

Tak pokud se budu chtít učit jazyk imigrantů, určitě dam před čobolštinou přednost ukrajinštině, polštině, vietnamstine, turečtině nebo snad i romštině.

[NUKE GAZA! 🎆]

já vim slovenčina je děsně těžká jak je podobná s čédinou a všecko se to jako plete dohromady. se ti to s jiným jazykem nestane si jako myslim ;D

ale kdybys byl jako frajer tak ten kurz jakože dáš ;D

[_]

Pogrcalbysomsa

[NUKE GAZA! 🎆]

to je jako druhý hlavní indický město jako ta pogrcobysasamsa?? ;D

[kolcon]

no asi tak, pulka toho textu jsou prikazy, zbytek mohl byt take v normalnim jazyce (anglictine), ta bac~ovstina se hrozne spatne cte...

[Milan]

Redakce si zřejmě najala slovenské trolly k likvidaci serveru

[_]

Škoda, že to není česky.

[Martin]

Prosil jsem redakci o překlad, ale můj příspěvek byl smazán

[NUKE GAZA! 🎆]

nene!!!! hele ;D

kolibáč to poplet a hodil zpátky nahoru zatrolenou diskuzi a 'normální' schodil jako trolling :D :D

[vencour]

Games on KVM 6:
In current event we start to modify FreeBSD VM into NAS with deduplication and shared volume.
Needed tools:
All from the last workshop.
Maintaining NFS tools on the targeted host, i.e. package nfs-common.
Furthemore we need shellutils, cifs-utils and nfs-common.
..

[_]

tvl tak ta romština byla snad lepší než takhle příšerná angličtina. soudnost nic?

[k3dAR]

po soudnosti volas a sam ses nesoudnej fakan? take doporucuju se svejch rodicu zeptat odkud predci do Cech prisli

[Milan]

Mluvíš do zrcadla?

[k3dAR]

ne. ty ses schizofrenik?

[Odin]

Všiml jsem si, že se v diskusích vyjadřuješ nepřiměřeně agresivně. To ale bude spíš projevem psychopatie než schizofrenie.

Vrtá mi ale hlavou, proč sis jako avatar zvolil "hlavu imigranta".

[_]

Spíž je to obyčejný tro(t)ll, přijde vždycky k vyčpělému trollingu aby ho mohl znovu rozdmýchat. Je přímo zodpovědný tak za 40% trollingu na ábíčku.

[_]

Česky prosím, fakáňe.

[_]

Je vcelku jedno odkud přišli (tuším že z Vídně), ale podstatné je, že se naučili česky.