Dotaz: zfs - identifikace disků

[hajoucha]

Ahojda, po předchozím dotazu jsem se rozhodl vyzkoušet zfs. Nainstaloval jsem debian 9.6 (stratch) a zfs z repozitáře contrib. Následně na 3 řadičích po 4 discích (každý 4TB) vyrobil zfs pool tímto příkazem:

zpool create -m none -o ashift=12 triduby raidz2 scsi-3600050e0225def00583600004f1d0000 scsi-3600050e0225ee9008ffa0000412d0000 scsi-3600050e0225f61008b220000b6f30000 scsi-3600050e0225fde00507000009e9d0000 scsi-3600050e02265db0075200000a7bb0000 scsi-3600050e02267cf0000540000c0090000 scsi-3600050e022692300ed620000a8e10000 scsi-3600050e02270db009b68000007470000 scsi-3600050e0227388000fee0000a48d0000 scsi-3600050e022769900e98e000092fd0000 scsi-3600050e02289b80026f0000027cb0000 scsi-3600050e02289fb0070500000fe750000

To proběhlo OK. Nastavil jsem dedump off:

zfs set dedup=off triduby

a ještě

zfs create triduby/data
zfs set mountpoint=/scratch/temp_calc triduby/data

Pořád vše OK. df ukázal správně volné místo a to bylo připojeno v /scratch/temp_calc.

Vložil jsem do /etc/modules řádek zfs aby se zfs moduly natáhly při bootu a ještě v /etc/default/zfs zkontroloval ZFS_MOUNT='yes'. A abych to hned vyzkoušel, tak jsem zadal reboot stroje. Jaké bylo ale moje překvapení, když nyní po rebootu:

# zpool list
no pools available
#

Jak je to možné? Máte někdo nějaký nápad? Postupoval jsem podle návodu zde: zfs na debianu

Disky v systému jsou (fyzicky jsem nic neměnil a "by-id" by se snad taky měnit nemělo. Ale nekontroloval jsem to, Fakt záhada.

~# ls -lah /dev/disk/by-id |grep -v part |grep " scsi"
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e0225def00583600004f1d0000 -> ../../sda
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e0225ee9008ffa0000412d0000 -> ../../sdb
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e0225f61008b220000b6f30000 -> ../../sdc
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e0225fde00507000009e9d0000 -> ../../sdd
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e02265db0075200000a7bb0000 -> ../../sde
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e02267cf0000540000c0090000 -> ../../sdf
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e022692300ed620000a8e10000 -> ../../sdh
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e02270db009b68000007470000 -> ../../sdj
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e0227388000fee0000a48d0000 -> ../../sdk
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e022769900e98e000092fd0000 -> ../../sdl
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e02289b80026f0000027cb0000 -> ../../sdm
lrwxrwxrwx 1 root root    9 Dec 26 10:49 scsi-3600050e02289fb0070500000fe750000 -> ../../sdg

---

---

Odpovědi

[hajoucha]

A dosiahol si správny cieľ?

systemctl status zfs.target

[hajoucha]

hmm, tak systemd zrovna neovládám, ale řekl bych, že odpověď je ne.

# systemctl status zfs.target
Failed to get properties: No such interface ''

[hajoucha]

ale moduly natažené jsou:

# lsmod |grep zfs
zfs                  2707456  0
zunicode              331776  1 zfs
zavl                   16384  1 zfs
zcommon                53248  1 zfs
znvpair                90112  2 zcommon,zfs
spl                    98304  3 znvpair,zcommon,zfs

Na vytvoření to stačilo. A taky na namountování. Tak proč ne po bootu? Fakt bych to rád pochopil.

[Peter Golis]

Samotné zavedenie ovládača FS ZFS ti nezabezpečí že sa ZPOOL aj importne. To sa deje v nejakých štartovacích službách. Tak starý Debian nemám po ruke, ale určite medzi službami nájdeš tú jednu ktorá sa zabezpečí aj o import ZPOOLu.

PS: To vážne, v tom návode už pred piatimi rokmi tvrdili že ku deduplikácii na ZFS človek potrebuje minimálne 4G RAM? Tomu neverím.

[ZS-Man]

Věř si čemu chceš, já si to počítal a vychází mi to tak. Oracle na to má KB. Já si simulaci DDT zapínal, běželo mi to na poolu přes noc. Výsledné hodnoty jsem druhý den spočítal a vyšlo mi, že jen pro DDT tabulku budu potřebovat cca 3,5GiB/1TB dat. K tomu je potřeba započítat i další nároky ZFS a vyjde ti, že 4GiB ram na 1TiB dat je rozumné minimum. Proto se vesměs doporučuje 5GiB ram na 1TiB dat.
Zdar Max

[Peter Golis]

Ono to hlavne závisí od dvoch vecí. Prvá je že v dobe keď sa používal ten hrubý odhad (4G RAM na 1T disku), tak to bol entry level servera. A druhá závisí od vzorky dát.

[Max]

Já jsem tedy vždy viděl doporučení 5GiB ram / 1TiB dat. Nicméně to je jedno. Každopádně vždy to závisí na konkrétních datech, proto ta simulace a výpočty.
Zdar Max

[Peter Golis]

Podobných odporúčaní sa povaľujú plné blogy. Dosť často sú tie odporúčania bez vynechania kľúčového slova "pre potreby deduplikácie" a bez väzby na objem "bežnej" vzorky určujúcej predpokladané nároky daného stroja.

Ale, zaujímalo by ma kedy implementujú dvojitú paritu pri deduplikácii. Už ju začínajú potrebovať aj maličké políčka.

[Peter Golis]

Aha, už som to pochopil. Máš starý návod pre "zfsonlinux_4_all". Už dávno sa to rieši cez DKMS. Napr. A nezabudni kvôlivá preklepu na ten link pre rm, neopravili to.

A tie pam. nároky sú naozaj menšie.

[hajoucha]

jo, díky! Ten link na rm jsem opravil. Jinak dodám, že ten debian není tak starý. Upgradoval jsem to včera, a podle tohoto linku:

"Debian 9.6 byl vydán 10. listopadu 2018."

[Peter Golis]

Ten link na rm ti nevyrieši pripájanie ZPOOLu, ten link na rm ti vyrieši preklep v inštalačnom skripte pre ZFS DKMS. Ale ak nechceš použiť súčasnú verziu, tak ani neuškodí.

[hajoucha]

jo, to je OK. Už jsem na to přišel: nebylo nainstalováno systemd-sysv. Tedy systemd nefungoval jak měl, nenaběhly příslušné služby a potažmo ani mount zfs. Doinstaloval jsem to a po rebootu vypadá systém OK. Včetně mountu zfs. Takže nyní můžu vesele testovat.

Díky díky!

[Peter Golis]

Odporučil by som odinštalovať tú štvorku, a nainštalovať DKMS.

[hajoucha]

jo, to jsem udělal. Po ugrade debianu na 9.6 jsem nainstaloval zfs z contrib repa.

[hajoucha]

Zřejmě asi jen nefunguje automatika, tedy nějaké služby, co to řeší(zfs.target / zfs-import-cache.service / zfs-mount). Na linuxu jsem zatím nezkoušel, tak přesně nevím.
Každopádně asi můžeš zkusit ručně pomocí "zpool import"?
Zdar Max

[hajoucha]

Hurá, tak to je ono,

# zpool import
   pool: triduby
     id: 8957442666727514777
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        triduby                                     ONLINE
          raidz2-0                                  ONLINE
            scsi-3600050e0225def00583600004f1d0000  ONLINE
            scsi-3600050e0225ee9008ffa0000412d0000  ONLINE
            scsi-3600050e0225f61008b220000b6f30000  ONLINE
            scsi-3600050e0225fde00507000009e9d0000  ONLINE
            scsi-3600050e02265db0075200000a7bb0000  ONLINE
            scsi-3600050e02267cf0000540000c0090000  ONLINE
            scsi-3600050e022692300ed620000a8e10000  ONLINE
            scsi-3600050e02270db009b68000007470000  ONLINE
            scsi-3600050e0227388000fee0000a48d0000  ONLINE
            scsi-3600050e022769900e98e000092fd0000  ONLINE
            scsi-3600050e02289b80026f0000027cb0000  ONLINE
            scsi-3600050e02289fb0070500000fe750000  ONLINE
# zpool import triduby
# df -hT
Filesystem     Type      Size  Used Avail Use% Mounted on
udev           devtmpfs  3.9G     0  3.9G   0% /dev
tmpfs          tmpfs     799M  744K  799M   1% /run
/dev/sdi1      ext4      159G   16G  135G  11% /
tmpfs          tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs          tmpfs     3.0G     0  3.0G   0% /run/shm
cgroup         tmpfs      12K     0   12K   0% /sys/fs/cgroup
tmpfs          tmpfs     799M     0  799M   0% /run/user/1000
triduby/data   zfs        33T  256K   33T   1% /scratch/temp_calc