Dotaz: Debian13 install na ZFS storage

[zipi]

Hezký večer, chtěl bych postavit storage rovnou na ZFS, ale zjišťují, že instalace není úplně fresh. Říkal sem si než řešit složitě moduly ZFS tak použít kernel od Proxmoxu.

Instalace balíků pro podporu ZFS do live.

apt install -y debootstrap gdisk dosfstools zfsutils-linux zfs-initramfs grub-efi-amd64 shim-signed efibootmgr wget gnupg

mountpoint

zfs create -o mountpoint=none    rpool/ROOT
zfs create -o mountpoint=/       rpool/ROOT
zfs create -o mountpoint=/DATA   rpool/DATA
zfs create -o mountpoint=none    bpool/BOOT
zfs create -o mountpoint=/boot   bpool/BOOT/debian

Bootstrap systému

debootstrap --include=vim,ssh,btop,traceroute trixie /mnt http://deb.debian.org/debian

Bind mounts

mount --rbind /dev  /mnt/dev
mount --rbind /proc /mnt/proc
mount --rbind /sys  /mnt/sys

Přidání proxmox repozitáře

wget -qO /usr/share/keyrings/proxmox-archive-keyring.gpg http://download.proxmox.com/debian/proxmox-archive-keyring.gpg
deb [signed-by=/usr/share/keyrings/proxmox-archive-keyring.gpg] http://download.proxmox.com/debian/pve bookworm pve-no-subscription

apt update
apt install -y proxmox-default-kernel proxmox-default-headers \\
               zfsutils-linux zfs-initramfs \\
               grub-efi-amd64 shim-signed efibootmgr locales

EFI format + GRUB instalace
for d in ${DISKS[*]}; do
    mkfs.vfat -F32 \${d}1
done
mkdir -p /boot/efi
mount /dev/sda1 /boot/efi

for d in ${DISKS[*]}; do
    grub-install --target=x86_64-efi --efi-directory=/boot/efi \\
                 --bootloader-id=debian --recheck --removable "\$d"
done

update-initramfs -c -k all
update-grub

• dostanu se až na konec celé akce
• největší problém mám s boot partition a UEFI - systém neprovede boot
• jak správně provést distribuci boot na všechny disky ?

Děkuji ...

Odpovědi

[X]

V tom poli ${DISKS[*]} je co?

[zipi]

vyjmenováno disky sda, sdb, sdc

[X]

Potrebujes chroot do /mnt, nez pustis grub-install.. 50c

[Peter Golis]

Tie blokové zariadenia /dev/sd?1 majú príznak boot a esp?

[zipi]

ano

[MP]

Proc si tam rovnou nenainstalujete cely proxmox a nemusite resit nic?

[dustin]

Neměl jsem zásadní problémy s instalací ZfsBootMenu + debian dle https://docs.zfsbootmenu.org/en/v3.0.x/guides/debian/uefi.html

[Karlos]

Ten bpool musí být vytvořený s parametrem -o compatibility=grub2

Použij tento návod pro Bookworm, princip je úplně stejný. Neobtěžoval bych se s Proxmoxem, stačí povolit contrib repo. Zrovna na Debian se to instaluje parádně. ZDE

Já používám Refind, ale bootuji přímo jádro + init, takže je potřeba jen po každém updatu nahrát jádra + init do efi oddílů. Na to ale existuje skriptík.

[Andrej]

Hezký večer, chtěl bych postavit storage rovnou na ZFS…

Operační systém / kernel bude FreeBSD? Pak by to dávalo smysl…

V případě Linuxu je s největší pravděpodobností lepší volbou Btrfs. Někdy (zřídka) můžou existovat technické důvody pro ZFS, například kompatibilita snapshotů z/do send/receive s nějakým zálohovacím mechanismem atd. Jinak má ovšem ZFS stále stejný „problém“ s oddělenou kompilací kernelových modulů.

Říkal sem si než řešit složitě moduly ZFS tak použít kernel od Proxmoxu.

To zní jako spolehlivý postup, jak se střelit do nohy. Vždy je lepší použít standardní kernel příslušné distribuce.

„Problém“ s moduly není nijak složitý; na rozumném distru je to otázka jednoho příkazu typu paru -Sy zfs-utils zfs-dkms.

Skutečný problém (dočasně) nastane, když zfs-dkms (dočasně) nebude kompatibilní s nejnovější verzí kernelu. V takovém případě bude nutné (hrůza!) posečkat s aktualizací kernelu.

EFI format + GRUB instalace

Totálně, kolosálně špatně. Server s úložištěm nemá nikdy bootovat ze svého diskového pole. Nemá smysl mít na každém disku EFI oddíl. Nemá smysl mít na každém disku vůbec nějaké oddíly. Na mých diskových polích nikdy nemám tabulku GPT. Prostě přímo celé disky přidám do Btrfs nebo ZFS. Tabulka oddílů a extra oddíl na každém disku je zbytečná vrstva / zbytečná komplikace navíc.

Server s diskovým polem má mít EFI oddíly na nějakých USB flashdiscích — třeba na 2 až 3, když už tam má být redundance — a bootovat z nich. Tím naprosto odpadají zbytečné starosti s udržováním EFI oddílu na každém disku.

Aby byly kernely a initramdisky na bootovacích flashkách konzistentní, to už zajistí SecureBoot.

Extra flexibilita tkví hlavně v tom, že klíč k odemykání šifrování disků si pak nemusím ukládat do TPM2, nýbrž ho nechám na bootovacích flashdiscích, které (nechci-li, aby se k datům kdokoliv dostal, ani v případě odcizení serveru) můžu prostě a jednoduše kdykoliv odpojit.

grub-install ...

Masochismus. Proč? Na bootovací flashky dej jednoduše systemd-boot → vyřešeno. Jednoduchá konfigurace, jednoduché aktualizace, minimum problémů. Bootovací flashky ber klidně jako spotřební materiál. Na datech na nich nezáleží. Nejsou kritické pro výkon ani redundanci. Dají se snadno nahradit. Když některá začne selhávat, SecureBoot si toho všimne.

Celý nápad s GRUBem bych tipoval na kopii 15+ let starých a špatných návodů na toto téma.

největší problém mám s boot partition a UEFI - systém neprovede boot

Vůbec neuvádíš, jak máš UEFI nastavené. Ty disky jsou na nějakém řadiči v režimu JBOD, předpokládám? Pokud jsou na nějakém řadiči (jiném než tom, který je přímo na motherboardu), UEFI na ně obvykle (bez dalších UEFI binárek / driverů) nevidí.

To je další důvod, proč bootovat z USB flashky. UEFI bude spokojené. Kernel potom už dostane driver od SAS/SATA řadiče ze svého initramdisku a disky tím pádem normálně uvidí.

jak správně provést distribuci boot na všechny disky ?

NIJAK. Vždycky to bude špatně.

Tohle je fakt nesmysl + antipattern + ptákovina. Disky od diskového pole mají být přenositelné, připojitelné skrz jiný řadič k jinému systému, atd. atp. Nemá na nich být žádný zbytečný oddíl, nic bootovacího. Je to jen zbytečná komplikace a plýtvání úsilím.

[Karlos]

Já teda raději udělám redundanci bootování na těch storage discích, než pak honit flashku, aby mi to naběhlo.

Na mých diskových polích nikdy nemám tabulku GPT. Prostě přímo celé disky přidám do Btrfs nebo ZFS

Btrfs ano, ale když dám v Linux celý disk do ZFS, tak mi tu GPT stejně automaticky vytvoří. Takže tu strašnou mezivrstvu tam stejně mám, tak ten 2GB EFI už se nějak vejde.

Nemluvím o oddílu pro bpool + grub, to je podle mě hnus a dává smysl tak možná u legacy boot.

[dustin]

Mám taky redundantní efi partišny na více discích v ZFS mirroru, root na ZFS. Vzhledem k možnostem ZFS nevidím výhodu BTRFS, ale každý to má jinak.

[Peter Golis]

Aký HW dokáže prečítať EFI partíciu ak je ako ZFS Mirror a nie nejaký klon FAT?

[dustin]

EFI partišny jsou samozřejmě FAT, zduplikované ručně, nejsou tam žádné změny.

[Peter Golis]

Takže "preklep".

[xxl]

Pokud na storage discích není bootování, tak může být komplet celý disk zašifrovaný. Takže když dojde na reklamaci, není třeba přemýšlet o tom, co na něm zůstalo čitelného.

[Karlos]

No co, nějaký bootloader, pár kernelů a initů. Nic tajného.

[xsouku04]

Já jsem snadnější používání ZFS vyřešil přechodem na freeBSD. Nejen že ZFS nativní, ale vše mi tam přijde jednodušší než pod Linuxem. Tedy v případě že se to liší. Tam mám dva disky co používají mirror. A používám je nejen pro hlavní systém, ale i jako úložiště.