Dotaz: ako zacat so ZFS na proxmoxe z jednym SSD

[jany2]

Uz niekolko dni vyhladavam info ako by som mal zacat so ZFS na proxmox 6. Momentalne mam nainstalovany Proxmox 6 a 2x SSD v RAID 1 ZFS. Pri instalacii som ale nepotreboval ziadne znalosti o ZFS, pretoze o vsetko sa postaral instalator

  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 0 days 00:00:49 with 0 errors on Sun Dec 13 00:24:50 2020
config:

        NAME                                                   STATE     READ WRITE CKSUM
        rpool                                                  ONLINE       0     0     0
          mirror-0                                             ONLINE       0     0     0
            ata-Patriot_P200_256GB_AA000000000000000978-part3  ONLINE       0     0     0
            ata-Patriot_P200_256GB_AA000000000000000025-part3  ONLINE       0     0     0

errors: No known data errors

Instalator automaticky vytvoril rpool s vdev mirror-0. Ja som dokupil dalsi disk 1TB (bohuzial zatial len jeden (viem, ze jeden disk nie je idealne, ale ...)).

zfs list

NAME                           USED  AVAIL     REFER  MOUNTPOINT
rpool                         13.8G   215G       96K  /rpool
rpool/ROOT                    7.87G   215G       96K  /rpool/ROOT
rpool/ROOT/pve-1              7.87G   215G     7.87G  /
rpool/data                    5.89G   215G       96K  /rpool/data
rpool/data/subvol-101-disk-0  2.32G  29.7G     2.32G  /rpool/data/subvol-101-disk-0
rpool/data/vm-100-disk-0       958M   215G      958M  -
rpool/data/vm-102-disk-0      2.63G   215G     2.63G  -

Chcel by som to asi takto.

Na vdev mirror-0 mam cely system, kde mam zatial 2xVM a 1x LXC vid zfs list (po case budem instalovat dalsie VM/LXC). Novy disk 1TB by som chcel vyuzit na data, ktore budu v VM/LXC. Dajme tomu, v jednom LXC mam LAMP kde sedi aj nextcloud a chcem mu vyclenit napr. 200GB na data. V bucnosti by som chcel nejaky VM s NFS, prip FreeNAS, kde budu zase medialne subory urcene na streamovanie v LAN, pre tu VM by som chcel vyclenit napr. 400GB atd ...

Ako je to najlepsie spravit s jednym novym diskom? Vytvorit novy vdev v rpoole, alebo vytvorit novy pool (pojde vobec novy pool vytvorit)? Ono je problem, ze nemam to kde skusat fyzicky, takze realne neviem ako to bude fungovat (nemam realne skusenosti a musim to davat na zelezo v produkcii (produkciu myslim moj domaci proxmox, kde uz co to bezi)). Prip. ake riesenie by ste mi doporucili.

Cital som toho celkom hodne, napr. aj tu na abclinuxu (toto je skor vseobecne ako funguje zfs). Ale aj vela praktickych veci, ale zacina sa tazko

---

---

Odpovědi

[jany2]

Ako je to najlepsie spravit s jednym novym diskom? Vytvorit novy vdev v rpoole, alebo vytvorit novy pool (pojde vobec novy pool vytvorit)?

Je nutné si uvědomit, že data se ukládají na celý zpool a redundance se tvoří na úrovni vdev. Když přidáte single disk vdev do stávajícího zpoolu (kde je jeden mirror), ohrozíte všechna data na daném poolu. Pool funguje něco jako raid-0 nad všemi vdevy. vdev nesou redundaci (mirror, raidz).

Tedy buď vytvořte další zpool s jedním diskem (ke kterému lze potom přidat další a vytvořit tak mirror (zpool attach)), nebo do stávajícího zpoolu přidejte rovnou dva disky jako další mirror.

Tj s jedním novým diskem toho u stávajího poolu moc neuděláte, pokud nechcete ohrozit stávající data.

Navíc je otázka, jestli chcete v poolu kombinovat ssd a hdd, obojí jako datové disky. SSD můžete použít na cache.

[jany2]

Vdaka za rychlu odpoved. Momentalne mam k dispozicii jeden fyzicky SSD a nechcel by som ohrozit rpool kde je cely system. Takze asi budem musiet vytvorit novy pool tvoreny jednym fyzickym SSD diskom a data budu tam (ak budem na tom financne lepsie, dokupim dalsi 1TB SSD a spravim mirror ako odporucate). Zatial sa ucim a vyhladavam akekolvek info (bohuzial takmer vsetko je v anglictine, ale niektore info su pisane dost po lopate, takze sa da z toho vyjst). Celkom dobre info je aj na heronovo, takze dik za skvely web.

Co sa tyka poslednej vasej vety, tak rotacne disky nemam a ani nebudem mat. System (proxmox) mam na 2x256GB SSD v mirror a datovy (zatial 1x ako som uz uviedol) 1x 1TB SSD (sice je pripojeny cez USB 3.0, ale aspon ma podporu uasp)

/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/7p, 5000M
    |__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M

Urcite som uz cital aj o cache, ale zatial mam z toho gulas :). Viem ze je najaka L2ARC a ZIL/SLOG, ale to mozno v dalsich kapitolach. Je mozne na SSD nechat nejake volne miesto (napr. 32GB) a cache urobit tam ? Mam fyzickych 32GB RAM a budem mat 1 TB disk (oplati sa mi robit cache na SSD ?). Zo studijneho hladiska urcite, ale z fyzickeho asi nie, kedze som cital, ze ZFS sice zhltne vela RAM, ale na 1TB raw sa pocita 1GB.

[Heron]

tak rotacne disky nemam a ani nebudem mat

Ok.

Viem ze je najaka L2ARC a ZIL/SLOG, ale to mozno v dalsich kapitolach.

LOG a CACHE jsou dvě různé věci. Ale pokud budete mít všechny datové disky na SSD, tak je to ve vašem případě vlastně pasé. LOG se používá pro zvýšení zápisů u některých operacích (zejména db), cache potom pro čtení. Ale ve vašem případě to nedává žádný smysl, ten pool bude rychlejší než samostatný cache disk (jedině, že by to byl NVMe, ale i to by bylo spíše plýtvání).

Zo studijneho hladiska urcite, ale z fyzickeho asi nie, kedze som cital, ze ZFS sice zhltne vela RAM, ale na 1TB raw sa pocita 1GB.

Viz výše. Ve vašem případě cache nedává smysl, ledaže by byla na mnohem rychlejším zařízení. Co se týče využití ram, tak každý FS používá volnou ram jako cache, neplatí tedy počet GB na TB velikosti pole. Tahle hodnota je spíš minimální množství paměti potřebné pro různé operace a datové struktury, ale je spíše orientační. Obecně se samozřejmě vyplatí mít paměti co nejvíce.

Celkom dobre info je aj na heronovo, takze dik za skvely web.

Díky.

[Heron]

Ono je problem, ze nemam to kde skusat fyzicky

Tak si to vyzkoušejte ve virtuálce. Od toho to je. Na desktopu, ve vaší oblíbené virtualizaci si naklikejte virtuálku, dejte si tam hromadu disků a zkoušejte si různé scénáře a příkazy.

[jany2]

Ked najlepsie sa to skusa fyzicky :)

Mam jednu starsiu MB a aj 6x USB hub, tak som myslel, ze kupim lacne cinske USBecka a budem skusat, ale vyrtualka tiez moze posluzit

[Heron]

Ked najlepsie sa to skusa fyzicky :)

No já nevím. Ve virtuálce si to naklikám za pár sekund, boot je taky pár sekund. Tj lze vyzkoušet hromadu věcí ve velmi krátkém čase. Ale každému podle jeho gusta.