Dotaz: FreeNAS ve virtualu pod KVM, obecně vhodnost ZFS?

[Dědek]

Chtěl jsem nasadit FreeNAS jako VM pod KVM, ale na webu FreeNAS před produkčním provozem FreeNAS ve virtualu docela důrazně varují, důvodem je zřejmě ZFS a nemožnost FreeNAS přistupovat přímo na HW. Nicméně jsou to informace tak z roku 2014-2015 a možná se mezitím situace nějak zlepšila. Provozujete někdo FreeNAS jako VM pod KVM nebo je to cesta dopekla a způsob jak si přidělat problémy a přijít o data? Pokud ANO na co si dát pozor a co rozhodně nepožívat? Obecně bez ohledu zda použiji FreeNAS nebo zvirtualizuji běžný Linux a Sambu/NFS, jak to vidíte s ZFS, hodí se na malé aplikace kde celý systém je jen jeden dva disky o velikosti do 1TB? Nemohu se zbavit dojmu, že je to sice teoreticky bezpečný souborový systém, ale pro velké celky a v malém jen žere RAM a pokud není RAM ECC je spíš nebezpečný než bezpečný? V mém případě, mohu vyčlenit 6GB max 8GB RAM samostatný HDD a kus SSD pro systém a jde mi o zpřístupnění onoho HDD uživatelům v síti, cca 10 lidí , nic kritického. Má cenu uvažovat o ZFS nebo mám zůstat u ext4?

Odpovědi

[Käyttäjä 11133]

A jaký benefit by ti v tomhle nasazení ZFS mělo přinést?

[Migi]

Kus SSD pro systém? Nevím jak FreeNAS, ale Xigma (ze kterého FreeNAS historicky vychází) toto nedovoluje. Systém defaultně zabere celé cílové zařízení bez ohledu na velikost, možnost vytvářet partition při instalaci ani nemáš. Obdobně se chová i OpenMediaVault.

Samozřejmě není zas takový problém si to posléze upravit k obrazu svému z nějakého liveCD, hlavně u OVM.

Pokud musís virtualizovat, tak nad ZFS.

[Migi]

Jinak tady máš rozebrané některé mýty o ZFS nad HW RAID, což se dá dost dobře uplatnit i na Virtuální prostředí, zkrátka se jedná o zavádění mezivrstev mezi ZFS a Hardware. Za přečtení stojí i autorem odkazované zdroje.

Ve zkratce lze říci, že ZFS jako filesystem musí fungovat, nicméně se tím ochuzuješ o funkce, které jej odlišují od běžných FS, popř závádíš zbytečnou redundanci (např. raidz nad hw raid).

[Sheldon]

No pokud to běží ve virtuálu tak je pro FreeNAS celé cílové zařízení stejně jen ten virtuální disk, který se vytváří při tvorbě VM. Pokud VM přidělíte 30GB tak je pro FreeNAS instalované do dané VM celé zařízení jen těch 30GB bez ohledu na velikost celého HDD nebo SSD.

[Sheldon]

Já si v rámci hraní poslední FreeNAS v11.2 breta3 cvičně pod Proxmox do VM nainstaloval, instalace bez problémů, provoz nevím, jak říkám mam to na hraní , ale pár postřehů. - pamět to fakt žere jak kyselina, při najíždění ZFS a dalších prvků člověk vidí jak volná RAM mizí. - absolutní rychlost hodnotit nemohu, mám to na nějakém vyřazeném šrotu , ale objektivně, na stejném železe mám i Debian se sambou a to je rychlejší nevím o kolik, ale člověk si všimne, rozdíl je zřejmě dán ZFS, ale jak říkám, vyčlenil jsme na to jen 4GB RAM a oni uvádí 8jako minimum - ve webovem správci ve virtálu z ukazatelů nefunguje ukazatel teploty CPU a celý webový správce nefunguje na IE11 pod win7 (11.2 zavádí nějaký novy design a je to Beta).

[Max]

ZFS se nestane nebezpečným, když se nepoužije ECC paměť. Ani se nestane nebezpečným, když se bude virtualizovat. Jediné, co se stane, že klesne na úroveň běžných file systémů. Připravíš se o většinu výhod ZFS, ale režie ZFS zůstanou stejné.
Osobně nevidím žádnou výhodu v tom, ZFS virtualizovat. Jinak FreeNAS automaticky alokuje všechnu dostupnou paměť. Ano, ZFS žere ram, ale také záleží, jak si to člověk nastaví.
Dále situace se zlepšit nemohla, protože v tomto ohledu není co zlepšovat. ZFS je koncipováno tak, aby si ohlídalo konzistenci dat až na samotnou úroveň HW. Proto není dobré používat HW RAID řešení, nebo ZFS virtualizovat. Pak se člověk připraví o celou cestu kontroly konzistence dat.
Pokud chceš z VM pomocí NFS/Samby sdílet disk takovému počtu uživatelů, asi bych spíše sáhl po malé linuxové VM s BTRFS, aby byly k dispozici snapshoty.
Zdar Max

[Sheldon]

BTRFS podporuje rockstor

nějak na pul snad i openmediavault

[vandrovnik]

Asi by mohl tomu virtuálnímu stroji předhodit několik partition, ke kterým by tím pádem virtuál měl přístup skoro přímo, a raid udělat až uvnitř toho virtuálu.

[Max]

To je úplně jedno, zda mu předhodíš partition, nebo nějaký VMdisk. Pořád to jde přes IO hypervisoru a mašina nemá přímý přístup na hw (= musí spoléhat na to, co mu vrátí hypervisor). Jediná reálnější věc by mohla být IOOMU a tím pádem celý řadič dedikovat pro VM a všechno na tom řadiči by tím pádem viděla jen ta VM. Ale to není ideální z jiných důvodů.
Zdar Max

[gnat]

Měl jsem to původně taky tak (FreeNAS na vSphere), ale právě kvůli degradaci výkonu a možností ZFS jsem dal na železo přímo FreeNAS a to co potřebuju virtualizuju v něm.

[Dědek]

Děkuji všem za reakce, v rámci testů jsem do VM nainstaloval OpenMediaVault, zkusil Btrfs a celkem v poho pamětové nároky do 1GB oproti 3,5G u FreeNAS s ZFS. Pocitově mi příjde OpenMediaVault rychlejší než FreeNAS, grafy na webovém rozhraní sice nejsou tak cool, ale o tom to není.

Ještě k Btrfs, jsou pro tento FS nástroje na opravu nakopnutého souborového systému? Případně umí nějakž sw pro Windowes pracovat s Btrfs disky?

[Max]

Chceš to kvůli share (samba, nfs) na to nepotřebuješ podporu přímého přístupu na FS z Windows. Každopádně pro zajímavost existuje jedině WinBtrfs.
Cílem dnešních provozů není oprava, ale co nejlepší způsob zálohy, nebo failoveru. Když se něco posere, chci, aby to běželo do nějakého času s nějakým datovým rollbackem. A podle toho si nastavím failover mechanismi.
Nasazovat něco s tím, že když se to vysere, tak z toho začnu ládovat data, je chybný předpoklad (a je fakt jedno, o jaký jde fs, o jakou jde db, či službu).
Jinak btrfs umožňuje např. scrub.
Zdar Max

[Dědek]

Mě je jasné, že pro disk sdílený přes Sambu nepotřebuji přímý přístup k Btrfs, to je pro případ nouze havárie a co kdyby. Vo se může pos.. po se posere a už se vidím jakl mám v ruce HDD s Btrfs a jen PC s Windows, to se pak hodí moci ho nějak připojit. Podobně nástroje pro opravu i když s vámi souhlasím už jsem x krát použi R-Studio a FS opravoval, R-Studio sice umi i linuxové FS, ale Btrfs ne. Když jste nakousl zálohování to budu řešit nyní. Situlace je následující

Na HW s RAID1 SSD a jedním 2TB diskem jede Proxmox v něm

- VM1 100GB (linux relně 30GB) jako hlavnbí a nejdůležitější systém, ten produkuje deně cca 50MB dat, které si ze stroje sám zazálohuje a může je v noci poslat kam si řeknu, chci si říci přes NFS nebo Samba Client na HDD spravovnaý VM2

-VM2 50GB ( OpenMediaVault, reálně 20) hlavním ukolem je zpřístupnit 2TB HDD pro zálohování a data klientů sítě. (do VM1 to nejde dat)

-VM3 50-100GB (Debian relně 20GB) experimentální server + provoz apache a dálšího nic bez čeho se nedá žít

Stroj v VM1 deně provede zálohu dat na 2TB disk. Tyto data se následující den nějakým skriptem zkopírují do PC uživatel v kanclu vedle. 1x tydně bude třeba zálohovat všechny VM , to předpokládám nastavím v Proxmox a opět se to provede na disk 2TB z VM2 Při té příležřitosti se pak provede záloha nebo zkopírování celeho 2TB HDD na jiný server v jiné části budovy. Je to velká kravina, jak to případně řešit jinak? Pracuji s tím co mám k dispozici

[Max]

Na opravu NTFS použiju Windows/windows apps, když mám problém se ZFS, použiju Solaris like systém. Když mám problém s linuxovým fs, použiju linux. Asi tak k myšlence připojovat btrfs do windows, kde ta implementace není na takové úrovni jako v linuxu. Jinak Active Partition Recovery umí btrfs.

Kopírovat data z jednoho disku na druhý v rámci jednoho PC není záloha.
Pokud je vše na SSD RAID1, nevidím důvod mít ten 2TB disk připojen k serveru, není lepší ho mít někde na druhé straně budovy připojený k něčemu jinému a sloužit tak čistě jako opravdu backup? A to buď k nějakému nasku, nějakému PC, případně k tomu dokoupit RPi a udělat si z něj nasko přes usb (aneb OpenMediaVault na RPi a disk připojený přes usb redukci).
Zdar Max

[SpaceExplo]

Jen k tomu "vidím jakl mám v ruce HDD s Btrfs a jen PC s Windows" - flashka s Live iso nejakyho Linuxu, nabootovat tim ten PC a muzes vesele obnovovat a resit.

[dustin]

Asi tak, rozhodně bych nechtěl opravovat linux z windows

[Michal2]

Dobré zkušenosti s ZFS ve virtuálu jsou pokud mu přes passthrough předáš celý diskový řadič, na kterém jsou disky pověšené. Pak odpadá ta výtka, že nemá přímý přístup k HW, protože má. Hlavní problém s mezivrstvami je, že ZFS potřebuje občas potvrzení, že data jsou fyzicky zapsána na disku. Pokud mu mezivrstva (obvykle kvůli výkonu) zahlásí, že ano ale ve skutečnosti tomu tak není a současně spadne systém, tak se může dostat do nekonzistentního stavu.

ECC není pro ZFS tak důležité, jak se tvrdí a rozhodně nedegraduje ZFS na úroveň FS bez checksum.

Mimochodem je tady někdo, kdo má ve správě opravdu hodně serverů? Já jsem za poslední 3 roky nezaznamenal ani jeden ECC MCE incident ale já mám v součtu pouze 6.25 TB paměti takže to je příliš malý vzorek.

[MP]

Novinka z tohoto roku, spravujeme cca 2TB RAM.

[11495187.826064] EDAC MC1: 256 CE error on CPU#1Channel#2_DIMM#1 (channel:2 slot:1 page:0x0 offset:0x0 grain:8 syndrome:0x0) [11495487.821914] CMCI storm subsided: switching to interrupt mode

[Max]

Už jsem také viděl na mém ZFS storage (192GiB DDR4)
Zdar Max