TrueNAS CORE + TrueNAS SCALE = TrueNAS Community Edition (diskuse)

[RealJ]

RIP

[AsciiWolf]

Zkoušel jsi to někdy používat? Pokud tam chtěl člověk rozjet jakýkoli dodatečný software, tak v 50% případů s tím byla děsná práce navíc. Nehledě na to, že se ty BSD jaily na TrueNASu pravidelně rozbíjely dost zvláštními způsoby. Na linuxové variantě TrueNASu oproti tomu běží klasický Docker a je možné tam rozjet i LXC kontejnery.

[RealJ]

Ja na tom mam nekolik storage systemu. Hral jsem si na jednom s virtualizaci a chvili to trvalo rozchodit to stabilne. Pro me to je jako pro naprostou vetsinu uzivatel storage.

[AsciiWolf]

Proč tedy R.I.P.?

[RealJ]

Protoze na rozdil od linuxu povazuji freebsd za stabilni system. Zvlaste se zfs.

[Kačer]

Možná ty, ale já měl s TrueNASem na bdsm už několikrát problémy se síťovými drivery, zámrzy a logy, které se z nějakého důvodu nechtěly pravidelně promazávat. Dost mě to odradilo a nemám v plánu se k němu vracet.

[Max]

Záleží na hw. Pravdou je, že drivery jsou ve FreeBSD problém, což dělá pak problém i se stabilitou např. Nebo mají drivery nějaké omezení oproti linuxové variantě. Např. intel drivery na síťovku, v Linuxu není problém 3rd SFP modul, ve FreeBSD to šlo dřív také, ale pak to zakázali (současný stav neznám). Nebo virtualizace. To, co je ve FreeBSD je jedna velká parodie. Implementace storage řešení je ve FreeBSD také pozadu (třeba o 6 let), vesměs nestačí portovat změny z Linuxu do FreeBSD světa.
Vždyť i Linux předběhl FreeBSD ve vývoji ZFS. Takže nakonec FreeBSD začalo implementovat ZoL (asi někdy před 6 lety). Z FreeBSD se stal projekt, který jen z mnohaletým zpožděním portuje hafec věcí z Linuxu.
Jinak mám dva storage na TrueNAS a už bych přešel na Linux, ale mám tam i nějakou virtualizaci, tak jsem si zatím nenašel čas s portováním.
Zdar Max

[Vantomas]

Jinak mám dva storage na TrueNAS a už bych přešel na Linux, ale mám tam i nějakou virtualizaci, tak jsem si zatím nenašel čas s portováním.
Zdar Max

Pozor na to, že pokud se na BSD stále používá GELI šifrování, tak to není tak přímočaré. Diskotékovou metodou je možné odstranit GELI a dostat data na disky nešifrovaně, ale pro migraci na ZFS native encryption se pak musí hrát další diskotéka s datasety. Podle objemu, možnosti nedostupnosti a dostupnosti volného HW je občas rychlejší to celé zahodit a zmigrovat na nové.

[Vantomas]

A s virtualizací ještě další pozor, v 25.04 se bude místo libvirt(?) používat Incus a jeho možnosti co jde nastavit u virtuálu jsou o něco víc osekané a v release notes je zmíněné, že migrace virtuálů ze starého na nové nebude automatická, takže tam bude těch háčků víc.

[Max]

Tato migrace se mně též nedotkne, takže stále ok :).
Jinak jsem myslel, že Incus je jen o LXC. Hmmm
Zdar Max

[Vantomas]

Jinak jsem myslel, že Incus je jen o LXC. Hmmm

Taky jsem si myslel. Celý nedočkav LXC jsem začal prozkoumávat beta verzi a tohle se teď mění pod rukama každý den. Ještě teda řeším, že u Dockeru má být možnost nastavit IP adresu na které bude kontejner vystaven, abych to nemusel obcházet přes vlastní YAML nebo Portainer, ale toto se objevilo a den na to zase zmizelo společně se založením release pro 25.10, takže toho se asi v této pětiletce nedočkám.

[Max]

Toto vím, nicméně storage jsem nasazoval v době, kdy už GELI nebylo potřeba a využívám šifrování přímo na úrovni ZFS.
Jinak já plánuji migraci formou nového storage, lifecycle 5 let se blíží, takže si s tím nebudu dělat hlavu.
Zdar Max

[RealJ]

freebsd mi vzdy prisel takovy, ze kdyz si najdes kompatibilni hw tak to proste funguje. To co mam jsou vsechno kompatibilni veci, zadne 3rd party, vse znackove a funguje mi to pomalu deset let bez problemu. Ze to nema implementovano xy novych veci mi vubec nevadi. Spouste lidi ano a proto to proste umrelo.

[Max]

Ano, ale ty časy mizí s tím, jak ubývá/nestíhá se podpora hw a portování věcí z Linuxu nabírá zpoždění.
Já třeba spoustu let čekal na podporu NFS4.1, abych nemusel proti vmware provozovat NFS3. Pak jsem to vzdal. Prostě má člověk super stable bsd na určitém hw a ještě musí používat "pomalejší" implementaci nfs, aby to jelo. To není cesta.
Zdar Max

[mrtvy_muz]

Po uspesnem odzkouseni Linuxove (scale) verze, provozuji 2 NAS storage s iscsi, nfs a smb na kterých je diskove uloziste asi 80 virtualních strojů pro proxmox cluster. presunuli jsme tam mene dulezite virtualy z cephu, kde vysoka redundance zvysuje cenu uloziste.

Zprave jsem porozumel tak, ze ukoncuji zcela vyvoj sveho BSD produktu a venuji se uz pouze linuxovemu scale, ktery pouze prejmenuji. takze jako uzivatel linuxove verze nebudu mit zadny problem s upgradem na nejnovejsi verzi 25.04 ktera bude jen prejmenovana na community edition misto scale...

[Max]

No, takhle, oni už dávno avizovali, že nevyjde nová major verze FreeBSD varianty (...We have no plans for a FreeBSD 14-based TrueNAS...). To, co ohlásili nyní, je sjednocený vývoj, kdy SCALE byl fork a oba produkty se vývíjeli nezávisle (frontend, backend apod.) a to oni sjednocují, asi aby si ušetřili režie na podporu staršího Core.
A do kdy bude podporovaný Core? No, na to možná odpoví "...FreeBSD 13 is planned EOL in January 2026...". Takže minimálně ještě rok, pokud nevymyslí něco dalšího.
Zdar Max

[..... Izak .....]

Ano je to tak FreeBSD melo vic nevyhod nez vyhod - tak jej zarizli. Od vyvojaru z jincyh projektu vim, ze FreeBSD je jednodusii, malo toho umi, tim padem je jednotlivy stack lepe laditelny, neni to problem prespat a vyladit k obrazu svemu, dela to tak NetApp i Netflix (pro svoje SSD cache servery) - moduly tezko rict, min. SCSI karty se vyviji soucasne a casto jsou vyvojari v Linuxu ti sami co v *BSD

Netflix ale rika, ze by mel radeji ty svoje cache servery na Linuxu, dokonce tam zvysil i vykon pro nektere sitovky, Netflix moc neresi celek, najdou si sitovku a jen tu pak vyladi se stackem - a prave rikali, ze Linux stack toho umi prilis mnoho, coz je pro neco fajn, ale ne pro lazeni nizko urovnoveho vykonu. U nich jde o to, ze ustrei na HW, ze pak potrebuji treba o 8% mene serveru.

Na domaci NAS tohle asi nikdo neresi, malokdo to nevytizi a na vetsi prostredi si koupi vykonnejsi HW - ja nove upgradovat z HPE Microserveru na Ugreen NAS 8 diskovy - ale nepouzivam zadny NAS_OS - pouzivam Linux a kvuli podpore BTRFS dokonce fedora server - btw nasel jsme super reseni na NAS, mega levny a drazsi.

1) mega levny - case: Jonsbo N3 - 8 pozic 3"5 - moc hezka skrin, na Aliexpressu jsme nasel NAS serverovou desku s CPU - Intel Xeon- mene zravy a 64GB ECC RAM - vse teda pouzite zato okolo 200$ se vsim vsudy - pak je treba koupit zdroj a do 500-700 euro mate fajn masinku. (btw HPE microserver je fajn, ma tez ECC, iLO ale jen 4 disky)

2) drazsi UgreenNAS - maji ruzne varinaty, ale ta s 8 disky stoji 1.500 euro ... RAM je tam jen 8 - takze jsme upgadoval na 64 - vyhoda je, ze to ma hdmi vystuip a je to nezkryuplene PC - notebookovy CPU - musis se v biosu vypnout watchdog, nebot se pak jiny OS restartuje - pak uz staci dat co clovek chce, btw. krom 8 disku to ma i 3 nVMW - rikaji 2 ale je tam jeste bokem jedna na OS - tu jsem natvrdo preformatoval, predtim kvuli zaruce zezalohoval - vyhod to ma kupu, treba 2x 10Gb LAN a jde dodat i 1x PCIe karta

[mrtvy_muz]

krom zkusenosti truenas core vs truenas scale, jsme vzdali provoz firewallů (vyborny) opnsense zalozeny na freebsd

- nedokazali jsme dosahnout 10 nebo 25gbps - problemy s ruznymi (q)sfp(+) moduly - problemy s ruznymi sitovkami (predevsim broadcom) - problemy s virtio a behem v kvm virtualizaci

v tomhle ohledu - zlaty linux

[vladky]

Do toho proxmoxu ako zdielany storage to mate pripojene ako NFS, alebo iscsi ?

[mrtvy_muz]

jeden nas jako iscsi (vlastne zfs over iscsi - pouziva se tam i ssh krom iscsi) a druhej jako nfs...

pouzil jsem plugin https://github.com/TheGrandWazoo/freenas-proxmox?tab=readme-ov-file#new-installs (vidim, ze uz dva roky neprobiha vyvoj...) ale ani timto pluginem ani podle wiki https://pve.proxmox.com/wiki/Storage:_ZFS_over_ISCSI jsem nebyl schopen pripojit dva ruzne iscsi servery k jednomu proxmox clusteru (problem ani tak nebyl v te casti iscsi, jako v tom zfs over iscsi) ale moc casu jsem tomu nevenoval a v urcite chvili jsem se rozhodl to vzdat a druhej server/uloziste udelat pres nfs a aspon mit moznost to porovnat (pres nfs jedou servery pro vyvoj, pokud by nebezely, svedu to na programatory...)

ostatne nfs mne prijemne prekvapil, vykonem i spolehlivosti, a je to jedoduche nastavit, prenest jinam... zfs over iscsi je proti tomu vetsi magie (vzpominam si na nastavovani prvniho iscsi NAS pred 15 lety na opensolaris/openindiana - pac na linuxu to nefungovalo)

[Max]

Proxmox má smysl jen s NFS. Pokud tedy nemáš jen nějakou jednorázovou mašinu, nebo jen pár mašin. Jde o to, že Linux nemá, resp. nic 100% stabilního a ověřitelného, co by umožňovalo sdílet blokové zařízení. ESXi má VMFS, což je clusterový fs. Windows má Cluster Shared Volumes (CSV). Linux má GFS2 a OCFS2, ale nic z toho není doporučováno pro běh VM, a ten, kdo to zkoušel, reportoval probémy. V produkci nechceš řešit takové pakárny. No a bez toho jaksi neuděláš sdílený storage, live migrace apod.

Proxmox má storage matrix, kde je vidět, že pokud chceš sdílený storage včetně podpory snapshotů, tak jedině NFS, resp. ještě můžeš využít obří řešení jako Ceph, ale to jsme na jiném levelu nasazení.
Další možností, jak v menším měřítku sdílet blokové zařízení a mít snapshoty, je co disk ve vm, to solo iscsi voluma. V případě pár vm ok, v případě stovek je to řešení opět na pytel.
A posledním řešením je ZFS over iSCSI, což v překladu znamená, že ZFS exportuje iSCSI s tím, že proxmox musí mít plugin na připojení k tomu storage, aby to ovládal, což zní fakt super spolehlivě nehledě na to, že tím odstraňuješ jednu bezpečnostní vrstvu.
No a ve finále jsem někde četl, což nevím, zda je pravda, že je s iSCSI ještě i problém s obnovou snapshotu na úrovni storage a různými machinacemi s iSCSI volumou.
Suma sumárum, pokud Proxmox s více VM a kompletní podporou live migrace, snapshotů apod., tak NFS, nebo Ceph.
Zdar Max

[Mrtvý muž]

Souhlasím. Jinak ceph pro Proxmoxu je super a nenin to overkill ani na homelabu natož v profi nasazení. Hodně jsem se bál NFS výkonu ale není s tím problém. Zfs over iscsi běží a po složitém nasazení to jen updatuju a bez problémů...

[Max]

Na NFS4.1 jsem provozoval hlavní Oracle RAC ve firmě, asi 5 let, než se nasadil jiný druh storage s jinou konektivitou. Prošel jsem si tedy provozem Oracle RAC přes FC, NFS4.1 a teď iSCSI.
Každopádně přechod z FC na NFS4.1 neměl performance impact, jelikož novější storage byl rychlejší a Oracle počítá s provozem přes NFS4.1 a má na to své vlastní další mechanismy, aby to zrychlil / správně kešoval.

Každopádně pokud bych chtěl provozovat Ceph, tak by to znamenalo mít aspoň 4 nody v hlavní lokalitě a to samé v záložní lokalitě. To je oproti profi storage řešení, kde mi v každé lokalitě stačí jeden storage s dual controllerem a replikací, úplně jinde, co se týče nároků (spotřeba, chlazení, konektivita - musí být další 10Gbit switche, protože neúměrně kabelů atd.). Nicméně možná se k tomu postupně dospěje, hmm. Zatím jedeme kolem 250VM, datové toky do 5Gbit a iops kolem 10k.
Zdar Max

[PetebLazar]

Vůbec jsem netušil, že to toto bylo podporované řešení.

Hrdina je nebojí se hlavou dolu pověsí se!

[mrtvy_muz]

ceph jede i na třech nodech (a pouze jedne lokaci), propojeni je pak mozne udelat pomoci jedne sitovky s dvema porty a propojit naprimo kazdy nod s kazdym... (behal jsem takto velke www aplikaci pro nekolik zemi s miliony klientu)

abacus nabizi i profi reseni cephu s dvema nody a jednim raspberry pi?

ceph neni nic co nemuzes mit i na domacim homelabu...

ja ted jedu taky 250VM, 9 proxmox hybridnich nodu (ceph i vm) switche mikrotik 100G za 40tis. a diky lidove cene switche mam oddelene ceph public a ceph private sit... (vnitrni presuny cephu nezabiraji sitovou propusnost pro provoz VM) uloziste z nvme zarucuje rychlost a pocet nodu skaluje IO

a hlavne je to prakticky neznicitelne, muzu vytrhavat disky a cele nody a furt to jede

[Max]

Tři nody v produkci je krutě málo. Navíc máme dvě lokace kvůli DR, takže to samé je potřeba i v druhé lokalitě. Fakt nechci v produkci řešit unhealth storage, když mi jeden ze tří nodů z nějakého důvodu odpadne.
Zdar Max

[Max]

Jinak pokud bych měl počítat, tak to chce minimálně:
8x node, v případě HPE je to 8x DL385 Gen11
V každém serveru 3x HBA a 16x 3.82TB SSD (to třetí HBA je do budoucna na rozšiřování až o 8x SSD per node)
Takže 4 nody per lokalita, tři repliky v lokalitě a výsledná použitá kapacita per lokalita je 60TB s možností expandovat s těmito servery na použitelných 90TB per lokalita. Reálně tedy 2,5mega za servery a to samé za SSD disky. Celkem investice do 5 mega + k tomu nutno připočítat 4x switche ve stacku, co by to uživily.
To už začíná být celkem srovnatelná cena s běžnými profi storage řešeními, ale je to lépe škálovatelný a odolnější vůči výpadkům.
OracleDB by na tom šlo provozovat přes iSCSI.
Ušetřit lze na hybridním provozu, tj. proxmox, co bude současně dělat i ceph. Jak je to pak udržitelné do budoucna, to nevím :-/. Proxmox jede dost bomby ve vývoji a nevím, zda chci mít stejné tempo aktualizací na úrovni storage.
Zdar Max