Proxmox VE 5.2 (diskuse)

[Max]

Na Proxmoxu se mi nejvíce líbí, jak se ničeho nebojí a oficiálně jde do ZFS, Ceph apod.
Každopádně zajímal by mně aktuální stav ohledně běžné správy. Lze už nějak dělat rozdílové zálohy? Resp je již implementováno CBT (Changed Block Tracking)?
Zaznamenal jsem v roce 2014 implementaci v qemu a kolem qcow2, ale byly tam ještě nějaké nedotažené věci.
Druhý dotaz míří k zálohám, zda jde dělat konzistentní backup, nebo stále jen crash konzistentní?
Ve wiki mají popsanou zálohu formou snapshotu, která na nějakou dobu odstaví VM (asi freeze jen na pár sekund) a záloha by pak měla být konzistentní.
Zajímají mně tedy zkušenosti, zda toto někdo řešil a používá to.<> Díky
Zdar Max

[Harvie.CZ]

Me se na proxmoxu libi, jak zvlada mit centralni administracni rozhrani k ruznejm sluzbam napric nekolika serverama a pritom nema problem parsovat a editovat konfiguraky bez toho, aby prepsal lokalni zmeny. Napriklad pokud upravim /etc/network/interfaces, tak se zmeny okamzite projevi na webu a neni problem.

Z toho by si meli vzit priklad vsichni.

Co mi chybi nejvic je clusterovy ZFS. Ale za to Proxmox nemuze. ZFS proste clusterovy neni a v blizky dobe asi nebude. Ale bylo by cool mit ZFS replikovany pres 2 servery a nasledne primountovany na nekolika dalsich serverech. Mozna kdyz 10 let pockame

Taky me potesilo jak rychle adoptovali xterm.js, potom co se o nem dozvedeli. Funguje o dost lip nez ta obrazkova konzole co tam byla predtim.

[Max]

A jak zálohuješ?
Zdar Max

[Jesus Jimenez]

Ve wiki mají popsanou zálohu formou snapshotu, která na nějakou dobu odstaví VM (asi freeze jen na pár sekund) a záloha by pak měla být konzistentní. Zajímají mně tedy zkušenosti, zda toto někdo řešil a používá to.<> Díky
Zdar Max

Zalohuju presne takhle a asi s tim nikdy nebyl problem...

[Jirka V.]

ahoj, mám ProxMox 4.4 dokonce na dvou fyz.strojích. Provozuju tam několik málo Debianů a zálohuju také formou snapshotů. Neměl jsem s tím nikdy potíže. Snapshoty nechávám zkomprimovat pomocí GZIP. Již jsem několikráte obnovoval mašinu ze zálohy a nebyl problém. Největší záloha, kterou mám, je 31 GB po kompresi. To je jediná větší, zbytek má do 5 GB.

Po dobrých zkušenostech jsem zakoupil základní podporu, která jen zpřístupní "Enterprise repozitáře" ProxMoxu.

Pěknou neděli, Jirka.

[hermelin]

na konzistentni zalohu staci mit na guestu nainstalovany qemu-guest-agent a podporu mit zaplou i v rozhrani https://pve.proxmox.com/wiki/Qemu-guest-agent

[Max]

A co ta rozdílovka, je to už použitelně implementované?
Zdar Max

[ZS-Man]

Koukni na tohle: https://ayufan.eu/projects/proxmox-ve-differential-backups/

ale Proxmox to implementovane nema a ani se k tomu moc nemaji. Duvody jsem moc nezkoumal. Na foru to obcas nekdo vytahne, ale Proxmox to nechce.

[Max]

Jop, to znám, na to jsem kdysi koukal.
Zdar Max

[hermelin]

Obavam se ze aktualne rozdilovka v proxmoxu vubec resena neni. Kdysi davno jsem o tom nekde cetl bylo tam receno ze rozdilovky neplanuji ze z duvodu konzistence je lepsi plna zaloha. Je tu nejake reseni "treti" strany https://github.com/ayufan/pve-patches

Ale trosku nechapu proc tak uzitecnou vec nezahrnou primo do distribucnich balicku, kdyz evidentne je vyvojar, ktery se tomu venuje.

To je podobny jak nejdrive podporovali DRBD, pak prisla zmena licence, protoze se vyvojari Linbit nastvali, ze vyuzivaj firmy co pak prodavaji SAN systemy za velky penize a ale do vyvoje DRBD nedaji ani cent (to se vyvojarum ani nedivim), pak teda Linbit vratili licenci zpatky ale Proxmox balicek uz ne (ted si to resi sam Linbit). Takze z Proxmox 3 upgrade vys je problem pokud pouzivas DRBD. Ted v Promox 5 nastesti zase vratili alespon modul jadra na drbd8.

Od verze Proxmox 4 zase neni podporovany 2 nodovy cluster (napr.s quorum diskem). A upgrade clusteru z Proxmoxu 3 na vyssi je obecne takovy problem ze je lepsi to nedelat.

Takze ma to mouchy (v pripade clusteru bych rek ze docela velke co se upgrade tyka), nektere rozhodnuti vyvojaru uplne nechapu ale jinak celkem spokojenost.

[ZS-Man]

Ten rozdilovy backup ma pry problemy s velkymi virtualnimi disky, pak to zacina byt nestabilni a obnova hooodne pomala..

Jj, kvuli DRBD taky jedu porad v3. Ale co jsem tak pochopil, tak i na aktualni verzi by nemel byt s DRBD problem, kdyz se to pouzije tim puvodnim zpusobem, tzn 1 resource na celem disku (nebo spis 2 resource kvuli lepsimu reseni split-brain) v primary/primary, nez ten novy zpusob s drbdmanage, kazdy VM vlastni resource, primary/secondary. Porad se nemuzu rozhodnout jestli to risknout a upgradovat( resp. kompletni reinstall), nebo na to nesahat...... :) A je dost smutny ze ani na foru o tom nejde moc dobre pokecat, vetsinou to konci vetou "Not supported, go to Linbit"

2-node cluster normalne funguje, jenom nejde pouzivat HA. A podpora qdisku je pry opet v planu (dokonce bych rekl ze 5.x uz by ji mohla zase mit) ale ted se mi nedari to nekde dohledat. Ja ale radsi pouzivam tredi node - momentalne vyrazeny notebook bez displeje.

Jinak proxmox pouzivam a nic jineho ani nehledam. Za ty penize je to docela velka hromada muziky ))

[hermelin]

V Proxmox 5 je zase vychozi modul pve kernelu pro drbd8 (ve 4 byl drbd9). Takze upgrade z Proxmox 3 s DRBD az na 5 by mel byt mozny. Nicmene zase je tam nejaky problem s clusterem - ze se musi vytvaret cely znovu. Jeste sem nemel odvahu to odzkouset

[Max]

Mám tu VM, které mají třeba po 2TB. S ESXi + Veeam mám rozdílový backup za hodinku hotový (Read 164GiB, transfered 68GiB u 2,2TiB Exchange 2013).
O víkendu umí Veeam poskládat ty rozdílový zálohy jako syntetický full backup. Nedělám tedy nikdy full backup, jen jedu rozdíly a přes víkend Veeam poskládá full a tak stále dokola. Je možnost i cyklicky zálohy obnovovat a spouštět na nich testy, zda naběhnou a je vše ok (to umí automaticky dělat Veeam)
Navíc umožňuje dělat backup i ze snapshotu storage (máme NetApp).
Nebo je možnost udělat konzistentní snapshot v rámci storage, provést replikaci na záložní storage a z toho přeneseného konzistentního snapshotu udělat backup.
Celkem mám na jednom storage (24x SAS disk) kolem 15TiB VM.
Proto se ptám, kde je aktuálně OSS alternativa. Nějak si už totiž nedovedu představit jiné zálohování, než nyní. Prostě přes noc se všechno standardně zfoukne a je tam ještě značný prostor pro odstávky / servisní úkony mimo dobu zálohování.
Jinak zálohy jde rovnou spustit z backup storage.
Zdar Max

[hermelin]

no kdyz to vezmu kolem a kolem tak co se tyka takoveho zpusobu zalohovani VM jako pises tak tam je OSS dost v pr.... Ale zase na druhou stranu, pokud se vycisli HW+SW ktery na to pouzivas na penize tak je to taky uplne jinde - zkratka nekde to videt byt musi

Myslim si ze pro tvoje reseni v OSS konkurenci v soucasne dobe bohuzel nenajdes.

[Max]

Mno, storage mi přijde celkem levný. Když jsem ten Netapp počítal, tak je to snad stejný, jako bych měl něco stavět na zelený louce (pokud chci stejnou funkcionalitu, tj. vše zdvojeno, řadič, cache, napájení atd.).
Jde vesměs tedy jen o sw.
Čím větší storage, tím mi vychází pak levnější OSS řešení, ale v rámci dvou storage, co mají vše duální a dvou lokalit do pár desítek TiB mi přijde ten NetApp cenově srovnatelný.
Zdar Max

[ZS-Man]

Nebo je možnost udělat konzistentní snapshot v rámci storage, provést replikaci na záložní storage a z toho přeneseného konzistentního snapshotu udělat backup.

Proxmox se docela snazi vice a vice integrovat ZFS, maji vlastni funkci pro ZFS-sync a replikace (uz i v GUI), takze snapshoty na jiny storage a nasledny backup na tomto druhem storage by asi bylo realne nejak slusne zprovoznit. Veeam je nejspis porad nekde jinde, ale mozna by to bylo pouzitelne.

https://pve.proxmox.com/wiki/PVE-zsync

[Nada]

ahoj Max, tiez som fanusik PROXMOX. Teraz bezim pod 5.1.4 a chystam sa na upgrade. V podstate prevadzkujem novy OS/cluster na starom zeleze, co su 2 stare servere, ktore nikto nechcel Vyuzivam iba kontainery teda CTs bez HA a bezi na nich production aj testing. vsetky CT vyuzivaju ZFS pools (lokalne alebo over open iSCSI) a snapshots su super a zatial ma nesklamali. Na zalohovanie mi sluzi "speci" container (104), ktory NEspustam a je urobeny identicky na oboch nodoch pod LVM a bezi nad nim tyzdenny cron

0 2 * * 6 root vzdump --exclude 104 --mode snapshot --quiet 1 --maxfiles 2 --storage backup --compress lzo --mailnotification always --mailto mox@blablabla

okrem toho je na oba nodes primontovany nfs z NAS a tam bezi dalsi script, ktory skopiruje zalohy na externy NAS, vymaze zalohy starsie ako 60dni a posle email...

ten "speci" container mam pridany do storage.cfg a vdaka tomu ho vidim cez webGUI

# cat /etc/pve/storage.cfg dir: local path /var/lib/vz content vztmpl,iso,backup

lvmthin: local-lvm thinpool data vgname pve content images,rootdir

zfspool: zfs pool ctpool content rootdir,images sparse 0

dir: backup path /var/lib/vz/private/104/root/backup content backup,images maxfiles 1 shared 0

zfspool: hp2000 pool hp2000pool content images,rootdir

BTW PROXMOX podporuje okrem ineho aj glusterFS a s tym sa teraz hram... majsafine Max a dufam ze snivas dalej Nada

[Cejvik]

A co GlusterFS? Pěkně popsáno v https://www.servethehome.com/building-a-proxmox-ve-lab-part-1-planning/

[Petr______]

To gui je hezke, kdyz jsem si s tim hral, nikde jsem nenasel moznost vytvorit z disku zfs pool a nastavit mu nejake atributy. V konzole to umim, ale jde to v gui?