Dotaz: Stavba "diskového uložiště"

[chinook]

Zdravím, přemýšlím, že bych na firmě postavil nějaké menší diskové uložiště. V součastnosti tam je na to server na debianu kde je 4x1TB SAS disky 7200ot. V RAID 5. Běží na něm samba a debian. Slouží na sdílení domácích adresářů, sdílených složek apod. Co se týče rychlosti, většinou to zvládá. Problém je v kapacitě a v tom, že je starý asi 12let.

Chtěl bych složit tedy zase něco podobného. Určitě tam chci DEBIAN. Ale zbytek nevím. Disky asi 6x2,4TB 10tis. ot. SAS? Jaký použít RAID? Je ideální na toto RAID5? Co se týče kapacity, tak určitě. Potřebuji HW raid? Současný server jej má. Jaký filesystém? EXT4? A ted jaké železo? Asi si to složím sám. Protože od DELLu to vyjde dosti draho. Pohlížel jsem na supermicro. Má někdo nějaký tip kam se narve hodně disků a bude to dostatečně spolehlivé? Nebo raději mám investovat a jít do DELLu a vše nechat složit u nich?

A pak jak to připojit. Nainstalit tam normálně sambu, připojit do domeny a provozovat jako samostantný server? Nebo stávající server virtualizovat a připojit přes NFS k němu. To by bylo téměř bez práce.

Děkuji az rady.

---

---

Odpovědi

[pavele]

Pokud, se o to nechceš starat, pořiď si nějaký NAS server, máš to bez práce.

Já bych po zkušenostech šel do virtualizace, má to spoustu výhod, můžeš si dnes říct, že virtuál bude Debian, zítra si otestuješ Fedoru, pozítří si otestuješ novou verzi Debianu a přechod na něj atd.

Pokud ti běží bez problémů současný server, tak kup větší disky a virtualizuj.

[chinook]

Se starým serverem nemám vůbec žádný problém. A virtualizaci používám také. Jen potřebuji nějaké železo do kterého dám disky. A chtěl bych tam mít doho debiana. Nevšiml jsem si, že se o to musím nějak moc starat a vše tam znám co je potřeba nastavit. A většina nas serveru jsou nějaká klikátka nebo ořezaný linux. Unix nebo něco. Musel bych se to učit.

Není tedy problém server virtualizovat. Ale nějak k němu musím připojit disky. Otázka zní do čeho je dát.

[Ferdo]

Suhlas, z vlastnej skusenosti mozem potvrdit, uz nikdy viac DIY NAS riesenie. Na trhu je kopec rieseni od consumer, cez SOHO az po Enterprise. Vsetky su typu nakonfiguruj a zabudni. OK obcas musis upgradnut firwmare ale to je asi tak vsetko.

[Ondra]

Vim, ze pozadavek je DEBIAN, ale co zkusit treba TrueNAS?

ZFS, ovladani celkem intuitivni, v dokumentumentaci jsou HW pozdavaky (to na sestaveni HW), umi to Sambu, NFS, iSCSI, jde propojit i s Active Directory.

[jiwopene]

Doporučil bych ZFS, který je na tohle přímo určený. Kombinuje funkce filesystému, LVM a RAIDu. ZFS on Linux funguje bez problému.

ZFS řeší souborový systém, RAID (podle nutné redundance zvolte raidz1 (větší kapacita) až raidz3 (větší redundance)), šifrování jednotlivých zvolů, kompresi, deduplikaci, subvolumy (zvol), snapshoty, NFS export, … Pro RAID-Z je možné nastavit spare disk, který se použije v případě výpadku jiného.

ZFS řeší cache po svém, takže to vypadá, že používá hodně RAM, ale v případě nutnosti ji uvolní pro jiný software.

Nastavení je jednoduché a poměrně intuitivní, ale doporučil bych vytvořit si na několika malých virtuálních discích model úložiště, abyste pochopil, co vlastně děláte.

Hardwarový RAID dnes už spíš přinese víc komplikací než užitku. Pokud odejde řadič, k datům se možná ani nedostanete, protože stejný neseženete.

[Peter Golis]

Mám strach o Andřeja, nie je na PN? Čakal som že ho už uvidím aj s odozvou o slobodnejšom BTRFS, a námetom na raketovú diskusiu.

[jiwopene]

Jaké PN? Máte na mysli to, co já?

[Peter Golis]

Neviem čo máte na mysli vy, ale ja sa obávam že má Pracovnú Neschopnosť. Inak by tu už dávno robil osvetu. Je to lepšie ako čítanie tvorby fabulátorov.

[Andrej]

Netuším, kdo je „Andřej“ a proč by měl mít v popisu práce nějakou osvětu na ABCLinuxu.

Kdyby se tazatel obtěžoval hledat v historii poradny, než položil asi tak 30. variantu tohoto dotazu, odpověď na většinu (pod)otázek by tam našel. Opakovat, co už bylo mnohokrát vysvětleno, je ztráta času.

Na nebezpečné hlouposti typu AID5 + Ext4 už podle mě nemá smysl reagovat. Všechno podstatné bylo totiž objasněno v jiných vláknech, třebaže to některým pomalejším čtenářům zatím nedocvaklo. Ale žádný strach, říká se understanding comes with time.

Ještě jinak: Představme si utopii, ve které někdo může zdarma získat auto dle vlastního výběru. Vybírá si tedy auto a žádá o radu. Je obrovský rozdíl mezi těmito typy dotazů:

• Mám si vybrat Trabant, Škodu 120, Rolls-Royce nebo Bugatti Veyron?
  Na tohle se dá odpovědět — porovnat jednotlivé možnosti, probrat všechna pro a proti, vysvětlit, co a jak.
• Vybral jsem si Trabant! No a teď jenom nevím: Zelený nebo červený?
  Tady nemá smysl odpovídat, když už se někdo rozhodl pro špatné řešení a pouze volí mezi červenou a zelenou „alternativou“ špatného řešení. Nezbude než popřát tazateli hodně štěstí — bude ho nutně potřebovat.

[chinook]

Dobře a co je tedy na tomto špatně?

Koupil bych 6x WD Gold 8TB 3,5palcu 7200ot SATA Mám jen 1GBIt sít, tak by sata mělo stačit, ne? zapojil bych to do RAID 10. Získal bych tedy kapacitu 24TB. což je 4x víc než jsem původně plánoval. RAID bych použil SW na debianu. Nad to LVM. Filesystem EXT4 a sdílel bych přes sambu. Nebo připojit k virt serveru přes ISCSI? A železo bych použil toto: https://www.czech-server.cz/dell-poweredge-r720-12-core_x23677.html A vše koupil 2x a propojil přes DRBD. Abych zamezil výpadku použitého HW.

Případně co doporučuješ a bude mít podobnou cenu a výkon?

[trekker.dk]

Pan Andrej tady prosazuje názor, že všechny disky jsou špatné a nemají na práci nic jiného, než měnit data, která tam zapíšete. Tudíž jakýkoliv filesystém, který není Btrfs, je špatně, protože vám ztrácí data od prvního dne, kdy ho naformátujete. Pokud jste si toho za celé ty roky nevšiml, tak z toho si nic nedělejte, to není podstatné - podstatné je to, že i když o tom nevíte, tak neustále ztrácíte data. Tečka.

[Peter Golis]

V prípade RAID bez checksummingu má pravdu že sa jedná o AID. Pole totižto bez checksummingu nevie verifikovať či nastalo silent data corruption. To platí pre RAID 1 a aj RAID 10.

V prípade RAID 5 alebo RAID 6 je to pochopiteľne inak.

PS: Rsync len s verzionovaním.

[PetebLazar]

V prípade RAID 5 alebo RAID 6 je to pochopiteľne inak.

Je jisté, že se u RAID5(6) implementací (HW/SW) vždy načítá obsah všech členů tj. včetně uložených paritit Ap(Aq) a real-time kontroluje zda jsou data s paritami konzistentní? Měl jsem za to, že k rekonstrukci dat dochází jen v případě pokud chybu čtených sektorů ohlásí nižší vrstvy (HDD/řadič), v opačném případě logika RAIDu nezasahuje (není proč). Nad RAID5(6) jsou typicky naplánované automatické úlohy, které konzistenci všech uložených dat/parit periodicky kontrolují (např. Patrol Read u DELL PERCů).

[Peter Golis]

Měl jsem za to, že k rekonstrukci dat dochází jen v případě pokud chybu čtených sektorů ohlásí nižší vrstvy (HDD/řadič)

V prípade že si priplatíš za disky určené do serveru alebo do diskového poľa, tak áno. Vtedy ten disk reportuje nielen chybu čítania, ale aj predĺženie odozvy pri I/O operáciách ako (potenciálnu) chybu. Desktopové a iné hračkárske disky ostanú ticho aj keď nevedia prečítať vadný blok. Z toho potom pramenia zaujímavé nedorozumenia, a plamenné diskusie.

Mimochodom, aj SW RAID má možnosť spustenia kontroly integrity poľa. Sú distribúcie ktoré to majú priamo v sebe, napríklad CentOS v /etc/cron.d/raid-check.

[GeorgeWH]

Desktopové a iné hračkárske disky ostanú ticho aj keď nevedia prečítať vadný blok.

To mas odkial?

[Peter Golis]

Už som to pár krát zažil na vlastnej koži, ako každý. Niektorí si to ale ešte nevšimli. Je to jeden z aspektov Silent Data Corruprion.

[lertimir]

Potvrzuji, Nepřečte sektor, SMART hlási OK, a jen btrfs scrub to zachytí. Proto i v domácím prostředí přecházím na Ultrastary at již na HGST nebo nověji na Wd.

[PetebLazar]

Nepřečte úspěšně sektor a prohlásí že IO operace dopadla úspěšně, nebo jde o to že S.M.A.R.T. o chybném čtení nemá páru? To jsou dvě naprosto odlišné věci.

[PetebLazar]

Tomu se mi nechce věřit (nereportovaná CRC chyba z hardisku či řadiče). Druhým možným vysvětlením co mne napadá je, že jste neskutečný smolař (CRC Vám vyšel stejně i pro poškozená data).

K čemu by u comsumer HDD byl TLER,ERC,CCTL a další technologie (u RAID disků záměrně vypnuté), které se právě snaží ve stanoveném určeném čase (~7s) z Hammingova kódu typicky o délce 50B(pro 512B sektor) a 100B pro 4K sektor dopočitat správný obsah sektoru?

[Peter Golis]

Zbadáš, ak si budeš kontrolovať konzistenciu cenných dát a použiješ disky s najlepším pomerom cena/kapacita. I keď to neboli SMR. Šetriť sa neopláca.

No, u mňa to nebola jediná kópia. Takže škody boli rádovo len v čase na overenie dostupnosti dát a ich konzistencie v rôznych lokáciách. A v cene poškodeného disku ktorý mal približnú hodnotu jedného zábavného víkendu počas barovej sezóny.

[k3dAR]

[...] aj SW RAID má možnosť spustenia kontroly integrity poľa. Sú distribúcie ktoré to majú priamo v sebe, napríklad CentOS v /etc/cron.d/raid-check.

dela to same co /etc/cron.d/mdadm v (napr.) *buntu?

/usr/share/mdadm/checkarray --cron --all --idle --quiet

[Jendа]

Ano. Teda možná by se místo check hodilo provádět repair. A taky by někdo měl ty výsledky toho checku číst. Na druhou stranu check řekne, že našel tři bloky, které neseděly - a co jako s tím. Nevím, jestli z toho jde vyrazit, které bloky to byly, zjistit, do kterého souboru patří (plot twist: bude to swap nebo něco podobného a došlo k tomu tak, že se začala odkládat stránka, ale v tom okamžiku byla potřeba, tak se příkaz pro zápis zrušil, a jeden disk ho už vykonal a druhý ne) a porovnat se zálohou/originálem.

Ale problém jako je, že když ti fakt něco nebude sedět na RAID1 přes dva disky nebo na RAID5, tak nevíš, která kopie je špatně. Až u RAID6 by to šlo zjistit.

Všichni tu mluví o data corruption, ale ještě nikdo neukázal, jestli ten disk vrátí blok, ve kterém je jeden bitflip, nebo je to celé špatně, a jaktože tomu vyšlo ECC na disku a CRC cestou.

[Peter Golis]

Všichni tu mluví o data corruption, ale ještě nikdo neukázal, jestli ten disk vrátí blok, ve kterém je jeden bitflip, nebo je to celé špatně, a jaktože tomu vyšlo ECC na disku a CRC cestou.

Ako sa potom volá to, keď ten disk vráti blok plný binárnych núl namiesto pôvodne nahraných údajov, a vráti to to bez chyby? To asi nebude bitflip s exaktne definovaným X XOR (256-X).

[trekker.dk]

plot twist: bude to swap nebo něco podobného

Pár let zpátky mě tu někdo (M. Kubeček?) varoval, že swap na MD pole nepatří. Ani nikam jinam, kde k uvolnění paměti je zapotřebí alokovat paměť.

[Jendа]

Ale to je pak dilema mezi tím, že systém umře při výpadku jednoho disku (protože přijde o data ve swapu), a že se deadlockne při odkládání stránky na MD. Úmrtí disku jsem zažil mnohokrát, deadlock myslím nikdy.

[trekker.dk]

deadlock myslím nikdy

To já jo. Když jsem jednu dobu musel ležet v posteli a kurýrovat se, tak jsem na Linuxu hrál Wasteland 2 s minimálními požadavky 4GB RAM, a to na notebooku, co měl 2GB RAM. A starý rotační disk, kterému swapování hodně vadilo. Když jsem na svém desktopu vyrobil ramdisk, na něm soubor, ten nasdílel přes Sambu, přes loopback z něj udělal blokové zařízení a to připojil jako swap, tak se to po chvilce používání deadlocklo.

Takže tohle do produkce nedoporučuju

[Aleš Kapica]

Kdo by to čekal, že? 8-D

[Peter Golis]

Od tohoto bolo predsa iSCSI.

[Aleš Kapica]

Když už, tak bych pro podobné zvěrstvo použil NBD. Má to menší režii. Ale i tak do bylo dost naivní. Myslet si, že systém, který je donucen swapovat při tom zvládne síťový provoz. A ještě s tak bídnými parametry.

[lertimir]

Ty máš něco proti Trabantům? Ten motor se dá opravit skoro všude a dokud do něj teče něco co hoří s trochou oleje tak jede.

[trozsypa]

Jak už někdo psal, koukněte na FreeNAS/TrueNAS. Doporučuji. Záleží co všechno potřebujete rozjet, je to teda na FreeBSD; ale teď chystají verzi na linuxu.

Ohledně hardware: Supermicro deska s IPMI je fajn, ECC paměti (čím víc tím líp). Hodně se dá ušetřit nákupy z druhé ruky třeba na eBayi. Řadič např. LSI SAS 93xx (IT mode - RAID dělá ZFS, zvládá SATA i SAS), síť 10G je-li potřeba např. Mellanox ConnectX-3 (jinak na 1G nějaká serverová NIC Intel na Supermicro desce bude vždy), disky SATA něco lepšího s 4K sektorama. Na read/write cache nějaké SSD s NVMe. Pozor na počty PCIe linek, takové karty jsou většinou 4x nebo 8x. Pokud potřebujete i VGA, můžou začít PCIe linky chybět. Bednu třeba nějakou svoji starou; profi věci hodně topí a potřebují větrání. Pozor na kravál (pokud budete kupovat hotovou serverovou bednu). Taková konfigurace by měla vydržet dlouho.

[MP]

Podle mne jsou SAS disky tak drahe, ze uz se vyplati koupit rovnou SSD.

Co se tyce serveru...je nutne si zodpovedet...

1] rozpocet

2] administrace

3] pozadovane funkce

4] zalohovani

Pokud pouzity server, pro zminovane 6x2.4T SAS bych videl klidne neco jako HP DL380p G8 a usetrene penize dat do ssd.

Pokud novy server, tak klidne SM, ale doporucuji pak mit to cele slozene od dodavatele. Jinak se stane, ze nektere komponenty nespolupracuji v ramci IPMI.

Pripadne koupit hotove NAS/DAS reseni. Sam jsem par ulozist postavil a funguji, ale klidny spani z toho uplne nemam.

HW raid ma nektere vyhody, ktere zadny SW raid nema.

Filesystem takovy, ktery umite spravovat, pripadne od dodavatele.

[chinook]

SSD disky budou ještě dražší. Tak mám koupit SATA?

1) Rozpočet co nejnižší 2) Administrace ideálně přes konsoli, proto chci toho debiana. 3) Bude to file server, sdílet se bude bud na win PC přes SAMBu nebo na virt server přes NFS a dále přes sambu to ještě nevím 4) Zálohování RSYNCEM na jiný server, kde je BTRFS a tam se udělá snapshot Co znamená filesystem který umím spárovat? Právě nevím jestli použít HW raid nebo ne. Protože třeba u starého serveru je, ale pokud by odešel ten, asi ho už neseženu a k datům se nejspíš nedostanu. Aspon ne v dohledné době.

[Jendа]

HW raid ma nektere vyhody, ktere zadny SW raid nema.

Konkrétně? Jediné, co mě napadá, je baterková writeback cache.

Pripadne koupit hotove NAS/DAS reseni.

To bych taky důrazně nedoporučil. Člověk narazí jakmile bude chtít cokoli s čím výrobce nepočítal. Nebo za 5 let zjistí že to je nepodporované.

[MP]

Ano ta cache.

Dalsi veci jako - identifikace konkretniho disku (led), coz umoznuje i vymenu disku bez nutnosti cachrovat s prikazy sw pole, moznost menit typ raidu za chodu, v nekterych pripadech i sifrovani out-of-box s pripadnym predavanim klicu vzdalene atd...

[Jendа]

moznost menit typ raidu za chodu

To samozřejmě MD RAID umí taky (reshape), naopak u HW RAIDů je toto dostupné jen u některých modelů.

v nekterych pripadech i sifrovani out-of-box s pripadnym predavanim klicu vzdalene

To se řeší tak, že se na tom MD RAIDu udělá LUKS, a jako bonus nemáš proprietární neauditovatelné šifrování s dírama.

[Josef Kufner]

12 let starý znamená stabilní a osvědčený. Pokud výkon stačí, tak ho nech běžet. Jen vyměň 1TB disky za 8TB modely. Co jsem se díval loni na statistiky, tak právě 8TB modely byly nejspolehlivější.

[MP]

12 let stary je pravdepodobne

a] sata2

b] zrout energie

c] pomale aes

d] malo cpu jader

Pro virtualizaci asi nic extra. Nemluve o tom, rebuild R5 pole nad 8T diskama bude masakr.

[MP]

Navic tam ma SAS disky, to sehnat za rozumnou cenu v 8T...A to pole pravdepodobne neumozni mix sata/sas v jednom raidu.

[Josef Kufner]

Proto píšu "Pokud výkon stačí".

SATA2 za 1Gbps síťovkou moc nevadí. Disky stejnak dají tak 90 MBps, což je 720 Mbps. SATA2 dá 3 Gbps a tedy stačí.

Co se energie týče, před 12 lety už byly relativně úsporné kousky. Byla to doba, kdy honba za GHz už skončila a začalo se koukat i na spotřebu. Záleží, co tam má, ale je dost možné, že rozdíl nebude podstatný.

Chybějící podpora hardwarového AES se neprojeví na nešifrovaných discích.

Větší počet CPU jader není na NAS potřeba. Je potřeba hlavně DMA a slušné řadiče. CPU pak jen říká který blok dat kam překopírovat. Nižší rychlost pamětí a sběrnic bude spíš vadit.

Virtualizace záleží jaká. Kontejnery budou v pohodě, ty hardwarovou podporu nepotřebují. Virtualbox a podobné budou líné. Na file serveru to asi nebude vadit.

Rebuild pole bude trvat. To jo. Naštěstí se to nedělá moc často. Ty velké disky do nového serveru dá také, takže tady si nepomůže.

[j]

A proc pises o vecech, o kterych vis kulovy? To si jako myslis, ze ten raid se dela po siti? 12 let starej HW nema ve firemnim prostredi vubec co pohledavat, ten ma bejt uz mejmin 6 let v popelnici! Data na tom ulozeny maji hodnotu milionkrat vetsi nez je cena novyho HW.

A uz vubec nemel o spolehlivosti. Takovahle vec muze lehnout z minuty na minutu!

Navic je prakticky 100% jisty, ze ho to s vetsima diskama leda posle doprdele! To ze se ti bude sifrovat ta samba samo taky netusis ze? Win 10 pouzivaji smb3 a zatim v defaultu chteji jen podepisovani. Jen otazka casu kdy budou enforsovat sifrovani, nemluve o tom, ze opet ve firemnim prostredi pokud si firma nechce velmi nahlas rict o pekelne drahej flastr (radove drazsi nez jakejkoli HW) se to sifrovat MUSI. Protoze ses ze zakona povinen prijmout veskera opatreni k zabezpeceni dat.

---

Dete s tim guuglem dopice!

[chinook]

Výkon by stačil. Ale mám strach, že něco odejde. Třeba řadič. Proto to chci měnit. JInak bych koupil disky a bylo by to v pohodě.

[Josef Kufner]

Moje zkušenost je, že když něco vydrží 12 let, tak vydrží i několik dalších. Tedy pokud tam není nějaké mechanické opotřebovávání, které z principu má omezenou životnost.

Pokud něco odejde, tak je to spíš tak rok po záruce, nebo je to vadný kus a projeví se chvíli po pořízení.

Zamysli se takto: Když to odejde, ať nové nebo staré, co se stane? Kolik výpadku je přijatelných? Čím chcíplý server nahradíš? Pokud budeš vědět co dělat a že připravený scénář je firmě přijatelný, tak máš odpověď i na to, co se serverem.

Low-cost variantu vidím takto: Vyměň disky za větší, ponech starý server. Vytipuj si náhradní server, pokud by starý odešel. Něco, co je skladem a můžeš to v přijatelném čase sehnat a zprovoznit. Aby výpadek byl minimální, měj připravený nějaký starý šrot, který zvládne fungovat v přijatelné úrovni dokud nový server nezprovozníš. Prostě mít připravený scénář, co s tím když…

[Jendа]

Třeba řadič.

A přesně proto potřebuješ SATA disky a MD RAID (nebo ZFS nebo btrfs), abys za pár let nebyl ve stejné situaci s novým řešením. Pak to odejde a ty v Alze koupíš cokoli (nebo sekretářce ukradneš desktop) a jedeš.

[Semo]

OT: myslim, ze paticka by mohla byt este bombastickejsia (a stale pravdiva): Z textu toho PDF ("zpomalení dynamiky") by som tipoval, ze odhadovali 2. derivaciu. Stale to nema na Nixona a "jeho" 3. derivaciu, ale aspon sa blizia.

[Michal]

Gramatická vsuvka - píše se úložiště.

A ještě jedna pro autory Abclinuxu.

Zadejte vaše jméno nebo se přihlašte.

Píše se přihlaste. Přihlašte je chybný patvar.

[Aleš Kapica]

Nechci ti do toho kecat, ale mezi slovy "přihlášení" a "přihlásení" je docela zřejmý významový posun.

[Michal]

Této poznámce nerozumím. Raději tedy své tvrzení podpořím několika zdroji:

https://www.pravopisne.cz/2010/10/prihlaste-se-x-prihlaste-se/
http://www.nabla.cz/obsah/cestina/clanky/prihlaste.php
https://proofreading.cz/cestina-pod-lupou/prihlaste-nikoli-prihlaste/
https://www.facebook.com/Peknecesky/photos/a.1597548357159234/1607669199480483/?type=1&theater
https://www.mojecestina.cz/article/2016070703-cestina-letem-svetem-prihlaste-se

[Aleš Kapica]

To že se na internetu opakují tuny nesmyslů, je smutným faktem, nikoliv pravdou. Použiju jen jeden z těch tvých "zdrojů", protože pokud rozdíl v těch slovech neslyšíš a nevnímáš, tak to dál rozebírat nemá cenu.

Na stránce https://proofreading.cz/cestina-pod-lupou/prihlaste-nikoli-prihlaste/ se uvádí tvary rozkazovacího způsobu dokonavého slovesa „přihlásiti“, tedy ohlásiti někoho k nějakému úkonu, oznámiti něčí přítomnost. Kdežto přihlášení vychází z nedokonavého slovesa „přihlašovati“, tedy ohlašovati někoho k nějakému úkonu, oznamovati něčí přítomnost.

Kurzívou uvedené citace pochází z 9 svazkového Příručního slovníku jazyka českého, vydaného Státním nakladatelstvím v Praze 1944–1948 (díl IV, část 2 str. 321–322).

[Michal]

Autor ABC ale chce, abych se (dokonavě) přihlásil. A proto je správně jedině přihlaste se. Kdyby chtěl, abych se (nedokonavě/pravidelně) přihlašoval, pak by to musel napsat právě takto. Nedokonavé přihlaste se je nesmysl.

[Aleš Kapica]

Seš mimoň.

[...]

Nooo, ten mimoň to ale má správně Na rozdíl od tebe.

https://prirucka.ujc.cas.cz/?slovo=p%C5%99ihla%C5%A1ovat

https://prirucka.ujc.cas.cz/?slovo=p%C5%99ihl%C3%A1sit

[Aleš Kapica]

Sorry. Viz výše. To že současní "jazykovědci" vycházejí vstříc mantákům co nejsou schopni slyšet ty rozdíly je spíš smutné.

[Tomtom]

Aha. A ten vtip znas? Jede chlapek po D1, slysi z radia upozorneni, ze po D1 jede jeden blazen v protismeru a mumla si pro sebe: "Jak jeden?!? Vsichni krome me!"

Ted uz vim, ze to neni vtip - jsi zivym dukazem, te se to stava IRL

[Aleš Kapica]

Od osoby, která v životě neslyšela o diakritice to fakt sedí.

[Tomtom]

Sel jsem s tim za manzelkou, ktera by o tom neco mela vedet (alespon doufam ), kdyz to uci budouci ucitele a dela korektury knih. Potvrzuje, ze mimon 1 : Kapica 0.

[Aleš Kapica]

Za tohle by se teda měla spíš stydět.

[j]

Naco to chces? Co znamena "vetsinou zvlada"?

Sas ma smysl pouze v pripade, ze mas odpovidajici zelezo, tzn dva radice, nebo hodne disku. Jinak je to prakticky nanic. Nic tim neziskas. Kupodat jakykoli disky nad 7k2 je kravina, cena zcela nesmyslna, a libovolny SSD ti da radove vic vykonu.

Kolik disku do toho chces dat i vyhledove? Mel bys to navrhovat tak na 5-7 let. HW raid je dozivajici technologie. Do malych poli to smysl dava, ale do cehokoli s vice diskama ne. Jednoduse je to strasne neflexibilni, nepridas si jeden nebo dva disky.

Davat nfs pred sambu je kravina. Kdyz uz, tak se disky pripojujou pres iscsi. Co se vlastniho FS tyce, rozhodne chces neco, co ti umozni delat snapy, a rozhodne nechces ZFS. Proc? Protoze opet, jeden disk si tam nepridas (a kdyz se to podela, tak naprosto dokonale). Takze mas na vyber mezi btrfs a btrfs. A mas vyresenej i ten raid.

Co se tyce skladacka vs hotovej stroj, to zelezi na tom, jestli chces mit na koho ukazat, az se neco podela. Protoze u skladacky to budes ty.

A velice podstatny ... jakej na to mas rozpocet?

---

Dete s tim guuglem dopice!

[chinook]

Zvládá znamená to, že všem data poskytuje plnou rychlostí. ALe občas se stane, že delší soubory se kopírují o trochu déle. Ale to je fakt jen občas. Není v tom problém. SSD bude moc drahé. Koupím tedy SATA. 10k je zbytečné?

Jak je na tom BTRFS v debianu ted? Dříve tam bylo upozornění. BTRFS is an experimental filesystem, use at your own risk. Rozpočet nemám žádnej, ale čím levnější to bude tím lepší.

A snaphsoty asi nepotřebuji. Na záložním stroji mám BTRFS.

[Jendа]

Jak je na tom BTRFS v debianu ted?

Používal bych aktuální kernel a btrfs-utils (z backports) a tím to převedl na problém „jak je na tom btrfs kdekoli“. No: single a RAID1 už v pohodě, RAID5 ne.

[lertimir]

No záleží na požadované rychlosti, kapacitě, výkonu. Asi bych volil nějaké NAS jako třeba tohle pustil nad tím virtualizaci a pak měl OS podle volby. A disky také podle volby. A nebo silnější nas Nebo miror mezi 2 systémy ve dvou místech jako HA. Dal bych tomu přednost před vlastní stavbou. Supermicro by mě zajímalo tak od 100TB kapacity výše.

[Max]

Šel bych cestou Supermicro, druhů šasi mají nepřeberně, 8x 3,5" z čela, nebo 12x 3,5" z čela (2U velikost), nebo pak 4U velikosti s mnohem větším počtem.
A pak je otázkou, co čekáš od toho úložiště, jakou výslednou kapacitu potřebuješ a jak velký výkon v IOPS potřebuješ. Od toho se pak odvíjí, zda jít cestou nějakého řadiče s cache, nebo nějakého LSI HBA apod.
Zdar Max

[chinook]

Výkonově to bude zvládat, když to ted zvládá server se 4GB RAM s disky 4x1TB 3,5palcu 7200ot SAS v raidu 5.

Co si myslíš o této variantě?

Koupil bych 6x WD Gold 8TB 3,5palcu 7200ot SATA Mám jen 1GBIt sít, tak by sata mělo stačit, ne? zapojil bych to do RAID 10. Získal bych tedy kapacitu 24TB. což je 4x víc než jsem původně plánoval.

RAID bych použil SW na debianu. Nad to LVM. Filesystem EXT4 a sdílel bych přes sambu. Nebo připojit k virt serveru přes ISCSI?

A železo bych použil toto: https://www.czech-server.cz/dell-poweredge-r720-12-core_x23677.html

A vše koupil 2x a propojil přes DRBD. Abych zamezil výpadku použitého HW.

Zvládne ten server 8TB disky?

A do starého serveru bych koupil 8x8TB disky ty stejné. Nainstaloval tam debian na BTRFS a použil jej na zálohy. Jaký tam použít raid?

[dustin]

U takhle velikých polí se opravdu podívej na ZFS. Např. synchronizace mdadm bude trvat tak 20 hodin. ZFS synchronizuje jen data, takže zpočátku prázdný filesystém bude hned. Výměna disku v ZFS je z mé zkušenosti jednodušší než v mdadm. Raid10 mdadm a ZFS má stejnou redundanci.

Hlavně pak oceníš snadné zálohování - snapshoty, send/receive třeba na pole externích disků, atd. Je s tím úplně jiná práce než s mdadm.

Na SAS92xx (6Gb/s) mám 6TB disky, 8TB zřejmě také OK. Na starších (3Gb/s) mi to víc než 2TB nerozpoznalo.

[chinook]

To přeci není problém, že se bude pole synchronizovat 20h. Nebo ANO? A snapshoty mně žádnou výhodu nepřinesou, když to budu každou noc rsyncem přenášet na server kde je BTRFS. Zase se mně nechce učit ZFS a spustit to na produkčním prostředí, když to neznám. Protože to nebudu používat často a plno věcí kolem toho zapomenu až to bude potřeba.

[dustin]

Raid10 s jedním vypadlým diskem nemá žádnou redundanci. Je víc než vhodné minimalizovat dobu takého provozu. 20 hodin je dost, pokud to není nezbytně nutné.

Rsync je fajn, ale dobrá záloha je datově konzistentní. Až bude tak velké pole plnější, pojede rsync docela dlouho, obzvláště na pomalých HDD. Než dojede, uživatelé nahrají/smažou/změní spoustu souborů. To se u snapshotu nestane. Tam může jet rsync klidně dva dny a pořád jsi v pohodě. Až dojede, udělá se snapshot znovu a rsync jede další kolo.

Máme takto zálohovaný legacy mail server na ext4 (rsync -> backuppc pro deduplikaci a udržování "aplikačních" snapshotů). Na serveru jsou desítky miliónů souborů a záloha trvá hodně hodin. Maily v záloze nejsou konzistentní, což není dobře. Pokud bych dnes ten server dělal, rozhodně bych použil filesystém se snapshoty. Protože mě btrfs stále nepřesvědčil, použil bych zfs. Ale pro tento účel by asi fungovalo obojí.

Ohledně zapomenutí - stačí si napsat použité příkazy třeba na firemní wiki. Servery by stejně měly mít svou dokumentaci. Ale je to tvá věc, jen píšu své zkušenosti s podobným řešením (stavěná pole, sw raid, open-source zálohování).

[chinook]

No Ok. Tvoje argumenty jsou zajímavé a možná to ještě přehodnotím. Zvládne ten server ZFS? Bude stačit u tak velkého pole 16GB RAM?

[Max]

U ZFS je doporučováno 1GB ram na 1TB dat. Reálné využití je pak samozřejmě nižší, viz : ZFS : Stavba a zkušenosti se ZFS storage.
RAIDZ by v tvém případě byl nepoužitelný (= pomalý), takže jedině vdevy alá RAID10.
ZFS se umí poprat i s dost špatnými disky (vadné bloky atd.) a dokáže nad tím fungovat.
Aby jsi to měl ale opravdu ok, tak je dobré používat HBA, aby ZFS mělo přímý přístup na disky a ty do SMARTu těch disků.
Zdar Max

[dustin]

Když nezapneš deduplikaci (defaultně vypnutá), tak IMO úplně v pohodě. Rychlost můžeš pak případně tunit kešemi na SSD.

Ale také souhlasím, že standardizované synology je v tvém případě velice dobrá volba, protože je vše hotové, dobře zdokumentované a hlavně provoz pole pak nezávisí na tobě. Pro firmu rozumnější.

[trekker.dk]

20 hodin je dost, pokud to není nezbytně nutné.

20 hodin je optimistický odhad v případě, že ten disk nedělá nic jiného a může synchronizovat sekvenčním čtením a zápisem. Pokud bude dělat něco jiného - jako například to, kvůli čemu v tom serveru je - tak to bude víc

[chinook]

Ale to přeci ničemu nevadí, ne? Když budu mít druhý server připojen přes DRBD. I v případě, že by mně vypadl další disk, tak furt mám data na druhém serveru.

[trekker.dk]

Práce s tím bude pomalá - běžný provoz se vám bude tlouct s tou synchronizací. Nevim, jestli DRBD lze přesvědčit, aby preferovalo vzdálený disk, i když lokální funguje, to by pořešilo čtení. (Nebo tam mít cluster a přehodit tu Sambu, akorát je otázka, jak se na to budou tvářit klienti.) Zápisy ale vždycky musíte udělat na všechny disky včetně těch, co se synchronizují.

Ještě je taky trochu otázka ekonomičnosti takového řešení - v podstatě stavíte RAID1 a máte stejné kopie dat na 4 discích, což je docela luxus (Nicméně pokud to není problém, tak nic proti tomu.)

[chinook]

To je vlastně pravda. To jsem si neuvědomil, že to zpomalí i ten druhý server. Zase jsem si říkal, že bych udělal dvě pole a každé provozoval na druhém serveru. Tudíž by disky mohly být více vytížené.

Co tedy doporučuješ použit Ty?

Samozřejmě by bylo ideální provozovat jeden server. ALe moc nevěřím serveru, který koupím někde za 6tis. plus disky do něj.

[trekker.dk]

Já doporučuju jen to, co jsem sám vyzkoušel - takovéhle úložiště pro produkci jsem ještě nestavěl, takže nedoporučuju nic

[dustin]

Spočítej si, kolik ten druhý server prožere na elektrice. Koupil bych druhý za pár šupů do skladu a kdyby první umřel, přehodíš disky do druhého a do hodiny jedeš.

[MP]

Pokud se budeme bavit o drbd8, tak pokud je pole vytizene, tak synchronizace je pomala. A pokud nad tim polem jsou nejake VM, tak se to projevi vysokym loadem ve VM - zalezi na tom, zda je drbd nad lvm nebo obracene.

My mame v provozu 2 typy reseni:

1] starsi

- drbd je nad lvm, takze oba servery jsou primarni pro VM a syncuji se na druhy, neflaka se tedy ani jeden

- nevyhoda tohoto reseni je X konfiguraci drbd kvuli kazde VM atd.

2] novejsi

- lvm je nad drbd - v tomto pripade se jeden server skutecne "flaka", je to kvuli HA nfs serveru

U drbd9 se situace dost meni. Ma to urcite vlastnosti, ktere 8 nema - napr. je mozne mit VM spustene na serveru1 a drbd pripojene na serveru2. To na drbd8 out-of-box nelze.

Co se tyce vypadku. V posledni dobe nam kvuli nejake chybe na disku vypadavala jedna VM drive nezazitym zpusobem. Primarni disk se stal diskless a vzdaleny sekundarni se v tom okamziku pouzil pro beh VM. Podobne jako v drbd9. Obvykle nam pri vypadku drbd pacemaker prehodil VM tam, kde byl funkcni disk. Nevime, proc se to zacalo chovat jinak...

Kup Synology (nebo něco podobného). Tam si všechno nastavíš na webovém rozhraní a můžeš zapomenout. Kup dvě, tak budeš mít synchronizaci i náhradu pro případ problémů. A i když koupíš jenom jedno, tak pořád můžeš automaticky zálohovat proti starému serveru.

Dáš tam doporučené sata disky. Případně také doporučené SSD disky jako diskovou cache. Nebo též maximum paněti, co se tam vejde...

A pokud budeš náhodou potřebovat virtualizovat nějaký server, tak to můžeš pustit přímo na tom Synology nasu.

[Jendа]

Kup Synology (nebo něco podobného). Tam si všechno nastavíš na webovém rozhraní a můžeš zapomenout.

A jakmile bude chtít cokoli jiného, tak se z toho ***. Třeba to konzistentní zálohování ze snapshotu. Nebo tam bude blbá verze rdiff-backup. Nebo nepůjde udělat RAID přes druhé půlky větších disků a přidat ho do LVM. Nebo…

Třeba to konzistentní zálohování ze snapshotu.

Snapshoty to umí.

Nebo tam bude blbá verze rdiff-backup.

rdiff-backup můžeš mít stejnou verzi, jako na debianu nebo arch linuxu.

A pokud chceš zálohovat z jednoho systému na jiný systém, který se liší četností updatů, musíš stejně sám nějak zajistit, aby se ti ty verze zálohovacího softwaru nelišily takovým způsobem, aby už nešly proti sobě použít.

Nebo nepůjde udělat RAID přes druhé půlky větších disků a přidat ho do LVM.

To umí Synology už asi milión let.

Ale nikomu nic nenutím. Jenom jsem vyjádřil názor. Názory se mohou lišit. Například 25 letý administrátor může mít na věc jiný názor než 55 letý. Protože ten mladý se v tom bude třeba vyžívat, zatímco ten starší už bude chtít mít klid a nic navíc neřešit. A ten klid může spočívat v tom, koupit hotové řešení. Synology se NAS servery žíví, takže tam na tom patrně pracuje víc lidí, než ve firmě, která má třeba jen jednoho administrátora a ještě k tomu externího.

[k3dAR]

tak tazatel JASNE napsal co ma (a NEni to hotovej NAS) a co chce (a NEni to hotovej NAS), proc by mel prechazet z funkcniho reseni s kterym je spokojen a ma ho plne pod kontrolou na reseni 3rd firmy ktera klidne at se tim zivi, NEnabizi to co on dotazuje?

[Jendа]

OK, tak to asi pokročilo, nebo jsou jejich větší věci lepší než 2diskové SOHO krabičky. Tam byl omezený Linux s busyboxem. Pak jsem měl ještě nějakou 4diskovou věc od WD a tam byl pro změnu Debian nakombinovaný z balíčků od Woody (!!!) po Squeeze a výrobcem dodaný kernel 2.6.39, ale kupodivu Stretch v chrootu fungoval.

Snapshoty to umí.

OK, a dělají se normálními tooly (lvcreate -s, příp. btrfs snapshot), nebo se to rozbije když to člověk neudělá přes jejich „centrální mozek“? V tom bych taky viděl problém, že to bude dost jiné, než co tazatel do teď má, a nepůjde k tomu tolik vygooglit, protože uživatelská základna je menší a 90% z toho jsou BFU.

A pokud chceš zálohovat z jednoho systému na jiný systém, který se liší četností updatů, musíš stejně sám nějak zajistit, aby se ti ty verze zálohovacího softwaru nelišily takovým způsobem, aby už nešly proti sobě použít.

No to já dělám právě tím, že mám všude Debian . Jestli to chápu, tak řešení u Synology je mít chroot/kontejner s Debianem, no to člověk může mít ten Debian rovnou (a ještě bude mít podporovaný debianí kernel).

A ten klid může spočívat v tom, koupit hotové řešení. Synology se NAS servery žíví, takže tam na tom patrně pracuje víc lidí, než ve firmě, která má třeba jen jednoho administrátora a ještě k tomu externího.

Zrovna se ve vedlejší diskuzi řeší, že si někdo koupil takové hotové řešení od velké firmy co NASy dělá, a teď z toho neumí dostat data, protože to má bizarní konfiguraci a patchnuté nekompatibilní nástroje. Synology pro změnu třeba kdysi patchovala ext3 aby byl case-insensitive…

[chinook]

Taky mně nějak uniká, proč bych si měl kupovat neznámý NAS o kterém nic nevím, se systémem o kterém nic nevím. Místo řešení které již používám 10 let. Jsem s ním spokojen a nemusím se v podstatě nic učit. A postavit se na něm dá cokoliv.

[Max]

WD Gold se už nedělá, ne? Místo toho je WD Ultrastar DC HC320 8TB. A myslím, že tohle je už Heliový disk a podle jedné firmy, co dodává disky ulozto, mají heliové disky strašně malou poruchovost a nižší teploty.
Zdar Max

[trekker.dk]

WD Gold se už nedělá, ne?

Nedávno jsem ho koupil do desktopu v CzC v 2TB variantě.

[chinook]

Na alze byl výprodej, ale koupím ten co říkal MAX. WD Ultrastar DC HC320 8TB

[PetebLazar]

https://www.svethardware.cz/disky-wd-gold-pro-datova-centra-se-vraci-na-trh/50256

Ty ukončené snad byly ... FYYZ (aspoň u 4TB),

https://www.softcom.cz/eshop/wd-gold-raid-wd4002fyyz-4tb-sata-6gb-s-128mb-cache-_d181718.html

ty aktuální jsou ....KRYZ/FRYZ/FBYZ.

https://www.westerndigital.com/products/internal-drives/wd-gold-hdd

https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/internal-drives/wd-gold/product-brief-wd-gold-2579-810192.pdf

[trekker.dk]

A do starého serveru bych koupil 8x8TB disky ty stejné. Nainstaloval tam debian na BTRFS a použil jej na zálohy. Jaký tam použít raid?

Podle jednoho z vývojářů Btrfs jsou jiné režimy než RAID1 v Btrfs nespolehlivé, takže buď RAID1, nebo mít Btrfs nad MD, což vám tady asi budou rozmlouvat ti, co Btrfs používají. Nemluvě o tom, že RAID5 nad 8 disky je na můj vkus dost nebezpečné (na selhání disku při obnově po selhání předchozího disku) - což si musíte zvážit, jestli by se to na stroji, kde jsou jen zálohy, zkouslo.

[chinook]

Co tedy doporučuješ? Na zálohy je to tedy jedno. Nevěřím tomu, že přijdu o data na produkčním serveru a hned na to přijdu i o zálohy.

[PetebLazar]

Asi neznáte kolegu Murphyho, ten by možná řekl že průsery se typicky řetězí.

Při větším počtu HDD bych zvážil minimálně RAID6 (redundance dvou HDD) s dalším HDD jako hot-spare, případně RAID-Z2 pokud jste věřícím (máte víru v pokročilé sofistikované filesystémy).

Teď jsem u zákazníka oživoval QNAP TS-673 na relativně malé periodické zálohy (a' jednotky-desítky GB) s delší retencí. Osazeno 6x Seagate 7E8 6GB (4x HDD v RAID6/EXT4 + hot-spare + povysunutý "cold-spare"). Zatím z toho mám vcelku dobrý pocit, ale na hodnocení z provozu je zatím brzo. Pozn. Rebuild 11TB RAID6 trval odhadem asi 12hodin.

[Jendа]

Disky asi 6x2,4TB 10tis. ot. SAS?

Co si od toho slibuješ? Je to strašně drahé (možná už víc než consumer SSDčka, ne?), co to přinese? Jenom problémy: když ti odejde SATA disk, tak náhradní koupíš v sobotu v noci ve večerce (v Alze). SAS? Hůř. Když ti odejde řadič nebo celý stroj, nebude stačit pro zpřístupnění dat přeskládat disky do libovolného desktopu nebo připojit přes USB-SATA převodník, ale budeš shánět SAS, který nikdo nemá.

Potřebuji HW raid?

V žádném případě. Opět pouze problémy: pole nepůjde složit v libovolném jiném počítači. Řadič téměř určitě nebude podporovat, že až si koupíš dva 8TB disky, tak na jedné půlce bude to původní pole a na druhé půlce si uděláš RAID1 nebo si to zpřístupníš jako místo bez RAIDu pro dočasné soubory. Řadič téměř určitě nebude podporovat reshape RAIDu na jiný počet disků nebo jiný RAID level. Jakmile se cokoli rozbije, kvůli nedokumentovanému formátu bude téměř nemožné to opravit. Funkce jako write-intent bitmap záleží na vyspání výrobce. Výkonový zisk je minimální, rotační disky jsou oproti dnešním řadičům a CPU směšně pomalé.

Je ideální na toto RAID5?

Nevím, jestli resilvering 6 disků v degradovaném stavu už není moc rizikový. Pokud ti nevadí nižší spolehlivost a potenciální nutnost obnovovat zálohy, tak bych do toho šel. Jinak ne a udělal bych RAID6 (což je prý pomalé) nebo 50.

Protože od DELLu to vyjde dosti draho. Pohlížel jsem na supermicro. Má někdo nějaký tip kam se narve hodně disků a bude to dostatečně spolehlivé? Nebo raději mám investovat a jít do DELLu a vše nechat složit u nich?

Já mám s enterprise systémy dost blbé zkušenosti. Samozřejmě cena, kdy za to postavíš 2-3 skládačky a můžeš je mít jako horkou zálohu. Náhradní díly z eBay, nebo platit support, který je po pár letech dražší a dražší. Těžko vyměníš komponenty za libovolné jiné. UX kdy to bootuje 10 minut. Jediné co ocením je vzdálená konzole, ale zjistil jsem, že není v ceně, a stojí tolik, že si za to můžeš koupit nějaké KVM-over-IP a ještě ti zbyde, a dva zdroje. A ještě jsem měl nějaká traumata, která už jsem vytěsnil. Nevypnutelný monitoring větráčků, kde když jich není plný počet, tak to prostě nejede, místo aby se to podtaktovalo jako normální počítače.

[trekker.dk]

Jediné co ocením je vzdálená konzole, ale zjistil jsem, že není v ceně, a stojí tolik, že si za to můžeš koupit nějaké KVM-over-IP a ještě ti zbyde, a dva zdroje.

Tohle u Supermicro desek je v ceně a na serverový hardware jsou cenově docela přijatelné - 10-15kKč za dva sockety a 2 10Gbit síťovky (které nevyužiju ) Akorát teda začali hřešit na to, že jsou asi jediný výrobce, který vám dodá šasi s tolika sloty na disky, kolik se tam vejde. To pak neprodávají jako díly, ale jako celé sestavy, takže za ostatní komponenty zaplatíte marži jim a ještě prodejci, který vám to dodá

Ale tam, kde to nedělají, je to standardní ATX hardware, takže si můžete osadit, co chcete

S tím HW raidem a SAS disky souhlas - HW raid jen, když není jiná možnost, tj. když opravdu nutně potřebujete rotační disky za tou baterkou.

[k3dAR]

btw: ASRock Rack ma take free IPMI, zkusenost mam s nekolika C2550D4I, 12x SATA onboard, pouzite pro 7x HDD(RAID1+RAID6) a 3x SSD(RAID1+RAID0), (minimalne)na teto desce bezi IPMI na dedikovanem ARM CPU nad linuxem

[PetebLazar]

Není to pro daný účel trochu riziková platforma? https://apps.nsa.gov/iaarchive/library/ia-advisories-alerts/faulty-intel-atom-c2000-processor.cfm

[k3dAR]

no z 4 desek odesla 1 (asi po 2letech provozu, nekdy pred 3? lety), s tim ze se proste prohodila ze zalozniho serveru a koupila nova, o jedne z nich uz nic nevim par let, ty zbyle 2 (tedy jedne manena pred 3(?) lety a jedna co jede 5let) si jednou nonstop...

takze (sice z maleho vzorku) to neni moc rozdil oproti cemukoliv jinemu "neporuchovemu", s tim ze to same CPU (vcetne tebou uvedeneho mozneho problemu) meli ve sve dobe i ty SuperMicro desky a dalsi vec je ze dnes bych asi kouknul po aktualnich modelech co ASRock v rade Rack s free IPMI nabizi...

[MP]

Ja bych tazateli doporucil jeste jednu vec. Pokud Nepotrebuje ciste uloziste, ale vyhovoval by mu vice mix uloziste + nejaka ta VM, tak bych sel do proxmoxu. ZFS to umi, sync, na druhy node taky, administraci to ma slusnou, atd. Takze libovolne server zelezo (pro zfs s HBA a ne s HW RAID).

[pavele]

Už jsou updaty Proxmoxu zdarma, nebo je to pořád placené?

[Max]

Updaty byly vždy zdarma. Pokud myslíš fixy na týdenní bázi, nebo jak to mají, tak to samozřejmě ne. Otázkou je, zda tě to nějak vůbec musí trápit?
Zdar Max

[pavele]

Možná se pletu, ale update stable verze jsou placené, zdarma je rolling-update = mít vždy nejnovější verzi. Nebo to tak není?

[Max]

Můžeš updatovat po těchto skocích, viz Release Notes. Se Subscriptions máš přístup do repositáře proxmoxu (Enterprise repository). Každopádně podle dostupných informací to nevypadá, že v rámci ent repa by jsi se držel jiné větve. Spíše ti tam asi budou přistávat fixy, které by se k tobě bez placení dostaly jen pomocí nového release (jednou za půl roku?). Mohu se plést, ale vypadá to tak, jak jsem napsal.
Zdar Max

[MP]

Pletes se Maxi. Veskere fixy jsou v non-subscription, protoze je to test verze. Enterprise verze je o supportu + vetsi testovani/zpozdeni nasazeni novych veci/fixy.

[Max]

Díky za vyjasnění.
Zdar Max