OpenZFS 2.3.0

OpenZFS (Wikipedie), tj. implementace souborového systému ZFS pro Linux a FreeBSD, byl vydán ve verzi 2.3.0. Přináší RAIDZ Expansion, Fast Dedup, Direct IO, JSON a Long names.

14.1. 02:33 | Ladislav Hagara | Nová verze

Komentáře

[Heretik 《小魔神》]

Velká škoda, že Linus Torvalds po celé roky nedokáže překousnout vlastní osobní pýchu, aby přijal ZFS do jádra.

Linux by konečně mohl mít opravdový souborový systém. Namísto směšných imitací souborového systému.

[Tom K]

škoda, že někteří lidé umí psát, ale ne číst.

https://openzfs.github.io/openzfs-docs/License.html

The Linux Kernel is licensed under the GNU General Public License Version 2 (GPLv2). While both (OpenZFS and Linux Kernel) are free open source licenses they are restrictive licenses. The combination of them causes problems because it prevents using pieces of code exclusively available under one license with pieces of code exclusively available under the other in the same binary. In the case of the Linux Kernel, this prevents us from distributing OpenZFS as part of the Linux Kernel binary. However, there is nothing in either license that prevents distributing it in the form of a binary module or in the form of source code.

[Max]

Kde jsi k tomu prosím tě přišel? To není o Linusu ani ZFS, to je o Oracle, který ZFS odmítá přelicencovat, aby byl kompatibilní s GPL, co je v kernelu.
Linus jen nechce porušovat GPL.
Jinak Linux má pro menší nasazení btrfs (pc, ntb, sbs servery apod.). Pro velké storage řešení (stovky disků) má ZFS (Linuxové projekty, jako např. TrueNAS SCALE staví na Linux+ZFS, to samé třeba QNAP) a stejně tak si ty můžeš patchnout kernel a mít ZFS, nebo použít distribuci, co ti ZFS zpřístupní. Např. Proxmox má v sobě také podporu ZFS.
Zdar Max

[..... Izak .....]

OMG - ZFS nikdy, nema to nastroje na opravu a kazda havarie FS konci smazanim a obnova ze zalohy --- to si tahle dal jeden clovek ZFS na 200TB diskove pole a pak tech 200TB obnovoval z LTO pasek ... a presel radeji na XFS

WOW ZFS pote, co me vyhodili z Oracle fora, teda nevyhodili, smazali prospevky, ze chci expand zraid ... kde mi rekli, ze to zadne enterprise reseni nema, tak jsme se jen zeptal treba NetApp ? - a uz me mazali - a neb kdyz kecaji kecy s profikem a na jeho argumenty nemaji argumenty a to se vyslovne ptali na navrhy novych funkci ... a tez mi neverili, ze se zfs podela a nejde nahodit, nijak - pry mam spatny HW - no byl to HPE server s ECC RAM a svete div se FC diskove pole od IBM stredni stridy - problem nastal pri zasahu blesku, vse bylo ochraneno, ale spadlo to, pole vse hezky opravi, ma na cache baterku ... ZFS ne, co bylo v RAM serveru se ztratilo - neb padla UPS - nepustila nic pryc, ale na prepeti reagovala vypnutim - logicky slo to hromosvodem vedle serverovny, primy zasah do budovy je zabava ... no a ZFS se dostal do nekonzestintniho stavu a hadejte

BTRFS je uplne v pohode, jen ne z RAID5/6 ... takze mam SW_RAID je lepsi nez ten v LVM2 - ale efektivne je to skoro jedno - a na nem BTRFS s 2x tabulkou, metadata mam DUP, data single ... lidi rikaji, ze maji i raid5/6 - zde BTRFS funguje, ale ze to pada, tak ze MUSIM mit metadata na kazdem z disku - pak to snadno opravi utilita.

Tez mam propblem s BRTFS s kompresi a deduplikaci - ze kdyz nabiha, trva to pres 1 min a Linux timeoutoval, stacilo dat do fstab parametr pro timeout : x-systemd.mount-timeout a bylo po problemu ... vyhody BTRFS ze umi to co NetApp a tedy i jehio pokus o kopii ZFS ... snapshoty, reflinky, dokonce ma i binarni replikaci na vzdaleny BTRFS ala snapvault/snapmirror z netappu - tedy bud 1:1 nebo jako snapvault i verzovani ... btw reflink a deduplikaci ma i XFS - kompresi davam slabou, slaba komprese na btrfs skoro nic nespotrebuje, zato texty zkomprimuje dobre ... vyssi level nez 3 uz dost zpomaluji, idelani je tak 1 max 2

[RealJ]

Ze te vyhodili z nejakeho fora ti klidne verim, ty sracky ktere pises vyzaduji leky na predpis. BTRFS jsem zatim nikde na mission critical systemech nevidel, prekvapive tam jede ZFS nebo NTFS (ja vim). ZFS provozuji doma na 1PB+ storage snad 10 let, kdyz jsem ten storage stavel tak mel neco pres 300TB a prekvapive jsem ho dokazal upgradovat i bez raidz expansion. Dalsi zalozni storage v jine lokalite mam taky postaveny nad ZFS a prekvapive to prezilo vypadky u synchronizace, vypadky napajeni, vymenu HW, upgrade HW,... jo, obcas se neco podelalo ale nikdy ne do stavu ze bych musel obnovovat ze zalohy.

[Want]

Kecáš! Že prý 1PB, ZFS má limit 256TB idiote!

[vlk]

kecas, logicky partisna: 128bit adresa, subor 64 bitova adresa, vole!

[RealJ]

Jasne Alesi... a co stolice dnes, byla?

[Harvie.CZ]

ZFS nema nastroje na opravu proste proto, ze pokud ZFS opravit jde, tak opraveni provede automaticky. Narozdil od EXT4 neni nutne se bat, ze oprava poskodi data, protoze ZFS ma checksumy dat a vidi do jednotlivych disku v raidu a muze si porovnat, ktera kopie je korektni.

Pokud se ZFS rozbije tak moc, ze se automaticke obnoveni nepodari, tak by vas nezachranilo ani neco jako fsck.zfs...

[Max]

Jedna bába povídala, ne? Mám hafec hafec let zkušeností se ZFS, dokoknce poslední rok testuji, jak se chová na vadných diskách, zda to umře, nebo ne. Testuji to na vadném hw už přes rok a to ZFS ne a ne umřít. A ano, už to vypadalo nadějně, když 6 disků začalo vyhazovat chyby, pool padnul, ale po restartu servery, reimportu apod. proběhl scrub a data ok. Takže ZFS má mou plnou důvěru.
Jinak tvé dotazy jsou dotazy asi člověka, co o tom ví houbelec a ten tvůj člověk bude asi také pěkný jelito. Pardon, ale sundat ZFS lze jedině fakt mega moc špatnými rozhodnutími jako provoz na nevhodném hw, rozhodnout se používat dedup bez dostatečně volné ram atd. atd. atd.
Třeba pitomost jako zapnout dedup na storage, kde pro to není ramka, znamená, že ten pool nebudeš např. moci ani připojit, dokud prostě nedoplníš fyzickou ram. Takže pokud je člověk jelito, co o tom ví kulový, tak dopadne stejně jako u jakéhokoli jiného řešení, o kterém bude též vědět kulový.

Jinak ten tebou milovaný NetApp, je taktéž dávno překonán a asi nejsem sám, co si to myslí, když se před hafec lety začal stahovat z x trhů. Že by nějaká špaténka?
Zdar Max

[RealJ]

"kde pro to není ramka, znamená, že ten pool nebudeš např. moci ani připojit" - potvrzuji, jednou jsem se do toho dostal.

[Peter Golis]

reimportu apod. proběhl scrub a data ok

Nemal tam byť prvšie resilvering ak tie disky podochli a bolo dosť rezervných diskov?

[Vantomas]

Neznám Maxův příběh, ale já se do podobného stavu dostal třeba když už byly unavené konektory na SATA kablíkách a při výměně jednoho disku a při dotyku ostatních kablíků povypadávala půlka dalších disků v poli. Pak je filesystém označí jako fault, protože třeba zmizely a objeví se až po rebootu. V takovém případě pak úplně není důvod resilverovat na jiný disky, protože těm fyzicky nic není.

[Peter Golis]

Ja som také prasačiny robil pred rokmi vo VM kde som za jazdy odpájal a pripájal disky. Ak si dobre pamätám, tak sa mi resilvering zapol sám, mal som spare. A vydržalo to dosť skutočne krutého testovania.

[..... Izak .....]

LOL LOL LOL - tak jiste, vsichni lidi jsou idioti, co si neumi precist, ze maji pridat RAM - coz je dalsi vec, co je uplne na hovno, meli jsme NetAppy se stovkami TB a nakonec i nejake PB - a inline deduplikace tam na full flash probiha bez nutnosti navysovat RAM, dela proste snapshoty a resi to procesem, ktery bezi porad dokola, na spindle to resi procesem, podle velikosti se to poustelo co hodinu, den, nektere jen jednou tydne - protoze to bezelo 3 dny

Srovanvat NetApp se ZFS muze jen uply neznalek - proto mi za ten NetApp zaplati sluny plat a tebe by vyhodili se svym ZFS i od pohovoru )

se ZFS vzdy prisli lidi ze stredniho segmenty, kde meli nejaky ten IBM FAS, DS400/600 etc. ... a tam se jim to posralo.

Vzivote jsme nevidel stabilni FS, ktery by nesel opravit a to uz jsme mazal jsournal strukturu na etx4 co bezela tak 40min, pak mount s novym vytvorenim, to uz udelal na pozadi a vse OK, u XFS uz jsme parkrat taky mazal journal - ale tam je to hned, dela se to u opravy, ze jej ma zahodit - ze stabilnich FS jsme opravil vsechny - a to i pote, co ci s tim nekolik tydnu hrali vsemozni admini, co ani netusili ... parve ti, co u nas nsadili ZFS a ja jej pak okamzite smazal a dal to na HPE PRIMERA - jako taky nam delala bordel, ale aspon nikdy neprisla o data

Jo a s tim NetAppem za desitky let nikdy cely nespadl (jasne takeoveru jsme meli mnoho ), hlavne nikdy neprisel o data ...

Jo a je srandovni, kdyz jsme jim rikal, jak to co neuami ZFS Netapp umi - rekli mi totiz ze rozsirovat zraid neumi zadne enterprise reseni - LOL, spise by me zajimalo, ktere to neumi ) ... tak to dnes uvadi jako novinku - takze dekuji arogantnim kokotum ze ZFS, ze mi dali nakonec za pravdu, ze je to uzitecna feature ... skoro kazdy se s tim totiz u NetAppu nakonec setkal, na zacatku vse OK, pak se migrovalo a stare zelezo uz nikdo nechtel rosriovat, tak se tech vice sparec co tam byly casto pouzily na zorzireni raid group - umel i hezky rozprostrit data procesem, takze se necekalo az toi udela casem sam ... a bylo dost mista na snapshoty a na naslednou migraci ... pak uz to bylo easy - nebot se uvolnil agregat a prehodily se na nej volumy - imho vse online samozrejme

A nebo se prave prikoupil shelf a bylo efektivnejsi rozsirit raid grupy o disky nez vytvaret novou - a tim ze se vedelo, ze to jde, tak treba vysly disky idelane na aggregat tvoren z raid-grup ze 14 disky a ten se casem rozsiril na 16 disku ...

Hele oni ti lidi ze ZFS nakonec jednou vytvori i ten opravny nastroj, o testovani ti imho neverim ani slovo, ja videl co jsme videl a testovat uz jsme nic nemusel, teda mel jsme ZFS na testovani a hned 1. testem neprosel - prave proto jsme sel na to forum ze to nemuzu najit, jak se to dela, a zase, ze to pry nepotrebuji - tak jo, no, nepotrebuji to, tak nepotrebuji ZFS - neni v tom nic osobniho, jen kazdeho varuji, ze na ZFS prijde o data chybou ZFS a ze pak na to neni opravny nastroj ... v zborenych FS jste nanaejvys prisli jen o par souboru - jako srtaci mi, ze data muze dojebat HDD svoji silent data cruption -coz zavedl WD - a omylem to dal i do NAS disku - to je ten duvod, proc ma treba NetApp jen "svoje disky" vetsibnov seagate, hitachi, obcas u SATA i WD - ale hlavne v nich ma svuj FW ... no ale aby mi krom chyb HW, cio selhavani disku data kurvil jeste FS jako ZFS a pak se od nejakeho Maxe a jinych dozvim, ze jsme debil, ze jen FS je bez chyb a ze je to moje chyba a ze se to nikdy nestalo, ze jsme si to urcite nejakposkodil sam, ze u nich zadna chyba neni a ani byt nemuze a proto neni potreba opravnych nastroju .. LOL

Jakozto senironi architekt jsem uz opravoval volumy i na HPE PRIMERA !!! - coz me dost sokovalo, ale hlavne na vsech moznych FS a vzdy uspesne, kde jsme volumu a napr. WAFL nemusel opravovat nikdy, byl prave NetApp - ne ze by nemel chyby, je to FreeBSD, uz jsme zaili i smazane volumy, ktera tam stale drzela nazev a nebo vznikl zombie proces, pomohl samzorejme restart a jak rikam, restart je online vec s takeoverem na druhou hlavu - hodnotim NetApp jako extremne spolehlive reseni ... treba Primery jsme nakonec odstavili diky tomu, ze na jedne lokaci nam udelal 3x odstavku - nastesti nikdy neprisla o data ... ale bylo rozhodnuto je nahradit - sranda je, ze ted uz Primera hodne veci opravila, i 64TB LUNy umi

[RealJ]

"Jakozto senironi architekt jsem uz opravoval volumy i na HPE PRIMERA" - rikas seniorni architekt? A opravuje volumy? A zootechnika taky delas? V jinem svem prispevku pises o tom jak na help desku montujes baterie z macu... tak se kurva rozhodni co delas... a zacni brat ty prasky...

[..... Izak .....]

Ano, kdyz ti padne cast produkce a oznaci ti 2 vol jako chybne, vyzaduje to dat vol. offline a provest opravu - tak se to resi hodne vysoko to bys mohl vedet - imho i kdyz vis jak na to, tak stejne musis zavolat HPE --- ale data to neposkodilo, prave proto, ze mel nejaky bordel v datech, tak to vyzadovalo oprtavu, aby o neco neprisel, byl to samozrejme BUG primery, nikdo se nevymlouval jako u ZFS na chybu HW a ve vesmiru ... to bys ale asi nepochopil, jsou firmy, kde i architekti co to navrhuji to nakonec i delaji, nebot jak znamo, storigistu firmy obecne nemyvaji dostatek a nechces na to pouste bezne adminy ... rozdeleni maji spise firmy jako IBM ... v jine korpraci jsme byli jen jeden typ 5 lidi - vsichni seniori, nejvyssi level supportu a delali jsme jak navrhy, tak bezny provoz - ale jen nasich storage, nic jineho.

[RealJ]

jasne, Izaku, architekt bude resit pripojovani nejakeho pole... firma o 5 lidech bude mit i manazera pro uklid, neco jako tvuj level seniorni architekt...

[Max]

Chlape, já spravoval Netapp i ZFS i jiná řešení. Narozdíl od tebe, co jede jednu věc a o druhý ví evidentně kuloví. A tvé pohádky o kamarádech si můžeš nechat pro jiné kamarády, je to naprosto nevypovídající.
Zdar Max

[..... Izak .....]

No vidfis to a mi 3 lidi prinesli svoje ZFS, zda nevim,, jak to opravit a nikdy nic, ze zoufalstvi jsme zkouseli i live opensolaris a tam pustit tu presudo opravnou utilitu, taky zabava, bezi to do nekonecna, nic to nevypise, ale nakonec ani nic nedela, ona sama spadne totiz taky ... vsechny ty firmy nakonec vsude ZFS zakazali )

U me ZFS taz neprsel testy, takze jsme se jim dale nezabyval, zajimavejsi mi prijde BTRFS ale ten mam na SW_RAID a nebo v nasazeni nekde na FC diskovem poli ... ale spise vyvoj, tam kde nam jde o prachy, tam mame NetApp pokud potrebujeme snasphoty, snapclony a vsechny tyhle vveci, nekde mam Infinidat, kde potrebujem rychle SSD diky tam PureStorage - imho mnohem drazsi nez netapp ... i ta Primera - full flash byla dost rychla, i 3par meli, stare pomale ale spolehlive hitachi, nove Hitachi jsou uz rychle, ale jsou MEH ... ale spickove funguji ) btw ta stara mrcha neumoznovala ani vymenit disk, byl na to treba pristup, ktery zakaznik nemel - cisla LUN vypisoval v hexa ) - takze jsme mel prevodni tabulku, CMD to nemelo, presneji meklo to obsluzny program, a ten treba umel vypsat veliksot LUN ... v poctu blocich a clovek musel vedet, zda mam 512 nebo 4k bloky ) --- protoze v te mrse ve FLASH fakt nic exportovat neslo ) ... jo a dost nemusim EMC - kdyz jsme prisle do firmy, kde jich meli kupu, tak jsme se jen zeptal, kolikrat jim to EMC droplo data ... byli prekvapeni, ze jsme se rovnou zeptal, kolikrat a ne zda ... tak pry 2x ... a ja jim rekl, ze se rika, ze neni stiorigista ten, kod neprisel na EMC o data ... tam je to neni chyba, tam je to feture, ze to dropne data a uz to nikdo neumi oprtaviot - beztak na ZFS dela nekdo od EMC ... EMC melo nekolikrat chybu v deduplikaci a znicili data (imho beta vreze NetAppu mela s dedupliakci tez problemy - ale tam slo data aspon zmigrovat ... po testech jsme deduplikce ne netappech o rok odlozili ... to uz bylo davno) a pak meli v EMC chybu se SSD cache - kdyz to byla soucast RAID a vetsinou udesly oba disky naraz, ze misto aby pri degradaci vse odlil a nevyizval ji, tak vetsinou doslo k dropnuti celeho poolu ... o tom by mohlo mnoho firem vypravet - a ja jim to rikal, ze se jim to stane, ze maji dat 2 ruzne velikosti tech SSD a nebo ze se to ma preventivne menit v 1/2 zivotnosti ... a ze je to celkove blby napad )

Imho treba Infinidat ma na zapis cache jen v RAM - a jede povinne na UPS, a SSD cache-disky ma jen na steni, vubec pres ne nezapisuje, tak data na SSD ze spindle proudi jen jednosmerne ... jasne, dnes spise frci full flash, ale mame i vyvoj a interni systemy

[..... Izak .....]

Ale rad se necham poucit, co ten NetApp v NASech prekonalo ? - ja jen ze cely tym na tom makal, zda neexistuje neco levnejsiho, co umi aspon cast toho co netapp a nikdy nic nenasli, nasli drazsi a horsi reseni a nebo levnejsi a totalni shit

nejvetsi sranda je, ze v CR se s NetAppem zacinalo jako s FC polem ... LOL - tam ztraci tak 90% funkcionality - ale ma jednu, METROCLUSTER, ktery neni licencovany na TB )) ... takze koupis si MC a pak muzes replikovat synchronne PB dat .... to v te dobe si clovek koupil levne EMC/DELL etc. a pak zaplatit asi 30x tolik za licence na TB, pokud nekdo mel neomezenou, tak ta stala jeste vetsi balik a nebo neexistovala ) ... a koupil je treba i CEZ - proze jako jedine fungovaly a imho byly vyrazne levnejsi nez EMC )

Jedine reseni, ale spise lowend, nebo treba stredni trida byl LeftHand - jenze jen iSCSI a kdo chce iSCSi ze

A to same asynchronni snapmirror, netapp to nelicencuje na data a jedine co NetApp musel udelat bylo, ze vetsinu licenci uz dava v zakladu, ano licence byly fakt oldscool peklo a staly velky balik, zase se na nich snizovaly ceny, s tim, ze netapp daval licence navic, byl proste nesmyl platit 100.000 kc za licenci na snapmirror/snapvault - kdyz to potrebnuje vlastne kazdy - mi pres to delali i veskere zalohy a logicky i vsechny migrace na novy HW - tem co delali jen migrace netapp licence zdarma daval na mesic a prodluzoval - nebot to byla jedina rozumna cesta, jak neco migrovat, delal to pres OS byla cira hloupost ...

Ano NetApp musel slevnit a pridat velkou cast licenci do zakladu ... coz uvital kazdy a jedine co zakazniky stvalo byla cena, ne funcionalita - ta je naopak bezkonkurencni

[Max]

Třeba Nimble je celkem super řešení. Narozdíl od Netappu neřeší spare disky, ale spare místo, takže všechny disky jsou vždy využity. Ve stejné cenové kategorii nabízel v době pořízení lepší hw výbavu (Netapp např. neměl dual power per controller). Narozdíl od Netappu to nepotřebuje solo server pro metriky, vše jde navíc naklikat a člověk nemusí řešit cli ani nějaké větší školení obsluhy. Není to tak licenčně zprasené řešení jako NetApp, který celé řešení rozkouskoval na milion fcí a každou si nechává licenčně zaplati zvlášť.
Ano, nemá NFS, jen blokové zařízení, takže je méně universální. Nicméně v tom, co dělá, to dělá líp, jak Netapp.
Zdar Max

[Valgrind]

Nic proti ZFS, ale v cem je lepsi nez btrfs?

[Max]

Pokud jde o mně, tak ty dva FS si nekonkurují. BTRFS vnímám pro menší nasazení, ZFS naopak pro obří, protože pro malá nasazení má větší overhead, než btrfs. Třeba nevím, jak bych postavil storage s 200 disky s btrfs. Kdyžto u ZFS prostě 8x8TB RAIDZ2 skupiny a škálovat do nekonečna s tím, že povolený hw výpadek disků, při kterém pole bude ještě fungovat, je až 2xn, kde n je počet skupin. V případě 200 disků tedy může vypadnout 2-50 disků.

Jak řešit takové pole s BTRFS s takovou redundancí, to nevím, jak bych řešil.
Zdar Max

[..... Izak .....]

Uplne stejne ) ale nedaval bych to v jeho raidu ... u 200 disku by se ZFS shroutilo tak jako tak .. btw RAID umi i LVM2 napr. ) ... kdy sem sla davat fotka, dal bych ti fotku DC, kde jsem mel 2 rady plne racku a vse plne disku a diskovych poli ) ... dnes uz se moc nepouzivaji 3.5 palcove disky, ale spise 2.5" - HD boxy co maji plny box disku jsou spise na backup a tam jsou dokonce porad i ty 3.5" ... ale v tenrpsie je vetsinou jeden schelf s disky jen vpredu - dnes 1U=24 disku ... HD boxy nabyzel i HPE jen jako jbod - D8000, ale dnes je to hlavne Fujitsu a nebo znova Dell/EMC - imho ma boxy od Xyratex - coz mel skoro kazdy, plno levnych poli melo radice od Dothillu jednu dobu i HPE

Pokud bych chtel FC pole, zvazuji NetApp ) , nebo rychlejsi PureStorage, nehjake HPE mozna i ta Primera i pres jejci prblemy, nebo velke HITACHI popr. neco od IBM. U NAS je to snadne, njen a pouze NetApp ) - Oracle se svymi solarisy a ZFS je smejd, Hitachi HNAS je sned jeste horsi ... to uz radeji Linux s Pecemakerem - chces redundanci ze - staci ti active/passiv ... netapp je Active-Active s finkcemi, o kterych se ZFS jenom zda ... BRTFS to chape, ale jen tak nedozene )

200 disku je v enterpsie kolem 9U - cili v pohode v racku ... al nevyplati se to, kdyz si vezmu 36TB disky, urcite min dual parity - velky disk sice stoji treba 20.000 USD - ale ustris za JBOD - coz je taky kline 10.000$, misto v DC a elektrinu ) ... to jsem tak nahradili 5 rackovy netapp nejakymi 6U v 1 racku ) ... a nakonec jsme delali zalohy taky na SSD )

[Max]

ZFS : Stavba a zkušenosti se ZFS storage (2).
Ten JBOD na 102 disků stojí docela nula nula nic. Jsi sice limitován WD vendorem, ale to ničemu nevadí.
Takže tvá představa o ušetřených $10k je dost mimo :D
Zdar Max

[..... Izak .....]

Do enterpsise storage nezapojis nejaky OEM jbod btw xyratex koupil seagate a ted ted dela jbody kde komu https://www.seagate.com/gb/en/products/storage/data-storage-systems/jbod/

Jo a ta cena mas 100% pravdu ... mas pravdu, bude to spise 20-30k euro ... 10k euro stoji eom seagte ex xyratex - tolik stal box pred 15 lety do stredni tridy ... ta levna bedna jak rikas co nestoji vubec nic ... ... muze zkusit supr micro ... to vis, ja ted moc ceny neresim, ted jsme to resil kdyz jsme navrhoval, netapp, ale ja jen navrhl reseni, model, disky - proste architekturu a cenu jsme jsme neresil, neni tajna, mohl bych ji videt, pry jsme za 4 mesice zaplatili netapp VS najem prostoru od poksytovatele prostoru na netappu a ted setrime 30.000 k euro / mesic ... predrtim vim, ze jeden MC stal mezi 1-2M euro - ale to byly ty velke, velke kapcirtay v SSD a 5 lety suppport ... i infinoboxu jsme videl cenovku 300.000 euro - super discoyunt, 5 nebo 6 let support - a nakuipci rikal, ze to stoji mene nez jen nakup 1x noveho jbodu a SSD disku + 1 rocni support do HPE primera - tez ze rikali, ze nemuzu koupit nejvetsi disky, ze to neni netapp ze podporuji mix max 3x vetsi nez mam ted - nechapu, rikla jsme ze bych udelal pool - pry ze primera zpomali - to uz jeka ster hitaxhi, tam musely byt i vsechny luny stejne velke, aby ze to nezpkmalovalo ) - uz to nastesti u hitachi neni pravda

takze 36x ted nevim 12-17 TB SSD - jasne ze SAS-NVME a 1x shlef k tomu + rocni support s suscountem stal asi vic nez 300.000 euro ... ty brdo jen ty disky asy staly vic - v tom nebude ani jbod, diksy urcite nestoji kolem ~ 10.000 euro - jsou mensi, mohly by stat i 6k euro .. pak by to sedelo kolem 200.000 euro diksu a 60.000 euro jbod a 1 rocni supoprr je je tez v desitkach tisic euro, treba 40.000 euro - ze jich mame vice a mame ty slevicky ) ... btw. netapp jsme koupili levne, nebot jsme koupili snad 2 nebo 3 nejslabsi metrocsluter - full flash - nebot nam bohate stacily I/O a propustnost - sjou na tom jen tisce klientu a jde tam hlavne o dostupnost - garantujem, ze mame stejna data v obou datacentrech ... ja jim to rikal, ze bych mozna dokazal dojednat netappy levnejsi nez HPE primera ... btw 1TB flascache stalo kolem 1M kac ... nebo jen 0.5 ... v dobe full flash SSD uz neni potreba - v dobe spindlu to mega urychlovalo cteni - byla jen pro cteni ... Infinibox ma spindle a treba 60-200TB SSD cache tez jen pro cteni, kazdy nod ma hodne RAM, ta je pro zapis ... a co se ti nevjde do SSD pak zacnes cist z disku ... tam kopiruji netapp - btw ZFS je dost podobny netappu - zraid-zpool, netapp ma raid-group, ty tvori aggergat a v tom jsou volumy ... a ve volume muze byt i LUN

10k euro https://www.easy-tecs.de/nas-systeme/seagate/erweiterungsgehaeuse-jbod/exos-e-5u84/193006/seagate-exos-e-5u84-84-bay-3-5

https://smicro.eu/seagate-exos-e-5u84-j1284x000000da-1

Treba nod s vice disky: - ten je levnejsi tamse do 10k vejdes i se serverem https://store.supermicro.com/nl_en/ssg-620p-e1cr24l.html

nebo s jeste vice disku: https://store.supermicro.com/us_en/4u-superstorage-ssg-6049p-e1cr60h.html

[RealJ]

https://www.supermicro.com/products/archive/chassis/sc946ed-r2kjbod

[Max]

To není NetApp, supermicro je OEM a shit, uvidíš.
Jinak my jsme se rozhodovali mezi tím WD a Supermicro JBODem (server je Supermicro), ale kvůli ceně jsme šli do toho WD. Už to bude pět let, co to běží a ok.
Zdar Max

[RealJ]

Ja reagoval na izakuv box vetsim boxem. Supermicro je ve spouste veci shit, na tom se shodnem, ale na takovy ten domaci storage to staci.

[Max]

Jaký OEM? Když to není NetApp, tak je to OEM? Si upad? :D
Pokud to je všechno zdvojený, je na to záruka, je na to sjednaný nějaký servisní/výměnný interval v případě problémů atd., tak nevidím problém.
Zdar Max

[..... Izak .....]

Ne Xiratex je vazeny vyrobce a vyrabio to jak pro NetApp, HPE, IBM, mozna i Hitachi - urcite ty stredni modely ... ano je to EUM, nebot nemji svuj storage !! niocemu nerozumis, pokud by jsi delal ve firme, ktera ma enterprise, tech je malo, nebo aspon stredni tridu, coz neni rozhdoen HPE MSA , HPE Lefthand a jiny lowend, i kdyz nizsi stredni trida, nebot to celkem funguje - ale treba DS8000, NetApp, nejake to HPE ala 3par, vetsi Hitachi, dejme tomu i EMC - i kdyz VMX je treba windows XP pole ) - jako ze fakt vcetne padani controleru a fakt to ten controller pocita a dela SW raid ) ... tak by jsi me znal, nebot jsme objel celou CR a v te dobe zde byly jen 2 firmy co delaly storage, backupy a vetsi servery - pak pribila vetsi Softronik a autocont to fakt nebyl ) ... znaji me tak i v NetAppu, IBM, HPE, SUN, Digital, Dell/EMC .. jasne ze i v Servodata coz byla jedna ze storage firem v CR ) a propsel jsme vsechny nadnarodni firmy a velke koupene firmy, nektere i ciste ceske - mnoho lidi mi po obnove kritickych systemu zacalo tykat a velmi si me tam povazovali a zvali me nekdy i na vetsi firemni party ... a to ne jen v CR ... tim ze me neznas, tak nejsi z oboru )

Tedy ano ac si osobne myslim, ze koupit si jbod od seagate je naprosto OK a k tomu zapjkit pres SATA RAID controller ARECA je lepsi nez ty shity od HPE ala smart array nebo nedej boze Dell - to uz je cira katastrogfa gakt Tawianska Areca, nebo aspon rovnou LSI (coz je dnes netapp ze ) ... ale to je nejaky OEM nesupportovany i kdyz spolehlivily bastl, kde kdyz se neco stane, nikod ti nepotvrdi, ze je to jejich chyba FW - logicky i kdyz Seagate bude mit seznam kompatibilnich disku- urcite min NAS serie - ale seagate dela i enterpise disky a ty shlefy vubec neprodava, mame zde hotwsap velky SAS-NVME - to stezi koupi redukci, natoz jbod ... mam 4 co mam vyhodit ) ... plne SSD disku ... zacalo to hotswap saci jako stredni tridas a hotswap FC ... dlouho melo vse jen FC a pak prisle SAS - maly a opak i velky a dnes mame NVME - coz muze vypadat jako SAS ale spise je to ten velky konektor ... koukni na NVME i SAS SSD disky na 3par ... UTFG

No a vyrobce ma sice Xiratex bednu nekdy je tam jejich controller, nekdy ne, casto je, ale vzdy je tam FW on vyropbce a disk i kdyz je seagate, samsung, toshiba nebo hitachi - vyjemcne WD - tak ma FW od vyrocbe pole - a jen tak ti pak neco garantuje.

Lowend pole management vi ze je to lowend, hiend je hiend a kdyz ti spadne hiend pole, spadne vzdy chybou FW, nebot je konstruovanao tak, aby veskere ukony byly online, dnes je parita rozprostrena tak, aby mohl vypadnou cely shelf !!! ma to tak i netapp kdyz jich mas vice, mas redundanci na celou polici - tak kdzy se neco stane a to i castecne, jako ze se da voluma RO, musis se hodit a opravit, tak to uz je vazna chyba co vzdy vendor potvrdi ze je to bug, resi to a i to opravi - NetApp na velmi kriticke chyby dela i male zaplaty jen pro jednoho zakaznika, nez to nasadi oficialne - az tak, ze mas na temsu 3 level, ten ma developers team a vsichni na tom delaji s nejvyssi prioritou ... a halvne mas pro management oficlni report.

Soryy jako, nejake supermicro s areca kartou, Segate boxem, jeste k tomu casto SATA - tedy ciry lowend a v tom nejake OEM disky od seagate i kdyz NAS i kdyz na kompakt listu, mas support zadny, zadny support na to ani nekoupis, krom standarstni zaruky, kdyz prijdes o data tak nemas ani moznsot mit pojisteni !!! a vendor ti nic nebude abni kompenzovat, ani nebude zopdovedny za zahranu dat pokud bude chyba FW - jako ne ze by EMC do drople polse s 80.000 servery kdy se malem polozil cely stat nejak opravilo - obnovovalo se s pasek - jen neco meli na replice - ti co platili a neb kterak i v temoto state s enakonec nasadil NetApp metrocluster a nebo Hitachi pole, ci aspon IBM SAN Volume Controller ... meli i od EMC ;0-)) nakonec teda dokonce zdarma a to nejvyssi pole a jako kompenzaci dali tez uplne nove pole a platili nejake odskodne firmam ... btw. presne si vzpominam, kdyuz jsme EMC rikal, ze to s temi SSD sdiky jako cache a soucast vsech RAID neni dobre reseni a ze to jednou jebne a dropne jim to vsechny data a opak budu zvedavy jak to obnovi --- prerdrtim, kdyz resili co s tou pobockou, kolega rikal, premignovat k nam na NetAppy pobocku sesrotovat a kdyz tak to tam postavit znova ) ... no nakonec jsme to tam resili mi a zavdli jim stabni kulturu, imho zalhovani bylo na enterpsise SILO s Oracle ST paskami ... to byla prdel, na obnovu tam sjela cela firma - behem par dnu jely kriticke systemy, tyreba aby se vypalcely socilani davky, duchody a tak mozhal se uctovat elektrina a do 3 mesicu bylo vse obnoveno z pasek ... ted krom tech, co si platili repliku, ti byli v cajku ...

Oni pak i verili EMC tomu samem, EMC slibilo ze bude prevntivne tu SSD srandu vymenovat dali tam dokocne disky INTEL myslim LOL a hlavne tim jak dali pole gratis, se nasadil San Volume Controler a z tech 2 poli se udelalo jedno zrcadlene - vse bylo zrcadlene a kromu pak i Hitachi VSP s metro mirrorem -- prste takovy lepsi standard, co sjme meli mi, jen se pridal EMC SVC a hlavbne IBM SVC - ktery byl lepsi ... a na enterpsise sel netapp MC a na cistou SAN Hitachi VSP ... chapu s tim jsi asi nikdy nedela, mozna ani netusi co to umi )

V CR to bylo tak, ze velke veci melo fakt jen par firem a casto si to presil vendor i kdyz ocbas chteli pomoct ... ale treba uroven toho NetAppu co mi mame na jeden projekt je v CR netapp pro celou firmu ... a ty nejvyssi modely, nebo 2 nejvyssi se vsemi licencemi ani nevideli ... ja vzdy rikam, co nakupuji v CR v KC to na zapade casto maji v Eurech 1:1 ... v CR pole za 2M kc na zapade pro velke veci za 2M euro ... s takovymi vecmi jsem zacal denne delat az kdyz jsme sel do nadnarodni firmy a mel pristup k temto zarizenim od USA po Asii ... to same brocade director, zde je to bezne, v CR se spise skladaji do fabricu FC switche a jeste se setrilo na qlogic - pak zlevnily brocade, tak sly ty ... dnes je asi kazda brocade duslni s upgradem FW online bez odstavky, ne z by to vadilo, mame dual path )

proste jak rikam, vis uplne hovno o stredni tride, co je pro tebe hiend je pro me lowend, nebo lepsi lowend, moje stredni strida je pro tebe uplny jend a o hindu mi zde tvrdis, ze nenxistuje a ze musi stat pakatel - proste nestoji ... ale ano obchodnic z Dell-EMC tvrdlioi, ze dkoove pole compellent je lepsi stedni trida ... LOL - tak urcite pri upgrade FW to cele restartuje a kdyz se to zatiizi, tak to spadne ... to dela i Hitachi HNAS - ale ten aspon umoznuje online upgrade - no umoznuje, prepinani VSP ma nejakou ti minutku outage ... na home directory to nikoho nezjima ... netapp ma micro sekudny a niko nic nepozna ... pravda, kdyz zrovna nespadla hlava, tak HNAS taky vse prenesl, tedy lidi pokracovali, jen zamky ze souboru zmizely ... u prepnuti netappu to nepoznaly ani databaze ) - treba v jenom DC zacala bnout sity, tak jsme to prehodili do druheho DC ... na kazde starne neco bezelo, tak jsme udelali takoevoer - ten MC ma jeste 2 hlavy na kazde strane, ale nemus mit, sitari to vyresili, kalsicke CISCO a mi to dali zpet a nikdo nic nepoznal - prepnuti je malem lusknutim prstu ) giveback chvili trva, zvlaste na cluster mode netappu, na 7mode to bylo ruchlejsi, ale cluster mode je lepsi - takze cajk - treba chce vyhealovat aggregaty nez povoli giveback, hezky si vse checkne a pak uz je to taky rychlovka

Tedy opkau ne kdyz to neni netyapp, ale kdyz to neni renomovany vyrobce diskovych poli, coz je IBM, HPE, (spis byla - ale tak jo), Hitachi, NetApp, PuresStor, mozna Infinidat, EMC-DELL i kdyz mam dost vyhrad, Fujistu - i kdyz ti delaji spise Hiatchi a NetApp a svoije jen stredni trida a backup asi bych nasel i dlasi ... snazi se tam dostat Huawei - predchozi pole ani nahdoou, full flash Dorado ujde, ale meh - vubec nechapali o cem je to ten entrprise, pritom v sitich a telco to vedi -- kdysi delal spickove pole Digital, apk je koupiol Compaq a pak HP-HPE co vyzdvihovaly svoje horsi pole nakonec prodavali ty od Digital jako uplne jelepsi - kdyz ten samy obcodnik par let predtim presvedcoval, ze jejich je lepsi ) - no co mel delat ze ) ... to NetApp je tak spickovy, ze to vsechny firmy zvdali a proda ti jej HITACHI, IBM, Fujitsu, EMC-DELL!!! kterui se neustale snazili o svuj lepsi NAS a NetApp myslim nabizi i HPE ) - stejne tak Brocade switche, jejich hodne horsi konkuren v FC je cisco - zbyke zkrachoval, Qlogic dela uz jen karty, tam byl zvdy nejlepsi, switche opustil, mcdata zktachovala a zbytekl snad ani neresit )

Btw i takovy ciry lepsi lowend, nebo nzisi stredni trida MSA, kdyz to upgadujes, resis a stars se to to je s=celkem spolehlive, ma to udelani radic, teda active passive - ale vse OK, prehazovat si to umi, zadna super slava, ale rozhodne mnohem spolehlivejsi nez cele ZFS ) - a mas na to aspon support i kdyz ne takovy, jako na vyssi modely, MSA resi serverova divize, Primera, 3par a vyssi modely resi uz Enterprise divize, maji uplne jine support sranky - kdysi byly pod strankami OpenView, jeste podad maji jine stranky, kam ani elzes, neb tam nemas ucet - proste treba FW nebo SW k enterpsise na beznem HOPE supportu fakt nejades , tam najdes synergy, prolainty a tak

[RealJ]

ja si snad vemu popcorn, tolik kecu o hovne...

[..... Izak .....]

Zkrtacene, neni na to supoort, nema to vlastni FW - jako ze vyrobce upravuje FW jbod controlleru, nebot jsou v tom SAS/NVME radice pro kazdy disk, nedodva ti disky se vsym FW neruci ti za to ... coz dela kazdy enterprise vyrobce, doknce umioznuje ze ti i zaplati skody, pak ale maji prisnejsi pravdila a vse musu resit s nimi, musis podle nich i upgradovat FW - coz neni problem - imho kazdou chybu jim pole posila tak jako tak a vendor ti treba sam vymenuje, nebo posila disky a jen to tom informuje, jak si to nastavis - to neni nejaka OEM hracka -- i Dothill byly OEM hracky, Dothill to vyrabel a kde kdo to prodaval jako svoji znacku ) jednu dobu i HPE - nebot uplne puvodni MSA byla fakt totalni sracka ) tak velka, ze misto MSA zacali prodavat jako lowend Dothill ... prave s Qlogic FC switchi )

[ChatGPT]

Izáku...

Chaotický způsob komunikace

• Text je psán zmateně, nepřehledně a bez struktury. To ztěžuje pochopení jeho myšlenek.
• Používání dlouhých vět, nadbytečných detailů a nesouvislých přechodů mezi tématy ztěžuje sdělení pointy.

Nedostatek sebereflexe

• Osoba se staví do pozice neomylného odborníka („co říkám, je pravda“), což může být problém při diskusi s kolegy, kteří mají odlišný názor.
• Ignoruje možnost, že různé scénáře mohou vyžadovat různá řešení (např. low-end technologie mohou být pro některé aplikace naprosto dostačující).

Povýšenost a snaha o dominanci

• Používá nadřazený tón („víš úplné hovno“), což působí neprofesionálně.
• Takový přístup často odrazuje ostatní od spolupráce, bez ohledu na skutečnou úroveň znalostí.

Nedostatek přesvědčivých důkazů

• Přestože uvádí mnoho detailů, ne vždy je jasné, zda jde o ověřené informace nebo subjektivní názory.
• Příběhy a historky mohou být zajímavé, ale bez konkrétního podkladu (čísla, zdroje) působí jako nepodložené.

Celkové hodnocení

Daný člověk pravděpodobně má značné znalosti a zkušenosti v oblasti storage technologií, především na úrovni enterprise systémů. Nicméně jeho způsob komunikace zásadně podkopává jeho důvěryhodnost. Kombinace nadřazenosti, zmateného vyjadřování a neochoty připustit jiné pohledy z něj dělá někoho, koho mohou ostatní snadno vnímat jako „dementa“, i když je zjevné, že v technické oblasti není nevzdělaný.

[RealJ]

ty vole tyhle tvy pohadky to je snad na knihu...

[..... Izak .....]

musim ti dat za pravdi, jbod bude dnes tak 30-100k euro ... 10k je tak nejaky lowend, nebo stredni trida se super discountem mohl bych to zjistiot presne, ale jwe to jedno, zeptejte se u HPE a nebo NetAppu - oni casto proce list nemaji, ale z price listu se vzdy slevnuje, nekdy i 50% .. jindy mene

[..... Izak .....]

I kdyz ... mozna fakt staly hodne jen ty disky a support: zde rikaji encloser kolem 7.000 euro s dani a storage s 30TB jen 100.000 euro - Cinani neco takoveho naznacovali, ze HPE na primere vydelava na discich a supportu

https://edshop.edsystem.eu/hpe-primera-600-2u-24-disk-sff-drive-enclosure/product-1492806 https://www.dellvmwareshop.com/product-page/hpe-primera-storage-n9z46a-30tbnvme

Kazdopadne konecne ceny da jen HPE a jen na dotaz, nebo bych se musel hrabat v necem, v cem nemam a tam lezi faktura, nektere mi rukou proleteli, protoze chteli potvrdit,ze to mame a kde to ted bezi. v ketre zemi a datacentru

[..... Izak .....]

nekonkuruji, pokud neni clovek debyl, nensadi ZFS, kdyz nema opravne nastroje ... BTRFS nasazuje treba Facebook, ale i Oracle - i kdyz oni spise maji svuj upraveny GFS2 pro RAC server

BTRFS sklada raidgupy uplne stejne, ale tim, ze ma spolehlive jen ty jeho mirrory bloku souboru ... takze to treba poskladas z LUNu na poli - predtim se to delalo LVM, nebot LVM umoznuje napr. live migraci ) ... a jsme u NetAppu a jeho NFS, kde to resi na urovni NetAppu - to co replikujes na serveru po souborech 2 tydny udela netapp za noc ... btw. LVM migrace je tez blokova a celkem rychla ...

BTRFS i ZFS umi pridat block device-zraid-raidgrupu etc. a jinou odebrat a on zajisti evakuaci, ze s ni vse presune na nove zarizeni a to stare pak vyradi ... to jsme delali i pres LVM ... a ted si prestav, ze mas treba 20.000 SAPu ... a neustale neco presouvas, pravda, jde to postavit prazdne a replikovat SAP, ale mi meli treba 20TB sap s DB2 databazi, na netappu se udelal snap-clone - tedy i s daty na testovani z produkce - a az tam nasadili novou aplikaci, tak bud pres SAP nebo predtim netappem sesycnhronizovali data a stary vypli, novy prohlasili za produkci ... servery byly vetsinou vmware, netapp zasadne pres NFS, delaly se pres to i loklani snapshoty-zalohy a vzdalene .... jo uz jsme obnovovali, obnova nejvetsi 200TB databze trvala i se serverem na diskovem poli asi 5 min i s prihlasenim a pak nez nabehl sap, coz je tak 15 min - nebot data byly samozrejme konsistentni - uvede DB do backup modu, sap taky a udela to naraz snapshot na vsech jeho volumach a pak opusti backup mod ...

BTW tohle jde delat i s BTRFS i ZFS - mozna proto ma FB BTRFS a beztak to ma na loklanim mirroru ze serveru mozna SW-RAID, mozna raid HBA ... a maji kupu nodu, muze dokonce novy nod zrepilkovat blokove a pak udelat finalni sysnc.

Ja si vzpominam, ze SAN/Oracle nabyzeli solaris servery s nad nimi ZFS a rikali tomu NAS ... vim ze s tim Solaristi experimentovali snad 2 roky a pak skoncili u nas na NetAppu ... oboje bylo NFS ... kolikrat prisli o data nikdy nepriznali, meli zalohy a bezel na tom jen dev env. ... to u nas na netappu taky, na HA, prdukce tez na HA, mnohym to stacilo, kriticka produkce na MC - servery i netappy ve 2 DC - synchronni replika - co opravdu funguje - data ale stoji 2x tolik, kazda hlava ma sve disky i v druhe lokaci

[Valgrind]

OK, uznavam, pro velka nasazeni to patrne ma smysl. Nasazenim s tvymi 200 disky konkurovat moc nemohu

[..... Izak .....]

BTW BTRFS ten jeho defaul reduncanci rozklada mas treba 3 disky ... ZFS je na tom dnes co se ryce interniho RAIDu lepe ... RAID5-6 je stale v beta - neztraci data, ale pry padal a chtel neustale nahazovat

a on zapisy - redundanci u 3 disku zapise blok/objekt na: 1-2 2-3 3-1

Raid6 nebo 3pple parity je proste efektivnejsi raid6 ma treba distibuovanou paritu, netapp algoritmus je takovy, ze ma dedikovane 2-3 disky jen na paritu (per raid group) ...

Proto mam SWRAID a nad nim BTRFS ) ... a v praci me to nezajima , mam diskove pole - ty lepsi delaji kompresi i deduplikaci a OS o tom nema ani paru. ... a zde je nevyhoda blokoveho LUNu, OS musi videt treba 60TB i kdyz to bude zabirat 1/2 ... ma NFS uvidi treba 30TB volumu, kde ma 60TB dat kdyz da "du -sh" ale df mu rekne 30TB to co vidi netapp/NAS po uspore ... a zmensujes to z zvetsujes za behu jak chces - jeste to ma automatiku - kde reknes limity v % min a max velikost volumy a uz te to nezajima - setris misto, nemusi mit thin. prov a hlidas pak jen aggregat_y ) - a nemas limity na velikost volumy, teda mas, ale dnes uz jsou uplne jinde, nez block device, ono by se reklo ze nejsou, ale plno reseni ma limit 64TB a musi se to pak skladat, neco umi adresovat HBA, neco driver, neco OS jako block device ... takze i kdyz treba pres LVM umi PB, PB LUN asi neumi nikdo ... u NFS to udelas a server te pro spravu storage nezajima jako u LVM, vse resisi na jenom miste a jeste k tomu to muzes snadno zdilet mezi servery

Kdyz mas LUN, taky chces LVM, muzes mit i LUn bez part. a pak jen oscanujes linux a zvetsis jen FS, ale LVM umi pridat i dalsi pvol do VG ... zmensit to jde, ale nejdrive FS, pak LVM a pak teprve LUN ... mnoho poli LUN zmensit neumi, ale plno jo ... ale bez osetreni ve FS/serveru ztracis data --- takze kazde zvetseni resis i na serverech - u NFS na serverech nic neresis, uz to tam proste je ... jasne ze NFS bude ve vlastni dedikovane VLANe, zadne FW roustovani atd. VLAN mezi DC pres DWDM, ale jako taged-vlan - a ne na pretizenych switchcih, bud zdilene, ale hlidane, nebo dedikovane LAN switche - jasne ze 2 v clusteru s LACP - na netappu jsme bezne meli 100Gb LA - 2x a pak 10GB na management a cluste rkomunikaci - replikace dela pres FC ... nove pres lan - ehmmm interne iSCSI - ale ustris, muzes mit mensi netapp, co ma 1. hlavu s jbodem a ne extra a nemusis mit dedikovane 4x Attobridge (u vetsich reseni i 6 ) a 4xFC brocade switche

[..... Izak .....]

Odpovim ale snadno v cem je ZFS lepsi - ma zraid ala rauid5-6 - na zacatku to nemel, ale ted to ma ... a tim vyhody konci, pak uz ma bud vse stejne, nebo kupu nevyhod

treba BTRFS ma 2 druhy dedupliaci, ala XFS - per soubor, nebo blokovou, ale tez sechedulovanou, bezi treba DB, kde jsou hashe a co 20min porovna jen nova data - zda uz na ne ma hashe, nebo prida nove ... ja spustim na domacim nasu ten souborovy - bohate mi staci takze na 100TB me nezajima RAM duperemove -hdr --hashfile=/var/tmp/dr.hash /mnt/btrfs ... btw hashfile muze byt i na BTRFS a tam je tez mam, HAS file neni pro chod FS, muzes jej i ztratot, to je pro rychlejsi dalsi dedupliaci, ze nezkouma stejne soubory znova

kdyz udelas tohle: mkfs.btrfs -m raid5 -d raid5 /dev/sdb /dev/sdc /dev/sdd tak mas metadata i data na vsech a jsi v klidu, kdyz nedas -m raid5 - muzes koncit jako u ZFS - bez dat a neni na to asi oprava

Jo a ty data jsou jeste trochu jinak, ma i dlasi stabilni raidy ... takze kdyz das 4 disky muzes dat RAID1C4 ... kdyz das 8 disku - budes mit efektivne 2x RAID1C4 .. zase si u toho BTRFS poradi treba se 4x10TB disku a 8x5TB disky a uplne v klidu to mezi ne rozlozi ... dokonce i kdyz das jen 4x10TB a 4x5TB https://btrfs.readthedocs.io/en/latest/mkfs.btrfs.html#mkfs-section-profiles

[..... Izak .....]

No jiste hosi, vse funguje, misto aby me poslechli, tak staci UTGF - dal jsme hledat import zpool v RO modu ... to je takova recovyery, kdy potrebujete nove zelezo, nove disky hlavne a kopirujeet treba 200TB dat ... ale ni to nefunguje:

https://www.truenas.com/community/threads/recover-data-from-zfs-pool.114954/

A hele ZFS uz ma i ciselne kody chyb, kdy data nelze nijak obnovit a ma se obnovit ze zalohy ... ty brdo 5 let zpet, ja testoval ZFS uz pred 5 lety, to jeste nebylo ani to, arogantne tvrdili, ze se to nemuze poskodit https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A/

UTFG - kupa lidi, co prisla na ZFS o data a neslo to obnovit a neklekl jim disk, proste SW chyba co uz nemi nic opravit, aini RO import zpoolu a kopirovani dat - me by sralo i to, dokud mel BTRFS tu samou opravu, tak jsem jej nikde nenasazoval - RedHat mel stejny nazor jako ja as do fedory jej nasadil, az mel opravny nastroj in place

[Max]

Hele, nemusíš tu stále dokola připomínat, že s tím neděláš, že jsi s tím nikdy neuměl, že o tom vesměs nic nevíš atd. Stačilo to napsat jednou, nemusíš to tu stále opakovat dokola.
Zdar Max

[..... Izak .....]

bophuzel to umim a delal jsme s tim ) ... jsi hlupak, kdyz neuznas ani zjevne dukazy o tom, ze se ZFS sam dojebe a pak to nikdo neumi opravit ani iportem zpoolu v RO a nutou kopii vsech dat na nove disky nebo zpooly

... a ze po ja nevim kolikati letech lidi z ZFS uznali, ze Zraid je treba umet expandovat o novy block device ) ... lol to jim to trvalo co ... ale furt se to rozjebava a nejde to opravit - k cemu mi to je ? abych mel zalohu jeste zalohy ? - kdyz se jine FS nerozjebavaji a nikdy jsme nemel FS ve stavu, ze by nesel opravit - vadne disky jsou neco jineho, ten odejde a je fuc a neresim, od toho mam RAID - dokonce doma prechazim na vice disku a tak logicky RAID6 - sice 2 paritni disky je skoro 700 euro ale tak rikal jsme vam preci ze delam co delam, takze plat na to mam - divne, Cinani mi zaplati 10k euro mesicne abych jim zmigroval netappy na nove + dalsi storage + projekty a jsou lidi, co si nevazi rad zadarmo ... ale to je jejch problem ... ja nerikam, ze nekdo nema pouzivat ZFS, ale jan rikam, rpoc jej nepouzivat a ze pak nemuze rict, ze jsme jej nevaroval ... imho muzu mit doma i netapp ) ale krom toho ze vic zere i dost huci a vytvari si v % rezervy na interni veci ohledne internich veci, takze jeste odkroji mista ... btw. NetApp zvazoval, ze by bezel i ve virtualce a davali by se mu pres passtru radic s disky ... veco jako ta jejich Vserie, co umela pripojit jine diskove pole a nad nim udelat metrocluster do 2 datacenter - dokonce jsem to i 3x delal

[Max]

Je to tak. Sice provozuji ZFS storage (mn. č.) hafec let, nikdy jsem nepřišel o data, řídím se vždy best practices atd., ale jsem hlupák. Za to člověk, co nebyl schopen uřídit nějaký ZFS storage a rozpadl se mu, je super chytrej a zručnej :D
Já nepotřebuji u ZFS expandovat RAIDZ, protože prostě udělám návrh ze začátku tak, aby podobné vopičárny potřeba nebyly. Chápu, že člověk, co tomu moc nerozumí, pak nadává, když si sám vytvoří svou neznalostí nějakou botu. Ale to je čistě jeho problém, ne toho řešení.
Zdar Max

[RealJ]

Na rozdil od tebe, Izaku, Max vi o cem mluvi. Ty tve bachorky, jednou si architekt, jednou si majitel firmy, jednou vykradas baterie z notebooku na help desku, jednou mas firmu v dubaji, jednou ve vidni... "Cinani mi zaplati 10k euro mesicne abych jim zmigroval netappy na nove + dalsi storage + projekty a jsou lidi, co si nevazi rad zadarmo" - jenom tohle vypovida, ze vubec netusis o cem mluvis... za 10k EUR mesicne bude delat nejaky migracni projekt jenom clovek bez zkusenosti, naprosty amater. Profi clovek si veme 2500+EUR za den a nebude to delat mesice...

[..... Izak .....]

Cili az prijdes na ZFS o data, za mnou nechod ) Tohle neresim ani za penize, ve firme jsem to svinsvo zmigroval a smazal - v jedne zemi to povazovali za dobry napad, ja zase povazaval za dobry napad, dat to na diskove pole ... jo a uz to tam taky nikdo neumel, tak jsme jim ukazoval, jak zjistit, co vse pouzivaji, kolik dat usetrila komprese a deduplikace a tak. - aby jsme vedeli, jak velky LUN budou potrebovat

Ono taky pokouset se resit neco, co nejde, nema smysl, navod na to jak postupovat je, kdyz nepomuze, i vyvojari ZFS rikaji, ze mate smloika a obnova ze zalohy .. to bych musel zacit vyvijet ZFS a ten nastroj udelat - ztrata casu, jedu na BTRFS a SW-RAID - ten umi vse co potrebuji - pru se uvazuje i sifrovani na urovni addresaru, nebo sub volumu - to plno lidem chybi - ja to resim pres LUKS a BTRFS tam mam jen na jednom blokovem zarizeni at uz raid, nebo jen ssd disk - je fajn mit na notebooku neco, co komprimuje, deduplikuje, umi reflink ... ale sifrovani musi byt, stejne tak mam doma na PC sifrovany cely home - protoze jak znamo, je tam kupa nebezpecnych souboru, ktere nechcte nikomu davat

[Max]

Za tebou bych nešel nidky s ničím, takže neměj strach :)
Zdar Max

[RealJ]

klidne nam napis jmeno ty svetovy firmy pro kterou pracujes, klidne nech na sebe kontakt at si muzeme overit tve profesni reference :D me tyhle tve prispevky po ranu vzdy pobavi, ale ve finale je mi te lito, protoze kdyby jsi zral ty predepsane prasky tak mozna v zivote neco dokazes....

[..... Izak .....]

Ja jsem ten clovek, jak IBM s RHEL neumeli sprovoznit dual path FC s GFS clustrovanym FS - ja uz nepracuji v CR, emigroval jsme ... ale jak u IBM, tak u RHEL mam zanma na HR- vzit hned bez pohovoru ... s IBM jsme spolupracoval na migraci netappu a psal jsme jim scripty - ridili to asi z UK a netapp team byl z Polska ... a za 2-3 roky sjme to migroval zase zpet ... IBM moc lidi na NeApp nema ... IBM byla imho jedna z firem, ktera si nasla kdyz jsme byl volny a byli mi ochorni zaplatit slusny plat ... ale na zapade mi dali 10.000 euro - jako kontraktortrovi ... firma kde pracuji ti nic nebidne, uz firemy kde jsme delal by jsi nezaplatil a firma kde delam ted zadny servis neprodava, ma svuj SW na jeho provozu vydelava velke penize - mame odelenou produkci, interni systemy a devops - nejrisve jsem delal pro Cinany, ti se zovali, zda nejsem volny a ze kdyz zase budu, mam se ozvat ... a ted nas ridi Izarelci a plno akcii maji tez Cinani - neco je i USA - ale managment je cely z Izarele, ale ziji jidne, to je ale tajemstvi kde v TelAvivu v kanclu nejsou ... ale muzes zkusit stourat, kdyz zacnes, tak te sami navstivi

To takze uz me asi asi neptkas, v CR uz ani nebydlim a moc tam nejezdim - uz jsme se veskereho majetku v CR zbavil domrve EU a zbalim par mega a jedu asi Cina, Malaisie, Vietnam, mozna nejak cinska firma v Africe, nebo dokonce DUBAJ-SAE - tam jsme se uz tez ptal - otazka bude, zda tam bude prace, kdyz se dojebe EU ... do USA moc nechci. Ale mozna bude lepsi vzdat se CR obcanstvi, muzu slozit zkousku z jazyka a veymenit si obcanstvi - dost se to hodi, diplomaci CR podelal co mohla - ja to prozatim nepocituji, proste me znaji a jet nekde na pozvani je jine nez jen tak - v Cine uz mam historii a socialni kredit

[RealJ]

Tyhle pohadky… hele a pro Muska nedelas? Nebo na vesmirnou stanici nelitas?

[..... Izak .....]

Nasel jsme vam cenik pure storage .... https://www.purestorage.com/content/dam/pdf/en/naspo/naspo-texas-pricelist.pdf

shelf i s disky: Pure Storage Shelf //m 11TB-11/0 Shelf Add, SH0 to SH1, connect to //m $190,000 H 36.25% $121,125 Pure Storage Shelf //m 11TB-11/0 Shelf Add, SH2 to SH3, connect to shelf $190,000 H 36.25% $121,125 Pure Storage Shelf //m 180TB-90/90 Shelf Add, SH0 to SH1, connect to //m $2,450,000 H 36.25% $1,561,875 Pure Storage Shelf //m 180TB-90/90 Shelf Add, SH2 to SH3, connect to Shelf $2,450,000 H 36.25% $1,561,875 Pure Storage Shelf //m 22TB-22/0 Shelf Add, SH0 to SH1, connect to //m $375,000 H 36.25% $239,063 Pure Storage Shelf //m 22TB-22/0 Shelf Add, SH2 to SH3, connect to shelf $375,000 H 36.25% $239,063 Pure Storage Shelf //m 44TB-22/22 Shelf Add, SH0 to SH1, connect to //m $700,000 H 36.25% $446,250 Pure Storage Shelf //m 44TB-22/22 Shelf Add, SH2 to SH3, connect to shelf $700,000 H 36.25% $446,250 Pure Storage Shelf //m 45TB-45/0 Shelf Add, SH0 to SH1, connect to //m $700,000 H 36.25% $446,250 Pure Storage Shelf //m 45TB-45/0 Shelf Add, SH2 to SH3, connect to Shelf $700,000 H 36.25% $446,250 Pure Storage Shelf //m 90TB-45/45 Shelf Add, SH0 to SH1, connect to //m $1,300,000 H 36.25% $828,750

davaji 36% slevu, takze posledni sloupecek - to je s disky: jo a disk stoji 7TB po sleve 7k usd

cisty shelf: Pure Storage Shelf //m Empty Shelf Add, SH0 to SH1, connect to //m $35,000 H 36.25% $22,313 Pure Storage Shelf //m Empty Shelf Add, SH2 to SH3, connect to shelf $35,000 H 36.25% $22,313

po sleve 22k USD ... jo takze se to pohybuje od 7k-30k ... asi ted vsichni vice vydelaji na discich - ceny disku jsou tam tez buzel bych ale zjist, ktery to je ... zda direct flash - coz je ten velky, nebo mesi - protoze tam tez vidim licenci na shlef Pure Storage Shelf 12TB, Half Licensed 24TB Upgrade $300,000 H 36.25% $191,250 a support podle TB kapacity ... purestorage jsem jen spravoval, prisle k hotovemu - koupili to predmenou a poplatky resili jini, ja resil, ze to funguje, ze je to rychle a ze nam tam cykluji snapshoty podle vyvojovych cyklu

[H@nz]

Když už se tu zmínilo BTRFS nad MDADM (ostatně Synology to tak má). Jak v tomto setupu funguje oprava dat, co tu Izak zmiňuje?