abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 18:44 | Zajímavý projekt

Fedora Magazine představil projekt Fedora Kinoite aneb Fedoru Silverblue s prostředím KDE Plasma. Fedora Silverblue je neměnný systém s atomickými aktualizacemi, tj. základní systém je distribuován jako celek, s prostředím GNOME.

Ladislav Hagara | Komentářů: 1
včera 10:00 | IT novinky

Projekty Elasticsearch a Kibana, doposud distribuované pod licencí Apache 2.0, přejdou na duální licencování pod Server-Side Public License (původně používanou pro MongoDB a neschválenou jako open-source organizací OSI) a vlastní source-available licencí. Změna vejde v platnost počínaje vydáním 7.11.

Fluttershy, yay! | Komentářů: 0
včera 09:00 | Komunita

Na Humble Bundle lze do neděle 17. ledna do 19:00 získat zdarma počítačovou hru Bomber Crew (YouTube, Wikipedie) běžící také v Linuxu.

Ladislav Hagara | Komentářů: 1
včera 08:00 | Nová verze

Minimalistická linuxová distribuce Alpine byla vydána v nové stabilní řadě 3.13. Novinkou jsou např. oficiální obrazy v cloudu (AWS EC2), vylepšené síťové nástroje nebo podpora PHP 8.0.

Fluttershy, yay! | Komentářů: 0
včera 07:00 | Bezpečnostní upozornění

Uživatelé Admineru verze 3.7.1 a starších mohli být 29. a 30. prosince napadeni. Útočníkovi se podařilo do souboru jush.js, který se do této verze ještě stahoval z adminer.org, vložit kód, který mu odesílal přihlašovací údaje. Pokud jste v tomto čase tuto více než 7 let starou verzi Admineru používali, tak změňte hesla databází, ke kterým jste se přihlašovali. Novější verze ovlivněné nejsou.

Ladislav Hagara | Komentářů: 2
včera 00:11 | Zajímavý článek

Ernie Smith píše o historii populárních routerů Linksys WRT54G, jejichž software byl založený na Linuxu, a proto posléze díky GNU GPL uvolněn jako open source, což vedlo k vývoji alternativního softwaru jako DD-WRT či OpenWrt a řadě dalších využití.

Fluttershy, yay! | Komentářů: 0
14.1. 18:11 | Nová verze

Po roce vývoje od vydání verze 5.0 a více než 8 300 změnách byla vydána nová stabilní verze 6.0 softwaru, který vytváří aplikační rozhraní umožňující chod aplikací pro Microsoft Windows také pod GNU/Linuxem, Wine (Wikipedie). Z novinek lze zdůraznit core moduly ve formátu PE, Vulkan backend pro WineD3D, podporu DirectShow a Media Foundation nebo redesign textové konzole. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 3
14.1. 14:00 | Zajímavý článek

Guido Günther z Purism napsal článek Phosh Overview o uživatelském prostředí pro mobilní systémy Phosh. Přehledově popisuje co jednotlivé komponenty dělají a jak jsou propojeny.

joejoe | Komentářů: 0
14.1. 10:00 | Bezpečnostní upozornění

Balíček s příkazem sudo byl vydán ve verzi 1.9.5 a následně 1.9.5p1. Řešeny jsou mimo jiné dvě bezpečnostní chyby (CVE-2021-23239 a CVE-2021-23240).

Ladislav Hagara | Komentářů: 0
14.1. 09:00 | Komunita

Byl spuštěn proces zmrazování Debianu 11 s kódovým jménem Bullseye.

Ladislav Hagara | Komentářů: 12
Jestliže používáte distribuci CentOS, kterou náhradu plánujete vzhledem k oznámenému ukončení vydávání?
 (31%)
 (3%)
 (2%)
 (24%)
 (0%)
 (2%)
 (38%)
Celkem 142 hlasů
 Komentářů: 3, poslední 10.1. 13:01
Rozcestník

Dotaz: Stavba "diskového uložiště"

28.10.2020 12:43 chinook | skóre: 27
Stavba "diskového uložiště"
Přečteno: 1578×
Zdravím, přemýšlím, že bych na firmě postavil nějaké menší diskové uložiště. V součastnosti tam je na to server na debianu kde je 4x1TB SAS disky 7200ot. V RAID 5. Běží na něm samba a debian. Slouží na sdílení domácích adresářů, sdílených složek apod. Co se týče rychlosti, většinou to zvládá. Problém je v kapacitě a v tom, že je starý asi 12let.

Chtěl bych složit tedy zase něco podobného. Určitě tam chci DEBIAN. Ale zbytek nevím. Disky asi 6x2,4TB 10tis. ot. SAS? Jaký použít RAID? Je ideální na toto RAID5? Co se týče kapacity, tak určitě. Potřebuji HW raid? Současný server jej má. Jaký filesystém? EXT4? A ted jaké železo? Asi si to složím sám. Protože od DELLu to vyjde dosti draho. Pohlížel jsem na supermicro. Má někdo nějaký tip kam se narve hodně disků a bude to dostatečně spolehlivé? Nebo raději mám investovat a jít do DELLu a vše nechat složit u nich?

A pak jak to připojit. Nainstalit tam normálně sambu, připojit do domeny a provozovat jako samostantný server? Nebo stávající server virtualizovat a připojit přes NFS k němu. To by bylo téměř bez práce.

Děkuji az rady.

Řešení dotazu:


Odpovědi

28.10.2020 13:04 pavele
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Pokud, se o to nechceš starat, pořiď si nějaký NAS server, máš to bez práce.

Já bych po zkušenostech šel do virtualizace, má to spoustu výhod, můžeš si dnes říct, že virtuál bude Debian, zítra si otestuješ Fedoru, pozítří si otestuješ novou verzi Debianu a přechod na něj atd.

Pokud ti běží bez problémů současný server, tak kup větší disky a virtualizuj.
28.10.2020 14:05 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Se starým serverem nemám vůbec žádný problém. A virtualizaci používám také. Jen potřebuji nějaké železo do kterého dám disky. A chtěl bych tam mít doho debiana. Nevšiml jsem si, že se o to musím nějak moc starat a vše tam znám co je potřeba nastavit. A většina nas serveru jsou nějaká klikátka nebo ořezaný linux. Unix nebo něco. Musel bych se to učit.

Není tedy problém server virtualizovat. Ale nějak k němu musím připojit disky. Otázka zní do čeho je dát.
28.10.2020 15:17 Ferdo
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Suhlas, z vlastnej skusenosti mozem potvrdit, uz nikdy viac DIY NAS riesenie. Na trhu je kopec rieseni od consumer, cez SOHO az po Enterprise. Vsetky su typu nakonfiguruj a zabudni. OK obcas musis upgradnut firwmare ale to je asi tak vsetko.
28.10.2020 13:08 Ondra
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Vim, ze pozadavek je DEBIAN, ale co zkusit treba TrueNAS?

ZFS, ovladani celkem intuitivni, v dokumentumentaci jsou HW pozdavaky (to na sestaveni HW), umi to Sambu, NFS, iSCSI, jde propojit i s Active Directory.
28.10.2020 16:00 jiwopene | skóre: 26
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Doporučil bych ZFS, který je na tohle přímo určený. Kombinuje funkce filesystému, LVM a RAIDu. ZFS on Linux funguje bez problému.

ZFS řeší souborový systém, RAID (podle nutné redundance zvolte raidz1 (větší kapacita) až raidz3 (větší redundance)), šifrování jednotlivých zvolů, kompresi, deduplikaci, subvolumy (zvol), snapshoty, NFS export, … Pro RAID-Z je možné nastavit spare disk, který se použije v případě výpadku jiného.

ZFS řeší cache po svém, takže to vypadá, že používá hodně RAM, ale v případě nutnosti ji uvolní pro jiný software.

Nastavení je jednoduché a poměrně intuitivní, ale doporučil bych vytvořit si na několika malých virtuálních discích model úložiště, abyste pochopil, co vlastně děláte.

Hardwarový RAID dnes už spíš přinese víc komplikací než užitku. Pokud odejde řadič, k datům se možná ani nedostanete, protože stejný neseženete.
.sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
28.10.2020 17:35 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Mám strach o Andřeja, nie je na PN? Čakal som že ho už uvidím aj s odozvou o slobodnejšom BTRFS, a námetom na raketovú diskusiu.
28.10.2020 18:12 jiwopene | skóre: 26
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Jaké PN? Máte na mysli to, co já?
.sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
28.10.2020 18:28 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Neviem čo máte na mysli vy, ale ja sa obávam že má Pracovnú Neschopnosť. Inak by tu už dávno robil osvetu. Je to lepšie ako čítanie tvorby fabulátorov.
30.10.2020 15:41 Andrej | skóre: 48 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"

Netuším, kdo je „Andřej“ a proč by měl mít v popisu práce nějakou osvětu na ABCLinuxu.

Kdyby se tazatel obtěžoval hledat v historii poradny, než položil asi tak 30. variantu tohoto dotazu, odpověď na většinu (pod)otázek by tam našel. Opakovat, co už bylo mnohokrát vysvětleno, je ztráta času.

Na nebezpečné hlouposti typu AID5 + Ext4 už podle mě nemá smysl reagovat. Všechno podstatné bylo totiž objasněno v jiných vláknech, třebaže to některým pomalejším čtenářům zatím nedocvaklo. Ale žádný strach, říká se understanding comes with time.

Ještě jinak: Představme si utopii, ve které někdo může zdarma získat auto dle vlastního výběru. Vybírá si tedy auto a žádá o radu. Je obrovský rozdíl mezi těmito typy dotazů:

  • Mám si vybrat Trabant, Škodu 120, Rolls-Royce nebo Bugatti Veyron?
    Na tohle se dá odpovědět — porovnat jednotlivé možnosti, probrat všechna pro a proti, vysvětlit, co a jak.
  • Vybral jsem si Trabant! No a teď jenom nevím: Zelený nebo červený?
    Tady nemá smysl odpovídat, když už se někdo rozhodl pro špatné řešení a pouze volí mezi červenou a zelenou „alternativou“ špatného řešení. Nezbude než popřát tazateli hodně štěstí — bude ho nutně potřebovat.
ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
30.10.2020 16:04 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Dobře a co je tedy na tomto špatně?

Koupil bych 6x WD Gold 8TB 3,5palcu 7200ot SATA Mám jen 1GBIt sít, tak by sata mělo stačit, ne? zapojil bych to do RAID 10. Získal bych tedy kapacitu 24TB. což je 4x víc než jsem původně plánoval. RAID bych použil SW na debianu. Nad to LVM. Filesystem EXT4 a sdílel bych přes sambu. Nebo připojit k virt serveru přes ISCSI? A železo bych použil toto: https://www.czech-server.cz/dell-poweredge-r720-12-core_x23677.html A vše koupil 2x a propojil přes DRBD. Abych zamezil výpadku použitého HW.

Případně co doporučuješ a bude mít podobnou cenu a výkon?
30.10.2020 16:12 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Pan Andrej tady prosazuje názor, že všechny disky jsou špatné a nemají na práci nic jiného, než měnit data, která tam zapíšete. Tudíž jakýkoliv filesystém, který není Btrfs, je špatně, protože vám ztrácí data od prvního dne, kdy ho naformátujete. Pokud jste si toho za celé ty roky nevšiml, tak z toho si nic nedělejte, to není podstatné - podstatné je to, že i když o tom nevíte, tak neustále ztrácíte data. Tečka.
Quando omni flunkus moritati
30.10.2020 16:16 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
V prípade RAID bez checksummingu má pravdu že sa jedná o AID. Pole totižto bez checksummingu nevie verifikovať či nastalo silent data corruption. To platí pre RAID 1 a aj RAID 10.

V prípade RAID 5 alebo RAID 6 je to pochopiteľne inak.

PS: Rsync len s verzionovaním.
30.10.2020 16:37 PetebLazar | skóre: 24 | blog: l_eonardovo_odhodlani
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
V prípade RAID 5 alebo RAID 6 je to pochopiteľne inak.
Je jisté, že se u RAID5(6) implementací (HW/SW) vždy načítá obsah všech členů tj. včetně uložených paritit Ap(Aq) a real-time kontroluje zda jsou data s paritami konzistentní? Měl jsem za to, že k rekonstrukci dat dochází jen v případě pokud chybu čtených sektorů ohlásí nižší vrstvy (HDD/řadič), v opačném případě logika RAIDu nezasahuje (není proč). Nad RAID5(6) jsou typicky naplánované automatické úlohy, které konzistenci všech uložených dat/parit periodicky kontrolují (např. Patrol Read u DELL PERCů).

30.10.2020 17:18 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Měl jsem za to, že k rekonstrukci dat dochází jen v případě pokud chybu čtených sektorů ohlásí nižší vrstvy (HDD/řadič)
V prípade že si priplatíš za disky určené do serveru alebo do diskového poľa, tak áno. Vtedy ten disk reportuje nielen chybu čítania, ale aj predĺženie odozvy pri I/O operáciách ako (potenciálnu) chybu. Desktopové a iné hračkárske disky ostanú ticho aj keď nevedia prečítať vadný blok. Z toho potom pramenia zaujímavé nedorozumenia, a plamenné diskusie.

Mimochodom, aj SW RAID má možnosť spustenia kontroly integrity poľa. Sú distribúcie ktoré to majú priamo v sebe, napríklad CentOS v /etc/cron.d/raid-check.
30.10.2020 17:31 GeorgeWH | skóre: 40
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Desktopové a iné hračkárske disky ostanú ticho aj keď nevedia prečítať vadný blok.

To mas odkial?
30.10.2020 18:07 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Už som to pár krát zažil na vlastnej koži, ako každý. Niektorí si to ale ešte nevšimli. Je to jeden z aspektov Silent Data Corruprion.
30.10.2020 19:07 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Potvrzuji, Nepřečte sektor, SMART hlási OK, a jen btrfs scrub to zachytí. Proto i v domácím prostředí přecházím na Ultrastary at již na HGST nebo nověji na Wd.
30.10.2020 19:29 PetebLazar | skóre: 24 | blog: l_eonardovo_odhodlani
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Nepřečte úspěšně sektor a prohlásí že IO operace dopadla úspěšně, nebo jde o to že S.M.A.R.T. o chybném čtení nemá páru? To jsou dvě naprosto odlišné věci.
30.10.2020 19:27 PetebLazar | skóre: 24 | blog: l_eonardovo_odhodlani
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Tomu se mi nechce věřit (nereportovaná CRC chyba z hardisku či řadiče). Druhým možným vysvětlením co mne napadá je, že jste neskutečný smolař (CRC Vám vyšel stejně i pro poškozená data). ;-)

K čemu by u comsumer HDD byl TLER,ERC,CCTL a další technologie (u RAID disků záměrně vypnuté), které se právě snaží ve stanoveném určeném čase (~7s) z Hammingova kódu typicky o délce 50B(pro 512B sektor) a 100B pro 4K sektor dopočitat správný obsah sektoru?
30.10.2020 20:02 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Zbadáš, ak si budeš kontrolovať konzistenciu cenných dát a použiješ disky s najlepším pomerom cena/kapacita. I keď to neboli SMR. Šetriť sa neopláca.

No, u mňa to nebola jediná kópia. Takže škody boli rádovo len v čase na overenie dostupnosti dát a ich konzistencie v rôznych lokáciách. A v cene poškodeného disku ktorý mal približnú hodnotu jedného zábavného víkendu počas barovej sezóny.
k3dAR avatar 31.10.2020 00:51 k3dAR | skóre: 60
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
[...] aj SW RAID má možnosť spustenia kontroly integrity poľa. Sú distribúcie ktoré to majú priamo v sebe, napríklad CentOS v /etc/cron.d/raid-check.
dela to same co /etc/cron.d/mdadm v (napr.) *buntu?
/usr/share/mdadm/checkarray --cron --all --idle --quiet
porad nemam telo, ale uz mam hlavu... nobody
Jendа avatar 31.10.2020 01:02 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Ano. Teda možná by se místo check hodilo provádět repair. A taky by někdo měl ty výsledky toho checku číst. Na druhou stranu check řekne, že našel tři bloky, které neseděly - a co jako s tím. Nevím, jestli z toho jde vyrazit, které bloky to byly, zjistit, do kterého souboru patří (plot twist: bude to swap nebo něco podobného a došlo k tomu tak, že se začala odkládat stránka, ale v tom okamžiku byla potřeba, tak se příkaz pro zápis zrušil, a jeden disk ho už vykonal a druhý ne) a porovnat se zálohou/originálem.

Ale problém jako je, že když ti fakt něco nebude sedět na RAID1 přes dva disky nebo na RAID5, tak nevíš, která kopie je špatně. Až u RAID6 by to šlo zjistit.

Všichni tu mluví o data corruption, ale ještě nikdo neukázal, jestli ten disk vrátí blok, ve kterém je jeden bitflip, nebo je to celé špatně, a jaktože tomu vyšlo ECC na disku a CRC cestou.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
31.10.2020 07:37 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Všichni tu mluví o data corruption, ale ještě nikdo neukázal, jestli ten disk vrátí blok, ve kterém je jeden bitflip, nebo je to celé špatně, a jaktože tomu vyšlo ECC na disku a CRC cestou.
Ako sa potom volá to, keď ten disk vráti blok plný binárnych núl namiesto pôvodne nahraných údajov, a vráti to to bez chyby? To asi nebude bitflip s exaktne definovaným X XOR (256-X).
31.10.2020 09:24 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
plot twist: bude to swap nebo něco podobného
Pár let zpátky mě tu někdo (M. Kubeček?) varoval, že swap na MD pole nepatří. Ani nikam jinam, kde k uvolnění paměti je zapotřebí alokovat paměť.
Quando omni flunkus moritati
Jendа avatar 31.10.2020 17:33 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Ale to je pak dilema mezi tím, že systém umře při výpadku jednoho disku (protože přijde o data ve swapu), a že se deadlockne při odkládání stránky na MD. Úmrtí disku jsem zažil mnohokrát, deadlock myslím nikdy.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
1.11.2020 01:06 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
deadlock myslím nikdy
To já jo. Když jsem jednu dobu musel ležet v posteli a kurýrovat se, tak jsem na Linuxu hrál Wasteland 2 s minimálními požadavky 4GB RAM, a to na notebooku, co měl 2GB RAM. A starý rotační disk, kterému swapování hodně vadilo. Když jsem na svém desktopu vyrobil ramdisk, na něm soubor, ten nasdílel přes Sambu, přes loopback z něj udělal blokové zařízení a to připojil jako swap, tak se to po chvilce používání deadlocklo.

Takže tohle do produkce nedoporučuju
Quando omni flunkus moritati
1.11.2020 10:15 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Kdo by to čekal, že? 8-D
1.11.2020 10:18 Peter Golis | skóre: 61 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Od tohoto bolo predsa iSCSI.
1.11.2020 10:21 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Když už, tak bych pro podobné zvěrstvo použil NBD. Má to menší režii. Ale i tak do bylo dost naivní. Myslet si, že systém, který je donucen swapovat při tom zvládne síťový provoz. A ještě s tak bídnými parametry.
30.10.2020 19:02 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Ty máš něco proti Trabantům? Ten motor se dá opravit skoro všude a dokud do něj teče něco co hoří s trochou oleje tak jede. :-)
28.10.2020 18:38 trozsypa
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Jak už někdo psal, koukněte na FreeNAS/TrueNAS. Doporučuji. Záleží co všechno potřebujete rozjet, je to teda na FreeBSD; ale teď chystají verzi na linuxu.

Ohledně hardware: Supermicro deska s IPMI je fajn, ECC paměti (čím víc tím líp). Hodně se dá ušetřit nákupy z druhé ruky třeba na eBayi. Řadič např. LSI SAS 93xx (IT mode - RAID dělá ZFS, zvládá SATA i SAS), síť 10G je-li potřeba např. Mellanox ConnectX-3 (jinak na 1G nějaká serverová NIC Intel na Supermicro desce bude vždy), disky SATA něco lepšího s 4K sektorama. Na read/write cache nějaké SSD s NVMe. Pozor na počty PCIe linek, takové karty jsou většinou 4x nebo 8x. Pokud potřebujete i VGA, můžou začít PCIe linky chybět. Bednu třeba nějakou svoji starou; profi věci hodně topí a potřebují větrání. Pozor na kravál (pokud budete kupovat hotovou serverovou bednu). Taková konfigurace by měla vydržet dlouho.
28.10.2020 20:09 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Podle mne jsou SAS disky tak drahe, ze uz se vyplati koupit rovnou SSD.

Co se tyce serveru...je nutne si zodpovedet...

1] rozpocet

2] administrace

3] pozadovane funkce

4] zalohovani

Pokud pouzity server, pro zminovane 6x2.4T SAS bych videl klidne neco jako HP DL380p G8 a usetrene penize dat do ssd.

Pokud novy server, tak klidne SM, ale doporucuji pak mit to cele slozene od dodavatele. Jinak se stane, ze nektere komponenty nespolupracuji v ramci IPMI.

Pripadne koupit hotove NAS/DAS reseni. Sam jsem par ulozist postavil a funguji, ale klidny spani z toho uplne nemam.

HW raid ma nektere vyhody, ktere zadny SW raid nema.

Filesystem takovy, ktery umite spravovat, pripadne od dodavatele.
29.10.2020 19:33 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
SSD disky budou ještě dražší. Tak mám koupit SATA?

1) Rozpočet co nejnižší 2) Administrace ideálně přes konsoli, proto chci toho debiana. 3) Bude to file server, sdílet se bude bud na win PC přes SAMBu nebo na virt server přes NFS a dále přes sambu to ještě nevím 4) Zálohování RSYNCEM na jiný server, kde je BTRFS a tam se udělá snapshot Co znamená filesystem který umím spárovat? Právě nevím jestli použít HW raid nebo ne. Protože třeba u starého serveru je, ale pokud by odešel ten, asi ho už neseženu a k datům se nejspíš nedostanu. Aspon ne v dohledné době.
Jendа avatar 31.10.2020 01:16 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
HW raid ma nektere vyhody, ktere zadny SW raid nema.
Konkrétně? Jediné, co mě napadá, je baterková writeback cache.
Pripadne koupit hotove NAS/DAS reseni.
To bych taky důrazně nedoporučil. Člověk narazí jakmile bude chtít cokoli s čím výrobce nepočítal. Nebo za 5 let zjistí že to je nepodporované.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
1.11.2020 09:47 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Ano ta cache.

Dalsi veci jako - identifikace konkretniho disku (led), coz umoznuje i vymenu disku bez nutnosti cachrovat s prikazy sw pole, moznost menit typ raidu za chodu, v nekterych pripadech i sifrovani out-of-box s pripadnym predavanim klicu vzdalene atd...
Jendа avatar 1.11.2020 17:07 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
moznost menit typ raidu za chodu
To samozřejmě MD RAID umí taky (reshape), naopak u HW RAIDů je toto dostupné jen u některých modelů.
v nekterych pripadech i sifrovani out-of-box s pripadnym predavanim klicu vzdalene
To se řeší tak, že se na tom MD RAIDu udělá LUKS, a jako bonus nemáš proprietární neauditovatelné šifrování s dírama.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
Josef Kufner avatar 28.10.2020 21:46 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
12 let starý znamená stabilní a osvědčený. Pokud výkon stačí, tak ho nech běžet. Jen vyměň 1TB disky za 8TB modely. Co jsem se díval loni na statistiky, tak právě 8TB modely byly nejspolehlivější.
Hello world ! Segmentation fault (core dumped)
28.10.2020 22:18 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
12 let stary je pravdepodobne

a] sata2

b] zrout energie

c] pomale aes

d] malo cpu jader

Pro virtualizaci asi nic extra. Nemluve o tom, rebuild R5 pole nad 8T diskama bude masakr.
28.10.2020 22:20 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Navic tam ma SAS disky, to sehnat za rozumnou cenu v 8T...A to pole pravdepodobne neumozni mix sata/sas v jednom raidu.
Josef Kufner avatar 28.10.2020 22:34 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Proto píšu "Pokud výkon stačí".

SATA2 za 1Gbps síťovkou moc nevadí. Disky stejnak dají tak 90 MBps, což je 720 Mbps. SATA2 dá 3 Gbps a tedy stačí.

Co se energie týče, před 12 lety už byly relativně úsporné kousky. Byla to doba, kdy honba za GHz už skončila a začalo se koukat i na spotřebu. Záleží, co tam má, ale je dost možné, že rozdíl nebude podstatný.

Chybějící podpora hardwarového AES se neprojeví na nešifrovaných discích.

Větší počet CPU jader není na NAS potřeba. Je potřeba hlavně DMA a slušné řadiče. CPU pak jen říká který blok dat kam překopírovat. Nižší rychlost pamětí a sběrnic bude spíš vadit.

Virtualizace záleží jaká. Kontejnery budou v pohodě, ty hardwarovou podporu nepotřebují. Virtualbox a podobné budou líné. Na file serveru to asi nebude vadit.

Rebuild pole bude trvat. To jo. Naštěstí se to nedělá moc často. Ty velké disky do nového serveru dá také, takže tady si nepomůže.
Hello world ! Segmentation fault (core dumped)
28.10.2020 23:42 j
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
A proc pises o vecech, o kterych vis kulovy? To si jako myslis, ze ten raid se dela po siti? 12 let starej HW nema ve firemnim prostredi vubec co pohledavat, ten ma bejt uz mejmin 6 let v popelnici! Data na tom ulozeny maji hodnotu milionkrat vetsi nez je cena novyho HW.

A uz vubec nemel o spolehlivosti. Takovahle vec muze lehnout z minuty na minutu!

Navic je prakticky 100% jisty, ze ho to s vetsima diskama leda posle doprdele! To ze se ti bude sifrovat ta samba samo taky netusis ze? Win 10 pouzivaji smb3 a zatim v defaultu chteji jen podepisovani. Jen otazka casu kdy budou enforsovat sifrovani, nemluve o tom, ze opet ve firemnim prostredi pokud si firma nechce velmi nahlas rict o pekelne drahej flastr (radove drazsi nez jakejkoli HW) se to sifrovat MUSI. Protoze ses ze zakona povinen prijmout veskera opatreni k zabezpeceni dat.

---

Dete s tim guuglem dopice!
29.10.2020 19:36 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Výkon by stačil. Ale mám strach, že něco odejde. Třeba řadič. Proto to chci měnit. JInak bych koupil disky a bylo by to v pohodě.
Josef Kufner avatar 30.10.2020 13:47 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Moje zkušenost je, že když něco vydrží 12 let, tak vydrží i několik dalších. Tedy pokud tam není nějaké mechanické opotřebovávání, které z principu má omezenou životnost.

Pokud něco odejde, tak je to spíš tak rok po záruce, nebo je to vadný kus a projeví se chvíli po pořízení.

Zamysli se takto: Když to odejde, ať nové nebo staré, co se stane? Kolik výpadku je přijatelných? Čím chcíplý server nahradíš? Pokud budeš vědět co dělat a že připravený scénář je firmě přijatelný, tak máš odpověď i na to, co se serverem.

Low-cost variantu vidím takto: Vyměň disky za větší, ponech starý server. Vytipuj si náhradní server, pokud by starý odešel. Něco, co je skladem a můžeš to v přijatelném čase sehnat a zprovoznit. Aby výpadek byl minimální, měj připravený nějaký starý šrot, který zvládne fungovat v přijatelné úrovni dokud nový server nezprovozníš. Prostě mít připravený scénář, co s tím když…
Hello world ! Segmentation fault (core dumped)
Jendа avatar 31.10.2020 01:18 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Třeba řadič.
A přesně proto potřebuješ SATA disky a MD RAID (nebo ZFS nebo btrfs), abys za pár let nebyl ve stejné situaci s novým řešením. Pak to odejde a ty v Alze koupíš cokoli (nebo sekretářce ukradneš desktop) a jedeš.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
2.11.2020 17:08 Semo | skóre: 45 | blog: Semo
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
OT: myslim, ze paticka by mohla byt este bombastickejsia (a stale pravdiva): Z textu toho PDF ("zpomalení dynamiky") by som tipoval, ze odhadovali 2. derivaciu. Stale to nema na Nixona a "jeho" 3. derivaciu, ale aspon sa blizia.
If you hold a Unix shell up to your ear, you can you hear the C.
28.10.2020 22:15 Michal
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Gramatická vsuvka - píše se úložiště.

A ještě jedna pro autory Abclinuxu.
Zadejte vaše jméno nebo se přihlašte.

Píše se přihlaste. Přihlašte je chybný patvar.

29.10.2020 00:06 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Nechci ti do toho kecat, ale mezi slovy "přihlášení" a "přihlásení" je docela zřejmý významový posun.
29.10.2020 09:26 Michal
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Této poznámce nerozumím. Raději tedy své tvrzení podpořím několika zdroji:

https://www.pravopisne.cz/2010/10/prihlaste-se-x-prihlaste-se/
http://www.nabla.cz/obsah/cestina/clanky/prihlaste.php
https://proofreading.cz/cestina-pod-lupou/prihlaste-nikoli-prihlaste/
https://www.facebook.com/Peknecesky/photos/a.1597548357159234/1607669199480483/?type=1&theater
https://www.mojecestina.cz/article/2016070703-cestina-letem-svetem-prihlaste-se
31.10.2020 11:21 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
To že se na internetu opakují tuny nesmyslů, je smutným faktem, nikoliv pravdou. Použiju jen jeden z těch tvých "zdrojů", protože pokud rozdíl v těch slovech neslyšíš a nevnímáš, tak to dál rozebírat nemá cenu.

Na stránce https://proofreading.cz/cestina-pod-lupou/prihlaste-nikoli-prihlaste/ se uvádí tvary rozkazovacího způsobu dokonavého slovesa „přihlásiti“, tedy ohlásiti někoho k nějakému úkonu, oznámiti něčí přítomnost. Kdežto přihlášení vychází z nedokonavého slovesa „přihlašovati“, tedy ohlašovati někoho k nějakému úkonu, oznamovati něčí přítomnost.

Kurzívou uvedené citace pochází z 9 svazkového Příručního slovníku jazyka českého, vydaného Státním nakladatelstvím v Praze 1944–1948 (díl IV, část 2 str. 321–322).
1.11.2020 21:10 Michal
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Autor ABC ale chce, abych se (dokonavě) přihlásil. A proto je správně jedině přihlaste se. Kdyby chtěl, abych se (nedokonavě/pravidelně) přihlašoval, pak by to musel napsat právě takto. Nedokonavé přihlaste se je nesmysl.
1.11.2020 23:37 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Seš mimoň.
2.11.2020 00:13 ...
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
2.11.2020 11:15 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Sorry. Viz výše. To že současní "jazykovědci" vycházejí vstříc mantákům co nejsou schopni slyšet ty rozdíly je spíš smutné.
2.11.2020 11:42 Tomtom
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Aha. A ten vtip znas? Jede chlapek po D1, slysi z radia upozorneni, ze po D1 jede jeden blazen v protismeru a mumla si pro sebe: "Jak jeden?!? Vsichni krome me!"

Ted uz vim, ze to neni vtip - jsi zivym dukazem, te se to stava IRL :-)
2.11.2020 13:58 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Od osoby, která v životě neslyšela o diakritice to fakt sedí.
2.11.2020 11:12 Tomtom
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Sel jsem s tim za manzelkou, ktera by o tom neco mela vedet (alespon doufam ;-) ), kdyz to uci budouci ucitele a dela korektury knih. Potvrzuje, ze mimon 1 : Kapica 0.
2.11.2020 11:15 Aleš Kapica | skóre: 50 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Za tohle by se teda měla spíš stydět.
28.10.2020 23:27 j
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Naco to chces? Co znamena "vetsinou zvlada"?

Sas ma smysl pouze v pripade, ze mas odpovidajici zelezo, tzn dva radice, nebo hodne disku. Jinak je to prakticky nanic. Nic tim neziskas. Kupodat jakykoli disky nad 7k2 je kravina, cena zcela nesmyslna, a libovolny SSD ti da radove vic vykonu.

Kolik disku do toho chces dat i vyhledove? Mel bys to navrhovat tak na 5-7 let. HW raid je dozivajici technologie. Do malych poli to smysl dava, ale do cehokoli s vice diskama ne. Jednoduse je to strasne neflexibilni, nepridas si jeden nebo dva disky.

Davat nfs pred sambu je kravina. Kdyz uz, tak se disky pripojujou pres iscsi. Co se vlastniho FS tyce, rozhodne chces neco, co ti umozni delat snapy, a rozhodne nechces ZFS. Proc? Protoze opet, jeden disk si tam nepridas (a kdyz se to podela, tak naprosto dokonale). Takze mas na vyber mezi btrfs a btrfs. A mas vyresenej i ten raid.

Co se tyce skladacka vs hotovej stroj, to zelezi na tom, jestli chces mit na koho ukazat, az se neco podela. Protoze u skladacky to budes ty.

A velice podstatny ... jakej na to mas rozpocet?

---

Dete s tim guuglem dopice!
29.10.2020 19:47 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Zvládá znamená to, že všem data poskytuje plnou rychlostí. ALe občas se stane, že delší soubory se kopírují o trochu déle. Ale to je fakt jen občas. Není v tom problém. SSD bude moc drahé. Koupím tedy SATA. 10k je zbytečné?

Jak je na tom BTRFS v debianu ted? Dříve tam bylo upozornění. BTRFS is an experimental filesystem, use at your own risk. Rozpočet nemám žádnej, ale čím levnější to bude tím lepší.

A snaphsoty asi nepotřebuji. Na záložním stroji mám BTRFS.
Jendа avatar 31.10.2020 01:21 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Jak je na tom BTRFS v debianu ted?
Používal bych aktuální kernel a btrfs-utils (z backports) a tím to převedl na problém „jak je na tom btrfs kdekoli“. No: single a RAID1 už v pohodě, RAID5 ne.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
29.10.2020 14:25 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
No záleží na požadované rychlosti, kapacitě, výkonu. Asi bych volil nějaké NAS jako třeba tohle pustil nad tím virtualizaci a pak měl OS podle volby. A disky také podle volby. A nebo silnější nas Nebo miror mezi 2 systémy ve dvou místech jako HA. Dal bych tomu přednost před vlastní stavbou. Supermicro by mě zajímalo tak od 100TB kapacity výše.
Max avatar 29.10.2020 15:42 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Šel bych cestou Supermicro, druhů šasi mají nepřeberně, 8x 3,5" z čela, nebo 12x 3,5" z čela (2U velikost), nebo pak 4U velikosti s mnohem větším počtem.
A pak je otázkou, co čekáš od toho úložiště, jakou výslednou kapacitu potřebuješ a jak velký výkon v IOPS potřebuješ. Od toho se pak odvíjí, zda jít cestou nějakého řadiče s cache, nebo nějakého LSI HBA apod.
Zdar Max
Měl jsem sen ... :(
30.10.2020 10:48 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Výkonově to bude zvládat, když to ted zvládá server se 4GB RAM s disky 4x1TB 3,5palcu 7200ot SAS v raidu 5.

Co si myslíš o této variantě?

Koupil bych 6x WD Gold 8TB 3,5palcu 7200ot SATA Mám jen 1GBIt sít, tak by sata mělo stačit, ne? zapojil bych to do RAID 10. Získal bych tedy kapacitu 24TB. což je 4x víc než jsem původně plánoval.

RAID bych použil SW na debianu. Nad to LVM. Filesystem EXT4 a sdílel bych přes sambu. Nebo připojit k virt serveru přes ISCSI?

A železo bych použil toto: https://www.czech-server.cz/dell-poweredge-r720-12-core_x23677.html

A vše koupil 2x a propojil přes DRBD. Abych zamezil výpadku použitého HW.

Zvládne ten server 8TB disky?

A do starého serveru bych koupil 8x8TB disky ty stejné. Nainstaloval tam debian na BTRFS a použil jej na zálohy. Jaký tam použít raid?
30.10.2020 11:18 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
U takhle velikých polí se opravdu podívej na ZFS. Např. synchronizace mdadm bude trvat tak 20 hodin. ZFS synchronizuje jen data, takže zpočátku prázdný filesystém bude hned. Výměna disku v ZFS je z mé zkušenosti jednodušší než v mdadm. Raid10 mdadm a ZFS má stejnou redundanci.

Hlavně pak oceníš snadné zálohování - snapshoty, send/receive třeba na pole externích disků, atd. Je s tím úplně jiná práce než s mdadm.

Na SAS92xx (6Gb/s) mám 6TB disky, 8TB zřejmě také OK. Na starších (3Gb/s) mi to víc než 2TB nerozpoznalo.
30.10.2020 12:04 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
To přeci není problém, že se bude pole synchronizovat 20h. Nebo ANO? A snapshoty mně žádnou výhodu nepřinesou, když to budu každou noc rsyncem přenášet na server kde je BTRFS. Zase se mně nechce učit ZFS a spustit to na produkčním prostředí, když to neznám. Protože to nebudu používat často a plno věcí kolem toho zapomenu až to bude potřeba.
30.10.2020 12:23 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Raid10 s jedním vypadlým diskem nemá žádnou redundanci. Je víc než vhodné minimalizovat dobu takého provozu. 20 hodin je dost, pokud to není nezbytně nutné.

Rsync je fajn, ale dobrá záloha je datově konzistentní. Až bude tak velké pole plnější, pojede rsync docela dlouho, obzvláště na pomalých HDD. Než dojede, uživatelé nahrají/smažou/změní spoustu souborů. To se u snapshotu nestane. Tam může jet rsync klidně dva dny a pořád jsi v pohodě. Až dojede, udělá se snapshot znovu a rsync jede další kolo.

Máme takto zálohovaný legacy mail server na ext4 (rsync -> backuppc pro deduplikaci a udržování "aplikačních" snapshotů). Na serveru jsou desítky miliónů souborů a záloha trvá hodně hodin. Maily v záloze nejsou konzistentní, což není dobře. Pokud bych dnes ten server dělal, rozhodně bych použil filesystém se snapshoty. Protože mě btrfs stále nepřesvědčil, použil bych zfs. Ale pro tento účel by asi fungovalo obojí.

Ohledně zapomenutí - stačí si napsat použité příkazy třeba na firemní wiki. Servery by stejně měly mít svou dokumentaci. Ale je to tvá věc, jen píšu své zkušenosti s podobným řešením (stavěná pole, sw raid, open-source zálohování).
30.10.2020 12:29 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
No Ok. Tvoje argumenty jsou zajímavé a možná to ještě přehodnotím. Zvládne ten server ZFS? Bude stačit u tak velkého pole 16GB RAM?
Max avatar 30.10.2020 12:38 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
U ZFS je doporučováno 1GB ram na 1TB dat. Reálné využití je pak samozřejmě nižší, viz : ZFS : Stavba a zkušenosti se ZFS storage.
RAIDZ by v tvém případě byl nepoužitelný (= pomalý), takže jedině vdevy alá RAID10.
ZFS se umí poprat i s dost špatnými disky (vadné bloky atd.) a dokáže nad tím fungovat.
Aby jsi to měl ale opravdu ok, tak je dobré používat HBA, aby ZFS mělo přímý přístup na disky a ty do SMARTu těch disků.
Zdar Max
Měl jsem sen ... :(
30.10.2020 12:44 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Když nezapneš deduplikaci (defaultně vypnutá), tak IMO úplně v pohodě. Rychlost můžeš pak případně tunit kešemi na SSD.

Ale také souhlasím, že standardizované synology je v tvém případě velice dobrá volba, protože je vše hotové, dobře zdokumentované a hlavně provoz pole pak nezávisí na tobě. Pro firmu rozumnější.
30.10.2020 15:51 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
20 hodin je dost, pokud to není nezbytně nutné.

20 hodin je optimistický odhad v případě, že ten disk nedělá nic jiného a může synchronizovat sekvenčním čtením a zápisem. Pokud bude dělat něco jiného - jako například to, kvůli čemu v tom serveru je :-) - tak to bude víc
Quando omni flunkus moritati
30.10.2020 15:56 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Ale to přeci ničemu nevadí, ne? Když budu mít druhý server připojen přes DRBD. I v případě, že by mně vypadl další disk, tak furt mám data na druhém serveru.
30.10.2020 16:07 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Práce s tím bude pomalá - běžný provoz se vám bude tlouct s tou synchronizací. Nevim, jestli DRBD lze přesvědčit, aby preferovalo vzdálený disk, i když lokální funguje, to by pořešilo čtení. (Nebo tam mít cluster a přehodit tu Sambu, akorát je otázka, jak se na to budou tvářit klienti.) Zápisy ale vždycky musíte udělat na všechny disky včetně těch, co se synchronizují.

Ještě je taky trochu otázka ekonomičnosti takového řešení - v podstatě stavíte RAID1 a máte stejné kopie dat na 4 discích, což je docela luxus :-) (Nicméně pokud to není problém, tak nic proti tomu.)
Quando omni flunkus moritati
30.10.2020 16:19 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
To je vlastně pravda. To jsem si neuvědomil, že to zpomalí i ten druhý server. Zase jsem si říkal, že bych udělal dvě pole a každé provozoval na druhém serveru. Tudíž by disky mohly být více vytížené.

Co tedy doporučuješ použit Ty?

Samozřejmě by bylo ideální provozovat jeden server. ALe moc nevěřím serveru, který koupím někde za 6tis. plus disky do něj.
30.10.2020 16:31 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Já doporučuju jen to, co jsem sám vyzkoušel - takovéhle úložiště pro produkci jsem ještě nestavěl, takže nedoporučuju nic :-)
Quando omni flunkus moritati
30.10.2020 19:53 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Spočítej si, kolik ten druhý server prožere na elektrice. Koupil bych druhý za pár šupů do skladu a kdyby první umřel, přehodíš disky do druhého a do hodiny jedeš.
1.11.2020 09:57 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Pokud se budeme bavit o drbd8, tak pokud je pole vytizene, tak synchronizace je pomala. A pokud nad tim polem jsou nejake VM, tak se to projevi vysokym loadem ve VM - zalezi na tom, zda je drbd nad lvm nebo obracene.

My mame v provozu 2 typy reseni:

1] starsi

- drbd je nad lvm, takze oba servery jsou primarni pro VM a syncuji se na druhy, neflaka se tedy ani jeden

- nevyhoda tohoto reseni je X konfiguraci drbd kvuli kazde VM atd.

2] novejsi

- lvm je nad drbd - v tomto pripade se jeden server skutecne "flaka", je to kvuli HA nfs serveru

U drbd9 se situace dost meni. Ma to urcite vlastnosti, ktere 8 nema - napr. je mozne mit VM spustene na serveru1 a drbd pripojene na serveru2. To na drbd8 out-of-box nelze.

Co se tyce vypadku. V posledni dobe nam kvuli nejake chybe na disku vypadavala jedna VM drive nezazitym zpusobem. Primarni disk se stal diskless a vzdaleny sekundarni se v tom okamziku pouzil pro beh VM. Podobne jako v drbd9. Obvykle nam pri vypadku drbd pacemaker prehodil VM tam, kde byl funkcni disk. Nevime, proc se to zacalo chovat jinak...
30.10.2020 12:29
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Kup Synology (nebo něco podobného). Tam si všechno nastavíš na webovém rozhraní a můžeš zapomenout. Kup dvě, tak budeš mít synchronizaci i náhradu pro případ problémů. A i když koupíš jenom jedno, tak pořád můžeš automaticky zálohovat proti starému serveru.

Dáš tam doporučené sata disky. Případně také doporučené SSD disky jako diskovou cache. Nebo též maximum paněti, co se tam vejde...

A pokud budeš náhodou potřebovat virtualizovat nějaký server, tak to můžeš pustit přímo na tom Synology nasu.
Jendа avatar 31.10.2020 01:29 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Kup Synology (nebo něco podobného). Tam si všechno nastavíš na webovém rozhraní a můžeš zapomenout.
A jakmile bude chtít cokoli jiného, tak se z toho ***. Třeba to konzistentní zálohování ze snapshotu. Nebo tam bude blbá verze rdiff-backup. Nebo nepůjde udělat RAID přes druhé půlky větších disků a přidat ho do LVM. Nebo…
Miluješ detaily? Nastav všechny šroubky do stejné polohy
31.10.2020 09:09
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Třeba to konzistentní zálohování ze snapshotu.
Snapshoty to umí.
Nebo tam bude blbá verze rdiff-backup.
rdiff-backup můžeš mít stejnou verzi, jako na debianu nebo arch linuxu.

A pokud chceš zálohovat z jednoho systému na jiný systém, který se liší četností updatů, musíš stejně sám nějak zajistit, aby se ti ty verze zálohovacího softwaru nelišily takovým způsobem, aby už nešly proti sobě použít.
Nebo nepůjde udělat RAID přes druhé půlky větších disků a přidat ho do LVM.
To umí Synology už asi milión let.

Ale nikomu nic nenutím. Jenom jsem vyjádřil názor. Názory se mohou lišit. Například 25 letý administrátor může mít na věc jiný názor než 55 letý. Protože ten mladý se v tom bude třeba vyžívat, zatímco ten starší už bude chtít mít klid a nic navíc neřešit. A ten klid může spočívat v tom, koupit hotové řešení. Synology se NAS servery žíví, takže tam na tom patrně pracuje víc lidí, než ve firmě, která má třeba jen jednoho administrátora a ještě k tomu externího.
k3dAR avatar 31.10.2020 12:27 k3dAR | skóre: 60
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
tak tazatel JASNE napsal co ma (a NEni to hotovej NAS) a co chce (a NEni to hotovej NAS), proc by mel prechazet z funkcniho reseni s kterym je spokojen a ma ho plne pod kontrolou na reseni 3rd firmy ktera klidne at se tim zivi, NEnabizi to co on dotazuje? ;-)
porad nemam telo, ale uz mam hlavu... nobody
Jendа avatar 31.10.2020 19:36 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
OK, tak to asi pokročilo, nebo jsou jejich větší věci lepší než 2diskové SOHO krabičky. Tam byl omezený Linux s busyboxem. Pak jsem měl ještě nějakou 4diskovou věc od WD a tam byl pro změnu Debian nakombinovaný z balíčků od Woody (!!!) po Squeeze a výrobcem dodaný kernel 2.6.39, ale kupodivu Stretch v chrootu fungoval.
Snapshoty to umí.
OK, a dělají se normálními tooly (lvcreate -s, příp. btrfs snapshot), nebo se to rozbije když to člověk neudělá přes jejich „centrální mozek“? V tom bych taky viděl problém, že to bude dost jiné, než co tazatel do teď má, a nepůjde k tomu tolik vygooglit, protože uživatelská základna je menší a 90% z toho jsou BFU.
A pokud chceš zálohovat z jednoho systému na jiný systém, který se liší četností updatů, musíš stejně sám nějak zajistit, aby se ti ty verze zálohovacího softwaru nelišily takovým způsobem, aby už nešly proti sobě použít.
No to já dělám právě tím, že mám všude Debian :-). Jestli to chápu, tak řešení u Synology je mít chroot/kontejner s Debianem, no to člověk může mít ten Debian rovnou (a ještě bude mít podporovaný debianí kernel).
A ten klid může spočívat v tom, koupit hotové řešení. Synology se NAS servery žíví, takže tam na tom patrně pracuje víc lidí, než ve firmě, která má třeba jen jednoho administrátora a ještě k tomu externího.
Zrovna se ve vedlejší diskuzi řeší, že si někdo koupil takové hotové řešení od velké firmy co NASy dělá, a teď z toho neumí dostat data, protože to má bizarní konfiguraci a patchnuté nekompatibilní nástroje. Synology pro změnu třeba kdysi patchovala ext3 aby byl case-insensitive
Miluješ detaily? Nastav všechny šroubky do stejné polohy
31.10.2020 19:51 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Taky mně nějak uniká, proč bych si měl kupovat neznámý NAS o kterém nic nevím, se systémem o kterém nic nevím. Místo řešení které již používám 10 let. Jsem s ním spokojen a nemusím se v podstatě nic učit. A postavit se na něm dá cokoliv.
Max avatar 30.10.2020 12:49 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
WD Gold se už nedělá, ne? Místo toho je WD Ultrastar DC HC320 8TB. A myslím, že tohle je už Heliový disk a podle jedné firmy, co dodává disky ulozto, mají heliové disky strašně malou poruchovost a nižší teploty.
Zdar Max
Měl jsem sen ... :(
30.10.2020 15:49 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
WD Gold se už nedělá, ne?
Nedávno jsem ho koupil do desktopu v CzC v 2TB variantě.
Quando omni flunkus moritati
30.10.2020 15:59 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Na alze byl výprodej, ale koupím ten co říkal MAX. WD Ultrastar DC HC320 8TB
30.10.2020 15:59 PetebLazar | skóre: 24 | blog: l_eonardovo_odhodlani
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
30.10.2020 15:58 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
A do starého serveru bych koupil 8x8TB disky ty stejné. Nainstaloval tam debian na BTRFS a použil jej na zálohy. Jaký tam použít raid?

Podle jednoho z vývojářů Btrfs jsou jiné režimy než RAID1 v Btrfs nespolehlivé, takže buď RAID1, nebo mít Btrfs nad MD, což vám tady asi budou rozmlouvat ti, co Btrfs používají. Nemluvě o tom, že RAID5 nad 8 disky je na můj vkus dost nebezpečné (na selhání disku při obnově po selhání předchozího disku) - což si musíte zvážit, jestli by se to na stroji, kde jsou jen zálohy, zkouslo.
Quando omni flunkus moritati
30.10.2020 16:01 chinook | skóre: 27
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Co tedy doporučuješ? Na zálohy je to tedy jedno. Nevěřím tomu, že přijdu o data na produkčním serveru a hned na to přijdu i o zálohy.
30.10.2020 20:08 PetebLazar | skóre: 24 | blog: l_eonardovo_odhodlani
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Asi neznáte kolegu Murphyho, ten by možná řekl že průsery se typicky řetězí.

Při větším počtu HDD bych zvážil minimálně RAID6 (redundance dvou HDD) s dalším HDD jako hot-spare, případně RAID-Z2 pokud jste věřícím (máte víru v pokročilé sofistikované filesystémy).

Teď jsem u zákazníka oživoval QNAP TS-673 na relativně malé periodické zálohy (a' jednotky-desítky GB) s delší retencí. Osazeno 6x Seagate 7E8 6GB (4x HDD v RAID6/EXT4 + hot-spare + povysunutý "cold-spare"). Zatím z toho mám vcelku dobrý pocit, ale na hodnocení z provozu je zatím brzo. Pozn. Rebuild 11TB RAID6 trval odhadem asi 12hodin.
Řešení 1× (chinook (tazatel))
Jendа avatar 31.10.2020 01:14 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Disky asi 6x2,4TB 10tis. ot. SAS?
Co si od toho slibuješ? Je to strašně drahé (možná už víc než consumer SSDčka, ne?), co to přinese? Jenom problémy: když ti odejde SATA disk, tak náhradní koupíš v sobotu v noci ve večerce (v Alze). SAS? Hůř. Když ti odejde řadič nebo celý stroj, nebude stačit pro zpřístupnění dat přeskládat disky do libovolného desktopu nebo připojit přes USB-SATA převodník, ale budeš shánět SAS, který nikdo nemá.
Potřebuji HW raid?
V žádném případě. Opět pouze problémy: pole nepůjde složit v libovolném jiném počítači. Řadič téměř určitě nebude podporovat, že až si koupíš dva 8TB disky, tak na jedné půlce bude to původní pole a na druhé půlce si uděláš RAID1 nebo si to zpřístupníš jako místo bez RAIDu pro dočasné soubory. Řadič téměř určitě nebude podporovat reshape RAIDu na jiný počet disků nebo jiný RAID level. Jakmile se cokoli rozbije, kvůli nedokumentovanému formátu bude téměř nemožné to opravit. Funkce jako write-intent bitmap záleží na vyspání výrobce. Výkonový zisk je minimální, rotační disky jsou oproti dnešním řadičům a CPU směšně pomalé.
Je ideální na toto RAID5?
Nevím, jestli resilvering 6 disků v degradovaném stavu už není moc rizikový. Pokud ti nevadí nižší spolehlivost a potenciální nutnost obnovovat zálohy, tak bych do toho šel. Jinak ne a udělal bych RAID6 (což je prý pomalé) nebo 50.
Protože od DELLu to vyjde dosti draho. Pohlížel jsem na supermicro. Má někdo nějaký tip kam se narve hodně disků a bude to dostatečně spolehlivé? Nebo raději mám investovat a jít do DELLu a vše nechat složit u nich?
Já mám s enterprise systémy dost blbé zkušenosti. Samozřejmě cena, kdy za to postavíš 2-3 skládačky a můžeš je mít jako horkou zálohu. Náhradní díly z eBay, nebo platit support, který je po pár letech dražší a dražší. Těžko vyměníš komponenty za libovolné jiné. UX kdy to bootuje 10 minut. Jediné co ocením je vzdálená konzole, ale zjistil jsem, že není v ceně, a stojí tolik, že si za to můžeš koupit nějaké KVM-over-IP a ještě ti zbyde, a dva zdroje. A ještě jsem měl nějaká traumata, která už jsem vytěsnil. Nevypnutelný monitoring větráčků, kde když jich není plný počet, tak to prostě nejede, místo aby se to podtaktovalo jako normální počítače.
Miluješ detaily? Nastav všechny šroubky do stejné polohy
31.10.2020 09:40 trekker.dk | skóre: 71
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Jediné co ocením je vzdálená konzole, ale zjistil jsem, že není v ceně, a stojí tolik, že si za to můžeš koupit nějaké KVM-over-IP a ještě ti zbyde, a dva zdroje.
Tohle u Supermicro desek je v ceně a na serverový hardware jsou cenově docela přijatelné - 10-15kKč za dva sockety a 2 10Gbit síťovky (které nevyužiju :-) ) Akorát teda začali hřešit na to, že jsou asi jediný výrobce, který vám dodá šasi s tolika sloty na disky, kolik se tam vejde. To pak neprodávají jako díly, ale jako celé sestavy, takže za ostatní komponenty zaplatíte marži jim a ještě prodejci, který vám to dodá :-(

Ale tam, kde to nedělají, je to standardní ATX hardware, takže si můžete osadit, co chcete

S tím HW raidem a SAS disky souhlas - HW raid jen, když není jiná možnost, tj. když opravdu nutně potřebujete rotační disky za tou baterkou.
Quando omni flunkus moritati
k3dAR avatar 31.10.2020 12:53 k3dAR | skóre: 60
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
btw: ASRock Rack ma take free IPMI, zkusenost mam s nekolika C2550D4I, 12x SATA onboard, pouzite pro 7x HDD(RAID1+RAID6) a 3x SSD(RAID1+RAID0), (minimalne)na teto desce bezi IPMI na dedikovanem ARM CPU nad linuxem ;-)
porad nemam telo, ale uz mam hlavu... nobody
31.10.2020 15:12 PetebLazar | skóre: 24 | blog: l_eonardovo_odhodlani
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
k3dAR avatar 31.10.2020 20:01 k3dAR | skóre: 60
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
no z 4 desek odesla 1 (asi po 2letech provozu, nekdy pred 3? lety), s tim ze se proste prohodila ze zalozniho serveru a koupila nova, o jedne z nich uz nic nevim par let, ty zbyle 2 (tedy jedne manena pred 3(?) lety a jedna co jede 5let) si jednou nonstop...

takze (sice z maleho vzorku) to neni moc rozdil oproti cemukoliv jinemu "neporuchovemu", s tim ze to same CPU (vcetne tebou uvedeneho mozneho problemu) meli ve sve dobe i ty SuperMicro desky ;-) a dalsi vec je ze dnes bych asi kouknul po aktualnich modelech co ASRock v rade Rack s free IPMI nabizi...
porad nemam telo, ale uz mam hlavu... nobody
1.11.2020 10:02 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Ja bych tazateli doporucil jeste jednu vec. Pokud Nepotrebuje ciste uloziste, ale vyhovoval by mu vice mix uloziste + nejaka ta VM, tak bych sel do proxmoxu. ZFS to umi, sync, na druhy node taky, administraci to ma slusnou, atd. Takze libovolne server zelezo (pro zfs s HBA a ne s HW RAID).
1.11.2020 10:44 pavele
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Už jsou updaty Proxmoxu zdarma, nebo je to pořád placené?
Max avatar 1.11.2020 21:46 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Updaty byly vždy zdarma. Pokud myslíš fixy na týdenní bázi, nebo jak to mají, tak to samozřejmě ne. Otázkou je, zda tě to nějak vůbec musí trápit?
Zdar Max
Měl jsem sen ... :(
2.11.2020 17:26 pavele
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Možná se pletu, ale update stable verze jsou placené, zdarma je rolling-update = mít vždy nejnovější verzi. Nebo to tak není?
Řešení 1× (k3dAR)
Max avatar 2.11.2020 19:19 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Můžeš updatovat po těchto skocích, viz Release Notes. Se Subscriptions máš přístup do repositáře proxmoxu (Enterprise repository). Každopádně podle dostupných informací to nevypadá, že v rámci ent repa by jsi se držel jiné větve. Spíše ti tam asi budou přistávat fixy, které by se k tobě bez placení dostaly jen pomocí nového release (jednou za půl roku?). Mohu se plést, ale vypadá to tak, jak jsem napsal.
Zdar Max
Měl jsem sen ... :(
3.11.2020 12:14 MP
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Pletes se Maxi. Veskere fixy jsou v non-subscription, protoze je to test verze. Enterprise verze je o supportu + vetsi testovani/zpozdeni nasazeni novych veci/fixy.
Max avatar 3.11.2020 12:27 Max | skóre: 69 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Stavba "diskového uložiště"
Díky za vyjasnění.
Zdar Max
Měl jsem sen ... :(

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.