Dotaz: proxmox na odroid

[jany2]

Akym sposobom nainstalovat proxmox na Odroid H2. Odroid ma 2x SATA 3, 4 x PCIe 2.0 for one M.2 NVMe storage, 1x eMMC socket a 2x USB 3.0.

Momentalne mam pripravene

• 1x Odroid H2
• 2x16 GB Ram
• 2x SSD 256 GB
• 1x 3 TB HDD

Najprv som uvazoval nainstalovat proxmox v ZFS RAID 1 na 2x 256 GB SSD, ktore by vyuzivali sata porty. Na tych SSD by bol samotny system + KVM a LXC. Potrebujem vsak este jeden disk (3TB) na data. Kedze na odroid H2 uz neni volny sata port, tak som uvazoval o redukcii M.2 NVMe na SATA. To je ale asi blbost pripajat na NVMe pomaly 3.5 " HDD.

Rozmyslam este vyuzit eMMC, alebo NVMe na system, ale uz samozrejme bez RAID a na port SATA3 pripojim 3TB disk.

Prip. nerobit ziadny RAID a pouzit na system (EXT4) 1x SSD a 3TB HDD na data.

Neviem sa rozhodnut co by bolo najlepsie. Alternativ je omnoho viac ako som spomenul, ale neviem co by bolo pre mna najlepsie. Skoda je, ze odroid ma len 2 SATA porty

Odpovědi

[Max]

Ahoj, v tom linku se píše "M.2 SATA SSD is not supported", což by znamenalo, že na tom M.2 je zavěšený jen NVMe a né SATA. Tzn. s redukcí SATA na M.2 máš smolíka (pokud v tom linku nelžou).
Takže hned máš o jednu možnost méně, není zač :D.
Zdar Max

[jany2]

To som si vsimol az teraz (vedel som o tom, ale zabudol som na to)

Este ma napadla dalsia moznost, na system pouzit USB kluce v RAID 1, ale neviem ci to bude fungovat OK.

[Max]

Spíš by jsi měl říci, co ty data budou (na tom 3TB disku). Z popisuje je patrné, že na SSD chceš mít Proxmox+KVM+LXC (takže uložený nenáročný (Proxmox i obsahy kontejnerů a minimálně systém ve VM). Na tom 3TB pak plánuješ co? Zálohy těch VM? Nebo další virtuální disky, které připojíš do těch VM?
Většinou jsou data důležitější, než OS. Proč to třeba neřešíš tak, že nemáš 2x 3TB disk pro vše? Když 2x 256GB SSD nestačí, tak prostě oželet SSD, mít to pomalejší, ale pořád aspoň nějaký druh failoveru.
Zdar Max

[jany2]

Na 2x 256GB chcem mat system aj zalohy (ja tam budem mat niekolko KVM a niekolko kontajnerov (max do 10 ( + nieco na hranie ))). Viem ze RAID 1 neni zaloha, ale aspon aby tam nejaka redundancia bola.

Teraz mam proxmox 5 len na 1x 120GB SSD + zalohy a este mam k dobru tak do 15GB. A 3TB disk mam zaplneny asi na 300GB

Mam to len na domace hranie, ale chcem to mat poriesene lepsie ako do teraz. Napr. o MVNe som ani nevedel, ze sa da pouzit ako cache (je to sice omnoho pomalsie ako ram, ale omnoho rychlejsie ako sata).

Pre mna nie su az tak dolezite data skor ma zaujma ako co najrychlejsie nahodit system ak vsetko padne (nie len KVM, alebo LXC). Ked sa mi stratia z datoveho disku nejake filmy, alebo subory, tak mi to nevadi, lebo to mam ulozene cez nextcloud a synchronizovane s datami v PC.

[Max]

Pokud máš na tom 3TB nedůležitý data a jde ti spíše o kapacitu, než nějaký monstróznější výkon, tak je tu ještě možnost ho připojit přes USB. V dnešní době si myslím, že je to už velmi stabilní (na tahání AV a věcí okolo to bude stačit).
Zdar Max

[PetebLazar]

Do toho M.2 by možná šel dát modul se SATA III řadičem (jaký má ten slot key)? Dělají se dvou/čtyř a koukám že i pěti portové.

[Max]

Tohle vypadá celkem dobře.
Zdar Max

[k3dAR]

s H2 muzes mit 10x SATA

pokud do toho ^^ nechces, tak podle toho co pises, bych 100% udelal RAID1 pres 2x 256GB SSD povesene na 2x interni SATA + 1x 3TB na USB3 pro data pred kvalitni (s podporou UASP a podporovane Linux jadrem)...

vubec bych nepremyslel o 2x USBFlash RAID1, rychlost by nebyla jako SSD a industrial USBFlash vyjdou draz nez USB-SSD...

btw: u toho RAID1 pres 2x 256GB bych nechal 1 az par GB nevyuzite, ani ne tak kvuli ponechani nevyuziteho mista (i kdyz u velikost 256GB vyrobce mozna nic bokem "mimo" user nenechal (narozdil od 250 ci 240 velikosti)) ale proto kdyz bys menil kus za jine SSD ktere by melo o neco mensi velikost...

[Max]

Ten řadič do M.2 vypadá o něco lépe. Osobně se používání sata multiplikátorů vyhýbám. Mám nedobré zkušenosti (při max zátěži problémy jako výtuh komunikace, nebo zmizení disku atd.). Ale pokud to týpek má na tom H2 odzkoušení a je to 100% kompatibilní, tak proč ne.
Zdar Max

[PetebLazar]

10xSATA? To je spíš 10xATA, když rychlost na disk klesne na 120MB/s << ATA133!

U toho M.2 5xSATAIII se chlubí 1700MB/s (340MB/disk), dvě PCIe lanes by to měly dát a ty multipliery se mohou asi zapojit až na něj.

[Peter Golis]

A nie je to pomalé na také klbko drôtov?

[jany2]

Toto riesenie sa mi asi paci najviac. (nemyslim tych 10x SATA )

2x SATA na MB by som chcel vyuzit na ZFS RAID1 s 256GB SSD. Ja toho nemam vela, takze tam vojde cely system, KVM/LXC a aj zalohy (zalohy pre istotu este mozem potom ukladat este aj niekde inde, napr. na nejake USB).

3TB disk rozmyslam, ze je pre mna vela, tak zvazujem ho predat a kupim nejake 2x 1TB (max 2TB) napr. nejake externe 2.5" disky prepojene cez USB 3.0 je tam uvedena rychlost prenosu az 4800 MB co bude asi blbost (zrejme sa pomylili a ma tam byt 4800 Mbps (co predstavuje asi 600 MB/s)).

Este sa chcem opytat. Cital som, ze NVMe M.2 je velmi rychla zbernica a je mozne ju vyuzit na cache. Predstavujem si to ako swap na diskoch, ale omnoho omnoho rychlejsi. Zatial neviem porovnat rychlost DDR4 a NVMe, ale urcite je o hodne rychlejsia ako SATA 3. Mohol by som to vyuzit aj na cache (samozrejme, chcem to len testovat).

[PetebLazar]

Máte na mysli využití Persistent L2ARC? Chápal bych to v kombinaci s poolem z HDD (u poolu z SSD bych si tipl, že to bude režie navíc). Která implementace ZFS pod Linuxem je dnes nejdále, nebo bude OS něco jiného? https://arstechnica.com/gadgets/2020/02/zfs-on-linux-should-get-a-persistent-ssd-read-cache-feature-soon/

[k3dAR]

pokud chce NVMe vyuzit "ako swap" tak na nem udelej swap pouziti NVMe jako cache je jinak myslena, jak pise PetebLazar, pro opakovane cteni z disku... jinak do H2 jde dat 32GB RAM, potrebujes vic?

napr. na nejake USB

i pro 2nd zalohu radeji misto USBFlash sahni po USB-SSD ci klidne USB-HDD...

[jany2]

Ano 32GB RAM tam je. Ale myslel som, ze ked je tam rychly 4 x PCIe 2.0 M.2 NVMe, tak skoda by bolo nevyuzit to. Chcem tam prevadzkovat proxmox (zda sa mi to lepsie ako vmware esxi) a po HW stranke si to chcem poriesit tak, aby to bolo co najlepsie. Po HW stranke myslim pripojenie diskov, typ RAID, datovy storage atd ... Nejake extra poziadavky nemam, ide mi len ako a kde najlepsie umiestnit system, VM, LXC, aky FS pouzit atd ...

Nerad by som to kazdy rok prerabal, lebo zistim, ze to moze byt lepsie a inak.

Ako som uz uviedol vyssie, tak system a zalohy by mali byt na internych SATA portoch na 2x256GB RAID1 ZFS. Myslim, ze proxmox 6 pocas instalacie ponuka aj RAID1 na ZFS (cize odpadala by rucna instalacia debianu s mdadm a rucna instalacia proxmoxu).

Dalej tam bude vyhradeny 1-2 KVM na webovy server, napr. s WP, nextcloud, sftp a pod. srandy. Dalsi KVM napr. FreeNAS aj ked neviem ci je dobre riesenie staviat FreeNAS nad KVM. Potom zopar LXC na hranie a nejake KVM s Win 10, 2019 a pod ... aby som nestratil prehlad v MS win )

Datove disky ako ste mi uz poradili, by som kupil nejake 1-2TB externe 2.5" HDD na USB 3.0 a chcel by som napr. mountovat ich zvazky jednotlivym kontajnerom, resp. KVM (napr. pre nextcloud urcite aspon 500-1000GB zvazok).

Bude s tym zrejme dost prace, ale zima pod tatrami zacina skoro