Dotaz: PCI-e karta na rozšíření poštu SATA portů na desce

[palardd]

AHoj,

má někdo reálné zkušenosti s nějakou PCI-e kartou pro SATA (aspoň dva sloty), která by byla podporováno aktuálními jádry? Nějak se mi nedaří to dohledat.

Mám na desce všechno použito na 6 disků v SW RAID1 a potřebuji ke stroji občas připojit externí záložní HDD a na něj udělat zálohu.

Děkuji za tipy

Odpovědi

[PetebLazar]

A co redukce USB3=>SATAIII s ext.napájením (utáhne i 3,5"), pokud bude záloha v podobě velkých souborů horší latence USB by nemusela hrát roli. Při použití SSD ty redukce zvládají i 300MB/s+.

[palardd]

A co redukce USB3=>SATAIII s ext.napájením (utáhne i 3,5"), pokud bude záloha v podobě velkých souborů horší latence USB by nemusela hrát roli. Při použití SSD ty redukce zvládají i 300MB/s+.

Jasně, zvažoval jsem, ale nechci další zdroj, krabici apod. Zálohy jsou rsync, takže ne moc velké objemy

[Josef Kufner]

Zdroj potřebuješ tak jako tak. Buď si vytáhneš napájecí kabel spolu se SATA kabelem, nebo budeš mít další krabičku. Můžeš ale použít rámeček (např.) a pak to máš zcela bez kabelů.

[Josef Kufner]

Na zálohování asi takový převodník má smysl, ale na dlouhodobější provoz to nedoporučuju. Občas to USB upadne a disk se nehezky odpojí. Měl jsem tak disky, fungovalo to, ale občas se to zničeho nic podělalo.

[palardd]

Ano, fakt jen připojit, check FS, rsync a odpojit, na to to bude stačit. Díky za radu

[Josef Kufner]

Pokud to budeš hlídat, tedy spouštět to ručně, tak ano.

Pořiď si kvalitní kabely, ať to chvíli vydrží.

[Petr Tomášek]

Ovšem plných 600MB/s ti převodník s USB 3.0 (aka USB 3 gen1) nedá ani náhodou...

[dustin]

Adaptérů jsem zkoušel spoustu a nepamatuji si, že by s nějakým byl v linuxu problém. Klasika SiliconImages Sil3112, nějaké Marvelly. Pro větší počty portů 8/16 fungují skvěle bazarové SASové LSI - třeba SAS9211 pro SATA2 nebo SAS9300 pro SATA3, dobré zvolit model s IT firmwarem (bez podpory raidu). Ebay je jich plný.

[d.c.]

Super je, že máme AHCI. Takže když je řadič rozumný a lze jej přepnout do AHCI, je podpora báječná. Je pravda, že výběr řadičů od renomovaných výrobců právě velký není, ale to je tím, že to "nic nestojí" a "nikdo to nepotřebuje". Koukal jsem, jestli existuje nějaký průnik se zbožím aktuálně skladem a existuje, našel jsem u známého distributora třeba Evolveo KAE-eSATA-&-SATA-III nebo Axagon PCES-SA2. Oba chipsety by měly jít přepnout do AHCI a tedy chodit na jádrech starších i nových (min. od libata).

[d.c.]

Jenom tedy upozorňuji, že tyhle kartičky obvykle mají jen jednu PCIe linku. Takže na expander s drsným RAIDem to není, ale píšeš o dalším disku na překlápění záloh a to by mělo být O. K.

[palardd]

No tak super info, děkuji moc

[palardd]

Ano, fakt jen připojit a odpojit

[Josef Kufner]

Mám AXAGON PCIS-50 PCI řadič 4x int.SATA RAID 0/1/5/10 SI. Funguje. Tuším, že byly nějaké potíže při bootování a obsazeností portů, asi jak se snažil o raid, ale kdo ví, co to bylo. Instalace vypadala tak, že se to přišroubovalo a bylo hotovo.

[trekker.dk]

Není určen k prodeji. Momentálně mají https://www.czc.cz/axagon-pces-sh4-radic-radic-4x-int-2x-ext-sata-6g/146958/produkt a mohu vřele nedoporučit. Nedrží v tom kabely a i když je disk zapojený, tak stejně občas zmizí a je potřeba restart toho stroje.

[Josef Kufner]

I ty recenze tam jsou docela výmluvné. Mají momentálně dvouportovou verzi a ta se alespoň podle recenzí zdá být lepší.

[msk]

Mám tuto a funguje naprosto bez problémů: AXAGON PCIS-50

[PetebLazar]

Již někdo vyzkoušel to M.2=>5x SATA III řešení? Bývá to postaveno na JMB585 (PCIe 2x 3.0) obdobně podobně jako PCIe řadiče.

[Max]

Hmm, docela by mě zajímal výkon toho řadiče. Jinak pro low power pro nějaké malé kopírování to nevypadá zle. Docela jsi mě navnadil, asi zkusím koupit podobnou věc zde: JEYI SATA Disk Array Card JMS585-Slim 5 Ports SATA3 for M. 2 Nvme PCI-E 3.0 to SATA 16G JMB585 with Radiator for ThunderBolt3
Zdar Max

[Max]

Koupeno, za měsíc uvidíme.
Zdar Max

[PetebLazar]

Co přesně znamená "Radiator pro TB3"?

[Max]

To jsem zjišťoval a na některých obrázkách jsou redukce z M.2 na TB3, takže tím asi chtějí říci, že to ofiko jede i takto přes redukci.
Aspoň tak jsem to tedy pochopil já.
Zdar Max

[Max]

Přílohy:

• IMG_20210502_140702_resized_20210503_094630676.jpg (247076 bytů)
• IMG_20210502_140713_resized_20210503_094630362.jpg (407859 bytů)
• IMG_20210502_141604_resized_20210503_094629967.jpg (598584 bytů)

Tak mi to přišlo, naladil jsem to do serveru a paráda. Přišly k tomu i SATA kabely se zámečky, takže no problemo. Foto viz příloha.
Zdar Max

[d.c.]

Co ten radiator?

Co nějaký citátek z lspci a dmesg, když už jsme na tom webu věnovaném Linuxu? Na kolik PCIe linek to jede? Jaký je tam chipset? Driver je AHCI?

Ať se také potěšíme nějakou dobrou zprávou v této poněkud temné době...

Díky!

[Max]

lspci:

...
01:00.0 SATA controller: JMicron Technology Corp. Device 0585
...

dmesg:

...
[    0.461500] pci 0000:01:00.0: [197b:0585] type 00 class 0x010601
[    0.461612] pci 0000:01:00.0: reg 0x10: [io  0x6200-0x627f]
[    0.461717] pci 0000:01:00.0: reg 0x14: [io  0x6180-0x61ff]
[    0.461821] pci 0000:01:00.0: reg 0x18: [io  0x6100-0x617f]
[    0.461925] pci 0000:01:00.0: reg 0x1c: [io  0x6080-0x60ff]
[    0.462030] pci 0000:01:00.0: reg 0x20: [io  0x6000-0x607f]
[    0.462134] pci 0000:01:00.0: reg 0x24: [mem 0xef910000-0xef911fff]
[    0.462241] pci 0000:01:00.0: reg 0x30: [mem 0xef900000-0xef90ffff pref]
[    0.462383] pci 0000:01:00.0: PME# supported from D3hot
[    1.305765] ahci 0000:01:00.0: version 3.0
[    1.305898] ahci 0000:01:00.0: SSS flag set, parallel bus scan disabled
[    1.306047] ahci 0000:01:00.0: AHCI 0001.0301 32 slots 5 ports 6 Gbps 0x1f impl SATA mode
[    1.306184] ahci 0000:01:00.0: flags: 64bit ncq sntf stag pm led clo pmp fbs pio slum part ccc apst boh
...

Takže ano, driver AHCI, čip je tam již jmenovaný JMS585.
Zdar Max

[d.c.]

Díky, potěšilo.

[PetebLazar]

Paráda.

Uplně živě vidím čtyři takové diagonálně na kartě (s bifurcation).

https://i1.wp.com/www.thessdreview.com/wp-content/uploads/2018/01/121A2991.jpg?ssl=1

https://www.amazon.com/Aplicata-Quad-NVMe-PCIe-Adapter/dp/B01MTU75X4

[d.c.]

:o)!

Akorat tedy stále netušíme, jak to bude s těmi linkami. Teoreticky by stále mohla na každý SATA port vyjít aspoň jedna. Jestli ale všichni dělají vše dobře.

[PetebLazar]

Ten JB585 řadič je PCIe 2x 3.0 device (tj. celkem cca 2GB/s v každém směru), takže 5x HDD by neměl být problém, 5x SSD by to již asi omezovalo.

[Max]

Bifurcation teď řeším. V prvé řadě musíš mít desku, u které to bios podporuje. Bez podpory v biosu končíš. Dále i když mám tuto podporu a mohu stříhat PCIe x16 na x8x8 nebo x4x4x4x4, tak přidaný sata řadič vidím, spustí se jeho bios, zdiagnostikuje a načte si disky, ale v Linuxu pak při přístupu nastává timeout a komunikace crashuje. Takže si s tím ještě hraji.
Každopádně tím chci říci, že možná by bylo jednodušší a možná i levnější si někde najít na bazaru nějaký LSI SAS HBA, na který můžeš navěsit tunu SATA disků, když o to tak stojíš.

Jinak ten problém s řadičem u bifurcation jsem vyřešil tímto M.2 na SATA, ale Bifurcation budu potřebovat pro více streamovacíh karet.
Zdar Max

[PetebLazar]

To bylo míněno jako joke. Myslím, že moje Asrock Taichi X399 volitelně režim 4x4x4x4x v BIOSu u PCIe16x slotu nabizi.

Neexistovaly v počátcích redukční PCIe 16x=>4x M.2 karty, které si split linek zajišťovali až na sobě?

Například tato karta (o bifurcaci se v requirements nezmiňuje) má na sobě ASM2824 (PCIe switch?).

[palardd]

Ten druhý, asrock ultra quad m.2 card je dokonce v ČR za hezkou tisícovku

To zní velice zajímavě a diskuze tedy - pokud to dobře chápu - je o tom, zda se využije celé pásmo PCIE, kdyby se to osadilo těmi SATA JEYI SATA Disk Array Card JMS585-Slim 5 Ports SATA3 for M. 2 Nvme PCI-E 3.0 to SATA 16G JMB585 with Radiator for ThunderBolt3

Takže teoreticky 4x5 SATA disků?

[PetebLazar]

Ta Asrock karta si myslím, že staví právě na bifurkaci (schopnosti MB přepnout slot 16x na režim 4x4x4x4x).

Myslím, že se tu debata v tomto smyslu nevede. Jen, že konstatování celkové průchodnosti řadiče disponujícím 2x_3.0 jež může patrně stačit 5x HDD (a' < 300MB/s), ale ne už nemusí 5x SSD (a' <600MB/s).

[Max]

A já dodám, že to není dobré řešení, protože vyplázneš 4kkč za kočkopsa. To vyjde levněji bazarově koupit nějaké LSI HBA (třeba LSI SAS 9211-8i), kam připojíš mnohem více zařízení (včetně možnosti SAS) a vyjde tě to levněji a možná i s menší spotřebou.
Zdar Max

[d.c.]

Dodáváš sice hezky a asi správně, ale zase představa toho, co vznikne složením Asrocku a těch rozmocek na SATA byla úchvatná, tedy mnohem větší legrace!

Jinak samozřejmě na straně "opravdových" řešení pro úložiště jsou i další výhody - jako třeba backplany, lepší kabely než "každý SATA port zvlášť" atd.

Ale zas je pro fair play nutno poznamenat, že ty správné starage řadiče nikdo vlastně nechce vyrábět (historie toho, jak si třeba některé RAID ovladače v jádře Linuxu přehazují korporáty jako horký brambor je docela děsivá) a když už ano, tak je s tím spousta potíží či potenciálních potíží - málokdy jde o "dobrý řadič pro spoustu SATA/SAS portů". Odešlé řadiče se mi tu vrší, zásoby náhradních docházejí, ale bez správného řadiče stáhnout data z HW RAIDu je docela výzva (no a hlavně výpadek serveru).

[Max]

Nepoužívám hw raid. Psal jsem LSI HBA.
Zdar Max

[dustin]

Souhlas. LSI HBA mají linuxové ovladače v pohodě. Jen jednou se mi stalo, že po upgradu (IT) firmwaru na SAS9211-8i to začalo být nestabilní, musel jsem jej downgradovat.

SAS92xx z ebaye jsou velice levné, 8 i 16 portové. Rychlejší (PCIe-3) SAS93xx už jsou trochu dražší, obzvláště 16portové (SAS9300-16i), ale pro připojení SSD už ty pomalejší dnes asi nedávají smysl.

[PetebLazar]

Joke continues. A taky by šlo v rámci SW RAIDu (RAID6 4xHDD) snáze zajistit redundanci na úrovni řadiče (každý member obsluhovaný jiným řadičem).

[Peter Golis]

Raid6 zo 4xHDD? To sa oplatí: Polovica na dáta, a dve štvrtiny na paritu.

[PetebLazar]

Má to stejnou užitečnou kapacitu jako RAID1 (50%), ale i při výpadku jednoho disků jsou stále všechna data uložena redundantně (což neplatí o RAID1 ze dvou členů a RAID10 ze čtyř).

[Peter Golis]

Naozaj? Ak z RAID-6 vypadne jeden z diskov, tak sa jeho redundancia zmení na RAID-5. Všetky dáta tak nebudú uložené redundantne, parita nie je redundancia. A bude to navyše o kus pomalšie. Vlastne ono je to pomalšie aj bez výpadku, keďže RAID-6 má vyššiu penalizáciu pri zápise kvôli výpočtu dvoch parít. Ale na druhú stranu to má paritu na rozdiel od Raid Mirror a jeho prastarých klonov.

PS: Radšej RAID-Z2 ako RAID-6, človek nepotrebuje mať HW vrstvu ktorá to spomaľuje.

[PetebLazar]

parita v RAID5(6) nie je redundancia

A to já se tady prý snažím o joke.

Jsou to právě paritní informace, které zajišťují redundanci uložení dat v RAID5(6). Při výpadku jednoho člena(R5), dvou členu(R6) se z dostupných dat(parit) na zbávajících členech vypočítají originální data. Takže při ztrátě jednoho člena v R6 jsou stále data uložena redundantně "na úrovni R5" (bez ztráty dat by odolal výpadku ještě dalšího člena).

https://en.wikipedia.org/wiki/Standard_RAID_levels#/media/File:RAID_5.svg https://en.wikipedia.org/wiki/Standard_RAID_levels#/media/File:RAID_6.svg

[ewew]

Ďalší faktor, ktorý rozhoduje či zariadenie bude v režime PCIe alebo SATA. V mojom prípade je špecifikácii napísane. Ak mám cpu AMD Ryzen tak mám režim PCIe a SATA k dispozícii. Ak iný nižši cpu, tak je dostupný len režim SATA.

Samozrejme je otázka ,či to platí globálne na všetky základne dosky či len na špecifické typy.

[Max]

Bejvávalo. Dřív bylo běžné, že M.2 bylo buď SATA only, nebo PCIe only, nebo combo. V dnešní době je M.2 SATA už hodně out of date, takže buď narazíš na combo, nebo PCIe only.
Zdar Max

[PetebLazar]

Máte na mysli výčet podporovaných řežimů u M.2 slotů (M.2 SATA či M.2 NVMe/PCIe4x)?

To pravděpodobně vychází z toho čím je konkrétní M.2 slot z CPU/chipsetu krmen. Pokud v rámci flexibilních linek, pak může být "pod obojí" obsloužit jak M.2 NVMe tak M.2 SATA (viz pinout M.2-M)

https://diit.cz/sites/default/files/styles/custom/public/computex_amd_x570_and_am4_platform_08.png?itok=oT6mxGSR

The X570 chipset offers 8x USB 3.2 Gen 2, 4x USB 2.0, 4x SATA and 8 separate PCI-Express 4.0 lanes. That leaves eight flexible lanes that can be used for PCI-Express and SATA. As you can see, the flexible design allows motherboard manufacturers lots of options in what they want to offer.

[Petr Tomášek]

Ano, zdá se, že funguje ok. JMB585 je pci gen3 x2, tj. celkem ca. 2GB/s. Čili na jeden SATA port to při plném obsazení dělá teoretických 400MB/s (reálně s overheadem bych počítal spíš 350MB/s), což není vůbec špatné, pro rotační disky naprosto vystačuje. Škoda jen, že to využívá jen polovinu těch linek, co M.2 dává...

[PetebLazar]

To, že si to vystačí s PCIe 2x 3.0 může být i výhodou. Na mysl mi přišly desktop MB, které z důvodů "PCIe linkové nouze" při plnějším osazení mohou u některých slotu M.2 omezit linky ze 4x na 2x. Pravda zařízení 4x by mělo asi umět pracovat i na 2x.

[Petr Tomášek]

Hlavně si spočítej, jakej budeš potřebovat bandwidth a přes jaký rozhraní je řadič připojen.

Příklad: Řadič je připojen přes PCIe 2.0 (aka gen2) x1, tj. bandwidth ca. 500MB/s. A chceš na to připojit dva SSD, co umí číst max. rychlostí 550MB/s ⇒ to je k ničemu.

Pokud to ovšem použiješ na dva rotační HDD 2,5" se čtením/zápisem okolo 120MB/s, pak je to v pohodě. To ti víceméně utáhne, i když to dáš do staré desky, co má jenom PCI 1.0 (= gen1) se šířkou pásma 250MB/s.

[AraxoN]

Obecne mám so SATA radičmi a ich podporou v Linuxe dobré skúsenosti, až na jednu výnimku, ktorou je Delock mini-PCIe 2x SATA (čip Asmedia ASM1061). Napriek deklarovanej podpore Linuxu som to nedokázal prinútiť, aby to fungovalo stabilne. Vždy to robilo nejaké podivné SATA chyby, resety atď.

Takže pred nákupom preskúmať, aký je tam čip a zostať radšej pri overených Silicon Image, Marvell a podobne.

[Fredy72]

Tady někdo testoval levnější čínskou kartičku a přijde mi, že na rotační disky stačí.

[mmcze]

Týden zpět jsem koupil Samsung 970 QVO 2TB a tenhle řadič:

https://www.alza.cz/evolveo-2x-sata-iii-pcie-rozsirujici-karta-d6191259.htm

Na kernelu 5.10 v Manjaro, to funguje.. Je tam jen to SSD a to dokáže číst cca 384MB/s.

Plánuju, že to přepojím a na tomto řadiči, nechám jen nějaké pole na HDD, interní řadič pálí plnou rychlostí.