Dotaz: Výkon flash-based médií/disků (kontinuální trvalý zápis)

[PetebLazar]

V současnosti se jako alternativa u digitálních fotoaparátů/kamer začíná objevovat port USB-C jako alternativa k interním kartám (typicky standardu SDXC, CFast). Pomineme-li určitou nešikovnost připojení externího disku (typicky řešenou jeho montáží na ochrannou klec) a otázku spolehlivosti, zůstává nám zde zajímavý poměr výkon/cena a kapacita/cena ve srovnání s tradičními flash kartami. Na mysli mám rychlé karty se schopností trvalého zápisu v rychlostech řádu stovek MB/s. Záměr vytěžit ze schopností zařízení maximum při postprodukci vede k volbě maximální dostupné kvality záznamu, což v řadě případů je raw formát. Takový záznam může mít například podobu jednotlivých souborů obsahujících zachycené snímky záznamu (např. dng soubory o velikostech v jednotkách/desítkách). Při kombinaci x0MB * x0FPS se dostáváne k nárokům přesahujícím i 500MB/s.

Pro srovnání. CF2.0 ProGrade Digital 512GB má cenu okolo 700US$, SSD Samsung T5 1TB zhruba 200$ (dvojnásobná kapacita za méně než třetinovou cenu), výhoda přítomnosti USB-C u zařízení je zřejmá.

U flash jde pokrok vcelku neúprosně ke zvyšování hustoty záznamu a to nejen zmenšováním buněk v rámci litografie a vrstvení chipů do pouzder, ale i zvyšování počtu bitů (tj. rozlišovaných úrovní) v rámci jedné paměťové buňky. V dobách SLC (Single Level Cell) byl záznam a jeho odolnost na maximu, ale dosahované kapacity byly relativně malé (poměr cena/kapacita vyskoký). Aby se eliminovala nevýhoda přesnějšího (asi i déle trvajícího) záznamu do buněk s více úrovněmi (MLC .. 2bit/cell=4level, TLC .. 3bit/cell=8level, QLC .. 4bit/cell=16level) využívájí výrobci v rámci logiky disku tzv. SLC cache, tj. část volné kapacity SSD se při zápisu použije k rychlému zápisu 1bit/1cell a při jejím zaplnění pak již zápis probíhá cílovým způsobem (nbit/cell podle typu SSD). Jaká je veliost této SLC cache, případně kde se nalézají hodnoty minimálního trvalého zápisu nám může napovědět kontinuální zápis. Otázka životnosti a vliv opotřebení na dosahovaný výkon je bohužel asi na rámec tohoto tématu.

Na nový prakticky nepoužitý USB-C SSD společnosti Samsung model T5 kapacita 1TB jsem provedl dva testy zápisu pomocí dd. V prvním testu byl na SSD zapisován soubor generovaný z /dev/zero, v druhém abych eliminoval vliv případné komprese na silně komprimovatelná data jsem použil náhodně generovaný obsah. Generátor náhodného obsahu dosahoval výkonu na ramdisk cca 1,3GB/s, takže dopad na výkon proti /dev/zero(s cca 3,2GB/s) by s ohledem na dosahované rychlosti SSD neměl být markatní.

Graf zobrazuje hodnoty zapisu z iostat (sekundové intervaly). Horní graf pro zaznám obsahu z /dev/zero, spodní z náhodného obsahu (zapsáno vždy okolo 900GB). Testovací konfigurací bylo Xubuntu 18.04@4.19.20_vanilla na Tr1950X@stock s 4x 8GB DDR4_3200CL14.

Graf rychlosti zápisu přes většinu kapacity SSD. https://www.monitos.cz/tmp/samsung_T5_1TB_IOW.png

Z grafu je patrný náhlý pokles okolo 256.GB kapacity, to by mohlo naznačovat velikost SLC cache. Na grafu je vidět mírný pokles při druhém zápisu (což může jít na vrub větší režie generování random vstupu, případně zpracování nekomprimovatelných dat rámci SSD), důvod těžko určit.

Na trhu se v současnosti vyskytuje řada cenově výhhodných SSD, stavících na TLC/QLC, u nichž se díky SLC cache podaří uspokojit většinu běžných požadavků (kontinuální zápis do řádu jednotek/desítek GB), ale při trvalém zápisu přes celou kapacitu se lze dostat i pod hodnoty za něž by se asi styděl i 2,5" na svých vnitřních stopách. Bohužel zveřejňované testy se dnes omezují na objemově relativně omezené benchmarky, které skutečné schování zamlčí. O nic neříkajících specifikacích výrobců ani nemluvě.

Jaká je Vaše zkušenost s flash médii z pohledu "minimálního výkonu sekvenčního zápisu", pravda za blízko ideálním podmínkám (neznáme IO schopnosti/limity v zařízeních)?

Odpovědi

[PetebLazar]

Doplnění: Filesystémem SSD při testech byl exFAT. Výkon (čtení) SSD v hdparm.

hdparm -t /dev/sdh
/dev/sdh:
 Timing buffered disk reads: 1616 MB in  3.00 seconds = 538.13 MB/sec

[lertimir]

A u jakých fotoaparátů se to objevuje jako alternativa? Zajímalo by mne to. Zatím jsem měl za to, že USB porty se na foťácích objevují jako porty funkce klient, tedy že protějšek (počítač) komunikaci řídí. Připadá mi to nepraktické proto, že kromě opravdu velmi specifické situace, kdy by bylo přema maximální datový tok, je pro mne mnohem přínosnější, že vše je kompaktně ukryté v těle fotoaparátu.

[PetebLazar]

Skryté v těle, je patrně to poslední co maji tvůrci svých rigů na mysli. https://australianimage.com.au/blackmagic-pocket-cinema-camera-4k-pt-3/

S těmi fotoaparáty jsem asi předběhl dobu, z kamer je to například "BlackMagic Pocket Cinema Camera 4K". Samozřejmě nic nebrání vyrazit jen s interní storage a vzhledem k podobě s D-SLR to nebude okolí tolik znervózňovat "kamerovou" přítomností.

Vzhledem k tomu, že schopnost pořizovat video je dnes vcelku významnou funkcí moderních D-SLR(zejména mirrorless), při případném doplněním omezujících formátů (ztrátovost,bit depth) o pokročilejší (bezeztrátovější) formáty (ProRes, raw, ..) vzrostou nároky na cenově dostupnou storage. Výrobce implentující tyto funkce tak může získat nemalou výhodu před ostatními výrobci v boji o zákazníka na stále se zmenšujícím trhu.

Na trhu kde se šetří s rozvojem schopností ať již ve snaze o dlouhodobější udržitelnost rozvoje, či ve strachu před kanibalizací vyššího segmentu (zdravíme Canon) je výše uvedená BMPCC4K zajímavým úkazem. Přes řadu omezení (m4/3, pevný display, omezený autofokus, chybějící stabilizace, menší výdrž) je to právě poskytnutý mix funkcí a kvality z profesionálního segmentu, že se stala skoro "must have" záležitostí. Za relativně nízkou cenu (~1300US$) se do hledáčků profesionálů dostala jako B-camera a výrobcem neodhadnutý celosvětový zájem způsobil, že pořadník se stal celosvětovou záležitostí (v ČR délka pořadníku údajně v současnosti činí několik set a vzhledem k omezeným dodávkám se stále zvětšuje). Celkové náklady na vybavený rig eliminující omezení kamery mohou i několikrát přesáhnout cenu samotné kamery (cage, ext.LCD, ext.accu, speedbooster, gimbl), ale ani tak asi nedosahnou cen samotných body srovnatelných profesionálních kamer. Výrobce ke kameře předkládá licenci svého DaVinci Resolve studio (samostatně 300US$) podporující MacOS/Windows/Linux což přitažlivost pro ty rozpočtově omezené ještě více zvyšuje. Připomínám, jedná se o filmovou kameru, její fotografické schopnosti jsou omezeny na max. 4K(raw) snímky.

[lertimir]

Aha. Pro fotoaparáty mě to překvapilo. Jsem si dost jistý, že ještě dlouho zůstane oddělení mezi zařízeními fotoaparát a kamera. Primárně z důvodů různé konstrukce a cílů optiky. Když jsem si před 9 lety pořídil Canon 5DMkII tak o tom mluvili i jako o úžasné FHD kameře s fulframovým chipem, nicméně to co jsem s ní zkoušel bylo: Ano umí to kvalitně natáčet, ale např. jemný a plynulý zoom byl nesmírně těžký. Fotografické objektivy jsou cíleně konstruovány na to, aby člověk lehce a rychle přezoomoval popř zaostřil a pak zafixoval. Objektivy pro kamary jsou naopak konstruovány na to, aby zoom byl plynulý a rovnoměrný a mají tlumení, které v závislosti na působící síle vytváří plynulý pohyb, trochu podobný je rozdíl mezi kulovými hlavami stativů a 3 cestnými hlavami s tlumením. Takže budou kamery se schopností fotit a fotoaparáty se schopností natáčet video, ale kromě experimentátorů to bude na svém písečku. A chápu že BMPCC4K je zajímavé a někdy to může dát i podobný výsledek jako Red.

A k otázce. Jak to SSD obecně mají se najde velmi těžko. Já torochu používám storagereview, kde mívali interní informace, jak jsou SSD konstruovány, ale nevím jak jsou na rom v posledním roce. Rozhodně pokud trvalý zápis je velmi důležitý tak bych směřoval do vyšších řad jako jsou např u Samsungu řada Pro a ne Evo.

[PetebLazar]

Překračování hranic mezi těmito světy otevírá inovační potenciál pro ty firmy, které nemají želízka v obou. Ty co sedí na dvou židlích si vzhledem k řadové rozdílné hladine cen hodně rozmyslí potenciální kabalizaci.

Nepřeceňoval bych roli průběhu zoomování v této oblasti. Popsané vlastnosti zoom objektivů budou určitě nezbytností u videoprodukce (sportovní přenosy atd), cinema materiál bude asi hodně o monofokálních objektivech. Na druhou stranu některé fotografické (parfokální) zoom objektivy by i během zoomování měly zůstat zaostřeny, což by mohlo pomoci.

Byla jedna site, kde úplný přepis SSD byl součástí testovací metodiky, akorát vzhledem množství modelů na trhu to problematiku pokrývalo jen z části.

[PetebLazar]

Fuj, to je tak když jeden stojíc ve vlaku píše na tabletu. " ... si vzhledem k řádově rozdílné hladině cen rozmyslí potenciální kanibalizaci vyššího segmentu."

[PetebLazar]

BMPPC4K disponuje HFR tlačítkem, které umožní okamžitou změnu snimkové frekvence (např. 23,98 na 60fps). Takže při jeho aktivaci před zoomem by šlo získat materiál z něhož by se při postprodukci vybraly snímky korigující případnou nedokonalost průběhu zoomu. Případný přeběh rozsahu se prohlásí za umělecký záměr.

[lertimir]

Ještě by stálo za to prověřit jestli spolehlivost výkonu nedosáhneš pomocí M.2 tabletek. Mám na mysli něco jako krabička a disky.

[PetebLazar]

Již to (tento model) kolega v příspěvcích dole zmínil. Otázkou je mj.interní/externí výkonnost takových řešení. Předpokládám, že zvenku se to bude jevit jako jednk USB mass storage.

[lertimir]

Pak je tady ještě cesta Enterprise SSD disků, našel jsem ted jen Samsung ale Intel a další to mají také. Povšimni si položky DWPD (drive writes per day) třeba při hodnotě 3 Máš zaručeno že do něj mužeš zapsat 3 násobek jeho kapacity každý den po dobu jeho deklarované životnosti (třeba 5 let) (už tohle dává dost i o specifikaci a vydržnosti rychlosti např. když máš 1TB disk a máš na něm DWPD 3(5let) tak to znamená, že do něj každý den můžeš zapsat 3 TB, ale i při maximální rychlosti 500MB/s tak 3TB znamená 6000 sekund tedy skoro 2 hodiny čistého času zápisu plnou rychlostí, nedokážu si představit, že by si to někdo koupil do serveru, když by tohle mělo vlastnost, že po xyGB to sníží rychlost na pětinu.

[lertimir]

A tady je Intel a konkrétně mne zaujal tenhle

[PetebLazar]

6000x přepis (6PBW/960GB) se mi zdá na TLC technoligii docela dost. SLC zpočátku měly životnost 100000x, MLC 10000x. Jak se výrobní proces zahušťoval, bylo to i několikrát méně (v rámci dané xLC technologie). Ještě pár let a bude z toho WORM technologie (Write Once,Read Many).

[lertimir]

Mohlo by te zajímat. 1, 2, 3 podobné jako 4, 5, 6 možná 7 i když s tím seagate mě dojali. A 8, 9 je jiná liga. A možná je inspirace i 10 a 11.

[PetebLazar]

To už není jiná liga (8,9), to je docela jinej sport.

Ten Seagate na (7) je jasně nejlepší, ze specifikace SATAIII (6Gb/s) mu v tabulce udělali 6GB/s.

[PetebLazar]

Pozn. to zmiňované kombo by nefungovalo. Box je na M.2 SATA SSD a odkaz na disk vede na M.2 NVMe(PCIe). To je další z problémů, že M.2 SATA nabídka se stále zmenšuje a obsahuje především vlastnostmi/výkonem spíše horší řešení (TLC).

Boxy na M.2 NVMe budou podstatně dražší (box na jeden NVMe >3kKč) a je otázkou zda nebudou vyhrazeny pouze pro rozhraní Thunderbolt(40Gbps) s ohledem na požadovanou přenosovou rychlost (USB-C 3.1 i v Gen2 se svými 10Gbps by takové řešení asi značně brzdilo, zmíněná kamera disponuje dokonce jen Gen1 tj. 5Gbps).

[PetebLazar]

Jelikož mne čeká pokus o vyčtení dat ze zhroucených W10 na ultrabooku (storage M.2 SATA), využil jsem toho k vyzkoušení dosažitelné trvalé rychlostí na kombinaci levného USB3.0xM.2_SATA boxu a cenově dostupného M.2 SATA SSD (WDS240G2G0B 240GB pravděpodobně TLC).

Výsledek hdparmu by naznačoval využití USB3.0 a asi i SATAIII v boxu.

hdparm -t /dev/sdh
/dev/sdh:
 Timing buffered disk reads: 1252 MB in  3.00 seconds = 416.78 MB/sec

Test proběhl za obdobných podmínek jako u Samsungu T5 1TB výše, tentokrát pouze se zápisem náhodného obsahu (opět sekvenční test přes většinu SSD s bs=16M). S průměrnou rychlostí zápisu okolo 140MB/s. Úplný rychlý začátek grafu (~4GB) jde možná na vrub SLC cache na SSD. Následný prudký pokles za peakem možná na vrub zotavování ze zaplněné SLC cache.

https://www.monitos.cz/tmp/WDS240G2G0B_16MB_seq_all.png

Jak je vidět z grafu, některé sekundové průměry zápisu šly až pod 50MB/s. Z pohledu vyššich rozlišení a bezeztrátovějších kodeků je takové řešení patrně za hranou použitelnosti. Nároky na zápis u výše zmíňované kamery BMPCC4K, uvádí výrobce zde. Výrobce se raději neodvážil uvést nároky pro 4K60p (již při 4K30p jsou velké až dost).

[Vantomas]

Zkusil bych se zaměřit na to, zda neexistují nějaké RAID0 USB/SATA boxy, kam jde připojit dva disky. Takový box a dvě horší SSD by mohly být levnější než jedno dvojnásobné SSD se skvělými parametry.

[PetebLazar]

Nejsem si jist zda by to pro daný účel (externí storage pro digitální kameru) bylo praktické (s ohledem na nároky napájení i funkční, možná tak nějaká varianta s vlastním akumulátorem). V takovém případě (zatím jsem tedy nic takového nezaznamenal) by mohl být zajímavou variantou i případný režim RAID1.

[Vantomas]

Zkusil jsem dát do Googlu "usb raid0 sata", na prvním místě byla tahle věc, mají to v Alza za 900 a vypadá to, že přesně o takovéhle věci jsem mluvil a měl na mysli. Co se týče nároků na hmotnost/napájení nevím, zda se kamera bude jen přenášet nebo bude vesměs na stativu, ale možná bych se zkusil i zaměřit třeba na box, kam jde dát 4x SATA a místo SSD tam dát normální HDD, kde je mnohem příznivější poměr cena/kapacita.

U těch SSD je třeba také zohlednit to, že ty nejlevnější vydrží třeba jen 100x kompletní přepis a pak začíná končit životnost buněk, což při těchto datových tocích je razdva.

[PetebLazar]

Díky, také jsem to mezitím našel. Problematiku životnosti (případně vlivu opotřebení na výkon) jsem v úvodním příspěvku pouze zmínil. Mobilita je určujícím faktorem, takže s využitím mechanických HDD pro tento účel bych asi byl opatrný (u stacionárního nasazení by to určitě bylo z hlediska spolehlivosti, výkonu, ceny_GB ideální). Bohužel se zvyšujicí se "hustotou zápisu" (xLC,nm) nám klesá výkon a životnost, což jde proti potřebám záznamu v max. kvalitě. Bohužel světlo na konci tunelu (náhrada flash technologie za jinou) je zatím v nedohlednu.

[PetebLazar]

Vypadá to, že min. existují boxy s možností ext. napájení. To by se asi dalo vykrýt z akkupacku zajišťujícího napájení kamery. Navíc v RAID1 by to mohlo poskytnout redundanci záznamu, kterou kamera nedisponuje neumožněním paralelního záznamu na dvě karty současně.

https://www.alza.cz/i-tec-mysafe-external-case-for-2x-sata-m2-d5441976.htm

[PetebLazar]

Kingston A400 240GB. Další z řady levných SSD. Test kontinuálního zápisu přerušen pro netrpělivost při 50% zaplnění. Z grafu je vidět velká SLC-cache (k zlomu došlo po cca 80GB, což by naznačovalo její účinnost skoro přes celý disk) a tragický výkon po jejím zaplnění (nejnižší rychlost zápisu, že by ji mohl závidět leda tak HDD v PIO Mode 4). Škoda, že výrobci nenabízí dnešní SSD, která by jela jen v SLC módu, měla by sice jen třetinovou kapacitu(u TLC), ale výkon a životnost by asi byl jinde.

http://www.monitos.cz/tmp/Kingston_A400_240gb_dd.png

I HDD je na začátku nejrychlejší (pro vyšší počet sektorů/track), ale co to je proti SLC-cache u SSD.

[[Jooky]]

Ja mam podobnu skusenost ... napr. teraz mam v pocitaci SanDisk SSD. Ked pise do SLC cache, tak to ide ako blesk. Ked sa cache zaplni, tak som rad ak to da 12 MB/s zapis (ano dvanast!!). Toto je podla mna najvacsi problem SSD diskov. Vyrobcovia propaguju len rychlost zapisu do cache. Co sa stane, ked sa zaplni, uz nikto nespomina ... pritom uplne staci, ze clovek pouziva snapshoty, alebo sa chvilu venuje spracovaniu nejakeho videa a rychlost disku sa dostane pod rychlost najhorsich SD kariet ... to vlastne aj vysvetluje ten velky cenovy rozdiel v povodnej otazke a dovod preco by som bezny SSD nepouzival na cokolvek co potrebuje predpovedatelnu uroven rychlosti zapisu.

Podobne spravanie je vidiet snad na kazdom "costumer" SSD disku ...

[PetebLazar]

Příklady co jsem tu zatím uvedl byly snad vše z TLC generace, upřímně se děsím co výrobci předvedou s QLC.

[lertimir]

Rád bych tě o něco požádal. A to založit si tady účet a v v rámci něho si založit blok, kam bys dal ty obrázky s kontinuálním zápisem do disků. Myslím, že nejen já, ale hodně lidí by to uvítalo. Informace se hledají těžce a výroci dost mlží. Takhle by to bylo na jednom místě, kam by se dalo podívat.

[PetebLazar]

Já asi nebudu pořizovat každý týden jiné (ještě horší) SSD, aby to bylo dlouhodobě nosné téma. Na druhou stranu, když se mi nějaké dostane pod ruku tak ten jeden 90% přepis obětuji (u cizího se souhlasem vlastníka). Ty odkazované obrázky leží na mém webhostingu (je mu cca 15 let a asi ještě chvíli vydrží). Takže možná bude stačit příspěvek rozšířit o výrobce/typ/partnumber/FW/kapacita/klíčová slova (kontinuální zápis, ...), aby nám to Google v budoucnu dohledal.

Je si třeba uvědomit, že výrobce občas upraví osazení SSD řadič/chipy/firmware bez změny označení. Takže řídit se podle výsledků jednotlivého kusu může být pro jeho případno volbu zrádné.