abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 16:22 | Nová verze

Byla vydána verze 2.2 svobodné federalizované platformy pro sledování a sdílení videí, alternativy YouTube s podporou P2P, PeerTube (Wikipedie). Přehled novinek i s náhledy v oficiálním oznámení. Přispět lze na vývoj verze 3. V plánu je například podpora živého přenosu (live streaming). Za vývojem PeerTube stojí nezisková organizace Framasoft snažící se mimo jiné nahradit svými svobodnými Frama službami služby společnosti Google (De-google-ify Internet). Bohužel ale musí některé své služby omezovat.

Ladislav Hagara | Komentářů: 0
včera 07:00 | Komunita

Lenovo oznámilo, že bude certifikovat všechny své pracovní stanice řady ThinkStation a ThinkPad P pro Linux, konkrétně pro linuxové distribuce Red Hat Enterprise Linux a Ubuntu LTS. Doteď byly certifikovány pouze konkrétní modely.

Ladislav Hagara | Komentářů: 7
včera 00:44 | Nová verze

Oficiálně byl vydán Devuan Beowulf 3.0.0. Přehled novinek v poznámkách k vydání. Kódové jméno Beowulf je podle planetky s katalogovým číslem 38086. Příští verze 4.0.0 bude Chimaera. Devuan (Wikipedie) je fork Debianu bez systemd.

Ladislav Hagara | Komentářů: 0
včera 00:11 | Nová verze

Byla vydána verze 20.04 linuxové distribuce Greenie (Wikipedie). Nově s desktopovým prostředím KDE.

Ladislav Hagara | Komentářů: 2
2.6. 19:11 | Nová verze

Byla vydána nová verze 4.7 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl aktualizován na verzi 9.5. Thunderbird na verzi 68.8.0. Opraveno bylo několik bezpečnostních chyb.

Ladislav Hagara | Komentářů: 0
2.6. 16:22 | Nová verze

Byl vydán Mozilla Firefox 77.0. Přehled novinek v poznámkách k vydání a na stránce věnované vývojářům. Zmínit lze novou stránku "about:certificate". Řešeny jsou také bezpečnostní chyby. Nejnovější Firefox je již k dispozici také na Flathubu.

Ladislav Hagara | Komentářů: 0
2.6. 07:00 | Zajímavý článek

Raphaël Hertzog oznámil aktualizaci The Debian Administrator's Handbooku pro Debian 10 Buster. Vedle papírové verze a ebooku je k dispozici také online.

Ladislav Hagara | Komentářů: 0
1.6. 23:33 | IT novinky

Poslanecká sněmovna bude projednávat vládní návrh novely zákona č. 289/2005 Sb., o Vojenském zpravodajství, který by právě Vojenskému zpravodajství dal možnost sledovat síťový provoz a provádět aktivní zásahy v kyberprostoru. Okolnostmi předložení novely a kontroverzí v jejím obsahu rozebírá např. Jan Cibulka na iRozhlasu, a to včetně kritizované nedostatečné kontroly.

Fluttershy, yay! | Komentářů: 3
1.6. 22:00 | Nová verze

Byla vydána verze 2.27.0 distribuovaného systému správy verzí Git. Přispělo 71 vývojářů, z toho 19 nových. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
1.6. 16:22 | Upozornění

V rámci projektu ADAM (Advanced DNS Analytics and Measurements) uvádí Laboratoře CZ.NIC ve spolupráci s CSIRT.CZ do produkčního provozu nástroj DNS crawler. Záměrem je periodicky procházet všechny domény 2. úrovně pod TLD .cz, získávat o nich různá veřejně dostupná data a ta pak dále zpracovávat. I když to jeho jméno přímo nenapovídá, DNS crawler bude kromě sběru dat z DNS také komunikovat s webovým a e-mailovým serverem každé domény.

Ladislav Hagara | Komentářů: 12
Používáte některé open-source řešení [protokol] pro šifrovaný instant messaging?
 (37%)
 (18%)
 (6%)
 (15%)
 (10%)
 (6%)
 (16%)
 (21%)
Celkem 62 hlasů
 Komentářů: 1, poslední včera 16:33
Rozcestník

Dotaz: Výkon flash-based médií/disků (kontinuální trvalý zápis)

16.2.2019 13:18 PetebLazar
Výkon flash-based médií/disků (kontinuální trvalý zápis)
Přečteno: 1320×

V současnosti se jako alternativa u digitálních fotoaparátů/kamer začíná objevovat port USB-C jako alternativa k interním kartám (typicky standardu SDXC, CFast). Pomineme-li určitou nešikovnost připojení externího disku (typicky řešenou jeho montáží na ochrannou klec) a otázku spolehlivosti, zůstává nám zde zajímavý poměr výkon/cena a kapacita/cena ve srovnání s tradičními flash kartami. Na mysli mám rychlé karty se schopností trvalého zápisu v rychlostech řádu stovek MB/s. Záměr vytěžit ze schopností zařízení maximum při postprodukci vede k volbě maximální dostupné kvality záznamu, což v řadě případů je raw formát. Takový záznam může mít například podobu jednotlivých souborů obsahujících zachycené snímky záznamu (např. dng soubory o velikostech v jednotkách/desítkách). Při kombinaci x0MB * x0FPS se dostáváne k nárokům přesahujícím i 500MB/s.

Pro srovnání. CF2.0 ProGrade Digital 512GB má cenu okolo 700US$, SSD Samsung T5 1TB zhruba 200$ (dvojnásobná kapacita za méně než třetinovou cenu), výhoda přítomnosti USB-C u zařízení je zřejmá.

U flash jde pokrok vcelku neúprosně ke zvyšování hustoty záznamu a to nejen zmenšováním buněk v rámci litografie a vrstvení chipů do pouzder, ale i zvyšování počtu bitů (tj. rozlišovaných úrovní) v rámci jedné paměťové buňky. V dobách SLC (Single Level Cell) byl záznam a jeho odolnost na maximu, ale dosahované kapacity byly relativně malé (poměr cena/kapacita vyskoký). Aby se eliminovala nevýhoda přesnějšího (asi i déle trvajícího) záznamu do buněk s více úrovněmi (MLC .. 2bit/cell=4level, TLC .. 3bit/cell=8level, QLC .. 4bit/cell=16level) využívájí výrobci v rámci logiky disku tzv. SLC cache, tj. část volné kapacity SSD se při zápisu použije k rychlému zápisu 1bit/1cell a při jejím zaplnění pak již zápis probíhá cílovým způsobem (nbit/cell podle typu SSD). Jaká je veliost této SLC cache, případně kde se nalézají hodnoty minimálního trvalého zápisu nám může napovědět kontinuální zápis. Otázka životnosti a vliv opotřebení na dosahovaný výkon je bohužel asi na rámec tohoto tématu.

Na nový prakticky nepoužitý USB-C SSD společnosti Samsung model T5 kapacita 1TB jsem provedl dva testy zápisu pomocí dd. V prvním testu byl na SSD zapisován soubor generovaný z /dev/zero, v druhém abych eliminoval vliv případné komprese na silně komprimovatelná data jsem použil náhodně generovaný obsah. Generátor náhodného obsahu dosahoval výkonu na ramdisk cca 1,3GB/s, takže dopad na výkon proti /dev/zero(s cca 3,2GB/s) by s ohledem na dosahované rychlosti SSD neměl být markatní.

Graf zobrazuje hodnoty zapisu z iostat (sekundové intervaly). Horní graf pro zaznám obsahu z /dev/zero, spodní z náhodného obsahu (zapsáno vždy okolo 900GB). Testovací konfigurací bylo Xubuntu 18.04@4.19.20_vanilla na Tr1950X@stock s 4x 8GB DDR4_3200CL14.

Graf rychlosti zápisu přes většinu kapacity SSD. https://www.monitos.cz/tmp/samsung_T5_1TB_IOW.png

Z grafu je patrný náhlý pokles okolo 256.GB kapacity, to by mohlo naznačovat velikost SLC cache. Na grafu je vidět mírný pokles při druhém zápisu (což může jít na vrub větší režie generování random vstupu, případně zpracování nekomprimovatelných dat rámci SSD), důvod těžko určit.

Na trhu se v současnosti vyskytuje řada cenově výhhodných SSD, stavících na TLC/QLC, u nichž se díky SLC cache podaří uspokojit většinu běžných požadavků (kontinuální zápis do řádu jednotek/desítek GB), ale při trvalém zápisu přes celou kapacitu se lze dostat i pod hodnoty za něž by se asi styděl i 2,5" na svých vnitřních stopách. ;-) Bohužel zveřejňované testy se dnes omezují na objemově relativně omezené benchmarky, které skutečné schování zamlčí. O nic neříkajících specifikacích výrobců ani nemluvě.

Jaká je Vaše zkušenost s flash médii z pohledu "minimálního výkonu sekvenčního zápisu", pravda za blízko ideálním podmínkám (neznáme IO schopnosti/limity v zařízeních)?

Odpovědi

16.2.2019 13:37 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Doplnění: Filesystémem SSD při testech byl exFAT. Výkon (čtení) SSD v hdparm.
hdparm -t /dev/sdh
/dev/sdh:
 Timing buffered disk reads: 1616 MB in  3.00 seconds = 538.13 MB/sec
17.2.2019 22:47 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
A u jakých fotoaparátů se to objevuje jako alternativa? Zajímalo by mne to. Zatím jsem měl za to, že USB porty se na foťácích objevují jako porty funkce klient, tedy že protějšek (počítač) komunikaci řídí. Připadá mi to nepraktické proto, že kromě opravdu velmi specifické situace, kdy by bylo přema maximální datový tok, je pro mne mnohem přínosnější, že vše je kompaktně ukryté v těle fotoaparátu.
18.2.2019 09:26 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Skryté v těle, je patrně to poslední co maji tvůrci svých rigů na mysli. ;-) https://australianimage.com.au/blackmagic-pocket-cinema-camera-4k-pt-3/

S těmi fotoaparáty jsem asi předběhl dobu, z kamer je to například "BlackMagic Pocket Cinema Camera 4K". Samozřejmě nic nebrání vyrazit jen s interní storage a vzhledem k podobě s D-SLR to nebude okolí tolik znervózňovat "kamerovou" přítomností.

Vzhledem k tomu, že schopnost pořizovat video je dnes vcelku významnou funkcí moderních D-SLR(zejména mirrorless), při případném doplněním omezujících formátů (ztrátovost,bit depth) o pokročilejší (bezeztrátovější) formáty (ProRes, raw, ..) vzrostou nároky na cenově dostupnou storage. Výrobce implentující tyto funkce tak může získat nemalou výhodu před ostatními výrobci v boji o zákazníka na stále se zmenšujícím trhu.

Na trhu kde se šetří s rozvojem schopností ať již ve snaze o dlouhodobější udržitelnost rozvoje, či ve strachu před kanibalizací vyššího segmentu (zdravíme Canon) je výše uvedená BMPCC4K zajímavým úkazem. Přes řadu omezení (m4/3, pevný display, omezený autofokus, chybějící stabilizace, menší výdrž) je to právě poskytnutý mix funkcí a kvality z profesionálního segmentu, že se stala skoro "must have" záležitostí. Za relativně nízkou cenu (~1300US$) se do hledáčků profesionálů dostala jako B-camera a výrobcem neodhadnutý celosvětový zájem způsobil, že pořadník se stal celosvětovou záležitostí (v ČR délka pořadníku údajně v současnosti činí několik set a vzhledem k omezeným dodávkám se stále zvětšuje). Celkové náklady na vybavený rig eliminující omezení kamery mohou i několikrát přesáhnout cenu samotné kamery (cage, ext.LCD, ext.accu, speedbooster, gimbl), ale ani tak asi nedosahnou cen samotných body srovnatelných profesionálních kamer. Výrobce ke kameře předkládá licenci svého DaVinci Resolve studio (samostatně 300US$) podporující MacOS/Windows/Linux což přitažlivost pro ty rozpočtově omezené ještě více zvyšuje. Připomínám, jedná se o filmovou kameru, její fotografické schopnosti jsou omezeny na max. 4K(raw) snímky.
19.2.2019 00:31 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Aha. Pro fotoaparáty mě to překvapilo. Jsem si dost jistý, že ještě dlouho zůstane oddělení mezi zařízeními fotoaparát a kamera. Primárně z důvodů různé konstrukce a cílů optiky. Když jsem si před 9 lety pořídil Canon 5DMkII tak o tom mluvili i jako o úžasné FHD kameře s fulframovým chipem, nicméně to co jsem s ní zkoušel bylo: Ano umí to kvalitně natáčet, ale např. jemný a plynulý zoom byl nesmírně těžký. Fotografické objektivy jsou cíleně konstruovány na to, aby člověk lehce a rychle přezoomoval popř zaostřil a pak zafixoval. Objektivy pro kamary jsou naopak konstruovány na to, aby zoom byl plynulý a rovnoměrný a mají tlumení, které v závislosti na působící síle vytváří plynulý pohyb, trochu podobný je rozdíl mezi kulovými hlavami stativů a 3 cestnými hlavami s tlumením. Takže budou kamery se schopností fotit a fotoaparáty se schopností natáčet video, ale kromě experimentátorů to bude na svém písečku. A chápu že BMPCC4K je zajímavé a někdy to může dát i podobný výsledek jako Red.

A k otázce. Jak to SSD obecně mají se najde velmi těžko. Já torochu používám storagereview, kde mívali interní informace, jak jsou SSD konstruovány, ale nevím jak jsou na rom v posledním roce. Rozhodně pokud trvalý zápis je velmi důležitý tak bych směřoval do vyšších řad jako jsou např u Samsungu řada Pro a ne Evo.
19.2.2019 09:38 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Překračování hranic mezi těmito světy otevírá inovační potenciál pro ty firmy, které nemají želízka v obou. Ty co sedí na dvou židlích si vzhledem k řadové rozdílné hladine cen hodně rozmyslí potenciální kabalizaci.

Nepřeceňoval bych roli průběhu zoomování v této oblasti. Popsané vlastnosti zoom objektivů budou určitě nezbytností u videoprodukce (sportovní přenosy atd), cinema materiál bude asi hodně o monofokálních objektivech. Na druhou stranu některé fotografické (parfokální) zoom objektivy by i během zoomování měly zůstat zaostřeny, což by mohlo pomoci.

Byla jedna site, kde úplný přepis SSD byl součástí testovací metodiky, akorát vzhledem množství modelů na trhu to problematiku pokrývalo jen z části.
19.2.2019 14:19 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Fuj, to je tak když jeden stojíc ve vlaku píše na tabletu. " ... si vzhledem k řádově rozdílné hladině cen rozmyslí potenciální kanibalizaci vyššího segmentu."
19.2.2019 09:53 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
BMPPC4K disponuje HFR tlačítkem, které umožní okamžitou změnu snimkové frekvence (např. 23,98 na 60fps). Takže při jeho aktivaci před zoomem by šlo získat materiál z něhož by se při postprodukci vybraly snímky korigující případnou nedokonalost průběhu zoomu. Případný přeběh rozsahu se prohlásí za umělecký záměr. ;-)
21.2.2019 11:39 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Ještě by stálo za to prověřit jestli spolehlivost výkonu nedosáhneš pomocí M.2 tabletek. Mám na mysli něco jako krabička a disky.
21.2.2019 12:13 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Již to (tento model) kolega v příspěvcích dole zmínil. Otázkou je mj.interní/externí výkonnost takových řešení. Předpokládám, že zvenku se to bude jevit jako jednk USB mass storage.
21.2.2019 15:57 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Pak je tady ještě cesta Enterprise SSD disků, našel jsem ted jen Samsung ale Intel a další to mají také. Povšimni si položky DWPD (drive writes per day) třeba při hodnotě 3 Máš zaručeno že do něj mužeš zapsat 3 násobek jeho kapacity každý den po dobu jeho deklarované životnosti (třeba 5 let) (už tohle dává dost i o specifikaci a vydržnosti rychlosti např. když máš 1TB disk a máš na něm DWPD 3(5let) tak to znamená, že do něj každý den můžeš zapsat 3 TB, ale i při maximální rychlosti 500MB/s tak 3TB znamená 6000 sekund tedy skoro 2 hodiny čistého času zápisu plnou rychlostí, nedokážu si představit, že by si to někdo koupil do serveru, když by tohle mělo vlastnost, že po xyGB to sníží rychlost na pětinu.
21.2.2019 17:06 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
A tady je Intel a konkrétně mne zaujal tenhle
21.2.2019 19:21 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
6000x přepis (6PBW/960GB) se mi zdá na TLC technoligii docela dost. SLC zpočátku měly životnost 100000x, MLC 10000x. Jak se výrobní proces zahušťoval, bylo to i několikrát méně (v rámci dané xLC technologie). Ještě pár let a bude z toho WORM technologie (Write Once,Read Many). ;-)
21.2.2019 21:34 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Mohlo by te zajímat. 1, 2, 3 podobné jako 4, 5, 6 možná 7 i když s tím seagate mě dojali. A 8, 9 je jiná liga. A možná je inspirace i 10 a 11.
21.2.2019 22:49 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
To už není jiná liga (8,9), to je docela jinej sport.

Ten Seagate na (7) je jasně nejlepší, ze specifikace SATAIII (6Gb/s) mu v tabulce udělali 6GB/s. ;-)
21.2.2019 16:29 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Pozn. to zmiňované kombo by nefungovalo. Box je na M.2 SATA SSD a odkaz na disk vede na M.2 NVMe(PCIe). To je další z problémů, že M.2 SATA nabídka se stále zmenšuje a obsahuje především vlastnostmi/výkonem spíše horší řešení (TLC).

Boxy na M.2 NVMe budou podstatně dražší (box na jeden NVMe >3kKč) a je otázkou zda nebudou vyhrazeny pouze pro rozhraní Thunderbolt(40Gbps) s ohledem na požadovanou přenosovou rychlost (USB-C 3.1 i v Gen2 se svými 10Gbps by takové řešení asi značně brzdilo, zmíněná kamera disponuje dokonce jen Gen1 tj. 5Gbps).
19.2.2019 18:29 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Jelikož mne čeká pokus o vyčtení dat ze zhroucených W10 na ultrabooku (storage M.2 SATA), využil jsem toho k vyzkoušení dosažitelné trvalé rychlostí na kombinaci levného USB3.0xM.2_SATA boxu a cenově dostupného M.2 SATA SSD (WDS240G2G0B 240GB pravděpodobně TLC).

Výsledek hdparmu by naznačoval využití USB3.0 a asi i SATAIII v boxu.
hdparm -t /dev/sdh
/dev/sdh:
 Timing buffered disk reads: 1252 MB in  3.00 seconds = 416.78 MB/sec
Test proběhl za obdobných podmínek jako u Samsungu T5 1TB výše, tentokrát pouze se zápisem náhodného obsahu (opět sekvenční test přes většinu SSD s bs=16M). S průměrnou rychlostí zápisu okolo 140MB/s. Úplný rychlý začátek grafu (~4GB) jde možná na vrub SLC cache na SSD. Následný prudký pokles za peakem možná na vrub zotavování ze zaplněné SLC cache.

https://www.monitos.cz/tmp/WDS240G2G0B_16MB_seq_all.png

Jak je vidět z grafu, některé sekundové průměry zápisu šly až pod 50MB/s. Z pohledu vyššich rozlišení a bezeztrátovějších kodeků je takové řešení patrně za hranou použitelnosti. Nároky na zápis u výše zmíňované kamery BMPCC4K, uvádí výrobce zde. Výrobce se raději neodvážil uvést nároky pro 4K60p (již při 4K30p jsou velké až dost). ;-)

21.2.2019 08:22 Vantomas | skóre: 29 | Praha
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Zkusil bych se zaměřit na to, zda neexistují nějaké RAID0 USB/SATA boxy, kam jde připojit dva disky. Takový box a dvě horší SSD by mohly být levnější než jedno dvojnásobné SSD se skvělými parametry.
21.2.2019 08:50 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Nejsem si jist zda by to pro daný účel (externí storage pro digitální kameru) bylo praktické (s ohledem na nároky napájení i funkční, možná tak nějaká varianta s vlastním akumulátorem). V takovém případě (zatím jsem tedy nic takového nezaznamenal) by mohl být zajímavou variantou i případný režim RAID1.
21.2.2019 09:15 Vantomas | skóre: 29 | Praha
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Zkusil jsem dát do Googlu "usb raid0 sata", na prvním místě byla tahle věc, mají to v Alza za 900 a vypadá to, že přesně o takovéhle věci jsem mluvil a měl na mysli. Co se týče nároků na hmotnost/napájení nevím, zda se kamera bude jen přenášet nebo bude vesměs na stativu, ale možná bych se zkusil i zaměřit třeba na box, kam jde dát 4x SATA a místo SSD tam dát normální HDD, kde je mnohem příznivější poměr cena/kapacita.

U těch SSD je třeba také zohlednit to, že ty nejlevnější vydrží třeba jen 100x kompletní přepis a pak začíná končit životnost buněk, což při těchto datových tocích je razdva.
21.2.2019 09:50 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Díky, také jsem to mezitím našel. Problematiku životnosti (případně vlivu opotřebení na výkon) jsem v úvodním příspěvku pouze zmínil. Mobilita je určujícím faktorem, takže s využitím mechanických HDD pro tento účel bych asi byl opatrný (u stacionárního nasazení by to určitě bylo z hlediska spolehlivosti, výkonu, ceny_GB ideální). Bohužel se zvyšujicí se "hustotou zápisu" (xLC,nm) nám klesá výkon a životnost, což jde proti potřebám záznamu v max. kvalitě. Bohužel světlo na konci tunelu (náhrada flash technologie za jinou) je zatím v nedohlednu.
21.2.2019 09:08 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Vypadá to, že min. existují boxy s možností ext. napájení. To by se asi dalo vykrýt z akkupacku zajišťujícího napájení kamery. Navíc v RAID1 by to mohlo poskytnout redundanci záznamu, kterou kamera nedisponuje neumožněním paralelního záznamu na dvě karty současně.

https://www.alza.cz/i-tec-mysafe-external-case-for-2x-sata-m2-d5441976.htm
12.3.2019 19:14 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Kingston A400 240GB. Další z řady levných SSD. Test kontinuálního zápisu přerušen pro netrpělivost při 50% zaplnění. Z grafu je vidět velká SLC-cache (k zlomu došlo po cca 80GB, což by naznačovalo její účinnost skoro přes celý disk) a tragický výkon po jejím zaplnění (nejnižší rychlost zápisu, že by ji mohl závidět leda tak HDD v PIO Mode 4). Škoda, že výrobci nenabízí dnešní SSD, která by jela jen v SLC módu, měla by sice jen třetinovou kapacitu(u TLC), ale výkon a životnost by asi byl jinde.

http://www.monitos.cz/tmp/Kingston_A400_240gb_dd.png

I HDD je na začátku nejrychlejší (pro vyšší počet sektorů/track), ale co to je proti SLC-cache u SSD. ;-)
13.3.2019 09:38 [Jooky]
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Ja mam podobnu skusenost ... napr. teraz mam v pocitaci SanDisk SSD. Ked pise do SLC cache, tak to ide ako blesk. Ked sa cache zaplni, tak som rad ak to da 12 MB/s zapis (ano dvanast!!). Toto je podla mna najvacsi problem SSD diskov. Vyrobcovia propaguju len rychlost zapisu do cache. Co sa stane, ked sa zaplni, uz nikto nespomina ... pritom uplne staci, ze clovek pouziva snapshoty, alebo sa chvilu venuje spracovaniu nejakeho videa a rychlost disku sa dostane pod rychlost najhorsich SD kariet ... to vlastne aj vysvetluje ten velky cenovy rozdiel v povodnej otazke a dovod preco by som bezny SSD nepouzival na cokolvek co potrebuje predpovedatelnu uroven rychlosti zapisu.

Podobne spravanie je vidiet snad na kazdom "costumer" SSD disku ...
13.3.2019 13:51 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Příklady co jsem tu zatím uvedl byly snad vše z TLC generace, upřímně se děsím co výrobci předvedou s QLC.
13.3.2019 15:57 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Rád bych tě o něco požádal. A to založit si tady účet a v v rámci něho si založit blok, kam bys dal ty obrázky s kontinuálním zápisem do disků. Myslím, že nejen já, ale hodně lidí by to uvítalo. Informace se hledají těžce a výroci dost mlží. Takhle by to bylo na jednom místě, kam by se dalo podívat.
13.3.2019 16:56 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Já asi nebudu pořizovat každý týden jiné (ještě horší) SSD, aby to bylo dlouhodobě nosné téma. ;-) Na druhou stranu, když se mi nějaké dostane pod ruku tak ten jeden 90% přepis obětuji (u cizího se souhlasem vlastníka). Ty odkazované obrázky leží na mém webhostingu (je mu cca 15 let a asi ještě chvíli vydrží). Takže možná bude stačit příspěvek rozšířit o výrobce/typ/partnumber/FW/kapacita/klíčová slova (kontinuální zápis, ...), aby nám to Google v budoucnu dohledal.

Je si třeba uvědomit, že výrobce občas upraví osazení SSD řadič/chipy/firmware bez změny označení. Takže řídit se podle výsledků jednotlivého kusu může být pro jeho případno volbu zrádné.
11.4.2019 19:07 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Po několika SSD nižší třídy jeden z té "střední". Konkrétně Corsair Force Series MP510 960GB (NVMe PCIe 3.0 4x) údajně osazený řadičem Phison PS5012-E12 a chipy Toshiba BiCS3 256Gb 64-layer 3D TLC. Na tomto SSD mne zaujala deklarová životnost 1700TB (0,9DWPD) (nakolik reálná je otázkou?), tj. skoro denní kompletní přepsání SSD po dobu jeho záruky (5 let). Násobně vysší než u dnešních TLC (o QLC ani nemluvě).

Test trvalého zápisu proveden pomocí dd (pouze z /dev/null, test zápisem náhodných dat by byl omezen rychlostí jejich generování). V grafu občas sekundový průměr zápisu (dle iostat) poklesne i na nulu, ale celková průměrná rychlost zápisu 750GB dat činila 1,4GB/s. Testovací konfigurace stále stejná Thr 1950X/X399 s OS Xubuntu18.04x64@vanilla_4.19.20(tentokrát filesystém byla ext4).

Testy jinde zmiňují, že i v nejhorších podmínkách (vyčerpání SLC-cache) se zápis drží okolo 1GB/s (což by konec grafu níže asi potvrzoval). První půlku kapacity je vidět koketování s SLC-cache, zápisy v řádu 2GB/s jsou střídány poklesy k x00MB/s (i níže). Předpokládám, že při sekvenčním zápisu nepřekračujícím trvale 1GB/s bychom se dočkali asi výrazněji ploché křivky. Teploty povrchu SSD nepřekračovaly během zápisu 65°C (nad SSD je v proud vzduchu z in-take fanu), průběžně monitorováno infr. teploměrem.

Průběh sekvenčního zápisu - graf

Sekvenční čtení (to nejpodstatnější pro plánované využití) pak překračuje 2GB/s, což je více než saturace 10Gbit LAN.
sudo hdparm -tT /dev/nvme1n1

/dev/nvme1n1:
 Timing cached reads:   24270 MB in  2.00 seconds = 12150.72 MB/sec
 Timing buffered disk reads: 8424 MB in  3.00 seconds = 2808.00 MB/sec
Škoda, že výrobci neumožňují (nebo o tom nevím) volitelně režim SLC-cache u svých SSD vypnout. Umožnilo by se tím asi docílit nižší průměrné rychlosti trvalého zápisu, ale nejspíš s menšími výkyvy. Možná by to mělo pozitivní dopad i na životnost, jelikož by se data do pamětí zapsala hned napoprvé v cílovém TLC módu a ne nadvakrát poprvé v SLC módu).

11.4.2019 22:10 lertimir | skóre: 63 | blog: Par_slov
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
No s posledním odstavcem by se dalo polemizovat. Pokud bych byl designer SSD tak bych asi uvažoval o tom, že data v SLC cache mohu přerovnat a optimalizovat před zápisem do TLC. Třeba tak, že když tam jede více datových proudů současně, tak je mohu v cache srovnávat a dávat k sobě pro přepis na TLC, kdežto do SLC je chytám, jak data přicházejí. Nicméně jakým výzvám skutečně návrhy čelí se mohu jen dohadovat. Nic konkrétního jsem nenašel.
14.4.2019 09:39 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Našel jsem, že tady to zmiňuje jako možnou necnost jeden z výrobců SSD (A-DATA). http://industrial.adata.com/us/technology/74/
25.4.2019 20:06 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Další z SSD sbírky, tentokrát starší Samsung 960 EVO 500GB NVMe MLC 3bit (rozuměj TLC) dosud vyžíváný pro Win10 Guest (KVM/QEMU/GPU_passthrough). Druhý pokles (pokud tedy jde na vrub SLC-cache pak velikostně relativně omezené v řádu x0GB?). Trvalý zápis vykazuje větší vyrovnanost při hodnotách ~600MB/s, než posledně testovaný sice výkonější ale v zápise nevyrovnanější Corsair MP510 1TB.

Zápis 90% kapacity dd bs=16M http://www.monitos.cz/tmp/samsung_evo_960_500g_nvme.png

Sekvenční čtení asi odpovídá použitým technologiím.
hdparm -t /dev/nvme0n1

/dev/nvme0n1:
 Timing buffered disk reads: 7616 MB in  3.00 seconds = 2538.41 MB/sec
16.8.2019 19:16 PetebLazar
Rozbalit Rozbalit vše Re: Výkon flash-based médií/disků (kontinuální trvalý zápis)
Další ze sbírky (middle-class) TLC NVMe, Corsair MP510 1920GB (větší sourozenec výše uvedeného MP510 960GB). Průběh rychlosti kontinuálního zápisu do 95% zaplneni kapacity pomoci dd if=/dev/zero .... bs=16 (iostat 10), s výslednou průměrnou rychlostí zápisu 1500MB/s. https://www.monitos.cz/tmp/NVMe_MP510_1920GB_dd_16M.png

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.