Helium

1.6.2018 17:53 | Přečteno: 3049× | Linux |

Hlavní domácí odkladiště se zaplnilo do té míry, že bylo třeba promyslet upgrade.

NAS je postavené na HP Microserver N54L Gen7, konfigurace disků byla až do dneška 2x Toshiba X300 4TB a dva starší disky pro pana příhodu. Celé to běží na Openmediavault verze 3.x, protože jsem Linux zvyklý a it just works. Původní plán nahradit oba starší disky novými Toshibami N300 8TB padl poté, co se v e-shopu za celkem sympatickou cenu objevily heliem plněné disky od HGST, které obvykle okupují horní cenové příčky.

Po rychlém průzkumu internetu jsem došel k názoru, že pokud s heliovými disky nemá problém takový Backblaze, nebudu ho mít ani já. Objednal jsem 2 kousky, které dneska dorazily, a jal se instalovat.

V první kroku jsem upgradoval NAS na OMV 4 s tím, že OMV 3 je Debian 8 a EOL a OMV 4 je postaveno na Debianu 9. Upgrade proběhl bez problémů, vypnul jsem NAS, zapojil nové disky a nastartoval.

Poznámka: největší oficiální podporované disky jsou podle HP 2TB, ale podle Wiki na tom ostatní rozjeli i 8TB.

Bay 1 a 2 s Toshibami se inicializovaly okamžitě a pak zůstala obrazovka viset na inicializaci Bay 3 s prvním HGST. Po chvíli jsem měl nutkání to celé vypnout, ale zkušenosti s rackovými obludami, co bootovaly 15 minut a vědomím, že HGST míří na enterprise segment, tudíž může mít nastavenou delší inicializaci, jsem to nechal být.

Po pár minutách (neměřil jsem) se inicializovaly i Bay 3 a 4 a OMV začal nabíhat. Debianímu jádru trvala inicialiace delší dobu, ale pak oba disky bez problémů naběhly:

[    3.760096] sd 2:0:0:0: [sdc] 2929721344 4096-byte logical blocks: (12.0 TB/10.9 TiB)
[    3.760119] sd 3:0:0:0: [sdd] 2929721344 4096-byte logical blocks: (12.0 TB/10.9 TiB)
[    3.760233] sd 3:0:0:0: [sdd] Write Protect is off
[    3.760235] sd 3:0:0:0: [sdd] Mode Sense: 00 3a 00 00
[    3.760244] sd 2:0:0:0: [sdc] Write Protect is off
[    3.760246] sd 2:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[    3.760298] sd 2:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    3.760307] sd 3:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    3.775108] sd 3:0:0:0: [sdd] Attached SCSI disk
[    3.778546] sd 2:0:0:0: [sdc] Attached SCSI disk

Disky jsou určeny pro odkladiště věcí z internetu, které se můžou hodit, ale jejich ztráta by nebyla kritická, protože se plus mínus dají sehnat znovu. Z toho důvodu běží mdadm v lineárním režimu:

md1 : active linear sdd[1] sdc[0]
      23437508608 blocks super 1.2 0k rounding

Celková kapacita je necelých 22TB.

# df -hT /dev/md1
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/md1       xfs    22T  787G   22T   4% /export/NAS03-BDATA

Ještě informace ze SMARTu:

smartctl -a /dev/sdc
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.9.0-0.bpo.6-amd64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     HGST HUH721212ALN600
Serial Number:    
LU WWN Device Id: 5 000cca 253ddaddb
Firmware Version: LEGNT3D0
User Capacity:    12,000,138,625,024 bytes [12.0 TB]
Sector Size:      4096 bytes logical/physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-2, ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Fri Jun  1 17:22:41 2018 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (   87) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (1292) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   054    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0007   100   100   024    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       2
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   020    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       1
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       2
 22 Unknown_Attribute       0x0023   100   100   025    Pre-fail  Always       -       100
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       2
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       2
194 Temperature_Celsius     0x0002   142   142   000    Old_age   Always       -       42 (Min/Max 25/43)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%         0         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Tučně vyznačený atribut 22 udává množství helia uvnitř disku v procentech.

Co lze pozorovat už teď je, že disky jsou asi o 10°C chladnější než vzduchem chlazené protějšky, jsou tišší a podle specifikace mají menší spotřebu.

Rychlost zápisu pole je asi 255MB/s (na této hodnotě se dlouhodobě drží při testu), čtení jsem netestoval.

Celá NAS si bere kolem 1GB RAM, ale HP už doma nechci, protože po roce skončí podpora a člověk už si nestáhne ani BIOS.

Později mám v plánu do této N54L dokoupit další dva He12 disky, tj. pole bude mít 40TB, což by mělo stačit. Moje druhá N54L funguje jako backup pro důležité věci, ale nové věci budu stavět na Dellu, mám tu dvě T20 a jsem s nimi spokojený, takže další budou T30 nbo T430, pokud je nevyprodají...

       

Komentáře

[Max]

Já se ještě psychicky nepřehoupnul přes 4TB disky. V době, kdy všichni do polí doporučovali max 2TB disky, jsem nasazoval 4TB disky a u těch jsem zatím doposud zůstal. Doma jedu WD RE4 4TB a to smaé v jobu jen s tím rozdílem, že domu kupuju bazarový kousky za pár šupů.
Teď už se WD RE4 neprodávají, místo toho je WD Gold 4TB, což je Helium. Už jich samozřejmě také pár máme.
A nad tím mám ZFS a upřímně řečeno, nějak nepřemýšlím nad tím, že bych poskočil výš na vyšší kapacitu.
Možná, až budu rozšiřovat pole koupí dalšího šasi pro dalších 36x 3,5" disky, tak sáhnu po WD8003FRYZ. Mno, nějaký pátek to má ještě čas.
Zdar Max

[R]

WD Gold nie je nic ine, len premenovana RAID Edition (RE). Mame jeden novy 4 TB - WD4002FYYZ - a podla mna je to obycajny disk bez helia. Bol kupeny namiesto vadneho Seagate rovnakej velkosti..

[Max]

Mají u sebe uvedeno "HelioSeal™ Technology".
Zdar Max

[R]

Disk vyzera takto: https://www.bhphotovideo.com/images/images1000x1000/wd_wd4002fyyz_4tb_re_datacenter_7200_1246225.jpg

Pre porovnanie - ako vyzeraju disky bez helia a s heliom: https://www.pcper.com/reviews/Storage/Western-Digital-Red-8TB-Full-Review-Consumer-Helium-Hard-Disk/Internals-Testing-Meth

[Max]

Že by ve specifikaci lhali a menší kapacity dělali ještě po staru?
Podle tohoto to tak skutečně vypadá : Western Digital Gold 4TB 7200rpm 128MB WD4002FYYZ 3.5" SATA III
Díky za postřeh.
Zdar Max

[pc2005]

Než značku "Gold" je lepší sledovat přímo model "WD4002FYYZ".

[Max]

Nevím, zda jsi tu linkovanou specifikaci četl, ale ten model tam je uveden.
Zdar Max

[pc2005]

"helioseal" (dokonce jen "helio") je v tom produktovým pdf od WDC jen na třech místech a to jen v obecném marketingovém odstavci. Všimni si ale, že WD4002FYYZ je poslední disk, který má 512B nativní sektory. Ty vyšší mají emulované, takže budou mít nejspíš 4096B a asi i vyšší hustotu zápisu, což by mohlo zároveň znamenat, že budou vyžadovat to hélium.

Co jsem se koukal, tak ty wdc datasheety obvykle obsahují kombinaci staré a nové technologie u určitých modelů se mění třeba cache nebo půlka má jednu hmotnost a druhá jinou.

Když se ale koukneš na web archiv, tak zmínku o heliu přidali až po 13 měsících od prvního výskytu datasheetu až v době kdy ten datasheet aktualizovali o 12TB model.

Když si pak vyhledáš ostatní modely, tak najdeš datasheet pro starší řady na nějakým čínským mirroru (bohužel web archive má jen jeden nejnovější záznam). Zde není žádná zmínka o heliu a je zde zmíněn společně s 2TB diskem, co mám doma a u kterýho jsem si na 99.9% jistý, že helium v sobě nemá. Takže minimálně v jednom případě je jisté, že ve specifikaci jsou spolu heliový a neheliový disky.

[R]

Ano, helium je az od 8 TB. Do 6 TB to funguje aj bez neho, len by to zbytocne zvysovalo cenu.

[pc2005]

Možná je to helium až od určité kapacity nebo v novějších modelech gold řady. Podle czc u tohodle 8TB gold je helium:

Paří mezi více než 15 milionů pevných disků značky Western Digital, které využívají technologii HelioSeal. Ta umožňuje používat vyšší kapacity a zajišťuje menší turbulenci ve velkých polích úložných disků. Nyní je k dispozici již 4. generace technologie HelioSeal, je tedy praxí ověřená a prokazatelně přináší vysokou kapacitu, spolehlivost a energetickou úspornost.

[Pan_Filuta]

Zdravím, WD Gold jsou opravu heliové až od určité kapacity. 4TB je bez helia Nicméně než WD Gold, mohu určitě doporučit Seagate Enteprise capacity (někde exos) V testech nad WD Gold vedou ve všech směrech (rychlost, IOPS, vibrace...) a jsou o dost levnější.

V případě zájmu mohu ozdrojovat, dělal jsem před nákupem docela velký průzkum

[xxxs]

z toho by mohl byt fajn blog, ak mas cas a chut.

[ewew]

ddrescue bude na tom asi zaujímave. hlavne kvôli veľkosti.

[ehm]

Na co je taková kapacita dobrá? Nějaký význam to asi mít bude, tak proto se ptám. To je otázka i na ostatní. Nedokážu si představit, jak to (smysluplně) zaplnit ryze osobním užíváním.

[Jendа]

Mirror sci-hubu? :)

[Ruža Becelin]

Ono i leaky, data pro machine learning a archivy dat jdou dneska do TB...

[Ruža Becelin]

Zalohuju internet

Ne vazne - protoze mam docela rozlehlou sit, kde si testuji kde co, od novych OS, pres virtualizaci (KVM, OpenStack, ...), tak tam mam stazene OVA/KVM obrazy, ISO soubory, pak videa ze vsech moznych zdroju, coz uz dneska ani neexistuji a zbytek jsou zrcadla FTP serveru, repositaru s baliky a naklonovana repa z SCM serveru, jako je Github a dalsi.

Jako archiv je to dobra vec, napr. napr. mam nekolik velkych veci, co Github smaznul atd. S tim, ze ty dulezitejsi veci, kterych je riziko, ze by mohly zmizet, zalohuju na backup NAS.

Mel jsem toho par TB na externich discich, ted jsem to konsolidoval, z puvodnich 4-5TB se to roztahlo na 9TB, coz byla soucasna kapacita.

[ehm]

Díky za odpověď.

[pc2005]

Já svého času měl asi 4 kompilace buildrootu, který mají 4.6 GB každej, několik kompilací gcc/glibc, jeden má 15 GB a teďka mám asi 10 kernel zdrojáků s gitem, každej má 2 GB. A to je jen programování. Zachraňoval jsem data z rozbitýho disku s Win10, to jsou hnedka stovky GB. Nejvíc místa ale zabírají stáhnuté streamy.

Ale teda já mám jen 1 TB a 2 TB disky.

[ehm]

Já svého času měl asi 4 kompilace buildrootu, který mají 4.6 GB každej, několik kompilací gcc/glibc, jeden má 15 GB a teďka mám asi 10 kernel zdrojáků s gitem, každej má 2 GB. A to je jen programování.

To jsme třeba na 100 GB. K několika TB to pořád má dost daleko.

[pc2005]

Nejvíc místa ale zabírají stáhnuté streamy.

Asi tak 100-200 záznamů a 3-4GB jeden. Původně nestíhal komp přes neakcelerovanej prohlížeč a pak se z toho stal zvyk . A teďka zase občas nestíhá realtime bitrate DSL.

Dál jsem se taky koukal, že mám uloženej bitcoin a ethereum blockchain (tak rok zpátky neaktualizovaný). A pak různej bordel. Sice málo do samostatného objemu, ale velký počet. Home pro xilinx ISE má skoro 50GB a to tam je jen jedna verze (a nějaká prastará ve wine). Kdybych tam měl klasicky dvě + vivado, tak to bude tak 150GB. Taky jsem jednou rozbaloval instalačky win10 (nebo 7?), protože HP je tak chytrej, že v notebooku HP 255 G5 chybí nějaký UEFI knihovny pro flash z UEFI a jde jen z windows. Ty instalačky mají nějakej speciální formát, kde je jeden fyzickej soubor referencovanej z více variant, takže při kompletním rozbalení několikanásobně vzroste zabraná velikost. To bylo nárazově tak stovka GB. PIC kompilátory mají tak 5GB na verzi. Steam 100GB.

A to jsem bral jen užitečná data a ještě náhodně. Každopádně ty disky jsem si koupil abych měl místo nadlouho a nemusel počítat každej gigabajt + nárazová rezerva.

[ehm]

Já vím. To jsem narážel spíš na to, že těch 100 GB na programování je vůči těm 22 TB z blogpostu úplná kapka v moři. Mně se s 1 TB primárního úložiště už taky docela těžce dýchá.

[pc2005]

Jo 22TB je dost, já mluvil o svých 3TB. Ale zase třeba v tom steamu mám prakticky jen odrůdy Portálu a nic jinýho, jsou lidi, co maj stovky her. Stačí když někdo stříhá videa, tak 22TB může dost klidně zabrat.

[Max]

Tyhle pocity tu budou stále. Někdo si něco nedokáže představit a není mu jasné, proč ten produkt kupovat.
Už jen amatér, co si rád hraje s videem to asi ocení (SSD pro rychlé úpravy a práci, SATA pro archiv).
Nebo takový filmový fajnšmejkr. Běžně je dens k dostání 20GB BDRip. Nebo hry, vždyť dnes není moc neobvyklé, když má hra 50GiB, některé mají i 100GiB. Svět jde kupředu. Hodně se začínají šířit 4k TV a začínají se objevovat zdroje pro 4K. To už jsme pak u takové kvalitky na trochu jiných kapacitách.
Já si doma vystačím se 4x2TB RAID5, ale to proto, že to skoro vůbec nepoužívám (doma nejsem), jen bratr. V PC mám 2x4TB RAID1 a zatím je to akorát.
Zdar Max

[ehm]

Tyhle pocity tu budou stále. Někdo si něco nedokáže představit a není mu jasné, proč ten produkt kupovat.

Proto jsem se zeptal.

Už jen amatér, co si rád hraje s videem to asi ocení (SSD pro rychlé úpravy a práci, SATA pro archiv).

To mě samozřejmě napadlo taky. V IT komunitě ale vídám lidi, co mají tak velká disková pole, relativně často a zdá se mi divné, že zrovna tohle by byl jeden z nejčastějších důvodů.

Nebo takový filmový fajnšmejkr. Běžně je dens k dostání 20GB BDRip.

A dává smysl to ukládat na NASu místo BD?

Nebo hry, vždyť dnes není moc neobvyklé, když má hra 50GiB, některé mají i 100GiB.

Zase nevím, jestli ukládat hry na NASu, nebo mít nainstalované všechny najednou. Stáhnout ze Steamu to lze kdykoliv dle potřeby.

[Heron]

To mě samozřejmě napadlo taky. V IT komunitě ale vídám lidi, co mají tak velká disková pole, relativně často a zdá se mi divné, že zrovna tohle by byl jeden z nejčastějších důvodů.

Ona je otázka, proč ty důvody vlastně hledat. Nadšenec do elektroniky má taky běžně 20 DMM, čtyři osciloskopy a pět generátorů a 50 zdrojů a nikdo to neřeší. Nadšenec do železa má doma 3 soustruhy a dvě frézy (znám jednoho takového).

Tak co je divného na tom, že nadšenec do IT má doma hromadu disků? Já mám doma 31 disků (asi tak), z toho asi 18 v běhu. Rád přemýšlím nad způsobem uložení dat, rozdělení a použití disků, rád zkouším nové FS, tak se volné disky zkrátka hodí (stejně jich je pokaždé o jeden méně než by bylo potřeba ). Stejně tak tu mám 5 základních desek z toho u dvou už ani nevím odkud.

Zase nevím, jestli ukládat hry na NASu, nebo mít nainstalované všechny najednou. Stáhnout ze Steamu to lze kdykoliv dle potřeby.

Tak ono ne každý má tak rychlý internet, aby stažení 100GB hry (např. Fallout 4, že) bylo o tom "prostě si to stáhnu, když si chci zahrát". Takže já mám celý můj Steam zálohovaný a když si chci něco zahrát (naposledy jsem rozbaloval cca 60GB DOOM 2016), tak to nainstaluju ze zálohy na síti. Přece jen Gbps linku doma na steam cloud doma nemám.

[ehm]

Ona je otázka, proč ty důvody vlastně hledat. Nadšenec do elektroniky má taky běžně 20 DMM [...] Tak co je divného na tom, že nadšenec do IT má doma hromadu disků?

Je rozdíl mít doma hromadu disků a kupovat nové disky a osazovat je do NASu, když není, jak ten prostor využít. To vůbec nedává smysl. Proč by to někdo dělal?

Já mám doma 31 disků (asi tak), z toho asi 18 v běhu. Rád přemýšlím nad způsobem uložení dat, rozdělení a použití disků, rád zkouším nové FS, tak se volné disky zkrátka hodí (stejně jich je pokaždé o jeden méně než by bylo potřeba ).

No, ptal jsem se na kapacitu, ne na počet. Šlo mi o ten obsah. Možná někdo tříská do disků kladivem a zkouší, co ještě vydrží, ale to není úplně to, co jsem chtěl slyšet.

Tak ono ne každý má tak rychlý internet, aby stažení 100GB hry (např. Fallout 4, že) bylo o tom "prostě si to stáhnu, když si chci zahrát".

Budiž. Pokud někdo vlastní desítky takových her, ale bydlí na vesnici, kde může ze Steamu stahovat jen pokud si stoupne na židli vedle kravína s notebookem v ruce, tak potřebuje dost hodně TB. Dál? Mně to furt přijde jako dost minoritní případ. V IT komunitě je z nějakého důvodu dost populární fotografování, tak jsem čekal, že někdo zmíní třeba to. Neumím si představit, kolik toho reálně jeden člověk dokáže nafotit a jak velké ty fotky, zvlášť nekomprimované, asi tak jsou.

[Heron]

Je rozdíl mít doma hromadu disků a kupovat nové disky a osazovat je do NASu, když není, jak ten prostor využít. To vůbec nedává smysl. Proč by to někdo dělal?

Možná chtějí mít na pár let klid. Znám lidi, kteří si do takových těch consumer NASů (nejsou to vyložení IT odborníci) naskládali maximum kapacity prostě jen proto, aby to nemuseli pár let řešit (max. tak výměnu vadných disků). Celkem rozumný přístup (pokud tedy ten NAS neodejde dřív).

Moje aktuálně největší souvislé pole má 11TB a je v podstatě plné, takže pokud bych vzal za příklad 22TB pole autora blogu, tak bych byl přesně na polovině. Což není moc výhra. A ne, nebudu vysvětlovat, co tam mám za data. Něco jsem prozradil (Steam backup), něco je jasné z odstavců níže a zbytek tvoří jiné mé soukromé projekty a zálohy apod. Na jiném poli běží cca 20 kontejnerů (provozuju nspawn a jaily, asi je to z mého blogu jasné).

V IT komunitě je z nějakého důvodu dost populární fotografování, tak jsem čekal, že někdo zmíní třeba to. Neumím si představit, kolik toho reálně jeden člověk dokáže nafotit a jak velké ty fotky, zvlášť nekomprimované, asi tak jsou.

Tak jedna fotka v RAWu (komprimovaného) z 10 let starého DSLR je kolem 20-30MB. Schopné kompakty (resp bezzrcadlovky) klidně i 50MB. Scany papírových fotek mohou mít i přes 100MB na fotku (vlastně i to je dost zastaralý údaj). Pro určité další zpracování (třeba panorama) je vhodné ty rawy exportovat jako TIFF a to může mít i 200MB. Takže data pro jedno jediné panorama může mít na disku třeba 30GB.

Kolik toho může nafotit je na vkusu každého, desetitisíce fotek ročně není problém. (Kámoš "odrovnal" 300tis. závěrku asi za 5 let.)

Někdo už tady zmínil 4k obsah (pravda jen jako stahovaný), ale foťáky se schopností natáčet 2k nebo 4k už jsou tady pár let a potom člověk velice rychle zjistí, že 32GB karta je velmi malá (a to teda už i pro FHD, pro 4k je navíc i pomalá) a že z jednoho session může mít klidně 300GB materiálu. 2TB za týden není problém. (Třeba tenhle týpek uvádí, že raw data ze záznamu jednoho buildu počítače mu zabírají několik TB - asi se to teď chce mnoha lidem komentovat ve smyslu, zda je opravdu nutné stavbu PC natáčet v tak vysoké kvalitě a na tolik kamer ale prosím, je to jeho volba. Tak si na to postavil 40TB pole.)

[ehm]

Možná chtějí mít na pár let klid. Znám lidi, kteří si do takových těch consumer NASů (nejsou to vyložení IT odborníci) naskládali maximum kapacity prostě jen proto, aby to nemuseli pár let řešit (max. tak výměnu vadných disků).

Tak ale stejně předpokládají, že to někdy zaplní.

A ne, nebudu vysvětlovat, co tam mám za data.

Ale tak mně je jasné, že lidi na těch velkých discích štostují porno. Jen mě zajímalo kolik.

Tak jedna fotka v RAWu (komprimovaného) z 10 let starého DSLR je kolem 20-30MB. Schopné kompakty (resp bezzrcadlovky) klidně i 50MB.

OK. To jsem si tak nějak myslel. Takže cca 20 000 fotek na TB.

Pro určité další zpracování (třeba panorama) je vhodné ty rawy exportovat jako TIFF a to může mít i 200MB. Takže data pro jedno jediné panorama může mít na disku třeba 30GB.

To jsou jen dočasné pracovní soubory.

Kolik toho může nafotit je na vkusu každého, desetitisíce fotek ročně není problém. (Kámoš "odrovnal" 300tis. závěrku asi za 5 let.)

A schovává si taky úplně každou fotku?

(Třeba tenhle týpek uvádí, že raw data ze záznamu jednoho buildu počítače mu zabírají několik TB - asi se to teď chce mnoha lidem komentovat ve smyslu, zda je opravdu nutné stavbu PC natáčet v tak vysoké kvalitě a na tolik kamer ale prosím, je to jeho volba. Tak si na to postavil 40TB pole.)

Proto jsem mluvil o ryze osobním užívání.

[Heron]

Tak ale stejně předpokládají, že to někdy zaplní.

Nevím, jestli hlavním smyslem datového úložiště je jeho zaplnění. Podle mě jedním z mnoha úkolů datového úložiště je "být k disposici". Takže například když mi někdo přinese disk a já potřebuju udělat jeho image, fakt nechci v danou chvíli řešit, zda mám na ten image místo. Prostě to místo by tam mělo být.

Ale tak mně je jasné, že lidi na těch velkých discích štostují porno. Jen mě zajímalo kolik.

/tank/data/PORNO 215G

Tím bych to fakt nezaplnil.

To jsou jen dočasné pracovní soubory.

To ano, ale je potřeba je někam uložit. Navíc jejich znovuzískání může být časově náročné a tak není důvod je na tom disku prostě nenechat.

A schovává si taky úplně každou fotku?

To já nevím. Já si každou fotku schovávám (original raw).

[ehm]

Nevím, jestli hlavním smyslem datového úložiště je jeho zaplnění.

Jistě, že je. Nikdo netvrdí, že to musí být zaplněné pořád.

To ano, ale je potřeba je někam uložit. Navíc jejich znovuzískání může být časově náročné a tak není důvod je na tom disku prostě nenechat.

Pointa spíš byla, že těch pracovních souborů typicky není potřeba držet tolik vedle sebe. Takže sice je to 30 GB, ale třeba jen třikrát. Není to tak, že jediné panorama zabírá 30 GB a máš jich tam kdo ví kolik.

Já si každou fotku schovávám (original raw).

I nepovedené? Zajímavé.

[Bystroushaak]

Neumím si představit, kolik toho reálně jeden člověk dokáže nafotit a jak velké ty fotky, zvlášť nekomprimované, asi tak jsou.

Brácha fotí a ty fotky jsou velké hodně. V RAWu řádově desítky megabajtů jedna. Což se nemusí zdát jako tak moc, ale pořídit gigabajt fotek je záležitost pár minut, protože ten foťák fotí fakt rychle a vždycky je lepší jich udělat víc s tím že některé se prostě nepovedou. A pak taky video je brutálně moc. Zrovna nedávno si stěžoval, že mu dochází kapacita, když točil asi pětiminutové video vlaků v 4k.

No, ptal jsem se na kapacitu, ne na počet. Šlo mi o ten obsah. Možná někdo tříská do disků kladivem a zkouší, co ještě vydrží, ale to není úplně to, co jsem chtěl slyšet.

Osobně mám v NASu 3TB disk a zatím mi bohatě stačí (mám zaplněno asi 700GB). Ukládám si tam filmy, hudbu, různé dumpy a sklizně, videa co jsem natočil, ale především zálohy. Pokud zálohuješ pravidelně, tak to narůstá docela rychle. Zrovna nedávno jsem kvůli tomu psal rdiff_trimmer.

[Bystroushaak]

Jinak pokud chceš vysloveně inspiraci, tak zkus https://www.reddit.com/r/DataHoarder/ :)

[ehm]

Což se nemusí zdát jako tak moc, ale pořídit gigabajt fotek je záležitost pár minut, protože ten foťák fotí fakt rychle a vždycky je lepší jich udělat víc s tím že některé se prostě nepovedou.

Ale nemá moc smysl ty nepovedené fotky schovávat, ne?

Pokud zálohuješ pravidelně, tak to narůstá docela rychle.

Jo. Inkrementální zálohy umí narůst dost.

[Heron]

Ale nemá moc smysl ty nepovedené fotky schovávat, ne?

To trochu záleží na definici nepovedené fotky. Vyloženě nepovedené (fotka krytky objektivu zevnitř) se mažou už ve foťáku. Ten zbytek se naloaduje do nějakého raw editoru, tam se vyberou ty, které postupují do dalšího kola a ty se upravují na finální render. Z těch finalistů se vybere pár reprezentativních. Alespoň já to tak dělám. Občas někdo přijde s tím, jestli tam není fotka z jiného úhlu, nebo osvětlení, nebo fotka bez někoho jiného apod. Takže se jde to první skupiny provede se další výběr.

Hlavně nevidím důvod, proč ty fotky mazat. Něco už nelze znovu nafotit, takže při špatném úsudku během mazání se o to může navždy přijít.

[ehm]

Tak spíš jsem myslel, že se snaží vyfotit jednu věc, z toho nějaké fotky jsou rozmazané, někde je špatné načasování (focený objekt zmizí mimo záběr) atd. K dalšímu zpracování pak projde jen nějaká trochu protříděná část. Z toho zase část fotek bude v podstatě duplicitních a vybere se pár nejpovedenějších.

Vlastně když to řeknu jednodušeji: Osobně vidím smysl v tom si schovávat jen to, co splňuje určitý standard kvality. Čili ty nejpovedenější snímky dané scenérie/objektu/whatever.

Já to nijak nehodnotím, jestli je dobře nebo špatně, že si někdo schovává úplně všechno a zabírá mu to hodně místa. Prostě jsem si jenom chtěl rozšířit obzory.

[Heron]

Vlastně když to řeknu jednodušeji: Osobně vidím smysl v tom si schovávat jen to, co splňuje určitý standard kvality. Čili ty nejpovedenější snímky dané scenérie/objektu/whatever.

No však ano, ale těchto snímků mohou být z jedné scény desítky a všechny mohou kvalitou aspirovat na final render. Mohou se jemně lišit o úhel, výraz v obličeji, pokud se fotí lidé, apod.

[pc2005]

Zrovna nedávno si stěžoval, že mu dochází kapacita, když točil asi pětiminutové video vlaků v 4k.

Jo to je fakt, stříhal jsem před rokem a půl asi 11minutové 720p video a různé vrstvy ve formě framů PNG a huffyYUV mezikroky měly dohromady asi 40GB.

[Adminnn]

Prevadzkujem domace 4TB RAID0 pole (2 x 2TB ST2000DM006-2DM164 na staruckom HP Compaq dc7800 (E8300 @ 2.83GHz, 4GB RAM) bez UEFI) + 3TB externe uloziska (1TB a 2TB USB 3.0 disk ktore odpajam samozrejme) na rsyncovanie a rdiff-backupovanie dolezitych veci. Rychlosti pola niesu nijako ohromujuce (predsalen SATA II - 3Gbps).

# hdparm -Tt /dev/md1

/dev/md1:
 Timing cached reads:   13642 MB in  1.99 seconds = 6856.21 MB/sec
 Timing buffered disk reads: 996 MB in  3.00 seconds = 331.95 MB/sec

Do buducna (pokial masina pojde stabilne a tichocko ako doteraz) uvazujem o nejakom malom SATA SSD (16/32/64GB) pre system + USB 3.0 PCIe radic. Ale kupovat nechcem tak ak niekto ma za postovne nech sa ozve :D

[Adolf Kernel]

Veľmi zaujimavý článok o budovaní 120TB diskového poľa s pripojenim cez 10gbps.

citujem:

Connected up the IronWolf Pro drives dished out some impressive numbers:

- 2120MB/s reads through the network, iSCSI, 16 threads
- 2216MB/s writes through the network, iSCSI, 16 threads

a

For kicks, I installed GTA5 on our iSCSI drive and used it to load the game. My load times:

Single IronWolf Pro internally installed: 34 seconds
Single Samsung 840 Pro 1TB SSD: 27 seconds
10Gbit NAS using iSCSI: 24 seconds

Now I can finally install games and run them off my NAS.

[Adolf Kernel]

aj ked cenu pola odhadujem tam na 6k€, co je tak 50€/TB

[Max]

Mno, nevím, týpek si koupil QNAP a dal do něj 10x12TB Seagate disk (tzn. není to 120TB storage). Ve finále ještě prohlásil, že ten QNAP je silný železo a má to 32GiB ram, což musí stačit na všechno. Pokud se nemýlím, tak QNAP je ZFS, takže tam bych toto prohlášení značně zpochybňoval. Nevidím v tom nic zajímavého.
Dále jedním spojením nelze protlačit víc, než umožňuje jeden interface. Tzn. s jedním spojením lze v jeho případě vytížit jen ten 10Gbit interface. Pro vytížení obou je třeba více spojení, v jeho případě testoval 16.
Každopádně to, co je v dnešní době zajímavější, je random wrire/random read/IOPS.
Zdar Max

[Michal Kubeček]

Dále jedním spojením nelze protlačit víc, než umožňuje jeden interface. Tzn. s jedním spojením lze v jeho případě vytížit jen ten 10Gbit interface. Pro vytížení obou je třeba více spojení, v jeho případě testoval 16.

Ono by to teoreticky šlo i s jedním spojením, ale protože by výsledek byl zajímavý spíš pro benchmarky než pro praktické účely, tak se to nedělá.