Dotaz: Rychlost kopírování stejného disku pod NTFS/ext4

[frufru]

Mám 4TB Seagate barracuda ATA ST4000DM004-2CV1. Zarazil mě rozdíl rychlosti zápisu NTFS vs. ext4. Původně jsem z něho chtěl udělat univerzální externí disk na NTFS. Pro rychlejší zálohu dat jsem ho interně připojil k SATa III. Nejdříve jsem zálohoval data na linuxu, ale zarazila mne rychlost kopírování. Jen 54MiB/s.ext4->NTFS. Pak jsem disk naformátoval jako ext4 a rychlost se zvedla na 120MiB/s. Je pomalost kopírování na NTFS normální, nebo to je problem nastavení. OS Manjaro 19.0.2 jádro 5.4.23-1.

Odpovědi

[Max]

Ano, řekl bych, že to je normální. NTFS využívá FUSE (userspace, nikoli kernel space) a to je o něco pomalejší. Tady dělají testy FS na NVMe disku a tam je vidět, že je v linuxu NTFS dost pozadu :
Linux 4.7 - Btrfs vs. EXT4 vs. F2FS vs. XFS vs. NTFS Benchmarks
Já mám osobně přenosný usb3.0 disk s NTFS a jedu podobně rychle jako ty, resp. ještě o něco méně, cca 30MiB/s. Mně to stačí, neřeším.
Zdar Max

[Max]

Jinak tady nějaké novější poznatky, které odpovídají tomu, co jsi vypozoroval i ty: Why is NTFS on Linux so slow?
Něco můžeš částečně zoptimalizovat volbami pro připojení, ale záleží na tvým druhu použití (u většího počtu malých souborů si nepomůžeš).
Zdar Max

[frufru]

Naformátoval jsem 4TB disk na ext4. Kopíruji ext4-> ext4. Dělám to po adresářích (foto, data atd.) Adresář 14651 položek, celkem 74,1 GiB kopíruje rychlostí 120-138MiB/s. Druhý adresář 22351 položek, celkem 79,7 GiB Taky 120-138MiB. Ale adresář 31402 položek, celkem 501,5 GiB kopíruje do cca 20GiB 120-130MiB. Pak se to nějak zpomalilo na cca. 2,5-3,5MiB a celková doba kopírování tohoto adresáře stoupla na 40hod. Nějak se mi to nelíbí.

[PetebLazar]

Nemůže jít o důsledek využití SMR (šindelového zápisu) u daného HDD?

[frufru]

V TTD píšou TGMR recording a v celém dokumentu se o SMR nic nepíše. Je to SMR? Jestli jo, tak je to na ohlášení ČOI.

https://www.seagate.com/www-content/product-content/barracuda-fam/barracuda-new/en-us/docs/100805918g.pdf

[k3dAR]

v tom pdf vidim "Cache buffer 256MB", coz na 99.99% znamena SMR...
TGMR mi prijde ze nerika nic o SMR ano/ne, resp. tady Seagate primo pro Archive(=SMR) disk pise ze pouziva TGMR zapis...

[Klobasa]

V TTD píšou TGMR recording a v celém dokumentu se o SMR nic nepíše. Je to SMR? Jestli jo, tak je to na ohlášení ČOI.

[k3dAR]

echo 104857600 > /proc/sys/vm/dirty_background_bytes
echo 209715200 > /proc/sys/vm/dirty_bytes

pokud je problem tohle, tak se ta zmena okamzite projevi v opetovnem narustu toho kopirovani...

[k3dAR]

pripadne info z pozadi

[frufru]

Teď je těch +50MiB raketová rychlost. Zdá se, že ten seagate disk je SMR zmetek. Večer to jelo jen 2-3.5MiB Nechal jsem to běžet celou noc bez kopírování a disk se vzpamatoval. Jede zase +50MiB/s NTFS. V TTD SMR Seagate neuvádí. Ani formátování nepomůže. Gparted po formátování tvrdí, že disk je obsazeny z 5% (cca 1.9Giga) ??? Když to nechám delší dobu odpočnout, tak to zmizí. Ani formátování ve win nepomůže. ??? Teď jsem kopíroval adresář 79G a zkouším 501G. Jsem zvědavý, kdy mu zase dojde dech a začne kopírovat jen 2-3.5MiB. Zatím jsem u 79+45 Gib a jede to rychlostí +49MiB/s Protože nemůžu využít přibližne stejnou rychlost pro zápis na celý disk, tak se cítím jako podvedený. Protože firma Seagate nikde neuvádí, že rychlost kolísá s velikostí zapsaných dat. Všude jen vychvaluje rychlost zápisu. Včea při zápisu 501Gib mi to napsalo, že to skončí zam 40 hodin. Když mám zkopírovat disk o velikosti 1.5TB, tak si na to asi počkám 120hod. To je cca 5 dní . Si snad dělají srandu. Vrátil jsem tam NTFS a jedu pomalejší rychlostí +50Mib. Snad mu ta rychlost vydží déle než +120MiB u ext4. Jsem n...ý.

[frufru]

Při cca 79+250GB to padlo na 2-3.5MB/s Pak to zase vylezlo na 45MB/s a tak pořád dokola. Chová se to jak na houpačce. Padne k 2MB/s a vrátí se to na 45MB. Teď při 263GB je to 1.9MB/s a zápis na hodiny. Rozhodně to není 190MB/s co uvádí v TTD. Trápit ho dál nebudu. Zapíšu data, pak určitě budu muset počkat na zapsání cache (hodiny?). PAk z něj udělám externí disk na USB. Tam ta pomalost snad bude stačit na kontinuální zápis a nebude vadit.

[Klobasa]

Cena odpovida kvalite, kvalitu vybira zakaznik dle pouziti. TB disky se dnes zatim pouzivaji na zalohovani protoze dnes zatim cena TB na jine pouziti je prilis draha. A jak psal MAX pomalost je zpusobena linuxovym resenim na disk s NTFS.

[Klobasa]

TB disky

Vice TB disky, jelikoz i ja mam 1TB (970pro) jako systemovy ale stejnak byl dost drahy.

[k3dAR]

BTW: mam 2x 2.5" 3TB HDD (Toshiba MQ03ABB300) v RAID1 a pred koupi sem dukladne a dlouho hledal nejvetsi 2.5" bez SMR

[Petr Fiedler]

Hele, a jaký hdd je tedy nejlepší koupit? Co by měl/neměl mít?

[PetebLazar]

Nevím zda jsou na to jasná pravidla, výrobci to u běžných HDD spíše utajují než aby se tím chlubili(ono moc není čím).

Asi i Toshiba již naskočila na SMR-wagon. https://blocksandfiles.com/2019/03/11/toshiba-mamr-statements-have-shingling-absence/

U levných HDD se nejspíš vyhnout všemu s cache 256MB.

Vyloučit co má jakoukoli zmínku o archive, například u enterprise Exos 5E8 SMR v datasheetu Seagate uvádí. https://www.seagate.com/files/www-content/datasheets/pdfs/exos-5e8DS1954-2-1712US-en_US.pdf

U enterprise HDD pro výkonné nasazení Seagage zmiňuje konvenční zápis CMR. Pokud budu v budoucnu vybírat HDD, pak asi jen mezi nimi. Tyto nebudou určené pro standalone využití bez RAID kvůli minimálnímu ERC/TLER/CCTL (při výskytu chyby to nezkoušejí dopočítat, redundance je na triku RAIDu). https://www.seagate.com/files/www-content/datasheets/pdfs/exos-7-e8-data-sheet-DS1957-1-1709US-en_US.pdf

Obecně asi mířit na HDD s (nej)horším poměrem cena/kapacita (snad nebudou takový parc...ti), aby je zmršili SMR. Možná to platí jen u nižších kapacity.

Před vlastním nákupem ověřit na fórech praktické zkušenosti s daným modelem/revizí HDD (pozor, je tu i riziko recyklace označení na model se zhoršenými vlastnostmi).

K poučení/pobavení, názorné vysvětlení zkratek (na zoufalý výkřik). https://blag.nullteilerfrei.de/2018/05/31/pmr-smr-cmr-i-just-want-a-hdd-mr/

Jediný zaručený postup jak se spolehlivě vyhnout HDD se SMR, je zvolit místo něj SSD (se zcela jinými, ale v důsledku často srovnatelnými problémy).

[Petr Fiedler]

Díky.

[Peter Golis]

Nestálo by za hriech zahrnúť do výberu aj disky ktoré nemajú podozrivo veľkú kapacitu?

[Petr Fiedler]

Nevím, jestli sleduješ svoje "starší" blogy, ale v jednom jsem se tě včera na něco zeptal. Odpověz mi prosím tě.

[Peter Golis]

Čau,
Keď si kliknem hore na Mé komentáře a uvidím tam hviezdičku, tak na to reagujem. Teda ak je to k veci, čo v tomto prípade bolo.

Ale včera a dnes som sa bol previesť s batohom na bicykli. Včera 70Km, a dnes len 30Km. Takže som to pochopiteľne prehliadol. Chrbát sa má lepšie.

[Petr Fiedler]

Tak to je jasný. Lepší, než furt sedět u kompu.

[Peter Golis]

Primeraný pohyb odporúčam každému. Pomôže aj drobná prechádzka. keď človek vystúpi o zástavku skôr, a prejde pol kiláku peši. Ale to je tu už OT.

[Petr Fiedler]

Teď jsem s tím nedávno začal. Skoro denně chodím do lesa a dám si v tempu ~ 6 km okruh (členitý terén). Je to paráda.

[Peter Golis]

Hmmm, za chvíľu sa bude aj grilovať alebo opekať v lese. To každému vytrávi, keď má zdravý pohyb. Len odporučím znížiť príjem mohosacharidov a disacharidov (ľudovo povedané sladkých cukrov).

[Petr Fiedler]

Jaké jsou ty problémy SSD?

[PetebLazar]

Například: U HDD bez SMR se dá vcelku prediktivně očekávat průběh sekvenčního výkonu(zápisu/čtení), který je zhruba úměrný úbytku počtu sektorů od vnějších(dlouhých) stop směrem ke středu (krátší obvod stopy). Takže například 8TB@7200rpm má na "začátku" rychlost dejme tomu 230MB/s a na konci (u osy) třeba 140MB/s. Odlišný výkon se dá využít například při určení funkce oddílů (na začátek pracovní oddíl pro max.výkon, na konec disku archivní .. s omezenými požadavky na výkon).

SSD bude mít z principu vždy náskok v sekvenční rychlosti i době přístupu (proti HDD), na druhou stranu u SSD s ohledem na vliv DRAM cache, SLC-cache, použité technologii xLC, TRIMu, aktuálnímu opotřebení bude rozsah dostupného výkonu (MB/s) značně proměnlivý a těžko predikovatelný. Výrobce raději nezmíňuje minimální MB/s (v nejhorší možné situaci). V mých pokusech jsem se dostal na vteřinový průmer 0MB/s u NVMe (asi začal s úklidem). Výrobci se z marketingového hlediska honí za špickovými výkony v řádu GB/s, které platí pouze pro zátěž s omezeným objemem. Existují levné modely SSD kde při intenzivní zátěži (zápisem) může výkon klesnout pod schopnosti HDD. Při využití RAID pro SSD může v některých případech situaci zhoršovat absence podpory TRIMu. Dnešní cenově dostupná SSD mají vcelku omezený počet přepisů, ale ten se dnes limituje nakonec i u HDD.

Pozn. To že technologie SSD není ideální neznamená, že bych jí osobně nedal přednost vždy kdy si ji s ohledem na potřebu celkové kapacity a ceny/TB mohu finančně dovolit.

[Petr Fiedler]

To jsme vůbec nevěděl. Já mám Samsung 850 EVO (SATA III, 500 GB) a jsem s ním spokojený.

Všiml jsem si, že rozumíš hw. Bylo by super, kdybys sem tam o něčem napsal do blogu. Např. v čem jsou rozdíly v typech daného druhu hw, jak to funguje atd. Informace pohromadě a v češtině by byly cenné. Velmi se za to přimlouvám :) Jinak je super, že ses zaregistroval.

Dík za vysvětlení :)

[Petr Fiedler]

Koukám, že jsi zaregistrovaný už delší dobu. Zmátlo mě, že sem píšeš většinou(?) nepřihlášený.

[PetebLazar]

Samsung EVO 850 SATAIII (v provedení M.2) mám v ntb a jsem s ním také spokojený.

Neřekl bych, že rozumím HW. Jen jsem za těch 25let+ v oboru nějaký využíval (jde o relativně mělké znalosti, pro účely mé a mých zákazníků zatím postačující). Samozřejmě občas jsem překvapen hlubšími znalostmi ostatních, nezřídka protichůdnými s těmi mými.

Většinou přispívám nepřihlášený, protože jsem líný. Zaregistrovaný jsem již déle, nedávno jsem se přihlásil protože mne zlobil FTPS přístup na WWW server a potřeboval jsem místo běžného odkazu na screenshot přiložit k příspěvku přílohu.

Místní blogy (netechnické) na mne působí dost odstrašujícím dojmem, jako příznivce malého formátu si většinou vymyslím (snad zajímavý) "problém" v poradně a pak v něm typicky trpím samomluvou (v očekávání kdy budu red. smazán). Poslední asi drží rekord s 400+ přečteními a pouze jedním příspěvkem mimo autora. )

Vzhledem k velikosti trhu v ČR/SR a široké nabídce HW zde není dostatečně široká komunita na sdílení vzájemných zkušeností s konkrétním modelem HW (jde spíše o věc náhody). Například jen základních desek pro desktop je na trhu přes 300 modelů, to je asi víc než je v ČR připěvatelů schopných k nim relevatně přispět (případně něco vyzkoušet). Nakonec i ve věci MB asi nejpovolanější Čech tak činí z UK a v angličtině.

Naštěstí se zde (na abclinuxu.cz) vyskytuje celá řada povolanějších ochotných přispet jenotlivci s konkrétní radou, byť třeba nepodloženou praktickými zkušenostmi na přesném typu HW. Jejich trpělivost tu mou přesahuje když ne řádově tak určitě v násobcích, mají můj obdiv a díky nás všech.

[Petr Fiedler]

Samomluvy jsem si všiml Z toho jsem právě usoudil, že tomu docela rozumíš. Přišlo mi (můj subjektivní pohled), že by s tebou držet krok v diskusi nikdo moc nestíhal.

S těmi typy daného druhu hw jsem to myslel jinak:
Druh hw = např. blokové zařízení
Jeho typy = HDD, SSD...
Prostě popsat rozdíly, výhody, nevýhody, jak to funguje atd... Zrovna dnes vyšel nový blog s odkazem na přednášku o architektuře počítačů. Pro mne je to velice zajímavé, ale moc jsem si z toho neodnesl. Prostě jsem to nepobral. Zatím potřebuji něco lehčího. Třeba jak jsi popsal ty věci ohledně HDD a SSD.

[PetebLazar]

Myslím, že po přečtení(pochopení) hesel HDD a SSD na Wikipedii toho budete vědět o této oblasti víc než já, zkušenosti získáte především provozem HW či jeho testováním.

[Petr Fiedler]

Oba články jsem v minulosti četl několikrát. Jsou v nich zajímavé informace, ale zdaleka ne vše. Zrovna o smr ve článku o HDD není ani zmínka. Zkoušel jsem teď v tom článku přes Ctrl+F najít "smr" a "šindel", ale ukazuje mi to, že tato hesla v článku nejsou. Ani na české wiki není článek o "smr", ani o "šindelový zápis". Proto jsem ti psal, že blog o tom (v češtině) by byl super. Do ničeho tě ale netlačím. Jen jsem ti chtěl popsat svůj pohled na věc.

S tím testováním HW máš pravdu. Já ho mám ale tak málo, že bych toho moc nenatestoval.

Ještě mě napadá, že by bylo dobré, až zase budeš trpět samomluvou v nějakém dotazu v poradně, abys byl alespoň přihlášený. Bude pak v budoucnu snadné ten dotaz najít

[PetebLazar]

Jazykem IT je angličtina, po zvládnutí její základní úrovně (IT terminologie je anglická celosvětově) rozsah a hloubka dostupných informací nemá prakticky konce. Odborné znalosti lze relativně snadno doplnit kdykoli, o jazykových to tak úplně neplatí.

[Aleš Kapica]

Ano. Řada lidí nechápe, že každý mozek je unikátní a že ta jeho unikátnost je daná vývojem.

To že je někdo tupý na jazyky, je to dané tím, že oblasti mozku se kterými pracují jazykově nadaní jedinci, jeho mozek používá zcela jiným způsobem.

Přirozeným výsledkem tlaku na výuku jazyků tedy je, že sice stále větší procento obyvatel ČR švitoří i několika jazyky současně, ale ubývá "fachmanů" co toho sice moc nenamluvili, ale měli ony "zlaté české ručičky".

[PetebLazar]

Od SŠ/VŠ jsem angličtinu používal 30 let pasivně (příležitostné čtení odborné literatury), bez možnosti/potřeby rozumět mluvenému projevu, hovořit a psát. A pak přišel do ČR Netflix. Po pár tisících hodinách Netflixu (2+ roky?) s anglickými titulky se něco zlomilo a dnes je mým koníčkem poslech US podcastů (ne nutně z IT oblasti). Úroveň mluveného a písemného projevu je stále blízká nule a každý příspěvek na zahraničních fórech mi způsobuje malé trauma. Přesto pozoruji, že mi na rozdíl od minulosti naskakují fráze a formulace, které jsem se nikdy nebyl schopen nenaučit, ale přesto mi patrně díky mnohonásobnému zaslechnutí utkvěly v paměti (trénování AI sítí asi opravdu funguje). Tréninku pravděpodobně napomáhá i celosvětová produkce Netflixu, kde poslech různých akcentů angličtiny usnadní vnímání těch majoritních US/UK. Jakkoli bych si chtěl rozšírit zbývající jazykové dovedností, chybí čas, příležitost a popravdě asi i motivace.

Možná, že s omezenou aktivní znalostí turistům vysvětlím cestu chybně, ale aspoň budu proti minulosti vědět kam to vlastně chteli jít.

[lertimir]

Naprostý souhlas. Mám úplně stejnou zkušenost jen zdroj videí je youtube.

[PetebLazar]

Na YT jsem neprávem zapoměl, ovšem zatímco anglické titulky na Netflixu jsou "přesné" u typicky automatických (strojově rozpoznaných) titulků YT je přesnost přecijen omezená, nehledě na cenzuru štavnaťejších výrazů, které Google prostě odmítne do titulků přepsat (asi se "červenající" Google překladač aspoň vypíše f***).

[Aleš Kapica]

Až na to, že ke smysluplné komunikaci tahle znalost nestačí.

[PetebLazar]

Na rozšíření zdrojů informací to může stačit (o tom byla v úvodu vlákna řeč, nespoléhat jen na omezené informace dostupné v češtině). Souhlasím, že pro komunikaci to samozřejmě nestačí, ale je to dobrý základ od kterého se snad dá odrazit. Zvládnutí porozumění mluvenému projevu na dobré úrovni mi dává pocit, že se dá zvládnout i to ostatní (tento pocit jsem před pár lety rozhodně neměl). Rozvinutí mluveného a psaného projevu je samozřejmě záležitostí motivace, studia(pravidel), cvičení a také příležitostí. Což je organizačně/finačně složitější než pouhý poslech/čtení atd.

[Petr Fiedler]

Znám člověka, který se naučil anglicky tak, že sledoval MTV. Nedělá mu teď problém ani verbální projev.

[Aleš Kapica]

Něco jiného je si něco přečíst nebo pustit jako film. Tam se ke špatně srozumitelnému bodu vždycky mohu vrátit. Ale při běžné komunikaci mne vnímání cizího jazyka unavuje. Pokaždé mám pocit, jako bych skládal tunu uhlí.

[Petr Fiedler]

Já to vím. Je toho ale prostě moc. Teď jsem začal Python. Taky jsem zjistil, že bude dobré si připomenout nějaké věci z matematiky. Taky bych potřeboval HTML a regexp. O BASHi nemluvě. Musím se taky trochu starat o draví, domácnost, studovat bibli (naprostá priorita) atd. Takže angličtina ano, ale úplně rychle to nepůjde. Jinak IT anglická slovíčka se trochu učit snažím.

[Petr Fiedler]

A to jsem zapomněl zmínit, že mě dost zajímá bezpečnost, šifrování a virtualizace. Taakže učit se je co a musíš si volit mezi něčím a něčím. Naráz to nejde.

[PetebLazar]

Věci se lze učit do hloubky, nebo také do šířky. Popravdě kromě lenosti mne věci začnou vcelku brzo i nudit, takže jediný únik pro mne je do šírky. Pochopení souvislostí navazujících problematik vertikálně či horizontálně umožní získat přehled, který se hodí v situacích se kterou si dílčí byť hluboké znalosti neporadí. V dnešní odborně značně specializované době vyžívající se v komplexních řešeních se dá uplatnit i takto, samozřejmě takových odborníků stačí na trhu méně než těch úzce specializovaných.

Komplexní odborníci s širokým záběrem, hlubokými dílčími znalostmi a komunikačními schopnostmi (to nemusí být pravidlo) jsou pak asi to nejvzácnější a nejcenější.

[PetebLazar]

Pokud slovní spojení "studovat bibli" a "naprostá priorita" znamenají co si myslím, pak mne vcelku převapuje snaha o rozšíření znalostí.

[Petr Fiedler]

Dlouho jsem to zvažoval. Věc se má tak, že velmi šptně vidím. Moje diagnóza = praktická slepota. A reálně mi hrozí naprostá. To samozřejmě velmi zužuje možnosti zaměstnání. Např. zedníka bych dělat nemohl, že? S pc ale můžeš pracovat i jako nevidomý. Znám takové lidi. Takže proto. Důchod a příspěvek na bydlení mi opravdu nestačí a práci dlouhodobě sehnat nemůžu. Proto jsem se rozhodl posunout se v IT. Abych si jednou, dál-li BŮH, mohl přividělávat.

[lertimir]

Podle mne v ve vysokých kapacitách taková hustota záznamu bez SMR už nejde vyrobit. Někde jsem tu asi před půl rokem či rokem v podobné diskusi počítal (a teď to neumím najít. Asi to sepíšu do blogu, abych měl nalezitelné, co napíšu), že když vezmu disk, který zapíše 1TB na jeden povrch plotny, spočítám si plochu mezikruží mezi vnějším průměrem plotny a vnitřním uložením ložiska, vydělím to počtem bitů, které potřebuji zapsat, jsem na rozměrech plošky (když uvažuji zápis ve čtvercovém půdorysu) do níž se vejde 100x100 atomů železa. A ať bude mít tvar jakýkoliv, tak je to tedy 10 000 atomů. Počítáno bez redundatních bitů, bez jakýchkoliv pozičních informací, pouze čistá informace, kterou musím získat zpět. Reálný zápis budu bude tedy na méně atomech. A na tuto informaci se trefuji mechanicky nějakým fyzickým zařízením s rychlostí přenosu přes miliardu bps. Technologicky mi to přijde šílené. Před 35 lety, když jsem pracoval s diskem o kapacitě 10MB, mě ani ve snu nenapadlo, že kapacita půjde nahoru milion krát (a při zmenšení rozměrů, protože to byl 5,24" full height disk). To že už zahuštovat to prostě nejde bez toho, že se bude psát trochu přes sebe a pak se ta informace nějak vydoluje není překvapivé. Navíc se dostáváme už do oblasti, kde přestává platit klasická fyzika a začínají se reálně projevovat kvantové jevy, z nich primárním projevem jsou výsledky získávané jen s nějakou pravděpodobností, kterou musí elektronika disku analyzovat na jistotu bitu ve výstupu kabelu do systému.

[Petr Fiedler]

No a od kolika TB to začíná platit? Přijde mi, že u 4 TB disku SMR ještě nutné není, nebo ano?

[lertimir]

Našel jsem tohle. Co jsem se lehce podíval změna nastává kolem 1TB na plotnu. U disků s méně než 1TB jsou skoro všechny s 64MB cache a menší a to je určitě bez SMR. 1TB-1,33TB je jak který konkrétní disk. Některé jsou jen s 64, některé s 128 a některé už s 256MB a to si myslím, že pravděpodobně SMR bude. S větší hustotou než 1,33 TB na desku mají 256MB všechny. A tohle zjištění platí pro všechny výrobce.

[Petr Fiedler]

Skvělá stránka, dík.

[vandrovnik]

Aniž bych to zkoušel přepočítat - zahrnul jste do výpočtů i to, že zápisu se nejspíš neúčastní jen jeden atom silná vrstva na povrchu, ale i vrstvy pod ní?

[lertimir]

Ne, nižší vrstvy nejsou zahrnuty. Je to povrchový výpočet.

[k3dAR]

Hele, a jaký hdd je tedy nejlepší koupit? Co by měl/neměl mít?

takovy co neni SMR PetebLazar uz se rozepsal
u 2.5" viz a pridam odkaz na zhovadilost u WD RED co sem tu psal

[Petr Fiedler]

Ty ještě žiješ?

[debian+]

Skus este vypnut zurnal a zmerat. Dufam, ze vies, co je to zurnal.

[Peter Golis]

A ten žurnál by mal vypnúť na EXT4 alebo na NTFS? pokračuj.

[j]

Pokud mi skleroza slouzi, tak existuje nonfree implementace ntfs pro tuxe, ktera prave tenhle (dlouholetej) problem resi. Nastavenim s tim nic neudelas.

Ve skutecnosti bude nejspis mnohem jednodussi a efektivnejsi naucit widle ten ext ;D. Driver by se mel povalovat po netu a kdyz sem to zkousel naposled, tak to naprosto vpohode fungovalo (bez prav).

[Aleš Kapica]

Ve skutecnosti bude nejspis mnohem jednodussi a efektivnejsi naucit widle ten ext ;D.

Jo. Je to jednodušší, ale to by vyžadovalo od widloňů nějaké povědomí o tom, že na tom disku může být i jiný FS než FAT či NTFS.

[frufru]

Ono bude asi jedno co použiješ za FS, protože to začne brzdit technologie zápisu uvnitř disku. 79+150GiB a zápis pomalu padá . Teď je tam 45MiB/s a jde to stále dolů. NTFS beru jako univerzálnější pro přenos mezi počítači než ext4 apod. A učit WIN prohledávat linuxové disky, tak to se mi opravdu nechce. Ať si indexují jen svůj NTFS.

[Klobasa]

to by vyžadovalo od widloňů nějaké povědomí o tom, že na tom disku může být i jiný FS než FAT či NTFS.

Jaks to myslel?

[Max]

Pokud je to třeba i exterák na filmy, tak má větší šanci, že nějaké multimediální centrum bude podporovat ntfs než ext4.
Zdar Max

[R]

Mountuj s parametrom -o big_writes:

ntfs-3g /dev/blabla /mnt/xyz -o big_writes

[frufru]

Zkusím. Při 392GB debian 10.3 restartoval. WTF? A i když po restaru dám kopírovat a stejné soubory přeskakovat, tak to kopíruje rychlostí 2MB/s sory ZASRANÝ SEAGATE !!!!

[k3dAR]

[...] ZASRANÝ SEAGATE !!!!

jako pozor, ono to neni rozhodne jen Seagate, treba nedavno sem byl regulerne sokovan zjistenim ze nektere "WD RED" (tedy pro NAS/24/7) jsou SMR :-0

[k3dAR]

dohledal sem to

[Semo]

Na Reddite mas nevesele info k svojmu disku.

TL;DR: ST8000DM004 != ST8000DM0004 (prvy je 5400 SMR shit, druhy je 7200 PMR, aj ta cena sa znacne lisi)

[frufru]

Že se jedná o SMR disk, tak to se nikde neuvádí. Koupil jsem na Alze a tam tuplem ne. Teď jestli je to podvod prodejce, nebo výrobce. Kdybych to býval věděl, tak bych ...... Výrobce, ani prodejce tuhle maličkost zamlčují. Mám už ho asi 2 měsíce ana malá data ok, ale jakmile chci zapsat celý menší disk, tak abych si na to vzal dovolenou a bál se , aby to nespadlo.

[frufru]

Držím rekord zápisu. 402,9KiB/s To je zmetek.

[frufru]

Já to vzdávám s touhle sračkou. nepodařilo se mi zapsat více jak 500GB dat souvisle. Ani jednou. Vždy to končí podle rychlosti zápisu. Při 120-130MB/s je tom kolem 150GB a při rychlosti 50MB/s je to kolem 300GB Já si ale koupil 4TB disk a ne 300GB. Zkusím reklamaci. 400KiB/s je opravdu málo. Jaký prosím program pro znehodniocení dat na disku, abych mohl reklamovat.

[j]

Na tohle existuje takova finta. Pri objednavce tam pripises (vetsinou je mozny pripsat nejaky pozadavek/poznamku) ze pokud je to SMR, ze to nechces. Pak mas prakticky neomezeny cas na zjisteni co je to za jebku. Protoze pokud by ti SMR prodali, je to jasne rozpor s kupni smlouvou.

Ve tvym pripade by to bylo horsi (pokud nic takovyho nemas), musel bys (nejspis znalecky) dolozit, ze si nebyl informovan o podstatne nalezitosti = zasadni, funci vyrazne ovlivnujici parametr. V kazdym pripade si pak natipej vse, co o tom alza ma na webu. Vuci tobe je to prodejce, vyrobce te nezajima. Pokud tam takova informace chybi, mas dobrou sanci (pokud to resit chces).

[frufru]

Tu fintu neznám. Dík za rady. Jinak další kopírování skončila na 450GB. Co je to za disk, když ani nedovolí zkopírovat 500GB na jeden zátah. To je ale šmejd.

[k3dAR]

btw: alza pod tim ma v diskuzi (kam si dnes nejspis o 2MiB/s psal reakci z 2017 od nekoho z Alzy:
Dobrý deň, mrzí nás to, ale výrobca neudáva či túto technológiu využíva alebo nie. Preto je pravdepodobné, že ju nepoužíva. takze bych se jim to nebal omlatit o hlavu i na zaklade tohoto...

[frufru]

Původně jsem ten disk koupil na zalohu disků. Mám 2x 2TB disky. Bylo na nich 200GB NTFS (jestě starý pozůstatek win XP) a zbytek Ext4. Jsou už to celkem starší ročníky. Mám pro 4TB disk připraven externí box s USB 3. Tam to snad nebude vadit. Pro "urychlení" kopírování dat jsem ho dal do PC. Jak vidíš, tak jsem si naběhl. Žádné urychlení se nekonalo.Ted jsem z jednoho disku odstranil NTFS a celý je na Ext4. A světe div se, tyhle starý disky kopírují rychlostí 170MiB/s. Kde asi udělali soudruzi od seagate chybu.

[peca]

Řekl bych že výrobce disku nemá s použitým filesystémem nic společného. Tady je zabiják NTFS, mám s tím také problémy. Kopírování velkých souborů je v pohodě, ale jak je tam hodně malých souborů tak to padne klidně na pár kB/s, i/o u mount.ntfs opřený o strop. A je jedno co to je za disk. Trochu lepší výsledky mám s exfat, ale taky to není žádná sláva.

[frufru]

Ale já jsem musel disk naformátovat na ext4, aby se se to vůbec dokončilo. U NTFS jsem pravidelně končil někde u 400-450 GB přenesených dat. Nejhorší je, že po dosáhnutí určitého přeneseného objemnu dat, tak ten disk zpomalí na 2MB/s. Jakmile se i něco uklidí, tak se to krátce zvedne na cca. 15MB/s. a pak zase spadne na 2MB/s. Na občasnou zálohu OK, ale ta první bude trvat hodně dlouho. Mají to prodávat jako archive disk. Kdyby to nazvali prvým jménem, tak bych ho nikdy nekoupil. BYl jsem uveden v omyl výrobcem a prodejcem za účelem jejich zisku. Trestní právo má toto jednání dokonce paragraf, ale bohužel škoda nedosahuje určité výše. Ale kdyby se spojilo více zákazníků ...? Asi by se šéfům pěkně spotil zadek.

[k3dAR]

jen si ujasnim... a s ext4 (na stejnem disku) teda rychlost nepadne? protoze pokud ne, tak to by znamenalo ze ten SMR uklid maj poresenej...
obecne NTFS je v GNU/Linux problemove, stoji za nim Tuxera a opensource verze ma (pravdepodobne umyslne) zmrsenej zapis, s tim ze prodavaji placenou verzi (nevim zda i to x86 GNU/Linux nebo jen do embeded, ani zda enduserovi nebo jen vyrobci zarizeni) ktere ma mit rychlost o rad(y?) vejs...

[Klobasa]

Jak si spravne poznamenal prave to tzv. Embedded je prave vhodne pro ten externi disk. viz archive, dle meho lepe k porozumeni nez soucasna stranka

[Klobasa]

Zde je i odpoved na to ze zamer to neni ale je to tim ze open source reseni je v tzv user-space.

[k3dAR]

ty odkazy znam, mel sem za te ze sem je v tomhle vlakne i postnul, ale asi sem to zavrel bez odeslani kazdopadne prave to Embedded nebude pro externi disk (resp. technicky mozna ano, nevim jak to dodavaj) protoze viz tam zminene hned z kraje:

The leading auto makers, Tier-1s, OEMs, and ODMs choose Microsoft NTFS by Tuxera

tedy pokud budu vyrobce a budu chtit pouzit GNU/Linux ci jinej TuxeraNTFS podporovanej OS ve svem zarizeni aby zakaznici mohli mit rychle NTFS, tak si to od nich koupim, ale zda to muze udelat i 1 koncovej zakaznik pro pouziti ve svem(/svejch) x86 desktop(u) vazne nevim (resp. tusim ze ne, nebo velmi (v danem kontextu) draho)

[Klobasa]

Příloha:

• Open source file-system vendor signs patent deal with Microsoft ZDNet.txt (2072 bytů)

bohuzel

Tuxera CEO Mikko Valimaki added that Tuxera "cannot sell end-user proprietary drivers (but we have been talking about that; we can at the moment only sell exFAT on Linux to OEMs."

[frufru]

pokusím se to znova vysvětlit. Mám 2x 2TB disky. Jeden WD a sruhý Seagate.. Na obou byla 200GB primární oblast NTFS, která sloužila proí windowsXP. Zbytek byl ext4. Jeden disk sloužil jako sběrač dat a druhý jako záloha. Po koupení SSD disků jsem nepotřeboval už 200GB na disku. Při konsolidaci disků jsem nechtěl mít data jen na jednom disku a zvětšování par. se mi taky nelíbylo. Proto jsem koupil 4TB disk pro zálohu mimo pc. Pro zrychlení zálohy interních disků jsem ho dak do PC. Ale žádné zrychlení se nekonalo. Nejřív NTFS jel rychlostí cca. 50-55MB/s, ale vyržel zapisovat do cca. 300GB. Pak klesl zápis na 1.9-3.5MB/s. Jednou za čas vyletěl na cca. 14MB/s a pak se zase vrátil k 2MB/s. Tak jsem ho naformátoval na ext4. Tam šla rychlost rapidně nahoru. První zápisy byly rychlostí cca 180MB/s, ale rychle to kleslo k 120-130MB/s. To vydrželo do cca. 150GB. Pak to kleslo jako u NTFS na 1.9-3.5MB/s a znova to občas vyletělo na 14MB/s. Prostě to vypadá, že při zaplnění "cache" disku hodně zpomalí. A závisí to na rychlosti zápisu. Kdybych zapisoval rychlostí USB2, nebo objem dat do 150GB, taK by s to asi neprojevilo. Ale já chtel najedno zapsat všechna data z jednoho disku a provést kontrolu (cca 1.5TB) U NTFS mi to napsalo, že zápis 500GB dat bude trvat 40 hodin. Zajímavé je, když jsem udělal zálohu, tak jsem smazal záložní 2TB disk a pak začal kopírovat z prvního disku. Rychlost neklesla pod 120MiB/S po celou dobu kopírování. A to je ten rozdíl mezi HDD které mám a "HDD" co jsem koupil. Nikde u popúisu výrobce, ani prodejce se neuvádí, že je to SMR disk, nebo že klesne přenosová rychlost po určitém objemu přenesených dat. Neuvádí, že je to archivní disk. Kde zapíšu třeba zapíšu 100GB dat a pak čekám na další zálohu delší dobu. Tam by si ten disk udělal úklid a bylo by vše vpohodě. Prodávájí mto jako normální disk, bez upozornění apod. A proto se cítím od výrobce i od prodejce podveden. Podle popisu jsem si koupil disk, který má přenosovou rychlost až 190MiB/s. O omezení rychlosti přenosu po určitém přeneseném objemu dat tam taky nepíšou. Mimochodem, český návod jsem od prodejce, ani od výrobce nedostal....

[Petr Fiedler]

A není to tím, že ze začátku se kopírují velké soubory a pak malé? To je totiž standardní chování. Všechny moje disky kopírují velké soubory např. iso MNOHEM rychleji, než malé texťáky. Poměr je klidně 150 MB/s vs 1 MB/s.

[frufru]

Ne. Jedná se většinou fotky v jpg rozděléné podle roku focení.

[Petr Fiedler]

Na tvém místě bych se jej zbavil a koupil nový pořádný disk (WD Black).

[Petr Fiedler]

Napřed bych jej ale reklamoval. Není normální, aby disk padal.

[frufru]

On nepadá, on jen kopíruje po určitém přeneseném objemu pomalu.

[Petr Fiedler]

Aha. Usoudil jsem to z této reakce.

[Petr Fiedler]

Četl jsem to ve ~ 2 ráno a byl jsem už unavený.

[frufru]

Debian se po pár hodinách uspal a už nereagoval na nic.

[frufru]

A tyn největší adresáře 74GB/14651 ,80GB/22351, 501GB/31402.

[Petr Fiedler]

Buď se jej zbavíš, nebo se budeš trápit. Tady nic jiného nevymyslíš.

[Peter Golis]

Ešte sa s tým môže zmieriť, a znížiť objem zápisov za časovú jednotku aby takáto situácia nenastávala. Ale to je nezmysel, kde by musel akceptovať iný tovar ako si objednal a zaplatil.

[k3dAR]

jasne, uz sem tedy v obraze, i s ext4 rychlost po nejake dobe klesne na jednotky MB/s => jde o SMR => 100% jim to omlat o hlavu a v zadnem pripade se s tim nesmir, pomuzes sobe i pripadne ostatnim, cim vic lidi bude tyhle sr&cky (resp. NEUVEDENE jako archivni disk s informacemi CO to v praxi znamena) tim driv prodejci ci vyrobce zacne spravne oznacovat jako SMR ci Archive...

pro tebe i ostatni co nemaji jasno v tom co SMR je za sr...:
https://diit.cz/clanek/recenze-8tb-seagate-archive/netestuji-sleduji-co-disk-dela

[frufru]

Ano. Je jedno co je tam za FS. Vždy po zaplnění "cache" spadne rychlost na 2MB/s. Tím se disk dostane k uklizení"cache" a zvedne se zápis na cca. 15MB/s. A to stále dokola. Zápis 500GB pak vychází na 40 hodin.

[debian+]

Co tak zabalovat do tar, tych kopec malych suborov? A ukladat v txt index.

[Klobasa]

Že se jedná o SMR disk, tak to se nikde neuvádí. Koupil jsem na Alze a tam tuplem ne. Teď jestli je to podvod prodejce, nebo výrobce. Kdybych to býval věděl,

Otazka je, jestli jsi to pred tim nakupem hledal a jestli jsi vedel co je SMR?