Dotaz: Externi disk WD, ext4, neustaly pohyb hlavicky

[tom]

Zdravim,

mam externi disk WD Elements, pouzivam ho pro prenos dat mezi Win/Lin. Je naformatovany na NTFS

Po jeho pripojeni a namountovani je tichy, v dobe necinnosti

Ted jsem si poridil druhy. Dokud byl na NTFS, take byl tichy. Dnes jsem ho ale naformatoval na EXT4 takto:

mkfs.ext4 -m 0 /dev/sdc1

Protoze potrebuji vyzalohovat PC, kde chci zachovat prava, symlinky, atd.

A tento disk, i kdyz ho pripojim takto:

mount -o noatime,nodiratime /dev/sdc1 /mnt/ext/

Tak porad "chroupe". I kdyz s nim nic nedelam, tak hlavicka co vterinu jede "trr, trr"

Kdyz ho "umount"-nu, tak uz nechroupe

Nenapada me cim by to mohlo byt

Mam tady "mlocate", ale ten se spousti pres cron.daily a ted urcite nebezi

Take mi tu bezi /usr/sbin/smartd -n

Jinak je to proste Debian 8.11 s IceWM, prakticky mi tu nebezi nic, co by melo duvod na ten disk sahat. V dmesg se take nic neobjevuje

Da se nejak zjistit, ktery proces nebo vlakno na ten disk prave saha?

Diky

Odpovědi

[X]

Co se stane, kdyz ho pripojis RO? lsof?

[tom]

No vida, to je fakt, kdyz ho pripojim jako read-only, tak nechroupe

Nicmene, kdyz vytvorim adresar "/mnt/ententyky" a pak ho sem pripojim, tak

lsof | grep -i ententyky

Vypise akorat:

lsof: WARNING: can't stat() fuse.gvfsd-fuse file system /run/user/1000/gvfs Output information may be incomplete.

Coz s tim asi nesouvisi, a disk chroupe vesele dal

[pavele]

mount -o noatime,nodiratime,commit=60 /dev/sdc1 /mnt/ext/

[tom]

Diky za tip, alespon jsem konecne otevrel man stranku "mount"u, ale je to porad stejne

tr__tr__tr__tr

Jako pouzivate nekdo externi disky, naformatovane na EXT4? Deje se vam to stejne?

[LarryL]

Da se nejak zjistit, ktery proces nebo vlakno na ten disk prave saha?

iotop

Jako pouzivate nekdo externi disky, naformatovane na EXT4? Deje se vam to stejne?

Minimálně si EXT4 zapisuje do žurnálu (journal), ale neustále zápisy na disk, tak jak to popisuješ, se mi nedějí.

[tom]

Diky, "iotop" jsem take neznal

Kazdopadne mi na svem vrcholu zobrazuje toto:

[ext4lazyinit]
[jbd2/dm-0-8]
X :0 vt7 -nolisten tcp -auth
...

Takze to vypada na "ext4lazyinit"

A kdyz predhodim googlu "ext4 lazy init" tak se dostavam napr. k tomuto:

"Will long time ext4lazyinit damage the drive? I never pay attention on ext4lazyinit before. But today, after I format my 4TB external USB harddrive and the first mount, the led light keeps blinking without any writes and reads. I figured out that is because of ext4lazyinit to initialize inode tables. There is a [ext4lazyinit] process too. "

Takze dekuji za navedeni! To bude asi ono. Jdu googlit a se vzdelavat

[PetebLazar]

Při defaultním vytváření ext4 filesystému se tak snad děje líným způsobem (ext4 lazy init). Kdy je pro tento task nastaven minimalni interval čekání (v řádu desítek ms) mezi jednotlivými IO požadavky a jelikož inicializace FS představuje mnoho operací je tento úkol rozložen ve značně dlouhém čase. Na 32TB RAID6 poli ze šesti HDD to neskončilo ani za několik dní. Nakonec jsem tonu pomocí remountu s určitou volbou trápení zkrátil zmenšením prodlevy mezi IO operacemi (doběhlo to pak za pár minut). Jestli je tento postup košer netuším, na filesystému pole zatím nepozoruji problemy.

[PetebLazar]

Myslim, ze slo volbu popsanou zde. Za správnost tohoto postupu neručím.

[LarryL]

Ano, je to volba -o init_itable=0 pro namountování, která způsobí, že inicializace se dokončí rychleji. Tato volba je v manuálu ext4 takže kromě většího vytížení HDD, do doby než se inicializace dokončí, by to žádné riziko představovat nemělo.

[PetebLazar]

Z textu z dokumentace níže to vypadá, že v defaultu čeká 10x déle, než trval předchozí blok operací. Takže teoreticky asi minimálně zhruba 10x déle než kdyby se to věnovalo pouze inicializaci.

init_itable=n
        The lazy itable init code will wait n times the number of milliseconds
        it took to zero out the previous block group's inode table.  This
        minimizes the impact on the system performance while file system's
        inode table is being initialized. 

[tom]

Ted jsem ho zkusil pripojit k druhemu nb s Debian verzi bookorm/sid

Deje se to stejne, ledka na disku blika, vzorec "chroupani" je malinko jiny

Po pripojeni RO je disk tichy

Muzu ta data vylit zpatky na zalohovane PC a zkusit disk preformatovat na ext3 prip. ext2

Mohlo by to mit nejaky vyznam?

[Peter Golis]

Nebude to HDD so šindľovým zápisom, že by si sám na pozadí upratoval zóny?

[LTE]

Pokud je to 2.5” 4TB WD, tak to bude SMR disk. Ale to by nemělo vadit - očekával bych, že to bude nezávislé na FS. Já mám jedno novější 2.5” ext. 2TB WD a na HSF+ se chová zcela korektně…

Problém bude spíš s tím lazy init procesem. Ext4 si postupně alokuje inody… Po čase by to mělo zmizet. Případně zkusit XFS :)

[Peter Golis]

Už sa robia aj 1/2T SMR disky do SATA, stoja cca polovicu oproti tradičnému rotačnému (bez SMR) alebo oproti MLC SSD. Pri USB tomu nebude inak.

Transparentné to môže byť, ale lepšie je ak ten HDD reportuje že je SMR, a aké má zóny FS sa tomu môže prispôsobiť, a nebe tam spomalenie kvôli reorganizácii dát v zónach.

[Semo]

Je to sice SMR disk, ale ak to po umounte prestane, tak to nesuvisi z hw disku, ale s OS.

[Peter Golis]

Upratovanie utajených SMR zón je ale záležitosť HW/FW, nie OS.

Mám podobné disky, a občas mi to lezie na nervy. Človek nechce riskovať, a tak to tam musí nechať pichnuté kým sa disk neukľudní.

[Semo]

No prave. Takze ak sa to po umounte zastavilo, tak to nie je sposobene HW disku. Ten by totiz pokracoval umount-neumount.

[Peter Golis]

Pokiaľ neurobil ten umount kliknutím v správcovi súborov na ten disk, a pravým myšítkom nevybral "Odpojiť". Vtedy okrem umount zbehne aj eject, a ten už pred rokmi zvykol takýto disk rovno vypnúť z elektriky. Teda, ak to bol USB3 disk v USB3 slote. Vtedy nezistíš čo to bolo.

[Dalibor Smolík]

Tohle mi dělal externí disk taky, poté asi za 2 měsíce odešel úplně.

[Andrej]

Protoze potrebuji vyzalohovat PC, kde chci zachovat prava, symlinky, atd.

Mírně off-topic technická poznámka: Pro zálohování čehokoliv je Ext4 naprosto nevhodný.

[Andrej]

Není to náhodou tohle?

Jinak pro jistotu ještě jednou zopakuju: Používat Ext4 je špatný nápad a používat Ext4 k zálohování je dvojnásob špatný nápad.

K zálohování (a koneckonců i k jakémukoliv vážně míněnému účelu) je nutný filesystém s podporou checksumů metadat i dat (což je zcela nezbytné) a s podporou atomických snapshotů (což je „nice to have“).

[tom]

Jake FS byste tedy doporucoval?

Dekuji

[PetebLazar]

Co se stane když si CPU při výpočtu těchto checksumů šlápne na jazyk a uloží do metadat filesystému chybně spočítaný checksum, je logika filesystému postavena tak že chybu v checksumech ignoruje (když nižší úrovně ochrany na úrovni sektorů chybu nehlásí)? Nebo jsou tyto checksumy dokonce vypočítávány redundantně(opakovaně/či s použitím odlišných výkonných jednotek), takže jde vzájemným srovnáním obou výsledků detekovat případnou chybu výpočtu?

[Peter Golis]

Pokiaľ máš RAID Double Parity, alebo dokonca Triple Parity, tak áno. Ale rád by som vedel či to poskytuje priamo nejaký NextGEN FS na jeden disk (bez ohýbania pomocou viacerých partícií, a zníženia I/O).

[jiwopene]

Checksumy dat dělá, pokud se nepletu, např. ZFS a po zapnutí nějaké volby i btrfs. Oboje je možné provozovat na jednom disku. Je to jenom checksum – pokud se data (nebo checksum) poškodí, data jsou označená za nečitelná. ZFS tuším umí i ukládat do jedné partície více kopií souborů, ale s tím nemám zkušenosti.

[Peter Golis]

ZFS tuším umí i ukládat do jedné partície více kopií souborů, ale s tím nemám zkušenosti.

To nastavenie ZFS keď do jednej partície ukladal viacej kópií súboru ma zaujíma. Pokiaľ si dobre pamätám, toto robil BTRFS s profilom DUP.

[jiwopene]

Výňatek ze zfsprops(7):

     copies=1|2|3
       Controls the number of copies of data stored for this dataset.
       These copies are in addition to any redundancy provided by the
       pool, for example, mirroring or RAID-Z.  The copies are stored on
       different disks, if possible.  The space used by multiple copies
       is charged to the associated file and dataset, changing the used
       property and counting against quotas and reservations.

       Changing this property only affects newly-written data.  Therefore,
       set this property at file system creation time by using the -o
       copies=N option.

       Remember that ZFS will not import a pool with a missing top-level
       vdev.  Do NOT create, for example a two-disk striped pool and
       set copies=2 on some datasets thinking you have setup redundancy
       for them.  When a disk fails you will not be able to import the
       pool and will have lost all of your data.

       Encrypted datasets may not have copies=3 since the implementation
       stores some encryption metadata where the third copy would
       normally be.

[Peter Golis]

To je nejaká novinka, ale pekná. Vyskúšam niekedy počas dlhých zimných večerov.

[Andrej]

Když mě unesou mimozemšťané, co je pak pravda a co je lež?

Sorry jako, ale tohle je fakt trapné.

[PetebLazar]

Co dnes brání pokročilým FS spočítat kontrolní součty dvakrát a porovnat výsledky zda se schodují (nemluvě o možnosti paralelizace redundatních výpočtů na odlišných core)? Stálo by to určitý výpočetní výkon (při paralelním výpočtu by to asi nemuselo celkově stát mnoho času navíc). Umožnilo by to snížit riziko jedné ze zbývajících zranitelností těchto FS. Samozřejmě, každý si stanovuje za sebe co je pro něj představuje přijatelnou mírou rizika.