Dotaz: dd if=/dev/zero of=/dev/sda spôsobuje čítanie z disku sda?

[AraxoN]

Zdravím.

Mám tu jeden disk, ktorý vykazuje dosť slabú rýchlosť. V rámci testovania som ho dnes vyhodil z RAID-u a skúsil ho prepísať nulami. No moje počudovanie tento príkaz:

~ # dd if=/dev/zero of=/dev/sda

nielenže na daný disk zapisuje (čo je žiadané), ale z neho zároveň aj číta:

~ # dstat -D sda,sdb

----total-cpu-usage---- --dsk/sda-----dsk/sdb-- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ: read  writ| recv  send|  in   out | int   csw
  0   5  75  19   0   1|  26M   31M:   0     0 |  70B  374B|   0     0 |  10k   13k
  0   4  75  21   0   1|  21M   30M:   0     0 | 198B  918B|   0     0 |8700    11k
  0   4  73  22   0   1|  29M   20M:   0     0 | 134B  374B|   0     0 |  12k   15k
  0   3  67  30   0   1|9460k   31M:8192B    0 | 134B  374B|   0     0 |4054  4889
  0   1  70  29   0   1|  36k   73M:   0     0 | 314B  554B|   0     0 | 636    80
  0   0  72  28   0   1|  40k   74M:   0     0 |  70B  374B|   0     0 | 641    77
  0   3  77  19   0   2|  34M   11M:   0     0 |  70B  374B|   0     0 |  13k   17k
  1   5  74  19   0   2|  43M    0 :   0     0 | 134B  438B|   0     0 |  17k   22k
  1   5  75  19   0   1|  43M    0 :   0    32k| 134B  358B|   0     0 |  17k   22k
  1   7  76  15   0   2|  43M    0 :   0     0 |  70B  374B|   0     0 |  17k   22k
  0   4  73  21   0   1|  30M   20M:   0     0 | 134B  358B|   0     0 |  12k   16k
  0   5  73  20   0   2|  31M   20M:   0     0 |  70B  374B|   0     0 |  12k   16k
  1   5  72  21   0   2|  25M   32M:   0     0 |  70B  374B|   0     0 |  10k   13k
  1   4  76  19   0   1|  24M   28M:   0  8192B|  70B  374B|   0     0 |9653    12k
  0   6  73  19   0   1|  31M   20M:   0  4096B|  70B  374B|   0     0 |  12k   16k
  0   4  72  23   0   1|  26M   33M:   0     0 |  70B  390B|   0     0 |  10k   13k
  0   0  55  44   0   1|  36k   73M:   0     0 | 134B  374B|   0     0 | 634    84
  0   0  66  33   0   1|  36k   72M:   0     0 |  70B  358B|   0     0 | 631    80
  0   2  74  23   0   1|  20M   33M:   0     0 |  70B  374B|   0     0 |8319    11k
  0   4  76  19   0   1|  43M    0 :   0     0 |  70B  374B|   0     0 |  17k   22k
  1   7  75  15   0   3|  43M    0 :   0     0 | 134B  358B|   0     0 |  17k   22k
  1   6  72  20   0   2|  43M    0 :   0     0 |  70B  358B|   0     0 |  17k   22k
  0   5  74  19   0   2|  39M 8192k:   0     0 | 198B  358B|   0     0 |  16k   20k
  0   4  73  23   0   1|  21M   32M:   0     0 |  70B  374B|   0     0 |8548    11k
 11   4  61  24   0   0|  31M   20M:2012k    0 | 134B  374B|   0     0 |  12k   16k
  4   4  70  20   0   1|  26M   30M:   0     0 | 134B  374B|   0     0 |  11k   14k
  0   2  73  22   0   2|  22M   31M:   0     0 |  70B  374B|   0     0 |8951    11k
  0   4  73  21   0   3|  30M   20M:   0     0 |  70B  374B|   0     0 |  12k   16k
  0   3  63  34   0   1|7712k   67M:   0     0 | 134B  374B|   0     0 |3492  3968
  0   1  62  37   0   1|  36k   71M:   0  2012k| 134B  438B|   0     0 | 727    95
  0   1  75  23   0   1|  13M   50M:   0   104k|  70B  374B|   0     0 |5658  6912
  0   6  74  18   0   2|  43M    0 :   0     0 | 134B  390B|   0     0 |  17k   22k
  1   7  74  16   0   2|  43M    0 :   0     0 |  70B  358B|   0     0 |  17k   22k
  0   4  75  19   0   2|  43M    0 :   0     0 |  70B  358B|   0     0 |  17k   22k
  1   4  75  19   0   2|  42M    0 :   0     0 | 198B  358B|   0     0 |  17k   22k
  0   4  73  21   0   1|  24M   34M:   0     0 | 198B  358B|   0     0 |9843    13k
  0   4  75  20   0   1|  22M   27M:   0     0 | 134B  374B|   0     0 |9049    12k
  0   4  75  20   0   1|  29M   20M:   0     0 | 134B  374B|   0     0 |  12k   15k
  0   3  74  21   0   2|  29M   26M:   0     0 |  70B  374B|   0     0 |  12k   15k

Nič iné v danej chvíli na systéme nebeží, ale aj tak celý systém má pomalé odozvy a rieši tisíce interruptov (posledné 2 stĺpce). Keď dd preruším, tak sa disk prestane používať, takže iný proces to asi nerobí.

Swap sa nepoužíva:

~ # free
             total       used       free     shared    buffers     cached
Mem:       2057084    2041224      15860          0    1736492      13936
-/+ buffers/cache:     290796    1766288
Swap:      4000060          0    4000060

a v RAID-e už disk nie je:

~ # cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdb1[1]
      32000 blocks [2/1] [_U]

md2 : active raid1 sdb2[1]
      4000064 blocks [2/1] [_U]

md3 : active raid1 sdb3[1]
      484351616 blocks [2/1] [_U]

unused devices: <none>

Bloky disku sú 512 bajtov:

~ # smartctl -a /dev/sda
smartctl 6.1 2013-03-16 r3800 [x86_64-linux-3.8.13-gentoo] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     ST3500631NS
Serial Number:    9QGAL2P2
LU WWN Device Id: 0 000000 000000000
Firmware Version: 6FSC
User Capacity:    500,107,862,016 bytes [500 GB]
Sector Size:      512 bytes logical/physical
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ATA/ATAPI-7 (minor revision not indicated)
Local Time is:    Tue Aug 13 21:22:25 2013 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
                                        was completed without error.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (  430) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 163) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   100   253   006    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0003   094   094   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       29
  5 Reallocated_Sector_Ct   0x0033   099   099   036    Pre-fail  Always       -       46
  7 Seek_Error_Rate         0x000f   075   060   030    Pre-fail  Always       -       37930171
  9 Power_On_Hours          0x0032   057   057   000    Old_age   Always       -       37876
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       29
184 End-to-End_Error        0x0032   100   253   000    Old_age   Always       -       0
187 Reported_Uncorrect      0x003a   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x0022   100   100   045    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   060   057   000    Old_age   Always       -       40 (Min/Max 30/40)
194 Temperature_Celsius     0x001a   040   043   000    Old_age   Always       -       40 (0 18 0 0 0)
195 Hardware_ECC_Recovered  0x0012   063   055   000    Old_age   Always       -       84397718
197 Current_Pending_Sector  0x0010   100   100   000    Old_age   Offline      -       0
198 Offline_Uncorrectable   0x003e   100   100   000    Old_age   Always       -       0
199 UDMA_CRC_Error_Count    0x0000   200   200   000    Old_age   Offline      -       0
200 Multi_Zone_Error_Rate   0x0032   100   253   000    Old_age   Always       -       0
202 Data_Address_Mark_Errs  0x0000   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     37857         -
# 2  Short offline       Completed without error       00%     37833         -
# 3  Short offline       Completed without error       00%     37809         -
# 4  Short offline       Completed without error       00%     37785         -
# 5  Extended offline    Completed without error       00%     37768         -
# 6  Short offline       Completed without error       00%     37761         -
# 7  Short offline       Completed without error       00%     37737         -
# 8  Short offline       Completed without error       00%     37713         -
# 9  Short offline       Completed without error       00%     37689         -
#10  Short offline       Completed without error       00%     37665         -
#11  Short offline       Completed without error       00%     37641         -
#12  Short offline       Completed without error       00%     37617         -
#13  Extended offline    Completed without error       00%     37598         -
#14  Short offline       Completed without error       00%     37593         -
#15  Short offline       Completed without error       00%     37569         -
#16  Short offline       Completed without error       00%     37546         -
#17  Short offline       Completed without error       00%     37522         -
#18  Short offline       Completed without error       00%     37498         -
#19  Short offline       Completed without error       00%     37474         -
#20  Short offline       Completed without error       00%     37450         -
#21  Extended offline    Completed without error       00%     37430         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Je toto normálne chovanie dd? Aký dôvod by mohol mať na to, aby z /dev/sda čítal, keď má len zapisovať nuly?

---

---

Odpovědi

[AraxoN]

Doplním údaje o HW:

Je to rack 1U server FUJITSU SIEMENS PRIMERGY RX100S5 (ABN:K1160-V101-4)

CPU: Intel(R) Xeon(R) CPU X3220 @ 2.40GHz

SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA Controller [AHCI mode] (rev 02)

[ewew]

V prvom rade by si mal nahradiť chýbajúci disk v poli. Ako dlho ten disk používaš ? Skús odsledovať parametre smart 5,7,195 v stave idle a pri použiti dd. Možné príčiny veľkého počtu I/O môže byť zhoršené vyhladavanie sektorov podľa parametra 7. Nemáš nejaké upozornenia v dmesg, že nie je v poriadku komunikácia disku s radičom.

[AraxoN]

Náhradný disk zatiaľ nie je. Ide o server, ktorý už je vyradený z ostrej prevádzky, takže to až tak nehorí. Skôr zo zvedavosti sa snažím vypátrať, prečo sa to takto chová - prečo číta z disku, na ktorý by mal podľa logiky len zapisovať.

Parameter 5 Reallocated_Sector_Ct je na svojej hodnote už niekoľko rokov a nemení sa. Nemám záznamy od úplného začiatku, ale podozrievam predajcu, že nám to už takto predal. Celý ten prepis nulami som robil preto, aby som si overil, či nepribudnú ďalšie relokované sektory. Nepribudli. Parameter 195 Hardware_ECC_Recovered skáče hore dole:

Aug 13 17:14:19 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 65 to 64
Aug 13 17:44:17 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 64 to 63
Aug 13 18:14:16 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 63 to 61
Aug 13 19:14:18 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 61 to 60
Aug 13 20:14:16 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 60 to 59
Aug 13 20:44:16 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 59 to 60
Aug 13 21:14:16 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 60 to 62
Aug 13 21:44:16 hermes smartd[2829]: Device: /dev/sda [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 62 to 63

O parametri 7 Seek_Error_Rate nie je v logu žiadna zmienka, ale jeho RAW hodnota sa od včera mierne zvýšila.

Skúsim dnes nabootovať z live CD a nepripájať žiadne oddiely, či sa to bude chovať rovnako.

[Mtzz]

Disk si dělá kontrolu zápisu. A velký počet přerušení, protože velký počet různých zápisů. zkus zrychlení v podobě dd bs=16M if=/dev/zero of=/dev/sda případně hodnotu bs nastav podle cache disku.

[AraxoN]

Mal som za to, že dstat vypisuje len to, čo prejde cez linuxové jadro, resp. to čo pretečie po SATA kábli. Ak si FW disku robí sám pre seba kontrolu čítaním, tak by sa to tam objaviť nemalo. Alebo si túto kontrolu robí dd sám od seba? Myslel som, že takto funguje len badblocks...

[AraxoN]

Pri parametri bs=4k a viac zrazu prestane čítať a už iba zapisuje. Priemerná rýchlosť zázračne stúpne z cca 21MB/s na 75MB/s. Jediné vysvetlenie je, že fyzicky sa zapisuje 4k blok, t.j. pri zápise menšej jednotky sa najprv prečíta 4k, zmení sa daná časť a potom sa 4k zapíše. V smarte ale píše, že fyzický sektor je 512 bajtov:

Sector Size:      512 bytes logical/physical

Aj podľa špecifikácie tento disk má mať 512 bajtový sektor.

To isté dmesg:

[    1.328856] ata1.00: configured for UDMA/133
[    1.329339] scsi 0:0:0:0: Direct-Access     ATA      ST3500631NS      6FSC PQ: 0 ANSI: 5
[    1.330017] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/465 GiB)
[    1.330083] sd 0:0:0:0: Attached scsi generic sg0 type 0
[    1.330821] sd 0:0:0:0: [sda] Write Protect is off

To isté lshw:

     *-scsi:0
          physical id: 1
          logical name: scsi0
          capabilities: emulated
        *-disk
             description: ATA Disk
             product: ST3500631NS
             vendor: Seagate
             physical id: 0.0.0
             bus info: scsi@0:0.0.0
             logical name: /dev/sda
             version: 6FSC
             serial: 9QGAL2P2
             size: 465GiB (500GB)
             configuration: ansiversion=5 sectorsize=512

Je to záhada.

[R]

Kto vie, co robi jadro kvoli cachovaniu... Ja pouzivam vzdy bs=1M.

[Jezus]

To že má disk sektory 512B ještě neznamená, že je to optimální velikost bloku pro zápis. Velikost sektoru značí maximální granularitu, ale s rychlostí to nemá nic společného. U ddčka generuješ volání jádra pro každých 512B. Když nastavíš větší bs, tak výrazně šetříš volání kernelu, přepínání kontextu a IOPSy.

[AraxoN]

Hranica veľkosti bs, pri ktorej popisované chovanie prestáva, sú 4kB. Znamená to, že jadro pracuje s najmenšou jednotkou 4kB? Kde sa to nastavuje, alebo od čoho to závisí? Na iných serveroch som si takéto chovanie nikdy nevšimol...

[Michal Kubeček]

Zkuste se podívat na hodnoty minimum_io_size a optimal_io_size v /sys/class/block/sda/queue (měl by je ukazovat i fdisk).

[AraxoN]

Všetko hovorí o 512 bajtoch:

hermes ~ # cat /sys/class/block/sda/queue/minimum_io_size
512
hermes ~ # cat /sys/class/block/sda/queue/optimal_io_size
0
hermes ~ # fdisk /dev/sda
Welcome to fdisk (util-linux 2.22.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


Command (m for help): p

Disk /dev/sda: 500.1 GB, 500107862016 bytes, 976773168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63       64259       32098+  fd  Linux raid autodetect
/dev/sda2           64260     8064629     4000185   fd  Linux raid autodetect
/dev/sda3         8064630   976768064   484351717+  fd  Linux raid autodetect

[AraxoN]

Ehm... optimal_io_size je 0.

Z dokumentácie:

optimal_io_size (RO)
--------------------
This is the optimal io size reported by the device.

Nulu mi to ale vracia aj na iných serveroch.

[Michal Kubeček]

Tohle je v block/blk-settings.c

 *   Storage devices may report an optimal I/O size, which is the
 *   device's preferred unit for sustained I/O.  This is rarely reported
 *   for disk drives.  For RAID arrays it is usually the stripe width or
 *   the internal track size.  A properly aligned multiple of
 *   optimal_io_size is the preferred request size for workloads where
 *   sustained throughput is desired.

Co se týká původního dotazu, bylo by potřeba vědět, na jaké úrovni se čtení a zápisy evidují, tj. jestli se opravdu jedná o čtení z a zápisy na fyzické zařízení. Je také možné, že pozorované chování souvisí s tím, že bloková cache je organizovaná po stránkách a ty mají na obvyklých architekturách 4 KB.

[AraxoN]

Musím to vyskúšať na ďalších serveroch... Bohužiaľ tu teraz nemám žiadny, na ktorom by som si mohol dovoliť experimentovať.

Údaje z dstatu sa zhodujú s údajmi zo /sys/block/sda/stat (t.j. popri zápise prebieha aj čítanie). Aj rýchlosť dd by zodpovedala tomu, že sa naozaj fyzicky zapisuje aj číta.

[anonym]

4kB vypada ze to vezi v pagecache

jadro si vsechny operace s diskem by default cachuje, a jednotka cache je pro x86 4kB. zmenis to tezko, je to velikost stranky pameti.

proc se to jindy nedeje muze byt tim ze 99% filesystemu ma vsechny data blokovany po 4kB nebo vic.

[AraxoN]

To vyzerá ako veľmi pravdepodobné vysvetlenie. Nechápem len, že som si toto chovanie linuxu nevšimol skôr. Ďakujem všetkým za pomoc.