Simple mdadm RAID 1 tidak mengaktifkan cadangan

Saya telah membuat dua partisi HDD 2TB ( /dev/sdb1dan /dev/sdc1) dalam array RAID 1 yang disebut /dev/md0menggunakan mdadmUbuntu 12,04 LTS Precise Pangolin.

Perintah yang sudo mdadm --detail /dev/md0digunakan untuk menunjukkan kedua drive sebagai sinkronisasi aktif .

Kemudian, untuk pengujian, saya gagal /dev/sdb1, menghapusnya, lalu menambahkannya lagi dengan perintahsudo mdadm /dev/md0 --add /dev/sdb1

watch cat /proc/mdstat menunjukkan bilah progres pembangunan kembali array, tetapi saya tidak akan menghabiskan waktu berjam-jam menontonnya, jadi saya berasumsi bahwa perangkat lunak itu tahu apa yang dilakukannya.

Setelah bilah progres tidak lagi ditampilkan, cat /proc/mdstatmenampilkan:

md0 : active raid1 sdb1[2](S) sdc1[1]
      1953511288 blocks super 1.2 [2/1] [U_]

Dan sudo mdadm --detail /dev/md0menunjukkan:

/dev/md0:
        Version : 1.2
  Creation Time : Sun May 27 11:26:05 2012
     Raid Level : raid1
     Array Size : 1953511288 (1863.01 GiB 2000.40 GB)
  Used Dev Size : 1953511288 (1863.01 GiB 2000.40 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Mon May 28 11:16:49 2012
          State : clean, degraded 
 Active Devices : 1
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 1

           Name : Deltique:0  (local to host Deltique)
           UUID : 49733c26:dd5f67b5:13741fb7:c568bd04
         Events : 32365

    Number   Major   Minor   RaidDevice State
       1       8       33        0      active sync   /dev/sdc1
       1       0        0        1      removed

       2       8       17        -      spare   /dev/sdb1

Saya telah diberitahu bahwa mdadm secara otomatis mengganti drive yang dihapus dengan suku cadang, tetapi /dev/sdb1tidak dipindahkan ke posisi yang diharapkan, RaidDevice 1.

UPDATE (30 Mei 2012): Tes badblocksbaca-tulis destruktif dari keseluruhan /dev/sdbtidak menghasilkan kesalahan seperti yang diharapkan; kedua HDD baru.

Pada edit terakhir, saya mengumpulkan array dengan perintah ini:

sudo mdadm --assemble --force --no-degraded /dev/md0 /dev/sdb1 /dev/sdc1

Outputnya adalah:

mdadm: /dev/md0 has been started with 1 drive (out of 2) and 1 rebuilding.

Pembangunan kembali sepertinya berjalan normal:

md0 : active raid1 sdc1[1] sdb1[2]
      1953511288 blocks super 1.2 [2/1] [U_]
      [>....................]  recovery =  0.6% (13261504/1953511288) finish=2299.7min speed=14060K/sec

unused devices: <none>

Saya sekarang menunggu pembangunan kembali ini, tetapi saya berharap /dev/sdb1untuk menjadi cadangan seperti lima atau enam kali saya mencoba membangun kembali sebelumnya.

UPDATE (31 Mei 2012): Ya, ini masih cadangan. Ugh!

UPDATE (01 Juni 2012): Saya mencoba perintah yang disarankan Adrian Kelly :

sudo mdadm --assemble --update=resync /dev/md0 /dev/sdb1 /dev/sdc1

Menunggu dibangun kembali sekarang ...

UPDATE (02 Juni 2012): Tidak, masih cadangan ...

UPDATE (4 Juni 2012): PB dibesarkan kekhawatiran bahwa saya diabaikan: mungkin /dev/sdc1yang menghadapi Aku / O error . Saya tidak repot-repot untuk memeriksa /dev/sdc1karena tampaknya berfungsi dengan baik dan itu baru, tetapi kesalahan I / O menjelang akhir drive adalah kemungkinan yang rasional.

Saya membeli HDD ini untuk dijual, jadi tidak mengherankan bahwa salah satu dari mereka sudah gagal. Plus, tidak satu pun dari mereka memiliki dukungan untuk SMART , jadi tidak heran mereka sangat murah ...

Ini adalah prosedur pemulihan data yang baru saja saya buat dan saya ikuti:

1. sudo mdadm /dev/md0 --fail /dev/sdb1sehingga saya bisa mengeluarkan /dev/sdb1.
2. sudo mdadm /dev/md0 --remove /dev/sdb1untuk menghapus /dev/sdb1dari array.
3. /dev/sdc1 sudah terpasang di /media/DtkBk
4. Memformat /dev/sdb1sebagai ext4.
5. Mount /dev/sdb1ke /media/DtkBkTemp.
6. cd /media untuk bekerja di daerah itu.
7. sudo chown deltik DtkBkTempuntuk memberi saya (nama pengguna deltik) hak untuk partisi.
8. Apakah menyalin semua file dan direktori: sudo rsync -avzHXShP DtkBk/* DtkBkTemp

UPDATE (06 Juni 2012): Saya melakukan badblockstes mode penulisan destruktif /dev/sdc, mengikuti prosedur berikut:

1. sudo umount /media/DtkBk untuk memungkinkan merobohkan array.
2. sudo mdadm --stop /dev/md0 untuk menghentikan array.
3. sudo badblocks -w -p 1 /dev/sdc -s -vuntuk menghapus hard drive yang dicurigai, dan dalam prosesnya, periksa kesalahan I / O. Jika ada kesalahan I / O, itu bukan pertanda baik. Semoga saya bisa mendapatkan pengembalian uang ...

Saya sekarang telah mengkonfirmasi bahwa tidak ada masalah input / output pada kedua HDD .

Dari semua penyelidikan ini, dua pertanyaan awal saya masih ada.

Pertanyaan saya adalah:

1. Mengapa drive cadangan tidak menjadi sinkronisasi aktif?
2. Bagaimana saya bisa membuat drive cadangan menjadi aktif?

Melakukan hal ini hanya memasukkan drive ke dalam array tanpa benar-benar melakukan sesuatu dengannya, yaitu ia adalah anggota dari array tetapi tidak aktif di dalamnya. Secara default, ini mengubahnya menjadi cadangan:

sudo mdadm /dev/md0 --add /dev/sdb1

Jika Anda memiliki cadangan, Anda dapat menumbuhkannya dengan memaksa jumlah drive aktif agar array bertambah. Dengan 3 drive dan 2 diharapkan aktif, Anda perlu menambah jumlah aktif menjadi 3.

mdadm --grow /dev/md0 --raid-devices=3

Pengandar array serangan akan melihat bahwa Anda "pendek" drive, dan kemudian mencari cadangan. Menemukan cadangan, itu akan mengintegrasikannya ke dalam array sebagai drive aktif. Buka terminal cadangan dan biarkan baris perintah yang agak kasar ini berjalan di dalamnya, untuk mengawasi kemajuan sinkronisasi. Pastikan untuk mengetiknya sebagai satu baris atau gunakan karakter pemecah baris (\), dan setelah selesai dibangun kembali, cukup ketik Ctrl-C di terminal.

while true; do sleep 60; clear; sudo mdadm --detail /dev/md0; echo; cat /proc/mdstat; done

Array Anda sekarang akan memiliki dua drive aktif yang disinkronkan, tetapi karena tidak ada 3 drive, itu tidak akan 100% bersih. Hapus drive yang gagal, lalu ubah ukuran array. Perhatikan bahwa --growbendera adalah sedikit keliru - itu bisa berarti baik tumbuh atau menyusut:

sudo mdadm /dev/md0 --fail /dev/{failed drive}
sudo mdadm /dev/md0 --remove /dev/{failed drive}
sudo mdadm --grow /dev/md0 --raid-devices=2

Berkenaan dengan kesalahan, masalah tautan dengan drive (yaitu port PATA / SATA, kabel, atau konektor drive) tidak cukup untuk memicu kegagalan cadangan panas, karena kernel biasanya akan beralih ke menggunakan yang lain "baik" drive saat me-reset tautan ke drive "buruk". Saya tahu ini karena saya menjalankan array 3-drive, 2 hot, 1 cadangan, dan salah satu drive baru-baru ini memutuskan untuk sedikit muntah di log. Ketika saya menguji semua drive dalam array, ketiganya lulus versi "panjang" dari tes SMART, jadi itu bukan masalah dengan piring-piring, komponen mekanis, atau pengontrol onboard - yang meninggalkan kabel tautan yang terkelupas atau port SATA yang buruk. Mungkin ini yang Anda lihat. Coba alihkan drive ke port motherboard yang berbeda, atau gunakan kabel yang berbeda, dan lihat apakah itu membaik.

Tindak lanjut: Saya menyelesaikan perluasan mirror saya menjadi 3 drive, gagal dan menghapus drive yang keripik dari array md, hot-swapping kabel untuk yang baru (motherboard mendukung ini) dan menambahkan kembali drive. Setelah ditambahkan kembali, ia segera memulai sinkronisasi ulang drive. Sejauh ini, tidak ada satu kesalahan pun yang muncul di log meskipun drive tersebut banyak digunakan. Jadi, ya, kabel drive bisa terkelupas.

Saya memiliki masalah yang persis sama, dan dalam kasus saya, saya telah menemukan bahwa disk raid aktif menderita kesalahan baca selama sinkronisasi. Oleh karena itu disk yang baru berhasil disinkronkan dan oleh karena itu ditandai sebagai cadangan.

Anda mungkin ingin memeriksa kesalahan / var / log / dan log sistem lainnya. Selain itu, mungkin juga merupakan ide bagus untuk memeriksa status SMART disk Anda:
1) Jalankan tes singkat:

"smartctl -t short / dev / sda"

2) Tampilkan hasil tes:

"smartctl -l selftest / dev / sda"

Dalam kasus saya ini mengembalikan sesuatu seperti ini:

=== MULAI BAGIAN DATA SMART BACA ===
SMART Struktur swa-uji revisi nomor 1
Num Test_Description Status Sisa Seumur Hidup (jam) LBA_of_first_error
1 Offline offline Diperpanjang Selesai: kegagalan baca 90% 7564 27134728
2 Offline offline Selesai: membaca kegagalan 90% 7467 1408449701

Saya harus mem-boot distro langsung dan secara manual menyalin data dari disk yang rusak ke yang baru (saat ini "cadangan").

Saya memiliki masalah yang persis sama dan selalu berpikir bahwa disk kedua saya, yang ingin saya tambahkan kembali ke array memiliki kesalahan. Tapi itu disk asli saya telah membaca kesalahan.

Anda dapat memeriksanya smartctl -t short /dev/sdXdan melihat hasilnya beberapa menit kemudian smartctl -l selftest /dev/sdX. Bagi saya itu terlihat seperti ini:

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       20%     25151         734566647

Saya mencoba memperbaikinya dengan manual ini . Itu tadi menyenangkan :-). Saya tahu Anda telah memeriksa kedua disk untuk kesalahan, tapi saya pikir masalah Anda adalah, bahwa disk yang masih dalam array md telah membaca kesalahan, jadi menambahkan disk kedua gagal.

Memperbarui

Anda harus menjalankan tambahan smartctl -a /dev/sdX Jika Anda melihat Current_Pending_Sector> 0 ada sesuatu yang salah

197 Current_Pending_Sector 0x0012 098 098 000 Old_age Always - 69

Bagi saya itu pasti masalah bahwa saya menghapus disk dari serangan hanya untuk pengujian dan penyinkronan ulang tidak dapat dilakukan karena kegagalan membaca. Sinkronisasi dibatalkan setengah jalan. Ketika saya memeriksa disk saya yang masih dalam smartaid raid melaporkan masalah.

Saya bisa memperbaikinya dengan manual di atas dan melihat jumlah sektor yang tertunda berkurang. Tetapi ada banyak dan itu adalah prosedur yang panjang dan membosankan jadi saya menggunakan cadangan saya dan mengembalikan data pada server yang berbeda.

Karena Anda tidak memiliki kesempatan untuk menggunakan SMART, saya kira tes mandiri Anda tidak menunjukkan sektor yang rusak itu.

Bagi saya ini adalah pelajaran: Periksa disk Anda sebelum Anda menghapusnya dari array Anda.

Saya memiliki masalah serupa dan memperbaikinya dengan menumbuhkan jumlah disk array RAID dari 1 menjadi 2.

mdadm --grow --raid-devices=2 /dev/md1

UPDATE (24 Mei 2015): Setelah tiga tahun, saya menyelidiki penyebab sebenarnya dari array RAID 1 yang terdegradasi.

tl; dr: Salah satu drive buruk, dan saya tidak melihat ini karena saya hanya menjalankan tes permukaan penuh pada drive yang baik.

Tiga tahun lalu, saya tidak berpikir untuk memeriksa log tentang masalah I / O. Jika saya berpikir untuk memeriksa /var/log/syslog, saya akan melihat sesuatu seperti ini ketika mdadmmenyerah membangun kembali array:

May 24 14:08:32 node51 kernel: [51887.853786] sd 8:0:0:0: [sdi] Unhandled sense code
May 24 14:08:32 node51 kernel: [51887.853794] sd 8:0:0:0: [sdi]
May 24 14:08:32 node51 kernel: [51887.853798] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
May 24 14:08:32 node51 kernel: [51887.853802] sd 8:0:0:0: [sdi]
May 24 14:08:32 node51 kernel: [51887.853805] Sense Key : Medium Error [current]
May 24 14:08:32 node51 kernel: [51887.853812] sd 8:0:0:0: [sdi]
May 24 14:08:32 node51 kernel: [51887.853815] Add. Sense: Unrecovered read error
May 24 14:08:32 node51 kernel: [51887.853819] sd 8:0:0:0: [sdi] CDB:
May 24 14:08:32 node51 kernel: [51887.853822] Read(10): 28 00 00 1b 6e 00 00 00 01 00
May 24 14:08:32 node51 kernel: [51887.853836] end_request: critical medium error, dev sdi, sector 14381056
May 24 14:08:32 node51 kernel: [51887.853849] Buffer I/O error on device sdi, logical block 1797632

Untuk mendapatkan output dalam log, saya mencari LBA bermasalah pertama (14381058, dalam kasus saya) dengan perintah ini:

root@node51 [~]# dd if=/dev/sdi of=/dev/zero bs=512 count=1 skip=14381058
dd: error reading ‘/dev/sdi’: Input/output error
0+0 records in
0+0 records out
0 bytes (0 B) copied, 7.49287 s, 0.0 kB/s

Tidak heran mdmenyerah! Itu tidak dapat membangun kembali array dari drive yang buruk.

Teknologi baru ( smartmontoolskompatibilitas perangkat keras yang lebih baik ?) Telah memungkinkan saya untuk mendapatkan informasi SMART dari drive, termasuk lima kesalahan terakhir (dari 1393 kesalahan sejauh ini):

root@node51 [~]# smartctl -a /dev/sdi
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-43-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 5K3000
Device Model:     Hitachi HDS5C3020ALA632
Serial Number:    ML2220FA040K9E
LU WWN Device Id: 5 000cca 36ac1d394
Firmware Version: ML6OA800
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    5940 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 2.6, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Sun May 24 14:13:35 2015 CDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART STATUS RETURN: incomplete response, ATA output registers missing
SMART overall-health self-assessment test result: PASSED
Warning: This result is based on an Attribute check.

General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                                        was suspended by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (21438) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 358) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   136   136   054    Pre-fail  Offline      -       93
  3 Spin_Up_Time            0x0007   172   172   024    Pre-fail  Always       -       277 (Average 362)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       174
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       8
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   146   146   020    Pre-fail  Offline      -       29
  9 Power_On_Hours          0x0012   097   097   000    Old_age   Always       -       22419
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       161
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       900
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       900
194 Temperature_Celsius     0x0002   127   127   000    Old_age   Always       -       47 (Min/Max 19/60)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       8
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       30
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       2

SMART Error Log Version: 1
ATA Error Count: 1393 (device log contains only the most recent five errors)
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 1393 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:59:34.096  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:59:30.334  READ DMA EXT
  b0 d5 01 09 4f c2 00 00   1d+03:57:59.057  SMART READ LOG
  b0 d5 01 06 4f c2 00 00   1d+03:57:58.766  SMART READ LOG
  b0 d5 01 01 4f c2 00 00   1d+03:57:58.476  SMART READ LOG

Error 1392 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:59:30.334  READ DMA EXT
  b0 d5 01 09 4f c2 00 00   1d+03:57:59.057  SMART READ LOG
  b0 d5 01 06 4f c2 00 00   1d+03:57:58.766  SMART READ LOG
  b0 d5 01 01 4f c2 00 00   1d+03:57:58.476  SMART READ LOG
  b0 d5 01 00 4f c2 00 00   1d+03:57:58.475  SMART READ LOG

Error 1391 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:56:28.228  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:56:24.549  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 10 f0 71 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 f0 00 71 db 40 00   1d+03:56:06.710  READ DMA EXT

Error 1390 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:56:24.549  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 10 f0 71 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 f0 00 71 db 40 00   1d+03:56:06.710  READ DMA EXT
  25 00 10 f0 70 db 40 00   1d+03:56:06.687  READ DMA EXT

Error 1389 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 10 f0 71 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 f0 00 71 db 40 00   1d+03:56:06.710  READ DMA EXT
  25 00 10 f0 70 db 40 00   1d+03:56:06.687  READ DMA EXT
  25 00 f0 00 70 db 40 00   1d+03:56:03.026  READ DMA EXT

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed: read failure       90%     21249         14381058

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Ahh ... itu akan melakukannya.

Sekarang, saya telah memecahkan pertanyaan ini dalam tiga langkah mudah:

1. Menjadi administrator sistem dalam tiga tahun.
2. Periksa log.
3. Kembali ke Pengguna Super dan menertawakan pendekatan saya dari tiga tahun lalu .

UPDATE (19 Juli 2015): Bagi siapa pun yang ingin tahu, drive akhirnya kehabisan sektor untuk memetakan:

root@node51 [~]# smartctl -a /dev/sdg
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-43-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 5K3000
Device Model:     Hitachi HDS5C3020ALA632
Serial Number:    ML2220FA040K9E
LU WWN Device Id: 5 000cca 36ac1d394
Firmware Version: ML6OA800
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    5940 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 2.6, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Sun Jul 19 14:00:33 2015 CDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART STATUS RETURN: incomplete response, ATA output registers missing
SMART overall-health self-assessment test result: FAILED!
Drive failure expected in less than 24 hours. SAVE ALL DATA.
See vendor-specific Attribute list for failed Attributes.

General SMART Values:
Offline data collection status:  (0x85) Offline data collection activity
                                        was aborted by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      ( 117) The previous self-test completed having
                                        the read element of the test failed.
Total time to complete Offline
data collection:                (21438) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 358) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   099   099   016    Pre-fail  Always       -       2
  2 Throughput_Performance  0x0005   136   136   054    Pre-fail  Offline      -       93
  3 Spin_Up_Time            0x0007   163   163   024    Pre-fail  Always       -       318 (Average 355)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       181
  5 Reallocated_Sector_Ct   0x0033   001   001   005    Pre-fail  Always   FAILING_NOW 1978
  7 Seek_Error_Rate         0x000b   086   086   067    Pre-fail  Always       -       1245192
  8 Seek_Time_Performance   0x0005   146   146   020    Pre-fail  Offline      -       29
  9 Power_On_Hours          0x0012   097   097   000    Old_age   Always       -       23763
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       167
192 Power-Off_Retract_Count 0x0032   092   092   000    Old_age   Always       -       10251
193 Load_Cycle_Count        0x0012   092   092   000    Old_age   Always       -       10251
194 Temperature_Celsius     0x0002   111   111   000    Old_age   Always       -       54 (Min/Max 19/63)
196 Reallocated_Event_Count 0x0032   001   001   000    Old_age   Always       -       2927
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       33
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       2

SMART Error Log Version: 1
ATA Error Count: 2240 (device log contains only the most recent five errors)
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 2240 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 f0 18 0f 2f 00  Error: IDNF 240 sectors at LBA = 0x002f0f18 = 3084056

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 18 0f 2f 40 00      00:25:01.942  WRITE DMA EXT
  35 00 f0 28 0e 2f 40 00      00:25:01.168  WRITE DMA EXT
  35 00 f0 38 0d 2f 40 00      00:25:01.157  WRITE DMA EXT
  35 00 f0 48 0c 2f 40 00      00:25:01.147  WRITE DMA EXT
  35 00 f0 58 0b 2f 40 00      00:25:01.136  WRITE DMA EXT

Error 2239 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 5a 4e f7 2e 00  Error: IDNF 90 sectors at LBA = 0x002ef74e = 3077966

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 b8 f6 2e 40 00      00:24:57.967  WRITE DMA EXT
  35 00 f0 c8 f5 2e 40 00      00:24:57.956  WRITE DMA EXT
  35 00 f0 d8 f4 2e 40 00      00:24:57.945  WRITE DMA EXT
  35 00 f0 e8 f3 2e 40 00      00:24:57.934  WRITE DMA EXT
  35 00 f0 f8 f2 2e 40 00      00:24:57.924  WRITE DMA EXT

Error 2238 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 40 a8 c6 2e 00  Error: IDNF 64 sectors at LBA = 0x002ec6a8 = 3065512

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 f8 c5 2e 40 00      00:24:49.444  WRITE DMA EXT
  35 00 f0 08 c5 2e 40 00      00:24:49.433  WRITE DMA EXT
  35 00 f0 18 c4 2e 40 00      00:24:49.422  WRITE DMA EXT
  35 00 f0 28 c3 2e 40 00      00:24:49.412  WRITE DMA EXT
  35 00 f0 38 c2 2e 40 00      00:24:49.401  WRITE DMA EXT

Error 2237 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 ea be ba 2e 00  Error: IDNF 234 sectors at LBA = 0x002ebabe = 3062462

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 b8 ba 2e 40 00      00:24:39.263  WRITE DMA EXT
  35 00 f0 c8 b9 2e 40 00      00:24:38.885  WRITE DMA EXT
  35 00 f0 d8 b8 2e 40 00      00:24:38.874  WRITE DMA EXT
  35 00 f0 e8 b7 2e 40 00      00:24:38.862  WRITE DMA EXT
  35 00 f0 f8 b6 2e 40 00      00:24:38.852  WRITE DMA EXT

Error 2236 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 86 c2 2a 2e 00  Error: IDNF 134 sectors at LBA = 0x002e2ac2 = 3025602

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 58 2a 2e 40 00      00:24:25.605  WRITE DMA EXT
  35 00 f0 68 29 2e 40 00      00:24:25.594  WRITE DMA EXT
  35 00 f0 78 28 2e 40 00      00:24:25.583  WRITE DMA EXT
  35 00 f0 88 27 2e 40 00      00:24:25.572  WRITE DMA EXT
  35 00 f0 98 26 2e 40 00      00:24:25.561  WRITE DMA EXT

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short captive       Completed: read failure       50%     23763         869280
# 2  Extended offline    Completed without error       00%     22451         -
# 3  Short offline       Completed without error       00%     22439         -
# 4  Extended offline    Completed: read failure       90%     21249         14381058
1 of 2 failed self-tests are outdated by newer successful extended offline self-test # 2

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Dalam kasus saya, itu juga disk sumber yang buruk. Meskipun terlihat pada waktu yang tidak tepat (/ proc / mdstat berkembang di atas 99,9% secara normal - tetapi sebenarnya gagal pada 99,97% yang diakhiri dengan saat sinkronisasi reguler akan selesai). Jadi, Anda perlu memeriksa dmesg(1)output - ini akan memberi tahu Anda jika ada kesalahan baca.

Anda dapat melihat detail kasus saya di Bug Debian # 767243 . Saya akhirnya berhasil menyelesaikan sinkronisasi dengan memaksa-menimpa beberapa sektor buruk pada disk sumber (yang untungnya tidak dapat digunakan dalam kasus saya, jika tidak akan ada kehilangan data)

Kamu bisa mencoba

sudo mdadm --assemble --update=resync /dev/md0 /dev/sdb1 /dev/sdc1

untuk memperbarui drive dan melakukan sinkronisasi ulang.

Tidak yakin apakah itu akan berhasil karena Anda sudah --addmengedit disk tetapi --re-addtampaknya menjadi opsi yang Anda butuhkan.

Atau mungkin Anda perlu ke --growperangkat ke 2 disk aktif , mdadm --grow -n 2? Tidak diuji jadi hati-hati.

Saya akan merekomendasikan menghapus sdc1, memberi nol pada blok super pada sdc1 dan kemudian menambahkannya kembali.

mdadm /dev/md0 -r /dev/sdc1
mdadm --zero-superblock /dev/sdc1
mdadm /dev/md0 -a /dev/sdc1