В воскресенье с утра на почту пришло письмо от меня. В нём сообщалось что на Жорике проблема с диском: Device: /dev/sdd [SAT], ATA error count increased from 1 to 3

Подключился, проверил, 3 ошибки в одном и том же секторе. RAID массив с ними справился. Но диск похоже пора менять.

Сначала попробовал записать ноли в проблемный сектор, может диск сможет использовать резервы. Но увы, это не помогло. Ладно, в статистике указано, что диск работает уже почти 6 лет. Пора ему на покой.

Пошёл смотреть что я могу приобрести и очумел. HDD на 1 Тб стоят 10000 рублей!!! В начале года покупал Seagate Barracuda на 1 Тб за 3500 и думал что дороговато. Видимо такие ценники связаны с указом проверять фуры на границе Казахстана, выяснилось что большинство товара ввозится без документов. Прощай дешёвый китайский импорт.

В интернетах пишут про выросшие в три раза ценники на оперативку и жёсткие диски из-за дата центров.

Делать нечего, съездил, купил, Seagate SkyHawk ST1000VX013 за 9799 рублей.

• RPM — 5400 об/мин

• Кэш — 256 МБ

• RAID Edition — официально поддерживает RAID

• Оптимизирован для 24/7 работы, MTBF ~1 млн часов

• Поддержка TLER (предотвращает преждевременное исключение диска из массива при временных ошибках чтения)

Подключаюсь к Жорику, останавливаю все контейнеры.

Вот так вот выглядит мой RAID 5 массив

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid0] [raid1] [raid10] 
md0 : active raid5 sdc[1] sdd[3] sdb[0]
      1953260544 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 0/8 pages [0KB], 65536KB chunk

unused devices: <none>

Проверяю что массив ничто не использует: sudo lsof +D /mnt/raid5
Демонтирую массив: sudo umount /mnt/raid5
Проверяю: mount | grep raid5

Помечаю старый диск как неисправный и удаляю его

sudo mdadm --fail /dev/md0 /dev/sdd`
mdadm: set /dev/sdd faulty in /dev/md0
sudo mdadm --remove /dev/md0 /dev/sdd
mdadm: hot removed /dev/sdd from /dev/md0

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid0] [raid1] [raid10] 
md0 : active raid5 sdc[1] sdb[0]
      1953260544 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      bitmap: 0/8 pages [0KB], 65536KB chunk

unused devices: <none>

Выключаю сервер: sudo shutdown -h now

На почту прилетело письмо, не зря я настраивал мониторинг дисков:

This is an automatically generated mail message.  
Fail event detected on md device /dev/md0, component device /dev/sdd  
The /proc/mdstat file currently contains the following:  
  
Personalities : [raid6] [raid5] [raid4] [raid0] [raid1] [raid10]  
md0 : active raid5 sdc[1] sdd[3](F) sdb[0]  
      1953260544 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]  
      bitmap: 0/8 pages [0KB], 65536KB chunk  
  
unused devices: <none>

Меняю диск. Важно написать серийник диска сбоку, что бы потом не искать его в случае чего.

Запускаю, проверяю что система видит новый диск

lsblk
NAME                      MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                         8:0    0 931.5G  0 disk  
|-sda1                      8:1    0     1M  0 part  
|-sda2                      8:2    0     2G  0 part  /boot
`-sda3                      8:3    0 929.5G  0 part  
  `-ubuntu--vg-ubuntu--lv 252:0    0   100G  0 lvm   /
sdb                         8:16   0 931.5G  0 disk  
`-md0                       9:0    0   1.8T  0 raid5 /mnt/raid5
sdc                         8:32   0 931.5G  0 disk  
`-md0                       9:0    0   1.8T  0 raid5 /mnt/raid5
sdd                         8:48   0 931.5G  0 disk  

Добавляю новый диск в RAID 5 массив

sudo mdadm --add /dev/md0 /dev/sdd
mdadm: added /dev/sdd

Проверяю, началась ли синхронизация

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid0] [raid1] [raid10] 
md0 : active raid5 sdd[3] sdb[0] sdc[1]
      1953260544 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      [>....................]  recovery =  0.5% (5075676/976630272) finish=102.0min speed=158614K/sec
      bitmap: 3/8 pages [12KB], 65536KB chunk

unused devices: <none>

Включаю слежку за синхронизацией: watch -n 5 cat /proc/mdstat

Every 5.0s: cat /proc/mdstat                                                                                                                      zhorik: Sun Dec  7 15:40:35 2025

Personalities : [raid6] [raid5] [raid4] [raid0] [raid1] [raid10]
md0 : active raid5 sdd[3] sdb[0] sdc[1]
      1953260544 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      [=>...................]  recovery =  9.8% (96380052/976630272) finish=88.9min speed=164869K/sec
      bitmap: 3/8 pages [12KB], 65536KB chunk

unused devices: <none>

Важно не выключать и не перезагружать сервер, пока синхронизация не завершится. Процесс может занять много часов, в зависимости от скорости дисков и объёма данных.

Дождался восстановления массива, проверяю

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid0] [raid1] [raid10] 
md0 : active raid5 sdd[3] sdb[0] sdc[1]
      1953260544 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 3/8 pages [12KB], 65536KB chunk

# [UUU] - все три диска активны, синхронизированы, ошибок нет

unused devices: <none>

sudo mdadm --detail /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Mon Mar 24 11:17:41 2025
        Raid Level : raid5
        Array Size : 1953260544 (1862.77 GiB 2000.14 GB)
     Used Dev Size : 976630272 (931.39 GiB 1000.07 GB)
      Raid Devices : 3
     Total Devices : 3
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sun Dec  7 17:27:32 2025
             State : clean # массив в порядке
    Active Devices : 3 # все три диска активны
   Working Devices : 3
    Failed Devices : 0 # проблемных дисков нет
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : bitmap

              Name : zhorik:0  (local to host zhorik)
              UUID : 13a46a0d:51848ca8:9d9c2f7d:c6c54c77
            Events : 13784

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync   /dev/sdb
       1       8       32        1      active sync   /dev/sdc
       3       8       48        2      active sync   /dev/sdd

Массив смонтировался обратно автоматически при запуске, поэтому мне нужно только запустить свои контейнеры и всё должно работать.

# посмотрю инфу про новый диск
sudo smartctl -i /dev/sdd
smartctl 7.4 2023-08-01 r5530 [x86_64-linux-6.8.0-88-generic] (local build)
Copyright (C) 2002-23, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     ST1000VX013-3CV10C
Serial Number:    WWD4E571
LU WWN Device Id: 5 000c50 0fb8c85aa
Firmware Version: CV10
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Form Factor:      3.5 inches
Device is:        Not in smartctl database 7.3/5528
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Sun Dec  7 17:35:34 2025 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled