Ситуация повторяется в разных машинных залах с неприятной регулярностью: массив собран из шести одинаковых дисков, купленных вместе, три года работает без замечаний, затем один накопитель отказывает, а через несколько дней или недель за ним уходит второй — иногда прямо во время перестроения. Совпадением это не является. У корреляции отказов внутри партии есть несколько независимых механизмов, и все они складываются.

Общий дефект производства

Диски выпускаются сериями. В пределах серии совпадает всё: партия подшипников, партия магнитов, конкретная катушка ленты для гибкого шлейфа, версия прошивки, настройки сборочной линии, даже смена и оператор. Если в процесс попала отклонившаяся комплектующая или ошибка в микрокоде управления трансляцией, дефект достаётся не одному экземпляру, а всему выпуску за этот интервал.

Такой дефект редко проявляется сразу — иначе он не прошёл бы выходной контроль. Он проявляется как ускоренная деградация: смазка подшипника вырабатывается быстрее нормы, у твердотельного накопителя контроллер неудачно распределяет износ по блокам, у механического сильнее уходит позиционирование головки при нагреве. Наработка до отказа сокращается, но сокращается примерно одинаково у всех экземпляров партии. Отсюда узкое распределение отказов вместо размазанного по годам.

Одинаковая наработка и одинаковая нагрузка

Даже при полностью исправной партии остаётся вторая причина, чисто эксплуатационная. Диски в одном массиве включаются в один день, работают одно и то же число часов, переживают одни и те же скачки температуры, одни и те же перебои питания. В зеркале и в массивах с чередованием нагрузка распределена почти поровну: число операций записи, суммарный объём переданных данных и число парковок головок совпадают с точностью до процентов.

Ресурс — величина статистическая, но у неё есть математическое ожидание. Когда шесть устройств с одинаковым ресурсом проходят одинаковый путь, они подходят к границе одновременно. Первый отказ здесь не случайное событие, а сигнал, что остальная группа стоит вплотную к тому же порогу. Именно поэтому опытные администраторы после первого отказа в старой группе планируют замену всей группы, а не одного диска.

Почему перестроение усиливает эффект

Третий механизм добавляется уже после отказа. Пока массив восстанавливается, оставшиеся диски читаются целиком и на максимальной интенсивности — это самая тяжёлая нагрузка за всё время их жизни, и длится она часами или сутками. Накопитель, который спокойно обслуживал редкие обращения к горячей части тома, внезапно обязан отдать каждый сектор, включая те, которые не читались годами.

Именно на этом этапе всплывают нечитаемые секторы, накопившиеся незаметно. Массив без избыточности не может восстановить такой блок по чётности — избыточность уже израсходована на выбывший диск. В результате второй отказ фиксируется не потому, что диск внезапно сломался, а потому, что скрытая проблема впервые оказалась на пути чтения. Регулярная фоновая вычитка всего тома снимает большую часть этого риска: ошибки находятся заранее, когда есть чем их починить. Особенности поведения дисков под такой нагрузкой разобраны в разделе про серверные накопители.

Что с этим делают на практике

Разбавление партии — самая прямая мера. При закупке набора имеет смысл взять устройства из разных поставок, а лучше двух моделей близкого класса от разных производителей. Совпадение характеристик по ёмкости и скорости достаточно, полная идентичность не требуется. Идея простая: событие, которое выкосит одну партию, не затронет вторую, и корреляция отказов разрушается.

Вторая мера — разнесение наработки. Если массив расширяется или диск меняется, новый экземпляр естественным образом получает другой возраст, и группа перестаёт быть однородной по износу. В крупных хранилищах это делают намеренно, вводя часть дисков с задержкой в несколько месяцев.

Третья — резервный диск в горячем состоянии. Он сокращает окно, в течение которого массив живёт без избыточности, до времени автоматического старта восстановления, а не до времени приезда инженера. При двух отказах подряд разница между «перестроение началось через минуту» и «через сутки» становится решающей.

Наблюдение вместо ожидания

Показатели самодиагностики у дисков одной партии полезно сравнивать между собой, а не только с абсолютными порогами. Если у пяти накопителей число переназначенных секторов нулевое, а у шестого начало расти, это ранний признак. Если оно начало расти сразу у нескольких — это признак того, что партия подошла к своему пределу, и планировать надо не замену диска, а замену группы.

Отдельно стоит следить за температурой и её разбросом по корзине: диск, стоящий в худшей по продуву позиции, стареет быстрее соседей и отказывает первым, даже если партия здоровая. Организация потока воздуха через корзину — часть той же задачи надёжности, что и выбор дисков. Резервирование не отменяет мониторинга: массив защищает от одного отказа, а не от совпадения нескольких, и вся описанная механика работает именно на то, чтобы такое совпадение стало маловероятным.