Это история из серии «Записки сервисного инженера». На вопрос ответим чуть позже, а сначала небольшой сказ об одном МАССИВном падении. Недавно в наш Сервисный центр обратился клиент, который решил самостоятельно проапгрейдить массив HDS AMS2000: заменить часть старых дисков на новые большего размера. Со слов заказчика, он вставил новый диск – и один контроллер сломался; вытащил новый диск – и второй контроллер тоже включил аварийную индикацию, а со всех систем пропал доступ к массиву.

Задаем администратору вопросы по его действиям. Выясняется, что именно этот администратор заступил на свою смену уже после того, как решили вытащить новый диск. В итоге массив не включался. Согласно логам с контролеров, контроллеры не могли раскрутить диски, а на дисках отсутствовала какая-либо индикация.

Что же тут могло случиться? Собрали «консилиум» наших сервисных инженеров, стали думать. Первая версия: может быть, при установке диска что-то произошло с дисковым бекплейном и он стал нерабочим? Решили найти шасси массива без контроллеров, чтобы заменить шасси целиком вместе с бекплейном. Не найдя его, попросили заказчика переусадить все диски в шасси с контроллером и попробовать завести массив.

И вот тут-то нас ждал что называется «удар – и катарсис» (и та самая «банановая шкурка», которая уронила всю систему). Выяснилось, что в шасси с котроллером клиент вытащил аккурат первые пять дисков (если вы понимаете, о чем я)! Именно их размер он и хотел увеличить. Все то время, пока предпринимались попытки реанимировать массив, диски были извлечены. Вернули прежние диски на место. И, о чудо, массив включился!

Мораль сей басни проста: только курица может бегать без головы, да и то недолго. В HDS Mid-Range на первых пяти дисках хранится копия конфигурации массива. При загрузке массив сначала пытается раскрутить первые 5 дисков в шасси с контроллером. В случае неудачи (например, из-за отсутствия оных), загрузка останавливается.

Николай Ведяшкин, эксперт Сервисного центра компании «Инфосистемы Джет».
Поделиться с друзьями
-->

Комментарии (15)


  1. ky0
    27.01.2017 18:26
    +1

    Хитачи — это вообще вендор для уверенных в себе и стойких людей.

    А что, разве уже разрешают самостоятельно менять/добавлять диски? Это было бы прекрасной новостью.


    1. ktotomskru
      27.01.2017 19:37

      нормальный хитачи вендор, а с дуру и сами знаете что можно сломать. а первые диски аналогичным образом используются и в как минимум emc clariion/vnx.


    1. akardapolov
      27.01.2017 20:31

      Ну, Хитачи так-то в тройке лидеров для СХД общего назначения. Gartner


      1. navion
        28.01.2017 03:15

        Тут скорее про японца, который должен быть в комплекте для обслуживания массива.


        1. ceperaang
          29.01.2017 09:55

          Ха-ха, японца :) Любой желающий заняться СХД + достаточно глупости, чтобы это было именно Hitachi == «японец».


    1. ceperaang
      29.01.2017 09:54

      В такой древности, как AMS, всегда так делали, летать инженерам откуда-нибудь из Москвы, только чтобы диск поменять и ещё чёрт знает сколько ждать его, особенно если это какая-нибудь тьмутаракань — такая глупость, что все на это требование забивают. Другое дело что-то посерьёзнее. Хотя, имхо, там половина трудностей кажется и нужна для того, чтобы у сервисных инженеров на хлеб с маслом было.


  1. R_o_u_n_d
    27.01.2017 20:00

    При загрузке массив сначала пытается раскрутить первые 5 дисков в шасси с контроллером. В случае неудачи (например, из-за отсутствия оных), загрузка останавливается.

    Не осилил, это массив не смог сообщить конкретно об этой ситуации или сообщение «не дошло» до администратора?


    1. azarij
      27.01.2017 23:06

      К сожалению, многие модели СХД, вне зависимости от производителя, даже в критических ситуациях либо не особо стараются внятно сообщить пользователю о ситуации, либо сообщают такими сообщения, что понять реальную причину сбоя, мягко скажем, затруднительно.


  1. KorP
    27.01.2017 20:45
    +1

    Вот последние года полтора я имею дела с хитачи...hus, ams, etc… не, может быть я просто не умею их готовить, или не могу понять «широты мысли», но мне эти массивы совершенно неприятны в работе, да и как то по своим показателям эффекта «вау» они не производят. Не понятно откуда у многих к ним такая любовь и вхождение в лидеры.


  1. azarij
    27.01.2017 22:57
    +4

    Если процедура увеличения вместимости путем замены дисков на большие по размеру и критичность наличия первых пяти дисков не описаны в доступной конечному пользователю документации (например тут https://support.hds.com/download/epcra/df8009en17.pdf), то курицу оставил без головы производитель, а не конечный пользователь.


    1. ceperaang
      29.01.2017 09:57
      +1

      С точки зрения производителя — всё, что не разрешено делать с этими системами — запрещено. Всё, что разрешено — можно сделать через веб-интерфейс. Их даже включать самому нельзя (!=невозможно, однако).


    1. shapa
      30.01.2017 12:04

      Вообще ощущение что большинство традиционных СХД проектировали инопланетяне.

      Не даром, кроме банкрота Yahoo, ни одна из очень крупных онлайн компаний не использует СХД.

      Учитывая какие деньги дерет HDS за свои хранилки, вставить внутрь пару флешек резервированных с копией ОС / конфигурации можно было еще лет 15 назад.

      Но тут наступает другой момент — почему например тот-же Jet любит HDS и прочую устаревшую классику.

      Дело в том что если все спроектировано с умом, а значит не требуются дорогие услуги интегратора на запуск / поддержку.

      Фактически, на рынке есть глобальный сговор (вендоры делают максимально усложненные технологии, интеграторы / партнеры кормятся). Именно поэтому такое мощное противостояние компаниям нового поколения, особенно с ДНК из «онлайнов» (где все и вся автоматизируется и вмешательство сервисных инженеров практически никогда не требуется).


      1. navion
        30.01.2017 12:33

        Тут больше локальные особенности, ведь в Россию не поставляют SolidFire, Nimble и Pure Storage.


        1. shapa
          30.01.2017 17:18

          Так о том и речь. Новые / современные архитектуры — «не выгодно».

          Другой разговор что внешние AFA хранилки — путь в никуда (так-же как почивший Violin), но это другая история.


  1. Tomas_Torquemada
    30.01.2017 11:09

    Не будучи администратором СХД даже отдалённо — и то знаю о таком использовании первых дисков, и не только у Хитачи.
    А тут вроде как люди за СХД ответственные — и такие коленца.
    Какие, однако, смелые админы бывают.