Вопрос: Инженеры используют взрывчатку для удаления хард-рока за пределами нашего офисного здания. Какие контрмеры мы должны принять?


Наше здание расположено ок. В 100 метрах от взрывных зарядов. Они случаются несколько раз в день и очень сильно встряхивают все здание. Это будет продолжаться много дней, и взрывы должны стать сильнее.

Наши серверные комнаты ничем не интересны; один из них имеет все стойки на жестком бетоне, а в другом - фальшпол (тот, который позволяет кабелям проходить под ним).

У кого-нибудь есть какие-либо советы, контрмеры или лучшие практики для нас?

В настоящее время мы думаем о следующих контрмерах:

  • Ежедневный отчет о статусах состояния серверных комнат (лампы высокой четкости, источники питания и т. Д.).
  • Ночная проверка диска на самых важных серверах
  • Заказ на поставку запасных жестких дисков

Изменить: много хороших ответов здесь! Однако нужно принять его. Самый высокий голосовой ответ во время этого редактирования получит их ответ.


120
2017-09-19 19:04


Источник


Удостоверьтесь, что у вас хорошие резервные копии! - Shane Madden♦
Спросите, можете ли вы взять пару палочек динамита, под рукой, чтобы обойти зомби-апокалипсис ... - Ward
Спросите, можете ли вы нажать кнопку для одного из сборов! - RobW
Используйте гаубицу в сочетании с противотанковыми ракетами. - xpda
Разверните Smooth Jazz. - Andrew


Ответы:


Если бы я был вами, я бы назвал страховую компанию компании и разместил акселерометр.

Таким образом, страховая компания будет знать, что вы не тот, кто встряхивает диски, и страховая компания будет точно знать, когда каждый взлет исчезнет, ​​если ваш SAN умрет в тот же самый момент.

(Мы сделали это.)


127
2017-09-19 19:19



Это не ясно из ОП, где он находится, но когда взрыв происходит вблизи других зданий, подрядчику иногда требуется следить за ускорениями, ощущаемыми в других зданиях, т. Е. Размещая в них акселерометр. - Ward
Когда вы это сделали, страховая компания заплатила за любой ущерб? - Phil
Мы не получили никаких повреждений. - pauska


Теперь пришло время убедиться, что вы проверили свое резервное решение. Все запасные аппаратные средства в мире не сэкономит вам, если ваши резервные копии повреждены или иным образом оказались бесполезными.


93
2017-09-19 19:07



Вы не знаете качество резервного копирования, если не проверите восстановление. Просто не проверяйте журналы, чтобы убедиться, что резервные копии завершены - убедитесь, что вы можете восстановить. - Raj More
Я подозреваю, что он имел в виду, что, когда он сказал: «Проверьте свое резервное решение», но я думаю, что это хорошо сказать это явно. :-) - pc1oad1etter


В дополнение ко всем другим отличным предложениям (в частности, резервные копии за пределами площадки), вы должны рассмотреть пылеулавливание ваша комната в меру практична: погода зачистки вокруг дверей, лента вокруг окон и т. д.
Если у вас есть внешний воздухозаборник, вы планируете менять фильтры, когда взрывчатка закончилась.

Все, что сказал, я не буду тратить время / ресурсы на ночные дисковые сканирование или деньги на запасные жесткие диски (возможно, купить один или два для ваших самых критических машин, но помните, что при необходимости вы можете использовать ночные диски).
Серверное оборудование удивительно устойчиво и будет работать в течение многих лет в некоторых довольно ужасных условиях. Скорее всего, с тобой все будет в порядке.


50
2017-09-19 19:55



Я должен +1 вы просто для Серверное оборудование удивительно прочное, У нас были строители на участке через дорогу, и они забивали землю в течение примерно 6 недель, и все наше здание дрожало, и все (до такой степени, что все будет шокировано от вашего стола на пол). Я паниковал, но это было полное не-событие. Тогда этот вопрос был бы приятным :-) - Ben Pilbrow
Компьютеры в целом примут довольно жестокое избиение (подумайте о том, сколько людей бросают ноутбуки каждый день, которые продолжают работать) - эти вещи не так хрупки, как наша история с ламповой трубкой и ферритовым сердечником заставила нас поверить (хотя им все равно следует лечить хорошо, чтобы они не умерли в неподходящие времена) - voretaq7
Силиконовая долина является одним из самых подверженных землетрясениям районов в мире. Материал, который работает там будем выжить несколько потрясений. - MSalters
Pro tip: Не доверяйте никому, если они говорят, что у них есть пылезащитная ваша серверная комната. Никогда. Когда-либо. - pauska
@pauska согласилась - «пылезащитный» - довольно неопределенный термин (и даже если они говорят, что они соответствовали соответствующему стандарту (в США, который был бы MIL-STD-810G 510.5), полагают, что они врет, потому что правильно пылезащитные КОМНАТА - довольно большое мероприятие с воздушными шлюзами, положительным давлением, двухступенчатыми фильтрами HEPA и т. д.), - voretaq7


Установите серверные стойки на ISO-Base платформ. Это изолирует вашу стойку сервера от ударов земли и позволит вашим системам функционировать даже в случае движения.

Это непросто, но эффективно. Особенно в зонах землетрясений.

Чтобы увидеть ISO-Base в действии, просмотрите это видео показывая эффекты в серверной стойке во время моделирования землетрясения, Одна стойка установлена ​​на ISO-Base, вторая стойка - нет.


25
2017-09-19 19:31



Бит поздно для этого сейчас. Но интересная идея. - Matt
Я бы подумал, что это немного перехитрить для краткосрочной взрывной работы лично, но это выглядит как классная система. - voretaq7
Проблема такая же, будь то краткосрочные локальные потрясения или долгосрочные землетрясения с низкой распространенностью. Есть справедливое дело, что, поскольку вы знаете, что 100% эти потрясения наступают, и не знаю, на 100%, что землетрясение ударит, что это лучшая инвестиция прямо сейчас, чем это было бы для землетрясений, даже в подверженных районах. - Chris Thorpe
Я знаю, что уже слишком поздно покупать новые вещи, но вы можете получить хорошее количество прорезиненных винтов для ваших жестких дисков. Они дешевы. - Mister Smith


Питание: Если вы потеряли питание, все серверы, хранилища, san (и т. Д.) В вашей стойке перезагружаются самостоятельно? Или они появятся только после нажатия кнопки «Вкл.»?

Это по двум причинам:

  • Если мощность нестабильна в течение нескольких часов, вы можете оставить свои серверы до тех пор, пока не начнете стабилизироваться - меньше шансов, что отскакивающий сервер будет выведен неверным импульсом мощности.
  • Когда в последний раз вы делали математику с силой тока, необходимой для перезагрузки всех устройств в стойке одновременно? У вас есть сила, чтобы справиться с этим?

Вы также можете предлагать своим пользователям отключать и отключать компьютеры каждый вечер.


17
2017-09-19 19:22



Три маленьких буквы: U P S (и я не имею в виду судоходную компанию). Хорошо проведенная взрывная работа вряд ли приведет к выходу из строя, но по-прежнему нет оправдания тому, что у вас нет хорошей стабильной силы для повседневных проблем ... - voretaq7
Ха! Правильно, и я согласен с использованием ИБП и других линейных кондиционеров. Но Карракс отметил, что взрывные работы «... трясут все здание ...», и ухудшатся. Я не знаю, что вы подразумеваете под «хорошо проведенным», но если мое здание трясет, я бы предположил, что моя 30-летняя (или 1 год) старая подстанция на полквартала по улице тоже трясет ... - RobW
«хорошо проведенный», как в «направленных зарядах и взрывах, так что летающий камень не проходит через трансформатор» - никаких обещаний о свободных соединениях, хотя, если ваша подстанция не справится с какими-то трясками, вашей коммунальной компании может понадобиться «твердая беседа», о текущем обслуживании :-) - voretaq7


Большинство людей говорят о резервном копировании - не многие говорят о восстановлении. Убедитесь, что восстановление из резервной копии максимально упрощается. В частности, если время имеет решающее значение.

Если у вас есть совместная репликация, переключите те, которые будут мастерами (если позволяет время), поскольку те, что находятся в вашем здании, намного более уязвимы. Кроме того, они могут спуститься в рабочее время (очевидно).

Я также советую работать дома.


12
2017-09-20 06:32



Очень, очень хороший момент. Я видел много неудачных планов резервного копирования, потому что они не включают эффективный «план восстановления». Два дня отключения электроэнергии могут означать огромные платежи для оплаты вашим клиентам. Процедуру восстановления следует рассматривать с экономической точки зрения и интегрировать в план действий по чрезвычайным ситуациям. - gd1


Играйте тяжелый металл, чтобы заменить хард-рок, когда он взрывается. В любом случае хард-рок так пассирует. ;)

Более серьезно, может быть, в углу есть магазин диджейских диджеев, где вы можете подобрать какой-то амортизирующий материал. У многих (танцевальной музыки) ди-джеев так же тяжело, когда они играют в рекорды (т. Е. Держа крошечную иглу в крошечной вращающейся канавке, что несколько сопоставимо с чувствительным оборудованием, например дисками) при экстремальном объеме, а толпы вокруг них прыгают и тиспируются на полу в синхронизации («синхронно» важно, если вы никогда не слышали о Мост Такома инцидента, вы должны рассмотреть возможность просмотра этот клип). Разорвите несколько мешков для мусора, чтобы обеспечить дополнительную защиту от пыли.


11
2017-09-19 23:13



Я собирался предложить это. В большинстве клубов просто используются бетонные садовые шлемы, сидящие на пене. Простой, но очень эффективный. - Iain Holder


Я удивлен, что никто не упомянул об аспекте процесса.

Это прекрасная возможность пересмотреть то, что вы запланировали для обеспечения непрерывности бизнеса. Каков план, если вам нужно переместить офисы на день или на неделю? У вас есть современные планы по чертежам и какие системы имеют приоритет для восстановления? Руководство информирует вас о том, что у вас есть план и

Ускорение от взрывов, вызывающих хаос в серверной комнате, вероятно, является наименьшим из ваших забот. Ваши коммунальные услуги могут быть подвержены гораздо более высокому риску, если вы не обладаете достаточной властью и надежной связью на месте (при условии, что вы не автономны и поддерживаете только местных сотрудников).

Если есть проблема с водой или электропитанием или выходом в интернет, вы можете это выжить? Вы позвонили своему интернет-провайдеру, чтобы узнать, знают ли они о взрыве и приступили к восстановлению службы через альтернативный маршрут, если ваши утилиты прерваны. Вы узнаете свои особенности лучше, чем мы можем догадаться, но у вас должен быть список всего, что вам нужно для работы и адресации: «Что, если это неожиданно уйдет?» для каждого.

Просто перейдя это в своей голове / на бумаге, вы узнаете, есть ли у вас какие-либо недостатки, которые нуждаются в работе позже, и, возможно, сообщите об этом цепочке, если ваша организация ничего не написала. Начните с двух страниц, резюме - просто FYI, чтобы все знали, что вы делаете.

Да. Получение нескольких дополнительных жестких дисков / запасных частей под рукой - это хорошо, но меня больше беспокоит то, что я не вижу или не контролирую напрямую.

Реальная польза от этого процесса - проверка реальности для вашей текущей системы мониторинга. После того, как вы планируете некоторые основные сценарии, вы будете лучше подготовлены к неожиданностям. Имея краткий обзор того, что вы ожидаете выжить, и то, что вы делаете, очень полезно, независимо от того, почему вы страдаете от перебоев в работе, а также помогаете в ваших усилиях по улучшению мониторинга 24 часа в сутки, а не в момент начала тряски.


8
2017-09-20 16:07





Раньше я запускал компьютеры на моющем участке, который был исправлен. По мере того как мелиорация стала ближе и ближе к офису, комната с данными дрожала почти каждый день в конце дня.

Мои контрольные меры включали перемещение стеллажей поверх некоторых жестких резиновых ножек, предназначенных для демпфирования вибрации. Они были сделаны Мэнсоном, и я просто оценил вес моей стойки и купил соответствующие ноги. Кажется, это фиксировало любое движение внутри стойки. Жесткая часть поднимала стойку достаточно мягко, чтобы поднять ноги.

Кроме того, как я уже упоминал, у меня были резервные копии, которые я тестировал и не размещал на сайте.

Эти серверы длились 3 года с постоянным встряхиванием без сбоев, связанных с оборудованием. Рабочие столы в офисе не очень хорошо, так как у 2 из них были катастрофические сбои жесткого диска.


8
2017-09-20 16:09





Я еще не видел упоминания о резервных копиях, но не забудьте удалить их с сайта! Вы также можете создать резервную копию конфигураций коммутатора, брандмауэра и т. Д.


7
2017-09-19 19:30





Перечитайте BOFH хроник. Это даст вам некоторые практические идеи о том, как остановить взрывы. Все остальное будет просто контрмерой.

Что касается контрмер, все остальные упоминали о резервных копиях, поэтому я не буду повторять этот хороший совет.

Ежедневно проверяйте свои RAID-массивы рейд, и теперь у вас есть запасные диски. Все эти вибрации не могут быть хороши для шпинделей, и удивительно, как часто сберегаемые массивы теряются из-за тревоги, которую никто не слышит, и второго отказа шпинделя.

Возможно, я настроен оптимистично, но инженеры, производящие взрывные работы, обычно не нацелены на уровни вибрации для «разрушения уровня соседа», поэтому меня больше всего беспокоит движущиеся части компьютеров, а также диски.


5
2017-09-19 22:46