Ох, и затронули же вы тему. Ну давайте поделюсь своим опытом. Работал я в одном крупном ISP, ЦУС наш был рядом с нашим ЦОДом, крч шум был ощущаем. Но к этому привыкаешь.
Прекрасный летний день, суббота, ничто не предвещало беды. Я приехал на смену чуть раньше, успели даже выкурить по сигаретке с нач.смены. Заходим, значится, мы в ЦУС. Смена дрыхнет сладко. И как-то подозрительно тихо... Тишина. И мертвые с косами стоят. Мы бегом в ЦОД, открыли дверь - там ЖАРА, термометры показывают 40+ градусов. Мы будим этих спящих бандерлогов с фразой: "проснитесь, дураки, вы обосрались".
Как всё было: из-за скачков напряжения выбило автомат, который отвечает за половину кондеев. При нарушении каких-либо параметров в ЦОД (инженерная инфраструктура) были специальное сигнальное табло и звуковая аларма. Ну аларма ночью заорала как не в себя.
Нач.смены дежурному инженеру: "Пойди, разберись, плез."
Дежурный:"Ща я всё починю". Подошёл и отключил аларму ручками и преспокойно лёг спать.
Всё не пошло прахом потому что нам повезло с погодой: пошел дождь и на улице было прекрасно - +16. Ещё более прекрасно, что в прощении ЦОДа была пара окон, которые мы открыли. Для блокировки двери мы использовали специально обученные шасси Cisco Catalyst 3600. Стало попрохладнее.
В этом ЦОДе была часть ядра сети, половина столичного прода IP и SDH/PDH, серверный парк, колокейшн и клиентские стойки. Оборудование либо отключилось, либо сначало сходить с ума от перегрева.
Шторм заявок и поток кала были обеспечены. Разгребались всю субботу и часть воскресенья.
Дежурного инженера попросили уйти после этого.
#наташа