Электрика для дата-центра и серверной комнаты компании: надёжность N+1

Стойка не падает от того, что сервер плохой. Стойка падает, когда на вводе моргнуло на 80 миллисекунд, ИБП оказался один на всё, а ДГУ не завёлся, потому что солярку last раз меняли при прошлом директоре. Электроснабжение серверной комнаты — это не «розетка потолще». Это система, где каждый элемент имеет дубля, и мы за 12 лет в Краснодаре насмотрелись, как именно она ломается.

Сколько стоит минута простоя — и почему про это говорят первым

К нам приехал заказчик из ЮМР — оператор связи, небольшой ЦОД на полторы сотни юнитов. Вопрос звучал так: «У нас всё работает, зачем нам второй ввод за такие деньги?» Через месяц после монтажа Россети Кубань делали плановые работы на подстанции, питающей квартал. Свет в офисе погас на сорок минут. Стойки не заметили — отработал автоматический ввод резерва, потом ДГУ. Заказчик потом сам признался, что эти деньги отбились за один день.

Логика бизнеса простая. Если час простоя стоит вам 200–500 тысяч (а для банка или биллинга оператора это заниженная цифра), то схема резервирования за 1,5–3 млн рублей окупается на первом же серьёзном инциденте. И инцидент будет — в Краснодаре сеть нестабильна, особенно в частном секторе и на окраинах вроде Гидростроя или Новознаменского, где трансформаторы перегружены новыми ЖК от Самолёта и Догмы.

N, N+1, 2N — что это на пальцах

Буква N — это нагрузка, которую нужно обеспечить. Допустим, вашим стойкам нужно 30 кВт. N — стоит один ИБП на 30 кВт, и если он умер, вы умерли вместе с ним. N+1 — стоит, например, четыре модуля по 10 кВт, где три держат нагрузку, а один в резерве: вышел из строя любой — остальные тянут. 2N — две полностью независимые системы, каждая способна держать всё в одиночку. Разница в цене между N+1 и 2N — почти вдвое, и для большинства компаний это перебор.

Резервирование N+1 в питании — это золотая середина: вы переживаете отказ любого одного компонента без остановки, но не платите за полное дублирование. Именно с этого уровня мы рекомендуем начинать разговор про серьёзный аптайм.

Два ввода: где живёт настоящая надёжность

Самая частая ошибка, которую мы видим на объектах — «два ввода» от одной и той же подстанции, по соседним кабелям в одном лотке. Это не резервирование. Если экскаватор перебьёт траншею (а на Энке при застройке это случается регулярно), вы теряете оба ввода разом.

Настоящий второй ввод — это независимый источник: другая секция шин на подстанции, в идеале другой фидер. По первой категории электроснабжения (а серверная по СП — это первая, иногда особая группа первой) питание идёт от двух независимых взаимно резервирующих источников. Согласовывается это с Россети Кубань или НЭСК через техусловия, и в Краснодаре получение второго независимого ввода — отдельный квест на 2–4 месяца. Мы это сопровождаем.

• АВР (автоматический ввод резерва) — переключает на второй ввод за доли секунды. Берём ABB или Schneider, на ответственных объектах — с микропроцессорным контроллером, а не на простых контакторах.
• Время переключения — пока АВР думает (0,5–3 сек), нагрузку держит ИБП. Без ИБП АВР серверную не спасёт — сервер перезагрузится за 20 мс провала.
• Селективность защит — автоматы вводного, секционного и отходящих щитов подбираются по времятоковым характеристикам, чтобы при КЗ выбивало только нужный, а не весь щит.

ИБП: онлайн, и точка

Для серверной подходит только ИБП с двойным преобразованием — online / double-conversion. Никаких line-interactive, которые ставят в офисы под кассы. Online постоянно держит идеальную синусоиду на выходе независимо от того, что творится на входе, а в Краснодаре на входе творится многое: просадки напряжения летом при пиковой нагрузке кондиционеров по всему городу, скачки после грозы, последствия работы ТСПУ и нестабильность сети.

Резервирование самого ИБП делаем модульным. Модульный ИБП (Eaton, APC Schneider Symmetra, российские «Парус» и «Связь инжиниринг») набирается силовыми модулями: для N+1 ставим на один модуль больше, чем нужно по нагрузке. Сдох модуль — система даже не моргнула, меняем горячей заменой. Это честный N+1 внутри одного шкафа.

Про батареи отдельно. Время автономии ИБП считают не «чтобы работало вечно», а чтобы хватило на запуск и выход на режим ДГУ — это 5–10 минут с запасом. Платить за полчаса автономии на батареях, когда есть дизель, экономически бессмысленно. И помните про краснодарское лето: батареи живут дольше при +20…+25 °C, а при +35 в плохо охлаждаемой серверной их ресурс падает вдвое. Литий (LiFePO4) дороже свинца на старте, но при нашей жаре служит втрое дольше и занимает меньше места.

ДГУ: дизель, который реально заводится

Дизель-генераторная установка — третий рубеж. Ввод упал, АВР переключил, ИБП держит, а параллельно стартует ДГУ и берёт нагрузку на себя на всё время аварии. Звучит красиво. На практике 9 из 10 проблем с ДГУ — не электрика, а эксплуатация: старое топливо, разряженный стартерный аккумулятор, не прогретый блок.

Мы ставим ДГУ с автозапуском и блоком АВР генератора (ABB, либо контроллеры DSE/ComAp). Обязательно — система подогрева антифриза, чтобы дизель в краснодарскую «зиму» с её сыростью заводился с первого оборота, и автоматический подзаряд стартерной батареи. Топливо — с присадками и регламентом замены раз в полгода-год. Без этого ДГУ — дорогая декорация.

• Мощность ДГУ — берём с запасом 25–30% над пиковой нагрузкой серверной плюс охлаждение (кондиционеры — это половина потребления ЦОД).
• Расположение — отдельный контейнер или помещение с шумоизоляцией и отводом выхлопа. На побережье (Анапа, Геленджик, Сочи) добавляем антикоррозийную защиту — морской воздух съедает контакты и клеммы за пару сезонов.
• Регламентные пуски — раз в месяц под нагрузкой, не вхолостую. Холостой прогон закоксовывает дизель. Это прописываем в договоре на обслуживание.

Аптайм не покупается коробкой ИБП. Аптайм — это когда отказ любого одного звена не виден стойке. Ввод, переключатель, источник бесперебойного питания, генератор, заземление, мониторинг — у каждого должен быть дубль или быстрый план Б. Цепочка рвётся по самому слабому звену, и обычно это то, на чём решили сэкономить.

главный инженер «Артель Панорама»

Заземление и грозозащита — то, что чаще всего недоделывают

Серверная — это километры неэкранированной логики, которой смертельны разности потенциалов и наводки. Заземление здесь не «воткнули штырь во дворе», а система TN-S с отдельным защитным проводником PE на всём протяжении, выделенным контуром и шиной выравнивания потенциалов, к которой приходят все металлические части: стойки, лотки, фальшпол, корпуса оборудования.

По СО 153-34.21.122 и ПУЭ сопротивление заземляющего устройства для электроустановок нормируется, но для серверной важнее не голая цифра в омах, а отсутствие разности потенциалов между точками. Мы измеряем и протоколируем это при сдаче. Грозы в Краснодаре летом — почти ежедневные, и без многоуровневого УЗИП (классы I+II+III, ставим DKC, Citel, ABB) первая же серьёзная гроза наводит импульс по сети или СКС и выжигает порты.

Щит, кабель и распределение по стойкам

Распределительный щит серверной — сердце системы. Собираем на компонентах ABB или Schneider Acti9 (вводные и ответственные группы), бюджетные участки можно на IEK PROxima или EKF — но не на отходящих линиях критичных стоек. Каждая стойка питается от двух независимых PDU (блоков розеток), запитанных от разных лучей: луч А от первого ИБП, луч Б от второго. Двублоковый сервер видит оба и не замечает падения одного.

• Кабель — медь, сечение с запасом по нагреву (серверная греется), на критичных линиях огнестойкий ВВГнг(А)-FRLS. Алюминий в серверной не используем никогда.
• Лотки — раздельные для силовых и слаботочных линий (СКС), чтобы силовая не наводила помехи на сеть. Минимальный разнос или экранированные перегородки DKC.
• Маркировка и однолинейка — каждый автомат, кабель и PDU подписан, схема актуальна и лежит в щите. Когда в 3 часа ночи что-то легло, инженер не должен гадать.

Мониторинг: видеть аварию до того, как она случилась

Самый дорогой простой — тот, о котором узнали от клиентов. Поэтому в систему встраиваем мониторинг: датчики напряжения и тока на вводах, температуры и влажности в зале, контроль заряда батарей ИБП, состояния ДГУ и уровня топлива, протечки под фальшполом. Всё это сводится в панель (SNMP, Modbus) и шлёт алерты на телефон дежурного.

Связка простая, но работает: ИБП деградирует батарея — алерт за неделю до отказа, а не в момент пропадания света. Кондиционер не справляется в +40 — видно по росту температуры заранее. Это то, что отличает серверную, которая «работает», от серверной, которая работает предсказуемо.

Частые вопросы

Можно ли обойтись одним ИБП без ДГУ для серверной комнаты?

Можно, если ваши данные терпят простой в пределах автономии батарей — это обычно 10–30 минут. Для офисной серверной с ежедневным бэкапом такой схемы достаточно. Но если речь про круглосуточный сервис, биллинг или операторскую инфраструктуру, без ДГУ вы не переживёте отключение на 2–3 часа, а такие в Краснодаре случаются при авариях на сетях Россети Кубань. ИБП держит секунды-минуты, дизель — часы и сутки.

Чем N+1 отличается от 2N простыми словами?

N+1 — это «один запасной»: компонентов на единицу больше, чем нужно для работы, и отказ любого одного вы переживаете. 2N — это две полностью независимые системы, каждая в одиночку тянет всю нагрузку, дублируется буквально всё, включая вводы и трассы. 2N дороже почти вдвое и нужен банкам и крупным операторам. Для серверной комнаты компании резервирование N+1 в питании — оптимальный баланс цены и надёжности.

Сколько стоит электроснабжение серверной комнаты под ключ в Краснодаре?

Зависит от мощности и уровня резервирования. Малая серверная (до 10 кВт, online-ИБП, один ввод усиленный, заземление, мониторинг) — от 600–900 тыс. рублей. Полноценный N+1 с модульным ИБП, вторым вводом и ДГУ для ЦОД компании на 30–50 кВт — 2–4 млн рублей под ключ. Точную цифру даём после обследования площадки и расчёта нагрузки — заочно её называть нечестно.

Нужен ли второй независимый ввод, если есть ИБП и генератор?

Второй ввод и ДГУ решают разные задачи. Ввод — это штатное резервирование сети без расхода топлива и износа дизеля. ДГУ — на случай длительной аварии обоих вводов. Идеальная схема: два независимых ввода с АВР, ИБП на переходные процессы и ДГУ как последний рубеж. Если бюджет ограничен, начинают с ИБП + ДГУ, а второй ввод добавляют позже — но в проекте место под него закладываем сразу.

Как краснодарский климат влияет на оборудование серверной?

Сильно. Жара +38 °C сокращает ресурс свинцовых батарей ИБП и провоцирует ложные срабатывания диф-электроники — поэтому защиту разносим в климат-контролируемый щит, а батареи держим в прохладе или ставим литий. Частые грозы требуют полноценного УЗИП классов I+II+III и грамотного заземления. На побережье — Анапа, Геленджик, Сочи, Витязево — добавляется коррозия от морского воздуха, контакты и клеммы защищаем и обслуживаем чаще.