Rambler's Top100
Статьи ИКС № 1 2023
Игорь ДЕНИСОВ  16 января 2023

Критерии выбора ИБП для центров обработки данных

Самый страшный сон для инженера дата-центра – это конец света, только не солнечного, а электрического. Поэтому к выбору ИБП при создании ЦОДа нужно подходить основательно. 

При отключении основного источника электроэнергии именно ИБП будут поддерживать электропитание критической нагрузки до безопасного завершения рабочих процессов или включения резервной ДГУ. В нормальном режиме работы это оборудование тоже не стоит без дела: оно защищает критическое ИТ-оборудование от негативных факторов, связанных со снижением качества электроэнергии, будь то отклонения от номинала напряжения или частоты, высокочастотные помехи от электромагнитных полей или искажения формы напряжения из-за нелинейных нагрузок.

В этой статье я опишу несколько критериев, которыми руководствуюсь при проектировании систем бесперебойного электроснабжения для дата-центров, а в качестве иллюстрации приведу примеры оборудования тайваньской компании Delta и китайской Kehua Tech. Мой выбор пал на этих вендоров не случайно: во-первых, их продукция доступна на нашем рынке, а во-вторых, в отличие от «российских» производителей, которые в лучшем случае занимаются крупноузловой сборкой ИБП из готовых компонентов, эти компании имеют собственные производства с несколькими площадками и научно-исследовательскими центрами, многолетний опыт и хорошую репутацию.

Аккумулятор или маховик?

По технологии резервирования ИБП делятся на статические и динамические. В статических ИБП функцию аккумулирования энергии выполняют устройства, не имеющие вращающихся частей. Например, аккумуляторные батареи, накапливающие и отдающие электрическую энергию за счет протекающих в них химических реакций, или супеконденсаторы (ионисторы), работающие на энергии электрического заряда.

В динамических ИБП кинетическая энергия накапливается с помощью маховика, постоянно вращающегося на одном валу с обратимой (т.е. в зависимости от режима работы выполняющей роль электродвигателя или генератора) электрической машиной. При отключении основного источника электроснабжения маховик отдает накопленную энергию, преобразуемую электрической машиной в электрическую. Это дает время для запуска дизельного генератора, обеспечивая бесперебойное электроснабжение критической нагрузки. Таким образом, дизель-роторные ИБП (ДРИБП) имеют в своем составе маховик, электрическую машину и ДГУ.

Если исходить из капитальных затрат, то при мощности ЦОДа примерно до 1 МВт динамические ИБП не будут иметь преимуществ перед комплексом статические ИБП + ДГУ. Повышение мощности потребует от статических ИБП большего массива аккумуляторных батарей: их количество будет расти пропорционально мощности, а значит, увеличится и цена. Стоимость ДРИБП в аналогичных условиях тоже будет расти, но не так быстро (рис. 1).
Рис. 1. Зависимость стоимости ИБП от их мощности

Казалось бы, для крупных ЦОДов ДРИБП намного выгоднее. Однако мы не учли затраты на эксплуатацию: аккумуляторные батареи требуют замены в среднем раз в семь лет, в то время как динамическим ИБП необходимо дорогостоящее периодическое обслуживание – постоянно вращающиеся механические части нуждаются в диагностике, смазке, замене подшипников.

При низком уровне нагрузки в ЦОДе эффективность ДРИБП будет снижаться, потери составят бóльшую часть в сравнении с полезной нагрузкой. В то же время статические ИБП модульного типа могут сохранять высокий КПД при разных уровнях нагрузки за счет программного отключения отдельных силовых модулей.

Еще один важный фактор, говорящий не в пользу динамических ИБП, – они обеспечивают автономную работу от маховика не более чем 30 с. За это время дизель-генератор может не успеть запуститься, поэтому есть риск полного отключения электроснабжения критической нагрузки. Статические ИБП двойного преобразования переходят на работу от батарей мгновенно и дают ДГУ больше времени на запуск (10–20 мин).

И динамические, и статические ИБП довольно капризны и требуют определенных условий для размещения. Для статических ИБП в ЦОДе нужно предусмотреть большие площади под аккумуляторные батареи, а также систему кондиционирования для обеспечения нормативного срока их службы. ДРИБП занимает меньше места (а значит, мы получаем больше площади для полезной ИТ-нагрузки), но для них необходимы приток воздуха, отвод отработанных газов и доступ для обслуживания. Наличие в динамических ИБП системы хранения и подачи топлива также накладывает определенные ограничения.

Существуют решения, объединяющие в себе преимущества как статических, так и динамических ИБП. То есть система бесперебойного электроснабжения работает по принципу статических ИБП с двойным преобразованием, но вместо аккумуляторных батарей используется динамический модуль с постоянно вращающимся маховиком, кинетическая энергия которого преобразуется в электрическую при отключении основного источника электроснабжения. Поэтому не требуются большие площади для размещения аккумуляторных батарей и обеспечивается двойное преобразование по напряжению и частоте. Однако и основные недостатки, связанные с наличием в системе постоянного вращающегося маховика и небольшим временем автономии, сохраняются.

Таким образом, для ЦОДа мощностью менее 1 МВт предпочтительнее статические ИБП. К ним относятся, например, модели KR33 300–1000 кВА, MR33 400–1000 кВА из линейки Kehua Tech, а также Ultron серии DPS 300–1000 кВА и Modulon серии DPH 300–600 кВт из линейки Delta. Системы бесперебойного электроснабжения с кинетическим накопителем энергии мы рассматриваем, как правило, только если в проекте нет необходимых площадей с системой кондиционирования воздуха для аккумуляторных батарей. При этом нужно сравнить капитальные и эксплуатационные затраты нескольких альтернативных вариантов. Обычно производители специализируются на выпуске только статических или только динамических ИБП из-за принципиально различающейся технологии резервирования.

Основные характеристики статических ИБП

Мощность

ИБП делятся на источники малой (до 3 кВА), средней (до 20 кВА) и большой мощности (20–600 кВА и более). Последние применяются для средних и крупных ЦОДов, первые два – для микро- и мини-ЦОДов. При расчете необходимой мощности к максимальной нагрузке ЦОДа обычно добавляют 20–30%. Больший резерв не оправдан из-за бóльших капитальных затрат и меньшей эффективности, а недостаточная мощность ИБП может привести к перегрузке и отключению защищаемой нагрузки. Кроме того, в зависимости от мощности размеры ИБП значительно различаются. На рис. 2 приведены размеры и веса ИБП Kehua Tech KR33 и Delta DPS разной мощности.
Рис. 2. Размеры ИБП Kehua Tech KR33 и Delta DPS различной мощности, мм

При выборе ИБП необходимо также учитывать коэффициент мощности нагрузки, т.е. проверять соответствие ИБП как полной (измеряемой в ВА), так и активной (измеряемой в Вт) мощности нагрузки. Например, если активная мощность нагрузки равна 9 кВт при коэффициенте мощности 0,8, то полная мощность нагрузки составит 11,25 кВА. Значит, ИБП на 9 кВт с коэффициентом мощности 0,9 для питания этой нагрузки не подойдет, так как полная мощность ИБП в этом случае равна 10 кВА.

Для определения мощности, потребляемой самим ИБП, обязательно учитываем:
  • КПД ИБП;
  • необходимость зарядки батарей;
  • возможность работы при пониженном входном напряжении (для этого случая необходимо проверить потребляемый ток).
Поскольку ИБП содержит нелинейные полупроводниковые элементы, сопротивление которых зависит от напряжения и тока в их цепи, при подключении его к электрической сети генерируются дополнительные гармонические составляющие тока и напряжения: ток и напряжение на входе ИБП перестают быть строго синусоидальными. Коэффициент мощности PF при этом равен:
где P – активная мощность, потребляемая ИБП (Вт); S – полная мощность, потребляемая ИБП (ВА); U – действующее значение напряжения на входе ИБП (В); I – действующее значение тока на входе ИБП (А); I1 – действующее значение первой гармоники тока (А); φ1 – угол сдвига фаз между напряжением и первой гармоникой тока.

Таким образом, коэффициент мощности PF меньше единицы и определяется не только значением cos(φ1), но и коэффициентом гармонических искажений тока THD – отношением среднеквадратичного значения всех высших гармоник тока к первой гармонике тока. Поэтому в случаях, когда требуется обеспечить низкий коэффициент THD (не более 3%), ИБП должен иметь схему коррекции коэффициента мощности (PFC) на входе для фильтрации высших гармоник. В технических характеристиках ИБП производители всегда указывают коэффициент мощности PF, а также коэффициент THD.

Топология

ИБП можно разделить на резервные, линейно-интерактивные, с двойным и с дельта-преобразованием. Резервные и линейно-интерактивные ИБП не защищают от всех негативных факторов, связанных со снижением качества электроэнергии основного источника электроснабжения, поэтому для питания критических нагрузок ЦОДа они не применяются и в этой статье рассматривать их не будем.

Подробнее остановлюсь на ИБП с двойным и дельта-преобразованием. Принцип работы ИБП первого типа заключается в двойном преобразовании входного тока: сначала входной переменный ток конвертируется в постоянный с помощью выпрямителя, затем в инверторе снова преобразуется в переменный (рис. 3). При этом батареи всегда подключены к схеме, и в нормальном режиме работы поддерживается их заряд, а при аварии в сети нагрузка без каких-либо переключений получает питание от батарей. Таким образом, время на переключение не затрачивается и обеспечивается непрерывность электроснабжения критических нагрузок. Благодаря чистой синусоидальной форме тока на выходе ИБП (регулируется как напряжение, так и частота) к нему можно подключать чувствительную к качеству электроэнергии нагрузку дата-центров: нагруженные серверы, высокопроизводительные рабочие станции локальных вычислительных сетей. Нагрузка полностью защищена от любых электрических помех внешней электросети, высоковольтных импульсов, колебаний входного напряжения и отклонений частоты.
Рис. 3. Схема ИБП с двойным преобразованием

К недостаткам ИБП с двойным преобразованием относятся высокие стоимость (в два-три раза выше, чем стоимость линейно-интерактивных), тепловыделение и уровень шума (из-за наличия вентиляторов, необходимых для отвода тепла). КПД ИБП с двойным преобразованием в онлайн-режиме составляет 80–95%, однако большинство производителей предлагают различные автоматические интеллектуальные режимы работы, помогающие повысить это значение вплоть до 99%.

Например, в моделях ИБП с двойным преобразованием Kehua Tech MR33 для повышения надежности и эффективности реализованы:
  • трехуровневая технология преобразования, благодаря которой улучшается качество выходного напряжения;
  • цифровое управление инвертором для контроля синхронизации, выравнивания токов в параллельной системе, управления устройством с высокой точностью и скоростью;
  • коррекция входного коэффициента мощности, благодаря чему входной коэффициент мощности ИБП превышает 0,99, что значительно увеличивает коэффициент использования электрической энергии, уменьшает нагрузку на энергосистему и позволяет сэкономить на затратах на электроэнергию;
  • экорежим для энергосбережения, в котором ИБП при хорошем качестве входной сети работает на байпасе с КПД, достигающим 99%; когда входное напряжение или частота на входе байпаса не удовлетворяют значениям «разрешенного» диапазона, ИБП переключается на инвертор.
В ИБП Delta серии DPH для того, чтобы обеспечить КПД до 96,5 % в онлайн-режиме, а в экономичном режиме – 99%, применяются:
  • IGBT-технология (выпрямитель на биполярных транзисторах с изолированным затвором) для обеспечения высококачественного, c низкими помехами, чистого и бесперебойного выходного питания для подключенных нагрузок;
  • интеллектуальный экологичный режим работы, который обеспечивает агрегирование мощности всех силовых модулей, позволяя поднять КПД двойного преобразования и уменьшить потери энергии; система автоматически подсчитывает, какой процент текущая нагрузка ИБП составляет от максимально возможной, и на основании этого решает, какие силовые модули включить, а какие оставить в режиме ожидания, чтобы обеспечить максимальный КПД.
ИБП с дельта-преобразованием состоят из двунаправленных инверторов, связанных с общей батареей (рис. 4). При понижении входного напряжения первый из инверторов работает как выпрямитель, а второй – как инвертор. При повышении входного напряжения их роли меняются. Нагрузка связана с сетью через трансформатор с дополнительной обмоткой, на которую подается компенсирующее напряжение от дельта-инвертора, пропорциональное, но противоположное по фазе отклонению входного напряжения. В основном режиме эффективность этих ИБП выше, чем у ИБП двойного преобразования.
 
Рис. 4. Схема ИБП с дельта-преобразованием

Высокий КПД достигается за счет того, что преобразование электроэнергии происходит только в объеме, необходимом для поддержания заданных параметров напряжения и тока, и переход на работу от батарей переключения не требует. На практике же КПД зачастую снижается из-за недозагрузки ИБП, отклонения параметров входного напряжения от номинальных и нелинейности нагрузки. Так, если при полной нагрузке и высоком качестве входного напряжения КПД ИБП с дельта-преобразованием равен 96%, то при других условиях КПД сравним со значениями у ИБП двойного преобразования.

Из минусов таких систем отмечу более сложную схему, которая увеличивает инерционность системы и влияет на стоимость и надежность оборудования. Наличие связи между нагрузкой и сетью не позволяет полностью защитить оборудование от сетевых помех и отклонений частоты. Появляется необходимость в синхронизации инверторов с сетью, а также нескольких ИБП друг с другом при включении их в параллель.

Таким образом, наиболее надежную защиту критической нагрузки обеспечивают ИБП с двойным преобразованием. Неслучайно именно они чаще всего и используются в ЦОДах. ИБП с дельта-преобразованием менее распространены: представлены лишь у небольшого числа производителей, а их преимущества имеют значение при более высоком качестве электроэнергии основного источника.

Количество фаз на входе и выходе

В зависимости от мощности и параметров конкретной линейки оборудования ИБП имеют различные варианты подключения:
  • однофазный вход (один или два входа), однофазный выход (1:1);
  • трехфазный вход (один или два входа), однофазный выход (3:1);
  • трехфазный вход (один или два входа), трехфазный выход (3:3).
ИБП малой мощности имеют возможность подключения только по схеме «однофазный вход, однофазный выход», большой мощности – по схеме «трехфазный вход, трехфазный выход». Самые гибкие – ИБП средней мощности, их можно подключить любым из трех способов (возможности различных линеек оборудования необходимо уточнять у производителя).

Внимание: при схеме подключения ИБП 3:1 и переключении на байпас вся нагрузка оказывается присоединенной только к одной из фаз питающей линии. При проектировании необходимо соответствующим образом выбирать сечение вводного кабеля и параметры аппарата защиты.

Конструктивное исполнение

ИБП можно разделить на моноблочные и модульные.

Модульные ИБП представляют собой унифицированный шкаф, в котором все основные компоненты сконфигурированы в отдельные модули (силовые, батарейные, модули управления, статического байпаса, распределения) и работают взаимосвязанно, что дает им много преимуществ.

Например, мощность ИБП можно увеличить, установив дополнительные силовые модули. Таким образом, на начальном этапе можно установить минимально необходимое количество модулей, а затем, при росте мощности ЦОДа, силовые модули докупить. На уровне модулей можно реализовать схему резервирования N + 1, при которой выход из строя одного из силовых модулей не окажет влияния на работоспособность всей нагрузки.

Любой из модулей можно установить, демонтировать или заменить силами персонала заказчика без отключения ИБП: на электроснабжение критической нагрузки эти действия не окажут никакого влияния. При этом замена не займет много времени.

Модульными ИБП являются, к примеру, Kehua Tech MR33 и Delta DPH-серии. Однако нужно иметь в виду, что реализация модульности компонентов ИБП может различаться от производителя к производителю. Например, у ИБП Delta DPH-серии каждый силовой модуль включает в себя собственный контроллер, в отличие от ИБП Kehua Tech MR33, где модуль управления общий на весь ИБП. Также для ИБП Delta DPH-серии существуют батарейные модули с функцией «горячей» замены, тогда как для Kehua Tech MR33 таких батарейных модулей нет.

Но если необходимости в наращивании мощности нагрузки в будущем нет, не требуется резервирование на уровне силовых модулей или оно выполнено на уровне ИБП, то вполне достаточным может быть применение моноблочных ИБП. Их стоимость на 20–50% ниже, чем модульных. Кроме того, современные моноблочные ИБП часто имеют модульную компоновку основных элементов. Они расположены в одном корпусе, а замена их возможна только силами сервисного персонала. К таким ИБП относятся, например, Delta НРН-серии, Delta DPS-серии, Kehua Tech MY, Kehua Tech KR33.

Необходимо отметить, что как моноблочные, так и модульные ИБП малой и средней мощности можно разместить в ИT-стойке с помощью комплекта специальных направляющих или установить непосредственно на полу стойки.

Тип поддерживаемых аккумуляторов

Самый распространенный тип аккумуляторов электроэнергии для ИБП – свинцово-кислотные. Технология их производства хорошо изучена, они надежны, выдерживают до 1000 циклов заряда-разряда, имеют небольшой саморазряд, работают в достаточно широком диапазоне температур, у них нет эффекта памяти. Среди недостатков – низкая удельная емкость, следствием чего являются большой вес и размеры. Срок службы также небольшой – в среднем семь лет, он зависит от условий хранения и эксплуатации, количества циклов заряда-разряда, глубины разряда в каждом случае и продолжительности разряженного состояния.

Современные технологии производства свинцово-кислотных батарей – это GEL (электролит имеет структуру геля из-за добавления в него стабилизатора – силикагеля) и AGM (электролит находится в порах специальной стеклоткани, которая расположена между свинцовыми пластинами). Преимущества этих технологий – безопасность в эксплуатации, нечувствительность к положению, низкий саморазряд.

Не все производители ИБП выпускают также и аккумуляторы. У Delta есть свои линейки батарей, широко представленные на рынке: например, к линейке Delta Xpert, разработанной специально для использования в «тяжелых» системах бесперебойного питания ЦОДов относятся и свинцово-кислотные батареи серии HRL-W. Это необслуживаемые АКБ со сроком службы 12 лет, произведенные по AGM-технологии с системой рекомбинации газов (VRLA). Они обладают повышенной токоотдачей благодаря использованию при производстве более толстых электродов, а также высокотехнологичных составов с применением структурных агентов в активной массе.

В последнее время для ЦОДов стали использовать литий-ионные АКБ. Сейчас их стоимость на 20–30% выше, чем свинцово-кислотных, но у них есть ряд неоспоримых преимуществ. Литий-ионные аккумуляторы имеют бόльшую удельную емкость, занимают на 40–60% меньше площади, их вес ниже на 60–70%. Они отличаются меньшим саморазрядом и быстрее заряжаются, а срок их службы достигает 10 и более лет. Таким образом, совокупная стоимость владения за 10 лет эксплуатации получается ниже, чем у свинцово-кислотных.

У Kehua Tech есть линейка ИБП KR-RM Li со встроенными литий-ионными аккумуляторами, а также литий-ионная аккумуляторная система S³ Smart Backup System в формате внешних батарейных шкафов, которая имеет модульную параллельную конструкцию – безопасную, технологичную и простую в использовании. Тип литий-ионных аккумуляторов – LFP. У Delta также есть батарейные шкафы серии UDL с литий-ионными аккумуляторами по технологии LFP.

Таблица. Сравнение характеристик свинцово-кислотных и литий-ионных батарей

 Характеристики  Литий-ионные АКБ Свинцово-кислотные АКБ
 Энергетическая плотность, кВт·ч/кг 70–260  15–50
 Срок службы, лет 10–15 3–5/6–9
 Количество циклов заряда/разряда >3000 200–400
 Время полного заряда, ч 0,5–1 6–12
 Система мониторинга Поставляются с системой мониторинга Чаще всего используются без системы мониторинга
 Работа при температурах выше 25°С Способны работать до 40°С Срок службы уменьшается

Другие типы аккумуляторов для ИБП центров обработки данных не имеют широкого распространения. У никель-кадмиевых батарей, например, есть эффект памяти, из-за чего они неприменимы для работы с ИБП в режиме кратковременных неполных разрядов. Никель-металлогидридные АКБ имеют высокий уровень саморазряда, небольшую нагрузочную способность, малое количество циклов перезарядки.

Там, где неприменимы традиционные аккумуляторы (например, нет возможности обеспечить помещения системой кондиционирования для поддержания требуемого свинцово-кислотным или литий-ионным АКБ температурного режима), для электроснабжения критической нагрузки на время до 60 с, необходимое для запуска резервного генератора, можно использовать суперконденсаторы (ионисторы) – электрохимические конденсаторы, отличающиеся от традиционных значительно большей емкостью, удельной мощностью и более низкими токами потерь. 

Главный параметр, определяющий емкость конденсатора – активная площадь электродов. В традиционных конденсаторах электроды выполнены из металлических лент, свернутых в цилиндр или скругленный параллелепипед, т.е. увеличение активной площади электрода влечет за собой рост размеров конденсатора. В суперконденсаторах применяются электроды из многостенных углеродных нанотрубок, благодаря чему активная площадь электродов увеличивается до 2000 кв. м на 1 г электрода. Кроме этого, к их преимуществам можно отнести:
отсутствие необходимости технического обслуживания;
  • расчетный срок службы до 20 лет;
  • диапазон рабочих температур от -40°С до + 65°С;
  • высокую надежность;
  • ненужность специальной системы охлаждения, так как при эксплуатации тепло почти не выделяется;
  • возможность масштабирования для адаптации к любой мощности и времени автономии;
  • малое время зарядки: около 1–2 мин от полностью разряженного состояния;
  • малую временную деградацию: суперконденсаторы рассчитаны на 1 млн циклов;
  • КПД до 95%;
  • малую токсичность материалов, отсутствие движущихся частей и химических реакций.
Суперконденсаторы можно применять, например, вместо динамических ИБП, имеющих сравнимое с ними время резервирования и также не требующих кондиционирования воздуха. При этом необходимо рассчитать капитальные и эксплуатационные затраты при проработке сравниваемых вариантов.

На данный момент не наработан достаточный опыт использования ИБП с суперконденсаторами в качестве аккумуляторов электроэнергии, да и предложение на рынке невелико.

Время автономной работы

Требуемое время автономной работы ИБП в ЦОДе обычно составляет 10–20 мин. Этого вполне достаточно, чтобы запустить резервный источник электроснабжения (ДГУ) или безопасно завершить работу и выключить критическое оборудование. Для того чтобы обеспечить необходимое время автономии, нужно выбирать количество и емкость аккумуляторов в зависимости от величины защищаемой нагрузки.

Однако следует также учитывать, что после отключения сетевого питания и разрядки батарей их необходимо заряжать. Время зарядки тоже немаловажный фактор, особенно в случае большого времени автономии (6–12 ч) при небольшой нагрузке (до 10 кВА). В этом случае для сокращения времени зарядки большѝх массивов аккумуляторных батарей требуется выбирать ИБП на бόльшую мощность с более мощным зарядным устройством.

* * *
Естественно, я перечислил далеко не все характеристики, которые стоит принять во внимание при выборе ИБП для ЦОДа. Как минимум еще нужно учесть диапазон входного напряжения, наличие встроенного трансформатора и диспетчеризации, возможность параллельной работы, типы входных и выходных разъемов, перегрузочную способность, массу и габариты оборудования.

Игорь Денисов, руководитель группы проектирования систем электроснабжения, STEP LOGIC
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!