Rambler's Top100
 
Статьи ИКС № 4 2021
Ронда АСЬЕРТО  Пол ДЖОНСОН  30 ноября 2021

Бесперебойное электропитание ЦОДов: тенденции до 2025 года

Системы бесперебойного питания для дата-центров постоянно развиваются. Новые технологии позволяют использовать различные подходы к организации энергетических инфраструктур. Но будут ли ИБП будущего соответствовать меняющимся требованиям операторов?

Развитие энергетической инфраструктуры дата-центров в ближайшие годы будет определяться необходимостью снижения капитальных затрат без повышения рисков, требованиями регуляторов и меняющимися запросами клиентов. Все больше операторов ЦОДов стремятся к повышению эффективности, адаптируемой отказоустойчивости и интегрированной автоматизации. Новые аккумуляторные технологии (и возобновляемые источники энергии) будут использоваться все шире, особенно в ЦОДах, поддерживающих очень высокие критические нагрузки, а таких объектов становится все больше.

В этой статье рассматриваются лишь потенциальные изменения, связанные с распределенными системами бесперебойного питания и ИБП среднего напряжения, а также со способами масштабирования, эффективного обслуживания и удаленного мониторинга централизованных систем ИБП.

Выводы основаны на интервью с представителями 21 оператора ЦОДов (коммерческих, т.е. предоставляющих услуги colocation, облачных, телекоммуникационных и корпоративных), восьми компаний, занимающихся обслуживанием ЦОДов и инженерными системами, а также с во­семью консультантами Uptime Institute. В основном они касаются крупных ЦОДов с мощностью, выделенной для ИТ-оборудования, не менее 1 МВт (средняя мощность объектов в нашем исследовании – около 65 МВт). Для небольших периферийных (edge-) ЦОДов выводы могут быть иными.

Распределенные системы бесперебойного питания

Некоторые крупные ЦОДы используют распределенную систему бесперебойного питания – например, защиту электропитания с помощью аккумуляторных батарей, установленных в серверных стойках или в рядах стоек. Такой подход предусматривается в альтернативных (традиционным) проектах инфраструктуры, в частности в Open Compute Project. Подобные «открытые» архитектуры позволяют операторам достичь большей эффективности по нескольким направлениям. Некоторые ЦОДы смогли добиться 25%-ного снижения капитальных затрат по сравнению с традиционным централизованным подходом только за счет электросетевой топологии.

Учитывая очевидные стоимостные преимущества этого подхода и его поддержку некоторыми крупными операторами ЦОДов, широкое использование распределенной архитектуры долгое время считалось неизбежным. Однако пока количество внедрений сильно отстает от ожиданий отрасли. Как показало наше исследование, внедрение распределенного подхода может ускориться, но незначительно: перейти на распределенную топологию в своих основных ЦОДах или расширить ее использование к 2025 г. планирует только пятая часть опрошенных операторов. Большинство этих операторов управляют облачными дата-центрами. Небольшое число colocation-ЦОДов также ожидают более широкого применения таких архитектур. Чаще всего побуждают к этому совершенствование технологий аккумуляторных батарей (литий-ионные АКБ), стандартизация и удовлетворение запросов клиентов (как правило, крупных). Два респондента заявили, что в перспективе батареи, скорее всего, перестанут быть частью системы ИБП и начнут встраиваться в серверы, что обусловит переход на распределенную архитектуру бесперебойного питания.

Другие причины ожидаемого роста популярности распределенных систем бесперебойного питания:
  • возможность лучше адаптировать мощности ИБП к изменениям плотности мощности (колебаниям нагрузки) в стойке;
  • повышение доступности и сокращение среднего времени устранения неисправностей (хотя ИБП в распределенной системе могут быть статистически менее надежными, но быстрота устранения неисправностей повышает общий показатель готовности);
  • возможность управлять батареями и оптимизировать их работу на индивидуальной основе.
Не все облачные ЦОДы, эксплуатирующие распределенные системы бесперебойного питания сегодня, планируют расширять их использование – 43% таких операторов не имеют подобных планов. Среди провайдеров colocation таковых 72%. Большинство участников нашего исследования вообще не собираются внедрять распределенные системы до 2025 г.

У части операторов облачных ЦОДов на распределенные системы приходится 10–20% общего комплекса систем ИБП на объектах, однако у одного оператора эта доля составляет 50%. Никто не ожидает, что указанные пропорции к 2025 г. изменятся.
Каковы же препятствия на пути внедрения или более широкого использования распределенных систем бесперебойного питания? Сдерживающих факторов множество, наиболее распространенные – пожелания потребителей услуг colocation. Несколько крупных операторов colocation заявили, что их клиенты не хотят, чтобы они применяли такие системы защиты электропитания. У этих операторов много небольших клиентов, и централизованная схема предпочтительна, поскольку она позволяет обеспечивать защищенным электропитанием нагрузку нескольких клиентов. Кроме того, представители разных групп операторов выразили опасения относительно стоимости и безопасности новых технологий аккумуляторных батарей, используемых в децентрализованных подходах.

Другие названные недостатки распределенных систем:
  • Размещение систем ИБП в машзалах может вызвать проблемы с тепловой нагрузкой. Кроме того, такие системы занимают ценное пространство, которое можно сдать в аренду.
  • Размещение систем ИБП в машзалах может создать проблемы с безопасностью. Например, обслуживающему такие системы персоналу может быть отказано в доступе в зал из-за критически важных ИТ-систем клиентов, вследствие чего техническое обслуживание не будет выполнено вовремя.
  • Распределенные системы более сложны, менее гибки, и их труднее обслуживать.
Похоже, что по крайней мере в следующие несколько лет для большинства групп наших респондентов опасения заказчиков будут перевешивать все преимущества распределенной архитектуры ИБП. Этот подход останется предпочтительным вариантом для относительно небольшого числа крупных операторов, в основном управляющих облачными ЦОДами.

ИБП среднего напряжения

Сегодня большинство централизованных трех­фазных ИБП работают при напряжении 380 В. Системы ИБП, работающие при более высоком напряжении, могут обеспечить большую эффективность. При использовании ИБП среднего напряжения (6–20 кВ) можно снизить капитальные и эксплуатационные расходы, поскольку электрические токи и, следовательно, потери ниже, а кабели могут иметь меньшее поперечное сечение (диаметр). Системы ИБП среднего напряжения уменьшают потребность в сопутствующих компонентах (распределительных устройствах). Кроме того, их можно размещать дальше от машзалов (например, на подстанции или в специальном помещении), чем системы низкого напряжения. 

Однако подавляющее большинство участников нашего исследования заявили, что вряд ли внедрят ИБП среднего напряжения к 2025 г. Их нежелание обусловлено неясностью в вопросах общей стоимости владения (TCO) и эффективности. Тем не менее двое респондентов, которые, может быть, внедрят такие ИБП, ожидают от них снижения TCO. Конкретные доводы в пользу ИБП среднего напряжения включают:
  • уменьшение занимаемой площади;
  • возможность большего удаления ИБП от ИТ-нагрузки;
  • возможность поддерживать вычисления высокой плотности и изменяющиеся нагрузки, в частности приложения искусственного интеллекта (ИИ).
Барьеры, препятствующие внедрению ИБП среднего напряжения
  • Совокупная стоимость владения, в том числе высокие первоначальные затраты и предполагаемое отсутствие финансовой отдачи. Более высокие сопутствующие затраты включают в себя покупку генератора среднего напряжения (большие размеры оборудования плюс затраты на установку) или дополнительного повышающего трансформатора.
  • Удаление ИБП от нагрузки. Установка ИБП (низкого напряжения) и батарей как можно ближе к нагрузке означает меньшую вероятность сбоя на линии распределения питания. ИБП среднего напряжения располагается дальше от серверного зала, что повышает вероятность таких сбоев.
  • Риски для клиентов. Несколько крупных операторов colocation-ЦОДов сообщили, что, по мнению многих их клиентов, установка ИБП среднего напряжения может повысить риски. Большинство привыкло видеть традиционный статический ИБП рядом с машзалом ЦОДа, и другой вариант, к тому же удаленный от ИТ-нагрузки, рассматривают как дополнительный риск.
  • Риски, связанные с безопасностью, в том числе при работе с более высоким напряжением. Один респондент ссылается на риск более строгих нормативных требований в будущем, которые могут ограничить возможность использовать ИБП среднего напряжения.
  • Масштабируемость. Несколько респондентов говорят, что их нагрузки недостаточно велики (и не будут достаточно велики в будущем), чтобы оправдать установку ИБП среднего напряжения. Один оператор заявил, что такие ИБП не подходят для colocation-ЦОДов, потому что они не столь масштабируемы. Системы ИБП низкого напряжения имеют модули (устройства) меньшей мощности, а значит, их можно масштабировать более точно.
  • Слишком новая технология. Респонденты говорят, что технология слишком нова и, следовательно, не апробирована. Некоторых останавливает отсутствие достаточного числа успешных внедрений продукта – в частности, невозможность сравнить эффективность новых систем, занимаемую ими площадь, надежность и доступность.
  • Выбор поставщика. Некоторые респонденты обеспокоены ограниченностью числа производителей ИБП среднего напряжения, что может негативно повлиять на стоимость и доступность продуктов.
  • Дефицит специалистов. Обычно упоминают трудности с поиском лицензированных электриков по среднему напряжению во многих странах. Ограниченная доступность обученного персонала поставщика также вызывает озабоченность, как и ограниченная локальная доступность и длительные сроки поставки запасных частей.

Централизованные ИБП

Централизованные трехфазные ИБП уже давно предпочтительны для большинства крупных (с общей мощностью ИБП 1 МВт или более) корпоративных и colocation-ЦОДов. Считается, что централизованные системы обеспечивают более высокий уровень надежности по сравнению с модульными или распределенными решениями благодаря наличию лишь одного статического переключателя. В модульных или распределенных решениях используются несколько небольших статических переключателей, а это означает, что неисправности могут «проходить» через них – проблема, весьма существенная для многих операторов крупных ЦОДов. (При этом на объектах мощностью менее 1 МВт модульные и распределенные системы ИБП часто дешевле и проще в управлении.)

Централизованные системы ИБП также быстро и легко развертываются в крупных ЦОДах и часто предпочтительны, когда ожидается быстрое заполнение ИТ-залов. Однако операторы не считают, что их покупка и эксплуатация обходятся недорого. И, как обсуждается ниже, у них есть свои проблемы.

Централизованные ИБП, вероятно, будут по-прежнему доминировать в ЦОДах с ИТ-мощностью 1 МВт и более, особенно в крупных корпоративных и colocation-ЦОДах – по крайней мере в следующие пять, а скорее всего, и 10 лет. Отчасти это объясняется тем, что новации в технологиях ИБП обычно появляются медленно и так же медленно принимаются заказчиками. Многие операторы и клиенты colocation-ЦОДов не склонны что-либо менять, когда речь идет о хорошо зарекомендовавших себя критически важных компонентах.

Возможно, самые большие изменения в системах ИБП будут связаны с аккумуляторными технологиями – хотя, как отмечалось выше, новые подходы, в частности использование литий-ионных АКБ, по-прежнему вызывают озабоченность и скептицизм.

Болевые точки

Как уже говорилось, централизованные трехфазные ИБП устанавливаются в большинстве ЦОДов, но они не лишены недостатков (рис. 1). Прогнозируется, что многие из существующих проблем к 2025 г. решены не будут. Также вероятно возникновение новых.
 
Рис. 1. Основные болевые точки централизованных трехфазных ИБП в 2020–2025 гг.

Основные болевые точки ИБП – аккумуляторные батареи, надежность и безопасность. С этими проблемами сталкиваются дата-центры всех типов. Как показало наше исследование, надежность и безопасность продуктов особенно беспокоят операторов облачных и colocation-ЦОДов, а также операторов связи. Кроме того, у многих возникают сложности с рабочими/выходными характеристиками, обслуживанием и вводом в эксплуатацию.

Наиболее распространенные жалобы на АКБ сегодня связаны с необходимостью их частого технического обслуживания, готовностью и работоспособностью (несмотря на заявления производителей). Отсутствие коммерчески доступных средств интеграции батарей также является проблемой для некоторых респондентов.

Забегая вперед, скажем, что многие ожидают проблем и с литий-ионными батареями, в том числе с установкой, пожарной безопас­ностью, мониторингом и проверкой состояния. Те, кто уже развернул такие системы, готовятся к возможным высоким затратам в конце срока их службы, в частности из-за отсутствия отработанных механизмов утилизации этих батарей.

Сегодняшние опасения относительно надежности и безопасности продуктов обусловлены в основном сложностями обеспечения непрерывности обслуживания и увеличением числа отключений. И эти проблемы, по мнению большинства, сохранятся до 2025 г.

Некоторые заказчики сталкиваются с высокой частотой отказов, в том числе вентиляторов ИБП, а в старых моделях – инверторов. Один оператор заявил, что ИБП вышел из строя при работе на полную мощность, выдав при этом сообщение о «многочисленных сбоях внутренних компонентов». Было высказано мнение, что общий высокий спрос на системы ИБП в последние несколько лет мог привести к тому, что заводские испытания не проводятся в полном объеме, поэтому дефекты производства, сборки или настройки могут остаться невыявленными до отгрузки продукции потребителю.

Некоторые участники нашего исследования выразили обеспокоенность надежностью систем ИБП, которые к 2025 г. будут близки к окончанию срока службы. Их также волнует доступность постоянной поддержки продуктов со стороны производителей. Другие обеспокоены тем, что к 2025 г. централизованные ИБП могут оказаться неспособными адекватно поддерживать приложения ИИ и другие сильно изменяющиеся рабочие нагрузки. Это может привести к тому, что в пиковое время ИТ-мощности нельзя будет задействовать полностью из-за недостаточной мощности систем бесперебойного электропитания – отчасти из-за плохого управления их рабочей нагрузкой. Повышение эффективности, гибкости и уменьшение размеров – это направления улучшения ИБП, на которые рассчитывают наши респонденты.

Семь участников нашего исследования, представляющие ЦОДы разных типов в разных регионах, заявили, что не сталкиваются с проблемами при эксплуатации систем ИБП, и пятеро из них не ожидают, что проблемы возникнут в ближайшие пять лет. Двое других полагают, что к 2025 г. возникнут проблемы с батареями, а также с надежностью продуктов по мере их старения.

Масштабирование

Как операторы ЦОДов различных типов будут к 2025 г. масштабировать свои централизованные трехфазные системы бесперебойного питания? Как будет обеспечиваться резервирование: за счет добавочной емкости внутри конструктивов ИБП или за счет установки новых устройств?

Опрошенные операторы облачных и colocation-ЦОДов предпочтут масштабировать систему за счет установки новых устройств, в то время как большинство операторов связи намерены увеличить емкость уже имеющихся ИБП (рис. 2). 
 
Рис. 2. Предпочтительные способы масштабирования централизованных трехфазных ИБП к 2025 г. 

Расширение за счет добавления новых устройств рассматривается большинством операторов ЦОДов как способ снизить риск. Этот подход также может повысить безопасность на некоторых объектах, поскольку позволяет избежать проведения работ в уже находящихся в эксплуатации устройствах. Еще одна причина, по которой операторы выбирают добавление новых устройств, – экономическая эффективность. Такой выбор помогает уменьшить необходимость исходного переразмеривания емкости ИБП: каждый ИБП имеет свой блок батарей, а при наращивании емкости уже установленных ИБП приходится расширять его комплекс АКБ или переразмеривать его с самого начала. Кроме того, установка дополнительных устройств считается наиболее быстрым способом наращивания мощности.

Однако большинство респондентов, которые предпочли бы добавлять модули в существующие конструктивы ИБП, считают менее рискованным свой путь. Расширение в рамках установленных конструктивов они рассматривают как более отказоустойчивое (следовательно, с более низким риском простоя), поскольку избыточность реализуется на уровне одного устройства ИБП. Кроме того, по их мнению, модульный подход позволяет лучше адаптироваться к увеличению ИТ-нагрузки. Сторонники использования модульных ИБП отмечают и быстроту развертывания, в частности потому, что все кабели, конструктивы (шкафы) и распределительные устройства устанавливаются сразу при начальной инсталляции ИБП.

Новые высокоэффективные режимы

КПД большинства централизованных трехфазных ИБП сегодня составляет 94–96% в обычном рабочем режиме. Режим экономии (экорежим с подачей «неочищенного» питания через байпас ИБП) отключает процесс двойного преобразования, что обеспечивает более высокий КПД – как правило, до 98%.

В последние годы появились новые высокоэффективные усовершенствования экорежима. Они позволяют активно управлять преобразованием мощности путем устранения искажений, но с меньшими потерями (при сохранении того же уровня защиты питания и того же уровня резервирования за счет АКБ).

Однако более половины (60%) участников исследования заявили, что вряд ли к 2025 г. перейдут на новые высокоэффективные режимы для централизованных трехфазных систем ИБП, поддерживающих только ИТ-нагрузку – в отличие от систем, поддерживающих механическую нагрузку или сочетание ИТ- и механической нагрузки (рис. 3).
 
Рис. 3. Вероятность использования новых высокоэффективных режимов ИБП к 2025 г.

Наибольший консерватизм в отношении новых режимов выказали операторы colocation- и корпоративных ЦОДов. Новые высокоэффективные режимы основаны на прямом соединении между входными и выходными клеммами питания (через дроссель или переключающее устройство), но это устраняет гальваническую развязку, обеспечиваемую двойным преобразованием, а значит, нагрузка может подвергаться негативным воздействиям, например, из-за молнии или скачков напряжения. Несколько крупных операторов colocation-ЦОДов заявили, что отсутствие такой развязки недопустимо для многих их клиентов. А один оператор отметил, что даже после заводских испытаний, продемонстрировавших успешную работу ИБП при переключении различных режимов, клиенты по-прежнему предпочитают полноценное двойное преобразование.

Также многих респондентов останавливает общее нежелание быть пионером внедрения новых технологий. Кроме того, они опасаются относительно ограниченного выбора производителей, поддерживающих такие технологии.

Один респондент указал на недостаточную уверенность в надежной защите электропитания при использовании новых режимов, когда не обеспечивается независимость нагрузки от входных напряжения и частоты (режим VFI) или только напряжения (режим VI). Другой отметил, что многие серверы чувствительны к напряжению питания и требуют наличия источника, осуществляющего его очистку. Операторов ЦОДов беспокоит, что сбои в работе ИТ-серверов, вплоть до отключения, могут произойти незаметно, что серьезно повлияет на их бизнес.

Облачные операторы и операторы связи, скорее всего, в будущем перейдут на высоко­эффективные режимы ИБП. Основным стимулом является экономическая эффективность, вклю­чая повышение эффективности энер­го­потреб­ления и снижение общих затрат на электро­энергию.

Удаленный мониторинг с обслуживанием на основе состояния

Некоторые производители ИБП запустили службы удаленного мониторинга для систем ИБП, которые включают – или скоро будут включать – услуги технического обслуживания на основе состояния оборудования. Но большинство (65%) участников нашего исследования заявили, что к 2025 г. их организации вряд ли будут прибегать к таким сервисам (рис. 4), причем как для своих основных ЦОДов (с ИТ-мощностью 5 МВт и более), так и для распределенных edge-ЦОДов (с ИТ-мощностью 200 кВт и более).
 
Рис. 4. Вероятность использования к 2025 г. служб удаленного мониторинга ИБП с услугами техобслуживания на основе состояния оборудования

Основной сдерживающий фактор – вопросы безопасности, особенно для операторов облачных и корпоративных ЦОДов. Они говорят о том, что предоставление доступа к критически важному оборудованию непосредственно онлайн-службе (и облаку) производителя сопряжено с техническими и коммерческими рисками. Большинство из них обеспокоены недостаточной защитой, обеспечиваемой межсетевыми экранами, потенциальными брешами кибербезопасности и ситуациями, когда злоумышленники требуют выкуп.

Операторы colocation-ЦОДов, особенно в отраслях с высоким уровнем регулирования (например, финансы и здравоохранение), указали на риск, воспринимаемый клиентами. Преимущества предлагаемых услуг не перевешивают потенциальную потерю доверия клиентов. Одни операторы colocation-ЦОДов опасаются потенциально недостаточной безопасности передачи данных с оборудования на площадке дата-центра в облако производителя. Для других важно обеспечить надежную работу межсетевого экрана и защиту от возможного несанкционированного доступа в систему управления. 

Несколько опрошенных предпочли бы использовать собственную систему мониторинга, чтобы сохранить контроль над системой (и данными) и избежать риска внешнего воздействия. Другие не видят адекватной ценности в мониторинге на основе состояния и считают, что самое лучшее – физический осмотр на месте. 

Группа участников нашего исследования, которые, скорее всего, воспользуются услугами удаленного мониторинга от производителя ИБП, включает операторов ЦОДов всех типов, расположенных главным образом в Азиатско-Тихоокеанском регионе и в Северной Америке. Они часто рассматривают техническое обслуживание на основе состояния как более эффективное, чем регулярное (по графику). Некоторые говорят, что техническое обслуживание на основе состояния может потенциально сократить количество вмешательств в систему, снизив вероятность человеческих ошибок. Один представитель корпоративного ЦОДа заявил, что будет использовать удаленные службы, но угроза взлома, скорее всего, заставит ограничить возможности производителя ИБП мониторингом (без доступа к функциям управления).

Предполагая, что проблемы безопасности будут решены, те респонденты, которые, скорее всего, согласятся на использование служб удаленного мониторинга, считают, что они повысят эффективность эксплуатации. Некоторые указывают на преимущества ИИ (и других методов работы с большими данными), лежащих в основе удаленного мониторинга ИБП. Они рассматривают анализ информации в реальном времени, в том числе с помощью ИИ, как инструмент, позволяющий принимать более обоснованные решения, чем другие подходы, и тем самым снижать риски. Некоторые говорят, что ИИ наиболее эффективен в выявлении проблем до их возникновения, что уменьшает число инцидентов.

Выводы

Наше исследование показало, что операторы ЦОДов, как правило, готовы применять новые подходы к организации энергетических инфраструктур только в том случае, если выгоды явно перевешивают риски (технические или коммерческие). Но иногда подход просто слишком нов и недостаточно проверен, особенно с точки зрения корпоративных и colocation-ЦОДов.

В обозримом будущем (к 2025 г.) системами ИБП среднего напряжения вряд ли будут пользоваться значительно больше ЦОДов, чем сегодня. Распределенным системам бесперебойного питания (с распределенными батареями) также будут отдавать предпочтение лишь относительно немногие (в основном облачные) провайдеры.

Централизованные трехфазные ИБП останутся предпочтительным вариантом для большинства ЦОДов – несмотря на различные проблемы, связанные в том числе с батареями, надежностью и безопасностью.
Если производители смогут адекватно отреагировать на опасения операторов относительно повышенного риска, то, вероятно, новые высокоэффективные режимы работы ИБП (дальнейшее усовершенствование традиционных экорежимов) распространятся более широко. Некоторые операторы ЦОДов заинтересованы в услугах удаленного мониторинга ИБП, включая техническое обслуживание на основе состояния оборудования, но только в том случае, если проблемы безопасности будут решены. Многих останавливает сама новизна и необкатанность этих подходов, но после 2025 г. они уже перестанут считаться новыми.  

Ронда Асьерто, вице-президент, Uptime Institute
Пол Джонсон, технический консультант, Uptime Institute

Публикуется с разрешения Uptime Institute.
Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!