Rambler's Top100
 
Статьи ИКС № 3 2021
Александр БАРСКОВ  Сергей КУЛАКОВ  29 октября 2021

Сетевая инфраструктура в ЦОДах. Что изменила пандемия

Спрос на услуги ЦОДов и облачные сервисы растет, и это повышает требования к масштабированию пропускной способности сети, а также к гибкости инфраструктуры для быстрого подключения новых клиентов/сервисов и переконфигурации в соответствии с меняющимися задачами.

Пандемия не только не затормозила, а наоборот, ускорила развитие рынка коммерческих дата-центров в России. По данным iKS-Consulting, в 2020 г. объем предложения в стойко-местах увеличился на 13%, что превысило темпы роста рынка в предыдущие два года. Экспоненциальный рост объема данных и спроса на услуги ИТ-аутсорсинга станут основными факторами развития рынка коммерческих ЦОДов в ближайшие годы.

При выборе коммерческого ЦОДа заказчики в России сегодня в первую очередь уделяют внимание базовым факторам, связанным с надежностью и отказоустойчивостью (рис. 1). 
Источник: iKS-Consulting
Рис. 1. Оценка важности параметров коммерческих ЦОДов и уровня удовлетворенности их показателями

Растет спрос на ЦОДы с более высокими показателями надежности и отказоустойчивости. В Москве уже построен первый коммерческий ЦОД Tier IV – максимального уровня отказоустойчивости по классификации Uptime Institute. Еще два подобных объекта находятся в стадии строительства.

Пандемия повысила значимость надежной работы ЦОДов, поскольку от развернутых в них ИТ-систем зависят не только бизнес компаний, но и работа органов госуправления, здоровье и жизнь людей. При этом все более важной становится связность – надежность и производительность сетевой инфраструктуры как внутри ЦОДа, так и вне его, включая соединения между ЦОДами. 

Требования к инфраструктуре ЦОДов

Пандемия ускорила общий рост объемов передаваемого по сетям трафика. Так, в период с февраля по середину апреля 2020 г. глобальный интернет-трафик вырос почти на 40% (данные IEA), что обусловлено резким увеличением потребления таких сервисов, как видеостриминг, видеоконференцсвязь, онлайновые игры, социальные сети. Этот рост происходит на фоне общего подъема спроса на цифровые услуги за последнее десятилетие: с 2010 г. число пользователей интернета во всем мире удвоилось, а глобальный интернет-трафик вырос в 12 раз.

Объем трафика, циркулирующего внутри ЦОДа, т.е. между коммутаторами внутри сети (так называемый трафик «запад – восток»), существенно превосходит объем внешнего трафика – между ЦОДом и потребителями его сервисов (трафик «север – юг») (рис. 2). Главная причина такого доминирования – особенности архитектуры приложений, которые обычно разворачиваются на оборудовании, размещенном в ЦОДе. Например, пользователь, заходя на сайт, хостинг которого обеспечивает ЦОД, порождает всего один внешний запрос к веб-серверу (трафик «север – юг»). Но внутри ЦОДа он создает целый набор подключений: от балансировщика нагрузки к серверу front-end, от него к серверу back-end, от того к базе данных и обратно (трафик «запад – восток»).
Рис. 2. Основные направления трафика в сети ЦОДа

На требования к сети ЦОДа помимо архитектуры приложений сильно влияет их виртуализация. Одиночное приложение, не связанное с хранением данных, редко может генерировать нагрузку на сеть больше 1 Гбит/c, но десятки приложений – запросто. Виртуализованные же приложения могут размещаться на серверах крайне плотно и должны быстро между ними перемещаться, значит, широкая полоса пропускания необходима везде.

Широкое применение виртуализации и облачных вычислений привело к тому, что для ЦОДов потребовалась новая сетевая архитектура, способная обеспечить меньшее время задержки и большую пропускную способность. Такая архитектура (рис. 3), получившая название сетевой фабрики, основана на соединениях между коммутаторами доступа (leaf) и ядра (spine).
Рис. 3. Сетевая фабрика, имеющая архитектуру leaf – spine

Сетевая фабрика хорошо подходит для организации универсальных облачных услуг, обеспечивая соединения «каждый с каждым» с прогнозируемой пропускной способностью и с малым временем задержки. Ей присуще внутреннее резервирование благодаря множеству коммутационных ресурсов, распределенных по всему ЦОДу, что повышает доступность приложений. Развертывание и масштабирование такой сети может оказаться намного менее затратным по сравнению с развертыванием и масштабированием сетей на базе традиционных централизованных коммутаторов.

Несмотря на существенные различия, сетевые фабрики схожи с традиционными трех­уровневыми иерархическими сетями в том, что они должны быть масштабируемыми, управляемыми и надежными. Использование принципов структурированных кабельных систем позволяет обеспечить необходимое масштабирование и улучшить как показатель среднего времени ремонта (MTTR), так и общий уровень доступности систем. Организация сетевой фабрики с коммутационным полем кросс-коннекта заметно увеличивает гибкость при подключении оборудования.

На периферии сети, на уровне серверов, сегодня задействуются в основном интерфейсы 1, 10 и 25 Гбит/с. Здесь еще используются медножильные подключения: шнуры СКС или шнуры прямого подключения (DAС) – особенно когда коммутаторы leaf установлены в стойки с серверами (в архитектуре ToR). Если же коммутатор leaf располагается в середине ряда стоек (MoR) или в его конце (EoR), то для подключения серверов чаще применяют оптику (рис. 4). Следует заметить, что архитектуры MoR и EoR становятся все более популярными, поскольку позволяют уменьшить число коммутаторов, что дает возможность снизить сложность сети и задержку при передаче трафика. Переходу на схемы MoR и EoR способствуют и достижения в области микросхем, повышающие производительность отдельных коммутаторов.
Рис. 4. Организация сети ЦОДа по схеме ToR (а) и MoR/EoR (б)

Основная среда для связи между коммутаторами leaf и spine – вне всякого сомнения, оптика, а скорости постепенно приближаются к 200 и 400 Гбит/с (рис. 5). В список оптических решений, поддерживающих 200G и 400G, входят приложения 200GBASE-DR4, 200GBASE-LR4 и 400GBASE-DR4 для одномодовых сред и 400GBASE-SR16 для многомодовых. Для каждого из этих типов волокон есть дуплексные и параллельные варианты. Хотя показатели относительной стоимости меняются, но пока многомодовые системы продолжают требовать меньших капитальных затрат и по большей части остаются проще в поддержке и эксплуатации, чем одномодовые системы.
Источник: 650 Group, Market Intelligence Report December 2020
Рис. 5. Объем и структура рынка коммутаторов Ethernet для ЦОДов 

Помимо высокой производительности сетевой инфраструктуры, для современных ЦОДов важны ее хорошая масштабируемость и управляемость. Они необходимы для оперативного наращивания мощностей, быстрого подключения новых клиентов и развертывания новых сервисов. Чтобы ускорить выполнение подключений в ЦОДах, все чаще применяют претерминированные кабельные сборки, которые минимизируют объем работ «в полевых условиях» при гарантированном высоком качестве соединений на основе изготовленных на заводе сборок.

Необходимость повышения скорости передачи данных в ЦОДе заставляет увеличивать число оптических волокон. Связано это со все большим распространением параллельной оптики. Если раньше в ядре сети использовались 24-, 72-, 144- или 288-волоконные кабели, то сегодня применяют уже кабели, содержащие 1728, 3456 и даже 6912 волокон (Подробнее cм. «Готовимся к 400G, ждем 800G»). Инсталляция и обслуживание столь большого числа кабелей требует специальных высокоплотных кабельных систем, которые занимают минимум дорогостоящей полезной площади машинных залов ЦОДов. Например, это могут быть внестоечные ODF-шкафы высокой плотности, которые можно установить в углу серверного помещения. 

По мере роста скорости передачи данных максимально допустимые оптические бюджеты сокращаются. Скажем, если для канала 10GBASE-SR при длине 300 м допустимы потери 2,6 дБ, то для канала 100GBASE-SR4 при существенно меньшей длине (70 м) они снижаются до 1,8 дБ (в обоих случаях данные приведены для волокон OM3). Поэтому все более востребованы компоненты с низкими и сверхнизкими задержками: LL (Low-Loss) и ULL (Ultra-Low-Loss). Использование таких модульных претерминированных решений существенно повышает вариативность проектирования кабельной системы, позволяя, скажем, увеличить длину канала и/или число соединителей.

Для повышения вариативности важно и то, что названные решения поддерживают практически все комбинации типов волокон, количества соединений и вариантов топологии для различных архитектур. Это обеспечивает возможность организации высокоскоростных каналов большей дальности, свободу выбора топологий для масштабирования в очень больших и сложных средах и гарантированную производительность приложений как для стандартных, так и для проприетарных систем. В связи с большим числом вариантов подключений серверов, в том числе проприетарных, особую важность приобретают системы управления кабельной инфраструктурой класса AIM.

Инфраструктура ЦОДа должна быть способна к масштабированию, т.е. к переходу на более высокие скорости передачи данных. Поэтому поддержка в будущем 100G, 200G, 400G и даже более высоких скоростей – часть требований к проекту сети, которые влияют на выбор типа волокна (многомодовое или одномодовое), его класса (OM3, OM4 или OM5) и количества пар волокон, установленных на каждом участке.

Для перспективного проектирования сети необходимо рассмотреть целый ряд моментов, в частности:
  • фактические (а не средние или типичные) потери, которые вносит каждый элемент проектируемой кабельной системы;
  • полосу пропускания конкретной среды передачи (например, OM3 обеспечивает меньшую полосу пропускания, чем OM4, а OM5 – возможность передачи нескольких длин волн);
  • возможности параллельных многоволоконных линий и/или сочетания параллельных и дуплексных линий;
  • влияние размера ЦОДа – то, как длина каналов ограничит переход к скоростям следующего поколения.
Для помощи в проектировании, развертывании и модернизации (при переходе к более высоким скоростям) оптоволоконной инфраструктуры ЦОДов существует целый ряд инструментов. Они позволяют определить допустимые топологии кабельных каналов для широкого спектра приложений с учетом стандартов, соглашений между производителями и проприетарных спецификаций. Кроме того, предлагаемые производителями СКС калькуляторы выдают требования к затуханию для конкретного канала, одновременно показывая, какие приложения он будет поддерживать.

СКС как сервис в коммерческих ЦОДах

Конкурентоспособность коммерческих ЦОДов зависит, в частности, от скорости развертывания новых сервисов, отказоустойчивости физических линий передачи данных, наличия конкурентных предложений внешних каналов связи. Заранее подготовленная СКС обеспечивает гибкость в планировании и распределении полезной площади как для небольших клиентов, так и якорных арендаторов.

Уровень функциональности и доступности СКС может (и должен) стать одним из важных пунктов SLA, определяющих:
  • время, требуемое на подключение нового оборудования;
  • отказоустойчивость и резервирование кабельных соединений;
  • пропускную способность физических линий (количество волокон, интерфейсы).
Стандарт EN 50600-2-4/ISO 22237-5 описывает четыре класса доступности и топологии СКС для ЦОДов:
  • Класс 1. Прямое соединение или упрощенная фиксированная инфраструктура.
  • Класс 2. Фиксированная инфраструктура с резервированием кабельного ввода от оператора связи.
  • Класс 3. Фиксированная инфраструктура с резервированием операторского кросса и кабельных трасс.
  • Класс 4. Фиксированная инфраструктура с резервированием кабельных трасс, операторского, центрального и других кроссовых узлов.
Для ЦОДов, к которым предъявляются жесткие требования отказоустойчивости (т.е. для подавляющего большинства таких объектов), рекомендованы СКС класса 3 или 4. Для этих классов обязательна организация коммутационных полей по схеме кросс-коннекта, рекомендуется использование претерминированных решений.

Основные требования к СКС в коммерческих ЦОДах: 
  1. Быстрое и четкое выполнение коммутаций между каналами операторов и зонами размещения оборудования арендаторов, минимизация задержек в линиях связи между облачными провайдерами и их клиентами.
  2. Быстрое и четкое выполнение коммутаций между отсеками, рядами и целыми машзалами, занятыми якорными арендаторами.
  3. Эффективное перераспределение емкости оптических линий, высвобождаемой в результате ухода (смены) арендатора.
Отношение ряда операторов коммерческих ЦОДов к СКС как к статье расходов (дополнительных затрат) принципиально неверно. Оператор может зарабатывать на СКС, например, взимая плату за выполнение коммутаций к операторам связи (для соответствующего биллинга может использоваться система класса AIM).

  Системы управления AIM

Термин AIM (Automated Infrastructure Management), или «автоматизированное управление инфраструктурой», был принят относительно недавно, тогда как описываемые им системы управления известны уже почти четверть века. В разные периоды их развития применялись разные термины: «управляемое кроссовое поле», «интеллектуальные СКС» и пр. Но суть всегда была одна – автоматизация управления кабельной инфраструктурой.

Системы AIM состоят из трех базовых компонентов: интеллектуального коммутационного поля, контроллера и ПО управления. «Интеллект» коммутационного поля заключается в его способности регистрировать факты подключения/отключения коммутационных шнуров. Контроллер выступает шлюзом между интеллектуальным коммутационным полем и ПО управления, предоставляя в реальном времени информацию, которая позволяет точно контролировать происходящие в сети процессы. ПО управления (диспетчер AIM) документирует состояние кабельной инфраструктуры и дает возможность его контролировать через удобный пользовательский интерфейс – как правило, он доступен через веб-браузер.

В 2016 г. стандарт ISO/IEC 18598 утвердил термин AIM, определил базовые функциональные возможности таких систем, а также необходимость открытых интерфейсов для их интеграции с другими системами. Стандарт определяет AIM как «интегрированную программно-аппаратную систему, которая автоматически детектирует подключение и отключение коммутационных шнуров и документирует состояние кабельной инфраструктуры, включая подключенное к ней оборудование, а также обеспечивает управление инфраструктурой и обмен данными с другими системами».

Согласно ISO/IEC 18598, к числу базовых (обязательных) требований к системам AIM относятся:
  • автоматическое определение наличия соединений на кроссовом поле;
  • обеспечение в месте установки стойки доступа к электронным нарядам на выполнение работ, трассировочной и другой информации;
  • выдача звуковых/визуальных пре­ду­преждений о некорректном подключении и отключении коммутационных шнуров. 
Стандарт ISO/IEC 18598 требует наличия в системе AIM открытых программных интерфейсов, что критически важно для ее интеграции с другими системами, в том числе:
  • системами управления зданием (энергообеспечением, освещением, безопасностью, доступом и т.д.);
  • системами управления инфраструктурой ЦОДа (Data Center Infrastructure Management, DCIM).
В стандарт ISO/IEC 18598 включен раздел, в котором перечислены преимущества использования систем AIM. Это, в частности, точное и автоматическое документирование кабельных трасс – ранее трассировка выполнялась вручную, что часто приводило к ошибкам. Системы AIM позволяют автоматизировать процедуры внесения изменений и эффективно ими управлять, что дает возможность снизить операционные расходы и опять-таки минимизировать вероятность ошибок, связанных с человеческим фактором. Важная функция таких систем – управление инцидентами для уменьшения времени простоя и восстановления ИТ-оборудования и сервисов. Наконец, имеющиеся в AIM возможности управлять емкостью улучшают планирование и повышают процент утилизации портов.

Грамотно организованная СКС помогает создавать добавленную стоимость и дополнительные сервисы, которые позволят оператору ЦОДа оптимизировать использование ресурсов и стать более привлекательным для клиентов.

Сергей Кулаков, аккаунт-менеджер, CommScope
Александр Барсков

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!