Rambler's Top100
 
Статьи
Николай ЕФИМОВ  13 мая 2020

Инфраструктура ЦОДов в эпоху IoT и Big Data

Высокая скорость передачи данных и возможность ее наращивания – ключевые характеристики сетевой инфраструктуры современного ЦОДа, которому приходится справляться со стремительно растущими объемами информации.

14,2 млрд – именно столько, по оценкам Gartner, различных устройств подключено к сети по всему миру сегодня. В 2021 году их количество, по прогнозам, может достичь уже 25 млрд.

Поскольку количество подключенных устройств постоянно растет, по сетям передаются все большие объемы данных. По мере развития ИТ нагрузка на дата-центры увеличивается. Фактически ЦОДы находятся на переднем крае цифровой трансформации. Обработка постоянно растущих объемов сложных данных из множества источников требует, чтобы полоса пропускания становилась шире, а скорость передачи – выше.

Владельцам и операторам ЦОДов важно оценить, способны ли имеющиеся сети и кабельная инфраструктура их объектов поддерживать будущие потребности. Какие факторы им нужно учитывать при выборе кабельных систем и коммутационного оборудования? На какой рост скоростей и производительности ориентироваться?

Неважно, предназначен ли ЦОД для облачных сервисов или услуг colocation, собственный это ЦОД заказчика или узел гибридной системы, в любом случае для эффективной обработки большого объема сложных данных нужна надежная инфраструктура с широкой полосой пропускания и малым временем отклика. Она должна иметь разветвленную систему подключений для различного активного оборудования, расположенного как на периферии сети, так и на магистралях, ведущих к ядру и сетевым хранилищам SAN. Кабельная инфраструктура ЦОДа должна одновременно обеспечивать максимальную управляемость объекта и его масштабируемость по мере роста объема обрабатываемых данных и требований к пропускной способности.

На периферии сети…

В современных ЦОДах на периферии сети, между коммутаторами и серверами, уже необходима скорость не менее 25 Гбит/с, а в перспективе 40 Гбит/с и выше. Если говорить о требованиях к кабельной среде передачи, то нужно ориентироваться на медные системы категории 8, а именно:
  • системы класса I, основанные на продукции категории 8.1, в которой используетcя интерфейс RJ45;
  • системы класса II, основанные на продукции категории 8.2, в которой используются не-RJ-интерфейсы;
  • экранированные системы категории 8, основанные на компонентах категории 8.
Все перечисленные кабельные системы имеют потолок частот до 2 ГГц, что позволяет поддерживать приложения 25 и 40 Гбит/с. Системы обеспечивают максимальную длину канала 30 м и рассчитаны максимум на два коннектора в канале. Проектировщики ЦОДа должны уметь располагать стойки и шкафы таким образом, чтобы вписаться в указанную длину. Это необходимо для перехода к приложениям 25G/40GBASE-T.

Если в ЦОДе принят подход Top-of-Rack, предусматривающий установку коммутатора в верхней части каждого шкафа, потребуются высокоскоростные шнуры для прямого подключения активного оборудования. Такой подход имеет свои плюсы. Высокоскоростные шнуры прямого подключения соединяют сетевой коммутатор с активным оборудованием – серверами, устройствами СХД, расположенными в том же или в соседнем шкафу. Фактически используется конфигурация «точка – точка». Такие шнуры обладают высокой пропускной способностью и дают возможность передавать большие объемы данных. Их могут называть по-разному:
  • шнуры прямого подключения (Direct Attach Copper Cables, DACС);
  • активные оптические шнуры (Active Optical Cables AOC);
  • трансиверные сборки.
Они поддерживают скорости от 10 до 100 Гбит/с, что позволит ЦОДу работать эффективно тогда, когда вместо 10-гигабитного активного оборудования будет устанавливаться 25-гигабитное и даже более скоростное.

Делая выбор из различных типов высокоскоростных шнуров прямого подключения, сетевые специалисты должны принимать во внимание дополнительные факторы – например, ограничения по длине шнуров, характерные для продукции разных изготовителей. Как правило, прямое подключение используется, когда оборудование располагается близко друг к другу – в соседних шкафах в ряду. Шнуры должны выпускаться в вариантах длин с шагом 0,5 м, чтобы для каждого случая можно было подобрать подходящий – скажем, шнурами длиной 0,5 м или 1 м подключать к коммутатору серверы из средней части шкафа, а шнурами длиной 1,5 или 2 м – устройства, расположенные ближе к основанию шкафа.

Чтобы избежать мешанины шнуров во внутреннем пространстве шкафа, следует задействовать кабельные органайзеры, каналы коммутации и другие средства упорядочивания кабелей. Применение соответствующих аксессуаров и шнуров из кабеля уменьшенного сечения способствует более эффективному доступу охлаждающего воздуха в шкафы.

…и в ее центре

Магистральные сегменты требуют принципиально иного подхода. Основная среда передачи в магистралях – волоконная оптика, а скорости постепенно приближаются к 200 и 400 Гбит/с. В список оптических решений, поддерживающих 200G и 400G, входят приложения 200GBASE-DR4, 200GBASE-LR4 и 400GBASE-DR4 для одномодовых сред и 400GBASE-SR16 для многомодовых. При этом реализация высокоскоростных приложений зависит от того, были ли изначально на объекте установлены подходящие оптические кабели. Какими же они должны быть?

Из приведенной таблицы следует, что и многомодовые, и одномодовые приложения (причем как 200-, так и 400-гигабитные) можно реализовать в оптических сегментах с количеством волокон, кратным двум или восьми. Так, одобренные стандартами IEEE приложения 200 и 400 Гбит/с для средних расстояний, до 500 м (что покрывает все типовые потребности ЦОДа и позволяет применять относительно недорогое оптическое активное оборудование), скорее всего, будут ориентироваться на 8-волоконную конфигурацию BASE-8.

Таблица. Новые спецификации IEEE для протоколов физического уровня 


Приложение

 Число волокон Среда передачи (волокно)Максимальное расстояние, км 
 200G-BASE-DR4 8 Одномодовое  0,5
 200GBASE-FR4 2 Одномодовое  2
 200GBASE-SR4 2 Одномодовое  10
 400GBASE-DR4 8 Многомодовое  0,1 (OM4)
 400GBASE-DR4 8 Одномодовое  0,5
 400GBASE-FR8 2 Одномодовое  2
 400GBASE-LR8 2 Одномодовое  10
 400GBASE-SR16 32 Многомодовое  0,1 (OM4)

На сегодняшний день во многих ЦОДах установлены 12-волоконные сегменты MTP. Однако 12-волоконная конфигурация MTP не дает максимальной эффективности, ведь из 12 волокон только восемь реально задействованы в передаче сигналов. Если четыре волокна из 12 простаивают, не используется 33% ресурсов системы, а значит треть системы была установлена напрасно.

Если же в ЦОДе проложить 8-волоконные магистрали MTP, а для коммутации использовать 8-волоконные шнуры MTP, то будут задействованы все 100% ресурсов кабельной системы. 8-волоконные решения MTP не только более эффективны и экономичны, обеспечивают поддержку 40- и 100-гигабитных приложений 40/100GBASE-SR4, но и рассчитаны на переход к приложениям следующих поколений – 200 и 400 Гбит/с.

Если в ЦОДах уже установлены 12-волоконные сегменты MTP, можно прибегнуть к специальным переходным (гибридным) шнурам и соединительным модулям, чтобы 8-волоконные существующие и будущие приложения задействовали все имеющиеся в системе волокна: по двум 12-волоконным сегментам MTP с их помощью можно пропустить три 8-волоконных приложения. В этом случае степень использования инфраструктуры составит 100%, но надо честно признать, что это более сложный и менее удобный путь, чем сразу закладывать в систему 8-волоконные сегменты MTP. Ведь если в сети потребуется производить какие-либо работы или менять поврежденный шнур, то из эксплуатации придется вывести сразу три порта. Также нужно учитывать, что гибридные модули вносят дополнительные оптические потери в канал, и это может негативно сказаться на производительности системы.

Вносимые потери в высокоскоростных оптических сетях часто становятся предметом озабоченности и обсуждений. Совокупное затухание определяется потерями, которые вносят сама среда кабеля и соединения в канале. Чем выше скорость передачи в сети, тем строже требования к вносимым потерям, жестче пределы допустимых значений. К сожалению, принятые сейчас варианты архитектуры сетей – плоские, неиерархические, с малым количеством уровней коммутации – характеризуются большими расстояниями между коммутаторами, и это осложняет прокладку таких сегментов и последующее управление ими. Если предусмотреть между коммутаторами точки распределения или кросс-соединения, можно уменьшить протяженность кабельных сегментов и улучшить управляемость, но каждая точка распределения добавляет новые соединения, а значит, увеличивает оптические потери в канале. Выход только в том, чтобы для таких межкоммутаторных сегментов использовать продукцию серии MTP Low Loss – специально разработанные компоненты с уменьшенными оптическими потерями.

Поскольку объем данных, генерируемых устройствами IoT, растет взрывными темпами, владельцам и операторам ЦОДов необходимо проверить, сможет ли их сетевая инфраструктура удовлетворять постоянно растущие потребности в вычислительной мощности, скорости передачи и объеме сетевых хранилищ. Кабельную среду нужно выбирать таким образом, чтобы и сегменты на периферии сети, и магистрали в центре могли поддерживать самые продвинутые и требовательные приложения. В проекте ЦОДа обязательно должна была предусмотрена возможность масштабирования. Только тогда центр обработки данных сможет соответствовать будущим вызовам.

Строим ЦОД блоками

Потребности в вычислительных мощностях растут быстро, а в объеме систем хранения – еще быстрее, буквально с каждым часом. Тем, кто управляет ЦОДами, необходимо оперативно расширять емкость и улучшать характеристики объектов. Концепция модульных ЦОДов позволяет быстро и малыми усилиями организовывать процесс расширения, не жертвуя надежностью и эффективностью работы объекта.

Модульная концепция опирается на понятие «конечной точки» (Point of Delivery, PoD) – своего рода строительного блока, модуля, обладающего определенной вычислительной мощностью и объемом СХД, укомплектованного сопутствующими компонентами и наборами приложений, которые вместе обеспечивают предоставление ИТ-услуг. Аппаратные шкафы в таком модуле чаще всего выстроены симметрично двумя рядами и образуют структуру горячих/холодных коридоров. Подобные группы шкафов обычно проектируются с учетом необходимой вместимости, функционального назначения и особенностей используемых приложений. С коммутаторами в ядре сети такие группы связаны, как правило, через коммутаторы уровня агрегации. Эти коммутаторы могут располагаться как внутри модуля, так и вне его – в отдельной зоне распределения, которая может обслуживать несколько модулей.

Если нужно расширить модульный ЦОД, к нему просто добавляются такие же «строительные блоки», что уже развернуты на объекте. Фактически первый модуль, установленный в самом начале, впоследствии служит шаблоном для создания и пристраивания новых блоков. Поскольку модули в ЦОДе представляют собой отдельные, самодостаточные отсеки, их можно просто добавлять в нужном количестве по мере роста потребностей. При таком подходе ЦОДы можно масштабировать быстро и с минимальными усилиями.

Для успешной реализации модульного подхода предусмотрена возможность заказывать шкафы в сборе, предварительно собранные поставщиком в соответствии с той или иной типовой конфигурацией. Шкафы поставляются с уже установленным медным и волоконно-оптическим коммутационным оборудованием. Их комплектуют блоками розеток для распределения питания (PDU), кабельными органайзерами и прочими необходимыми аксессуарами. Все компоненты уже предварительно собраны, комплект поступает в единой упаковке, и на объекте остается только распаковать шкафы, установить в них активное оборудование и выполнить финальные подключения. Как только заказчик определит типы конфигураций, которые ему нужны (шкаф для сетевого хранилища, сетевой шкаф, серверный шкаф), соответствующие компоненты включаются в спецификацию со всеми артикулами и необходимыми описаниями, и таким образом формируется ведомость материалов для каждого модуля в ЦОДе. Поскольку расширение объекта будет происходить по той же самой модульной схеме, владельцы и операторы ЦОДа могут заранее оценить будущие затраты на расширение и выделить ресурсы для таких работ.

Николай Ефимов, технический менеджер, Siemon 
Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!