Новые кабельные решения для ЦОДов

Стоимость СКС составляет 3% стоимости ЦОДа, однако, как сообщил на организованной «ИКС-Медиа» конференции «ЦОД-2018» Сергей Горюнов, менеджер по развитию продаж компании Molex MPN Structured Cabling, кабельные соединения являются причиной 70% инцидентов. А инцидент в ЦОДе – это потеря денег, репутации и доверия клиентов.

Волшебное слово «быстро»!

Вложения в кабельную систему – долгосрочные, ведь средний срок ее эксплуатации составляет 10-15 лет. Поэтому при проектировании СКС следует учитывать перспективу стремительного роста объема передаваемых данных и требований к скорости передачи по каналам связи. Если в офисных СКС по-прежнему встречаются каналы 10 Мбит/с, то в ЦОДах уже используются каналы c пропускной способностью 100 Гбит/c. И это не предел. В декабре 2017 г. официально принят новый стандарт IEEE 802.3bs, предусматривающий увеличение скорости канала до 200 и 400 Гбит/с (см. табл.).

Таблица. Спецификации стандарта IEEE 802.3bs

Оборудование, отвечающее стандарту IEEE 802.3bs, уже появляется на рынке. Так, в 2018 г. упомянутая Molex начала производить поддерживающие новые стандарты коннекторы высокой плотности, а Mellanox Technolgies, по заявлению системного инженера этой компании Александра Петровского, планирует в следующем году выпустить коммутаторы с портами 400 Гбит/с.

Ethernet для СХД

Одна из сфер применения кабелей нового стандарта – Ethernet-фабрики для систем хранения данных (Ethernet Storage Fabric, ESF). Раньше СХД рассматривалась как некая проприетарная система с набором дисков, подключенная к сети хранения данных. Ее было сложно обслуживать и дорого масштабировать. Сейчас, особенно в облачных инфраструктурах, используются программно определяемые хранилища. Для их создания обычные серверы с большим количеством дисков масштабируются горизонтально в виде одного большого пула хранения, а программные решения формируют из них общий кластер. Подключаются серверы друг к другу с помощью высокоскоростной сети. Для этих целей теперь может использоваться технология Ethernet, которая значительно выигрывает в скорости у Fibre Chanel, способной обеспечить производительность не более 32 Гбит/с.

Рис. 1. Ethernet-фабрика для СХД

Сеть Ethernet-фабрики для хранилища строится в топологии Leaf-Spine (рис. 1). К коммутаторам уровня Leaf подключаются серверы (узлы хранения). Маршрутизация осуществляется с помощью протоколов OSPF/BGP. На уровне агрегации используются протоколы LAG/MLAG (Multi-Chassis Link Aggregation Groups). Хранилище масштабируется стойками – от одной до тысячи и более. В каждую стойку устанавливаются по два коммутатора, которые подключаются к вышестоящей фабрике. Для подключения служат каналы 40 и 100 Гбит/с, а с внедрением нового стандарта скорости вырастут еще больше. ESF поддерживает широкий набор СХД-протоколов и приложений: iSCSI/iSER, FS/NFSoRDMA, CIFS/SMB Direct, NVMeOF, Ceph, HDFS, Lustre/GPFS/GlusterFS.

Витая пара для ЦОДов

Новации в кабельных системах для ЦОДов коснулись не только оптики, но и электропроводных решений. Для связи серверов с коммутаторами в дата-центрах появились кабели восьмой категории (Cat8) на медной витой паре, поддерживающие скорость 25 и 40 Гбит/c. Принятие стандарта категории 8 заняло почти 10 лет: его предшественник, востребованный на практике стандарт категории 6а, был принят еще в 2008 г. Кабели Cat8 отличаются от предшественников частотой (до 2 ГГц, что в четыре раза выше, чем у 6а), длиной тракта (не более 30 м, в то время как у 6а – 100 м), числом коннекторов (не более двух – кросс-коннект запрещен), конструкцией кабеля (каждая витая пара в фольге, все вместе в металлической оплетке, а экранирование требует заземления) и коннекторов (существуют две модификации – 8.1 (RG-45) и 8.2 (Tera, GG45, ARJ)).

Новый кабель слишком короткий для прокладки в офисных зданиях, но отлично подходит для организации внутрирядной связи в дата-центрах. Ограничение длины кабелей категории 8 тридцатью метрами не случайно. Таким образом, пояснил директор по продажам компании Leviton Сергей Логинов, достигается оптимальный баланс между мощностью трансиверов и дальностью передачи сигнала, позволяющий снизить энергопотребление и соответствующие операционные издержки. 

С помощью кабелей категории 8 для соединения стоек в машзалах ЦОДов можно использовать несколько типов архитектур – End-of-Row (коммутаторы располагаются в конце ряда стоек), Middle-of-Row (в середине) и Top-of-Rack (коммутаторы размещаются вверху стоек с ИТ-оборудованием) (рис. 2). 

Рис. 2. Варианты подключения стоек с использование Cat8

End-of-Row (EoR) и Middle-of-Row (MoR) предполагают классический подход к построению структурированной кабельной системы, при котором коммутационные шнуры соединяют оборудование через коммутационные панели.

При часто используемой в дата-центрах архитектуре Top-of-Rack (ToR) ИТ-оборудование подключается напрямую к расположенным вверху стойки коммутаторам. У каждого такого коммутатора есть оптические порты, соединенные с коммутаторами уровня агрегации. Такая схема не является классической для структурированной кабельной системы, но для 8-й категории просто подключение коммутационным шнуром уже может рассматриваться как СКС.

Кабели категории 8 дешевле, чем оптические, обеспечивают обратную совместимость с кабелями категории 6 (разные порты одного коммутатора могут поддерживать разные скорости), так что при их использовании заказчик получает универсальную инфраструктуру, способную работать на скоростях от 1 до 40 Гбит/c.

Cat8 – идеальный вариант для малых и средних ЦОДов, в машинных залах которых в одном ряду размещается не более 30 стоек. В крупных ЦОДах, где стоек в рядах более 30 и требуются скорости выше 40 Гбит/c, следует применять оптоволокно.

С. Логинов призывает правильно проектировать кабельную систему на основе кабелей категории 6а и использовать архитектуру ToR, тогда для перехода на стандарт Cat8 будет достаточно заменить коммутационные шнуры. При выборе между EoR и MoR следует остановиться на MoR – это позволит организовать более длинный ряд стоек. Кроме того, предпочтительнее использовать экранированный кабель категории 6а, поскольку наличие заземления облегчит переход на Cat8.

Статья опубликована на «ИКС-Медиа»