Связаться с нами по телефону +7 (495) 967 66 57
Написать нам сообщение IT@lanit.ru
Наши координаты г. Москва
Новая ИТ-инфраструктура для ЦОД Почты России
НАШ ОПЫТ

Новая ИТ-инфраструктура для ЦОД Почты России

  • Дата сдачи проекта: 2019 г.

Обзор проекта

Из-за резкого роста количества посылок из зарубежных магазинов  Китая, стран Западной Европы и Северной Америки возросла нагрузка на логистические объекты «Почты России». Поэтому были построены логистические центры нового поколения, на которых используются сортировочные машины высокой производительности. Они требуют поддержки со стороны вычислительной инфраструктуры.
 
Инфраструктура ЦОД была устаревшей и не обеспечивала необходимой производительности и надёжности в работе информационных систем предприятия. Также «Почта России» испытывала нехватку вычислительных мощностей для запуска новых сервисов.
ЦОДы «Почты России» обслуживают более 40 000 объектов, 85 территориальных управлений. В ЦОДах работают десятки круглосуточных бизнес-сервисов, включая услуги электронной коммерции.
 
Уже сегодня на предприятии используются системы для хранения, анализа и обработки больших данных. Для таких систем важную роль играет использование алгоритмов искусственного интеллекта и машинного обучения. На сегодняшний день одними из самых важных кейсов для предприятия являются оптимизация управления логистическими потоками и ускорение обслуживания клиентов в отделениях почтовой связи.
 
До начала проекта модернизации в основном и резервном ЦОДах было около 3000 виртуальных машин, объем хранимой информации превышал 2 петабайта. В ЦОДах была сложная структура маршрутизации трафика, связанная с разделением на различные сегменты по уровням безопасности.
 
С развитием приложений и внедрением новых сервисов, существующей пропускной способности сетевого оборудования в ЦОДах стало недостаточно. Требовался переход к интерфейсам с новыми скоростями: 10 Гбит/c, вместо  1 Гбит/c на доступе и 40 Гбит/c на уровне ядра, с полным резервированием оборудования и каналов связи.
 
От департамента информационной безопасности поступило требование о разделении инфраструктуры на сегменты с высоким уровнем информационной безопасности трафика и приложений (PN — Private Network и DMZ — Demilitarized Zone). Через межсетевые экраны (МСЭ) проходил трафик, фильтровать который было не обязательно. VRF на коммутаторах для такого трафика не использовался. Правила на МСЭ были неоптимальными (десятки тысяч правил в каждом ЦОДе).
 
Бесшовная миграция виртуальных машин (ВМ) между ЦОДами с сохранением IP-адреса и оптимального пути прохождения трафика между сегментами, включая корпоративную сеть передачи данных (КСПД), была невозможна.
 
Для резервирования использовался MSTP, часть портов была заблокирована (горячий резерв). Коммутаторы ядра и доступа не были объединены в отказоустойчивый кластер, агрегация интерфейсов (LAG) не использовалась.
 
С появлением третьего ЦОДа, требовалась новая архитектура и настройка оборудования для работы кольца между ЦОДами (был предложен EVPN).
 
Отсутствовала единая концепция развития ЦОДов, задокументированная в виде проекта и согласованная со всеми подразделениями заказчика. Текущая документация по эксплуатации сети была неполной и устарела.

Что сделано

  • подготовлена архитектура и концепция развития для построения сетевой и серверной инфраструктуры третьего ЦОДа;
  • проведен оперативный аудит существующей сети заказчика;
  • расширена емкость ядра сети более, чем на 1500 портов Ethernet 10/40 Гбит/c в каждом ЦОД (всего 4500 портов);
  • обеспечена работа кольца между тремя ЦОДами с возможностью наращивания скорости до 80 Гбит/c в каждом из сегментов, чтобы объединить вычислительные ресурсы заказчика из разных ЦОДов в единую ИТ-систему;
  • обеспечена 100% двойного резерва всех элементов сети для достижения целевого Uptime на уровне 99,995%;
  • минимизированы задержки трафика между виртуальными машинами для ускорения работы бизнес-приложений;
  • собрана статистика, сделан анализ и проведена последующая оптимизация правил фильтрации трафика в ЦОДах (изначально было около 80 000 правил);
  • разработана целевая архитектура для обеспечения бесшовной миграции критически важных бизнес-приложений заказчика в любой из трёх ЦОДов.

Результаты

  • Разработана и согласована со всеми подразделениями заказчика стратегия развития сети ЦОДов, Корпоративной сети передачи данных (КСПД) и кольца между ЦОД.
  • Увеличилась доступность сервисов. Это было отмечено бизнесом заказчика и привело к еще большему росту трафика за счет внедрения новых услуг.
  • Мигрировано и оптимизировано более 40 000 правил c FWSM/ASA на USG 9560. Разные контексты ASA на UGG 9560 объединены в единый security-policy.
  • Пропускная способность портов ЦОДов увеличена с 1G до 10/40G за счет использования CE12800/CE6850. Это позволило устранить перегрузки интерфейсов и потерю пакетов.
  • Маршрутизаторы операторского класса NE40E-X8 полностью покрыли потребности ЦОД и КСПД заказчика с учётом будущего развития бизнеса.
  • Запрошено восемь новых Feature Requests для USG 9560. Из них семь уже реализовано и включено в текущую версию VRP. 1 FR — на реализации в R&D Huawei. Это кластер на восемь шасси с возможностью настройки необходимого функционала по синхронизации конфигурации без синхронизации сессий. Требуется, если задержка трафика до одного из ЦОДов слишком велика (Адлер – Москва 1300 км по основной трассе и 2800 км по резервной трассе).
  • Проект не имеет аналогов по сравнению с другими почтовыми компаниями России.