Сетевая инфраструктура для кластера своими руками
Множество статей посвящено тому как развернуть кластер с помощью разных программных решений, сломано много стрел, сотни страниц комментариев. Как всегда есть "но", авторы забывают указывать на каких аппаратных решениях это все развёрнуто и порой, выполняя все рекомендации таких статей, результаты отличны от заявленных. Сегодня постараюсь заполнить брешь и рассмотрю техническую часть построения сетевой инфраструктуры предприятия на которой можно разворачивать системы хранения данных (СХД) и построения кластерных систем. В наличии: 1. Пара D-Link DEM 432XT. 2. D-Link DXS-1210-12TC 3. D-Link DXE-820T 4. Медные патчкорды 6 категории длина 5 метров - 2 шт. 5. СХД DELL Equallogic ps4110e Задача: собрать сеть передачи данных между серверам и системой хранения данных, как первый шаг к построению кластера. Собираем схему, по итогу она будет выглядеть так:  Первый опыт - собрать сеть 10Гбит/С на обыкновенной экранированной витой паре категории 5Е самостоятельного обжима. Опыт хороший, теперь знаю, что обжатый самостоятельно кабель категории 5Е иногда работает. Из 10 обжатых патчкордов (длина 6 метров), линк поднят на 4, а стабильная работа (без потерь) на 2. Сразу делаем вывод - в экстренных ситуация можно на "коленке" решить проблему отказа, но потом нужно обязательно поменять кабель на заводской. Купил заводской патчкорд 6-ой категории(длина 5 метров), полный "noname" - все заработало стабильно. Ссылка на патчкорд в каталоге e2e4. Линии связи держат постоянный линк, данные ходят без потерь. Считаем, что физический и транспортный уровень модели OSI сделали. Переходим к следующему объекту нашего испытательного стенда. СХД DELL Equallogic ps4110e настроена в соответствии с рекомендациями производителя. Порт iSCSI и ETHERNET настроены на разные подсети и смотрят в разное оборудование (iSCSI в свитч DXS 1210-12TC, порт ETHERNET подключен в общую сеть). В политиках RAID контроллера выставлен RAID6 (10 дисков данные и 2 контрольная сумма). Напомню, что в ps4110 по умолчанию в политиках RAID 6 это RAID 5 + 1 диск горячая замена. Сама СХД примонтирована к файловой системе и определяется как директория "C:\ClusterStorage\Volume1", по этому все данные которые хранятся по указанному пути физически находятся на СХД. На самом сервере собран RAID 5, это диск D. После того как убедились, что все лампочки горят и данные ходят, приступаем к тестированию под нагрузкой. Все тесты основаны на реальных потребностях системного администратора. В тестах копировались виртуальные диски системы виртуализации или образы дистрибутивов, необходимые для установки ПО в виртуальных машинах. Тест №1: Запись с сервера на PS4110e. На картинке показана максимальная скорость выполнения копирования данных, средняя скорость в районе 450-500МБ/c.  Тест №2: Копирование файлов с PS4110e на Диск сервера, минимальная скорость 300 МБ/с, максимум в 630 МБ/с (это было так быстро, что даже не успел сделать слепок экрана) средняя 560-580 Мб/с.   Тест №3: Поскольку СХД оснащена двумя контроллерами, работающими по системе Vertical port failover (вышедший из строя порт заменяется соответствующим портом второго контроллера), необходимо было проверить, насколько не заметно для виртуальных машин собранная система переключится на передачу данных по другому каналу. Смоделированная ситуация: В процессе копирования данных отключался медный патчкорд от D-LINK DXS-1210-12TC и оценивалась падение скорости при переключении контроллеров. При этом хочется пояснить, что пока контроллер СХД не использует порт, он находится в статусе OFFLINE. С поставленной задачей справилось все оборудование. При отключении медного патчкорда, копирование данных не останавливалось, потери в скорости передачи данных так же замечено не было. Заключение Как вывод о проделанной работе можно сказать, что указанное выше оборудование можно использовать для построения новой инфраструктуры (кстати, DXS-1210 есть разных модификаций — как с медными портами, так и с SFP+). Также появляется возможность глубокой модернизации имеющейся сетевой инфраструктуры для средних и крупных предприятий за сравнительно небольшие деньги. Хочется добавить ложку дегтя в эту схему - при установке серверной сетевой карты возникла проблема с драйверами - Windows 2012 Server Core не смог установить драйвер автоматически и пришлось устанавливать скаченный с сайта производителя драйвер самостоятельно. Сотрудник ООО «БИТ» Квашенников В.И. ___________________________________________ e2e4 - приятно быть умным! |