Содержание
Домой —> Sharx Base в. 5.10 —> SB-01 Документация
SB-01-0001 Требования для установки
Требования к оборудованию
Наличие 2-х современных процессоров семейства Intel Xeon с количеством ядер не менее 8 на каждом;
Наличие выделенного порта IPMI;
Не менее 128 Гб оперативной памяти (Рекомендовано 256 Гб и более);
Наличие не менее 1-го выделенного HDD (рекомендовано SSD для установки ПО объемом не менее 480 Гб. форм-фактор М2);
Наличие не менее 6 слотов для установки SSD-накопителей;
Количество установленных SSD накопителей – не менее 3-х (дополнительно к п.4), установленные накопители не должны быть сконфигурированы в RAID;
Через интерфейс IPMI должна быть доступна информация от датчиков по параметрам источников питания, температуры, сетевым настройкам, возможность управления питанием узла;
Поддерживаемые SSD-накопители:
- Samsung SV843, SM863, PM863, 883DCT, PM863a, PM883
- Intel DC S3500, S3510, S3520, S3610, S3700, S3710, S4500, S4600, S4510, S4610, S4520, S4620
- Micron M500DC, M510DC, X5100 ECO/PRO/MAX, 5200 PRO/MAX, 5300 PRO/MAX
- Seagate Nytro 1551
- HPE VK000960GWCNR (S3520)
- Toshiba HK4 (Hawk-4) Series
- Toshiba (Kioxia) HK-6R Series
- SanDisk (ex. Smart Storage Systems) CloudSpeed 1000E, Eco, Ascend
- HGST Ultrastar DC SS200
- Solidigm D3-S4520, D3-S4620
Минимальный размер диска – 960 Гб. Количество дисков не менее 3-х дисков
на каждый сервер.
Поддерживаемые NVMe накопители:
- Intel P3520, P3600, P3608, P3700, P4500, P4600, P4510, P4610, P5510
- Micron 9100 PRO/MAX, 9200 ECO/PRO/MAX, 9300 PRO/MAX, 7300 PRO/MAX
- HPE VO003840KWVMU (PM1723b), VO003840KWVBU (CD5)
- Toshiba PX04PMC, XD5
- Kioxia CD6-R
- HGST/WD Ultrastar DC SN100, SN200
- WD Gold SN600
- Huawei ES300 V3
- Samsung PM1725A, PM963, PM983, PM9A3
- Solidigm D5-5430, D7-P5520, D7-P5620, D7-P5810
- Memblaze PBlaze7 7940
Поддерживаемые сетевые адаптеры
- ConnectX®-6 Lx EN 25/10 Gbit/sec Dual-Port Adapter
- ConnectX®-5 EN 25/10 Gbit/sec Dual-Port Adapter
- ConnectX®-4 Lx EN 25/10 Gbit/sec Dual-Port Adapter
- Intel® dual-port XL710-QDA2 40 Gpbs QSFP+ (DeviceID: 0x1572, 0x1574, 0x1580, 0x1581, 0x1583, 0x1584, 0x1585, 0x1586, 0x1587, 0x1588, 0x1589, 0x158A, 0x158B, 0x37CE, 0x37CF, 0x37D0, 0x37D1, 0x37D2, 0x37D3)
- Intel® Ethernet Network Adapter XXV710-DA2 (DeviceID: 0x1572, 0x1574, 0x1580, 0x1581, 0x1583, 0x1584, 0x1585, 0x1586, 0x1587, 0x1588, 0x1589, 0x158A, 0x158B, 0x37CE, 0x37CF, 0x37D0, 0x37D1, 0x37D2, 0x37D3)
- Intel 82599, X520, X540, X550
- Broadcom BCM57810, BCM57840S
- ConnectX®-4 25/10 Gbit/sec Dual-Port Adapter (и новее)
- Intel® dual-port XL710-QDA2 40 Gpbs QSFP+
- Intel® Ethernet Network Adapter XXV710-DA2
- Intel® Ethernet Network Adapter E810-XXVDA2
- Intel 82599, X520, X540, X550
- Broadcom BCM57810, BCM57840S
Поддерживаемые 3D видеоадаптеры (для проброса внутрь ВМ)
- NVidia Tesla T4, Tesla H100/200, A100 Ampere, V100 Volta, L40, L40S, T4
Наличие не менее 1-го свободного слота PCI Express для возможности установки модуля доверенной загрузки (после установки сетевого адаптера);
Наличие не менее 2-х блоков питания;
Наличие не менее 1-го порта USB 2.0;
Минимальное количество серверов для создания кластера – 3 шт.
При использовании оборудования, предоставляемого Заказчиком, поддержка на ПО
будет доступна только при наличии поддержки производителя на аппаратное
обеспечение.
Поддерживаемое серверное оборудование рекомендуемое к использованию:
- ЗАО «Норси-Транс»: серии Паладин и Пантера (Паладин-225 G3, Пантера-110 G3 и другие).
- Delta Computers: серверная платформа DELTA TIOGA PASS (I22W2U0D21, I22W4S0D21 и другие).
- Aquarius: серия AQserv (T50 D224CF, T50 D212CF и другие).
- Dell: серия PowerEdge (R550, R750 и другие).
- GAGAR>N: серия Tioga Pass (Orakul Gen1 и другие).
- Gooxi: серия SL201 (D08R-NV-G3 и другие).
- KRAFTWAY: серия Trusted (TS3000, TS5310 и другие).
- RDW Computers: серия Алтай (А212Т, А216Т и другие).
- Yadro: серия Vegman (X2-105, R220 G2 и другие).
- Инферит Техника: серия RS208/RS224 (RS208 R1G3D32R, RS224 R1G3D32R и другие).
- Тринити Интеграция: серия ER220/ER225 (ER220HDR-M8, ER225HTR-M8 и другие).
Телекоммуникационное оборудование, поддерживаемое Платформой SharxBase:
- Mellanox SN2010, SN2100, SN2410, SN2700; SN3700
- Arista 7280R, 7160, 7060, 7050×3
- H3C S9850-32H , S6850-56HF
- Huawei CE8850, CE6865, CE6860
- Eltex MES5410-48, MES5310-48, MES5400-24
- Yadro KORNFELD D1156
- Любые стандартные коммутаторы 25 Гбит/с и 100 Гбит/с, поддерживающие:
Аппаратные и архитектурные требования
Форм-фактор:
- Размер 1U;
- Монтаж в 19« стойку;
- Наличие комплекта крепежа в стойку.
Порты:
- Не менее 24 SFP28 25G портов доступа для подключения серверов;
- Не менее 2 QSFP28 100G портов для организации интерлинка между коммутаторами;
- Порты доступа должны иметь возможность работать с трансиверами на скоростях 10G/25G;
- Поддержка сторонних DAC/AOC/SFP28 модулей;
- Выделеный порт RJ45 1G для внеполосного управления;
- Выделеный консольный порт для первоначальной настройки.
Пропускная способность:
- Достаточная для неблокируемого обмена трафика между всеми портами доступа.
Ресурсы:
- Поддержка Jumbo-frames не менее 9126 МБ.
Питание и охлаждение:
- Два независимых блока питания с возможностью горячей замены;
- Блоки вентиляторов охлаждения с возможностью горячей замены.
Сетевой функционал Уровень L2:
- Поддержка VLAN 8021.Q;
- Spanning Tree: RSTP/MSTP;
- Strom control, BPDU protection;
- LLDP ;
- Поддержка RoCE/PFC и Data Center Bridging для работы РСХД с RDMA.
Уровень L3:
- SVI интерфейсы;
- VRF для ip интерфейсов на физических, MLAG и SVI интерфейсах;
- BGP, VRF-aware BGP;
- OSPFv2, VRF-aware OSPF.
Виртуализация сетей для больших инсталляций:
- BGP EVPN control plane;
- VXLAN bridging and routing. Симмтетричная и ассиметричная машрутизация VXLAN.
Поддержка MLAG:
- Active-active аггрегаты с поддрежкой LACP:
- Механизмы проверки консистентности на коммутаторах MLAG пары:
- Механизмы защиты от split-brain:
- Поддержка быстрой сходимости (LACP fast timers).
VRRP:
- Поддержка VRRP на физических, MLAG и VLAN интерфейсах;
- VRF-aware VRRP.
Управление и мониторинг Управляющий интерфейс:
- Выделеный физический интерфейс управления;
- Логическое отделение в management VRF.
Протоколы управления и мониторинга:
- Обязательная возможность работы сервисов в management VRF;
- SNMPv2, SNMPv3;
- Syslog;
- NTP;
- SSHv2;
- sFlow, IPFIX.
Настройка:
- Наличие механизмов автоматизированной первичной настройки - ZTP.
Безопасность:
- AAA (Tacacs+/Radius), локальные пользователи с RBAC;
- Защита плоскости управления (Control plane protection), rate limiting;
- Защита портов доступа - Port security;
Требования к сетевой инфраструктуре
В части работы системы виртуализации Sharx Base для функционирования распределённой системы хранения данных (РСХД) используется RDMA и MTU 9000, в то же время сеть управления работает с MTU 1500 без использование RDMA.
Стоит отметить, что наличие в сети РСХД MAC-адресов, не относящихся к системе, может приводить к помехам и задержкам при обработке данных.
Таким образом, в целях поддержки общей пропускной способности и технических характеристик, виртуализация сети для каждой целевой системы должна обеспечивать возможность установки требуемых технических параметров.
Поскольку VLAN, созданные с помощью виртуализации сети, изолированы и управляются независимо, то традиционные аспекты безопасности, применяемые к невиртуализованной среде, должны также применяться к каждому VLAN отдельно. Кроме того, проблемы безопасности в отдельном VLAN не должны распространяться на другие VLAN.
Система виртуализации SharxBase спроектирована в соответствии со стандартами и требованиями к использованию технологий виртуализации МСЭ-Т, ФСТЭК России, Банка России и др. и не допускает функционирование без изоляции сетей.
Для развёртывания каждого тестового кластера виртуализации минимально необходимо выполнить подготовку сети Заказчика в соответствии со следующими требованиями к выделению сетей:
Для подключения выделенных интерфейсов управления серверов
- vlan и ip-адреса для IPMI/BMC-интерфейсов серверов; трафик не тегированный; указать шлюз сети, настроить маршрутизацию.
Для подключения продуктивных интерфейсов серверов (trunk):
- vlan и ip-сеть гипервизоров (по числу серверов + VIP): трафик не тегированный (native); указать шлюз сети, настроить маршрутизацию;
- vlan для РСХД: не маршрутизируемый, трафик тегированый;
- vlan и ip-сеть для размещения ВМ (один vlan или несколько, в зависимости от количества тенантов и ИС Заказчика): трафик тегированный; указать шлюз(ы) сети, настроить маршрутизацию.
На межсетевом экране необходимо разрешить доступ из сети гипервизоров в сеть IPMI/BMC на порт 623/udp.
Соообщить адресa ntp-серверов и DNS-серверов на площадке Заказчика.
! Без доступа к серверу NTP корректное функционирование кластера не гарантируется. !
Типовая схема подключения:
Сетевые порты используемые решением
1) Для внешнего взаимодействия необходимо открыть порты для:
1) tcp 22 ssh (для доступа к консоли) 2) tcp 80 http webui 3) tcp 443 https webui 4) (опционально) tcp 29876 VNC port для доступа к консолям ВМ
2) Для развертывания необходим доступ с хостов кластера на удаленные:
1) tcp/udp 53 - NTP 2) udp 123 - NTP
3) Опционально для мониторинга необходимо открывать соответсвующие порты:
1) 80 443 8080 8443 2102 2474 2633 4142 5030 9869 11211 29876 - Система управления виртуализацией 2) SDC-CORE: 8081 8082 3) 28895 - sdc-tool 4) 81 3749 47567 - Система распределенного хранилища данных 5) 9100 9633 9550 28891 28892 28893 28894 28896 - система мониторинга Prometheus exporters 6) 9092 - система мониторинга Prometheus (agent mode) 7) 7000 7001 7070 9042 9142 9160 - Cassandra 8) 3306 3307 - MariaDB 9) 16509 - Libvirt
