B.2.3.3.1Вычислитель (Р)
Вычислитель представляет собой набор вычислительных узлов, объединенных с помощью высокопроизводительного механизма взаимодействия (сеть для MPI коммуникаций).
Как минимум, Вычислитель должен удовлетворять следующим требованиям:
Совокупная пиковая производительность Вычислителя по тесту Linpack должна составлять по методике, применяемой для измерения этого значения TOP500.org (значение Rpeak):
75 TFlops.
Максимальная достигнутая производительность по тесту Linpack Вычислителя должна составлять по методике, применяемой для измерения этого значения TOP500.org (значение Rmax):
55 TFlops.
Вычислитель должен обеспечивать выполнение приложений написанных с использованием библиотек MPI версии 3.0.
Все вычислительные узлы должны быть идентичны.
Вычислительные узлы должны быть исполнены в форм-факторе серверов-лезвий и устанавливаться группами в общее шасси. В одном лезвии допускается установка не более 2-х вычислительных узлов.
Вычислительные узлы должны быть оборудованы только элементами воздушного охлаждения. Допускается предложение узлов с жидкостным охлаждением (аналогичным указанным в п.B.2.2) – при этом необходимо поставить всю инженерную инфраструктуру, включая системы охлаждения, электропитания для обеспечения работоспособности в отказоустойчивом варианте.
Теоретическая пиковая производительность вычислительного узла должна составлять не менее:
1TFlops.
Каждый узел должен содержать оперативную память с поддержкой алгоритмов контроля четности и исправления однобитовых ошибок со следующими характеристиками:
частота не менее 2400 MHz.
объем не менее 4 GB на каждый процессор.
модули памяти должны быть установлены так чтобы равномерно использовать все доступные каналы для максимальной производительности.
все модули памяти в вычислительном узле должны быть идентичны.
Каждый узел должен иметь системные жесткие твердотельные диски SSD с полезным объемом 200 GB.
Допускается бездисковая конфигурация, при этом должно быть предусмотрено все необходимое оборудование для обеспечения работы в отказоустойчивом режиме для организации загрузки ОС.
Для вычислительных узлов должно быть реализовано выполнение следующих операций, инициируемых со стороны любого управляющего узла системы:
набор операций совместимый с протоколом IPMI версии 2.0 или выше;
селективный аппаратный сброс (hard reset) любого узла или группы узлов;
селективное включение / отключение электропитания любого узла или группы узлов (power cycle).
чтение значения моментального энергопотребления узла, процессорных чипов.
установка ограничения энергопотребления узла: после установки максимального предельного значения узел должен снизить уровень потребляемой электрической мощности до установленного лимита.
чтение значения температуры или термального запаса для каждого процессорного чипа.
Каждый процессор вычислительного узла должен быть оригинальным 64-х разрядным скалярным процессором. Все процессоры в узле должны быть идентичны.
Архитектура набора команд процессора должна быть совместима с x86-64 с векторными расширениями.
Объем кэш-памяти каждого процессорного чипа должен составлять не менее 25 MB.
Теоретическая пиковая производительность одного процессора должна составлять не менее 35 GFlops.
Каждый узел должен иметь доступ к Дисковой системе хранения данных #1 через параллельную файловую систему.
Каждый узел должен содержать MPI-интерфейс, а Вычислитель коммуникационную сеть MPI.
Коммуникационная сеть MPI должна обеспечивать объединение, как минимум, всех вычислительных узлов в единую высокопроизводительную сеть. Топология сети должна обеспечивать полное использование полосы пропускания от всех подключенных вычислительных узлов, т.е. каждый элемент (например, коммутатор) в топологии должен иметь ту же или лучшую производительность к сети, чем сумма производительностей подключенных узлов. Топология должна быть одинаковой для всего Вычислителя.
Коммуникационная сеть должна обеспечивать пропускную способность каждого линка на уровне не менее 50 Gbps.
Количество корневых коммутаторов в коммуникационной сети (при наличии в топологии) должно быть не менее 2-х.
Коммуникация узлов (электропитание, интерконнект, ЛВС) в шасси реализуется без использования кабелей. При использовании центральных корневых коммутаторов-директоров интерконнекта допускается использование прямых кабельных соединений.
Коммуникационная сеть должна быть построена по схеме без единой точки отказа.
Выделенная сеть мониторинга и управления Вычислителя реализуется по схеме без единой точки отказа со скоростью не менее 1Gbps.
Продолжительность перевода Вычислителя из рабочего режима в состояние «отключение питания» не должна превышать 15 мин. Продолжительность перевода Вычислителя из состояния «отключение питания» в рабочий режим не должна превышать 20 минут;
Единичный отказ блока питания и/или элемента охлаждения не должен приводить к выходу из строя узла.
Вычислитель (Р) и Вычислитель #1 должны быть одного модельного ряда.
Время выполнения представленных Получателем тестов на основе глобальной конечно-разностной модели SLM (п. E.3.7.2) для минимальной конфигурации, требуемой к тестированию (п. E.3.1), должно быть не более значений, указанных в сопроводительной документации к тестированию.
Время выполнения тестов на основе модели COSMO (п. E.3.7.3) для минимальной конфигурации, требуемой к тестированию (п. E.3.1), должно быть не более значения, указанного в сопроводительной документации к тестированию.
B.2.4.3.1Система управления данными
Система управления данными должна включать в себя Дисковую систему хранения данных (п. B.2.4.1), Дисковую систему хранения данных #2 (п.B.2.4.2), Серверы системы управления данными (п. B.2.4.3), включая Сервер доступа к данным из ЛВС.
Как минимум, оборудование Системы управления данными должно удовлетворять следующим требованиям:
Все узлы Вычислителя, Система FRONT-END Вычислителя, Система пакетной обработки заданий, Серверы системы управления данными, Серверы оперативной системы, должны иметь доступ к данным, размещенным в Дисковой системе хранения данных, и должны иметь отказоустойчивый доступ посредством параллельной файловой системы к Дисковой системе хранения данных #2.
Серверы и рабочие станции, расположенные в ЛВС должны иметь сетевой доступ к данным параллельной файловой системы;
На Вычислителе должна быть установлена только клиентская часть (части) параллельной файловой системы;
Управление доступом к данным посредством параллельной файловой системы осуществляется при помощи дополнительного по отношению к Вычислителю оборудования с организацией отказоустойчивой файловой системы;
Система управления данными должна обеспечивать автоматическую миграцию файлов между уровнями хранения, включая данные параллельной файловой системы;
Должна быть реализована централизованная система резервного копирования данных для обеспечения резервного копирования системных дисков всех серверов Вычислительного комплекса, части или всех серверов Информационной системы на Дисковую систему хранения данных;
Все компоненты Системы управления данными должны управляться с удаленной консоли, расположенной в ЛВС;
B.2.4.1Дисковая система хранения данных #1
Как минимум, Дисковая система хранения #1 должна удовлетворять следующим требованиям:
-
Общее дисковое пространство без учета запасных дисков должно составлять:
(М) – 320 TB;
(Р) – 200 TB;
Данные должны быть защищены с использованием технологии распределения контрольных сумм по всем дискам, используемым для хранения метаданных.
Единичные отказы аппаратных компонентов системы не должны вызывать останова системы и прерывания доступа к данным.
Дисковая система хранения данных должна иметь внешние интерфейсы SAS, FC 8 Gbps или Infiniband FDR.
Пропускная способность дискового массива Дисковой системы хранения данных должна составлять не менее
(М) – 6 GBps;
(Р) – 2 GBps;
Дисковые массивы для ММЦ и РСМЦ должны быть из одного модельного ряда.
Дисковая система хранения данных должна быть построена на дисках SAS или NL-SAS.
В одном шасси дискового массива должно быть размещено не менее 60 дисков.
Все диски, предназначенные для хранения данных, должны быть идентичны и иметь одинаковый номер модели, объем и скорость вращения.
Дисковая система хранения данных должна обеспечивать параллельный доступ к данным с Вычислителя, Серверов системы управления данными, Серверов оперативной системы и сетевой доступ клиентов расположенных в ЛВС;
Архитектура Дисковой системы хранения данных и дисковых массивов должна не иметь единой точки отказа, обеспечивать замену оборудования и обслуживание без остановки сервиса доступа к данным;
В составе Дисковой системы хранения данных должны содержаться запасные диски, функционирующие в режиме горячей подмены, суммарная емкость которых должна составлять не менее 10% от объема общего дискового пространства. Эти диски не должны быть включены ни в какую активную дисковую группу (например, в конфигурации RAID), но должны автоматически подключаться к активным дисковым группам в случае отказа диска группы;
Дисковая система хранения данных должна обеспечивать защиту данных от сбоя носителя аппаратными средствами.
Платформа виртуализации должна иметь непосредственный доступ к Дисковой системе хранения данных;
Дисковая система хранения данных должна поддерживать доступ со стороны серверов и рабочих станций, работающих под управлением OC Windows или Linux, через ЛВС по протоколам NFS, CIFS и FTP;
Должна быть обеспечена авторизация с использованием протокола LDAP при доступе к информации, расположенной на Дисковой системе хранения данных;
Дисковая система хранения данных может быть конфигурируема как один из уровней системы иерархического хранения данных.
B.2.4.2Дисковая система хранения данных #2
Как минимум, Дисковая система хранения #2 должна удовлетворять следующим требованиям:
Форматированное дисковое пространство без учета запасных дисков должно составлять не менее
2,5 PB;
Данные должны быть защищены с использованием технологии распределения контрольных сумм по всем дискам, используемым для хранения метаданных.
Единичные отказы аппаратных компонентов системы не должны вызывать останова системы и прерывания доступа к данным.
Дисковая система хранения данных #2 должна поддерживать внешние интерфейсы Infiniband FDR;
Пропускная способность Дисковой системы хранения данных #2 должна составлять не менее
55 GBps;
Дисковая система хранения данных #2 должна быть построена на дисках семейства SAS.
Все диски, предназначенные для хранения данных, должны быть идентичны и иметь одинаковый номер модели, объем и скорость вращения;
Дисковая система хранения данных #2 должна обеспечивать параллельный доступ к данным с Вычислителя, Серверов системы управления данными, Серверов оперативной системы и сетевой доступ клиентов расположенных в ЛВС;
Дисковая система хранения данных #2 должна обеспечивать требуемую для Вычислителя п. B.2.2 производительность файловой системы, подтвержденную на тестах;
Архитектура Дисковой системы хранения данных #2 и дисковых массивов должна не иметь единой точки отказа, обеспечивать замену оборудования и обслуживание без остановки сервиса доступа к данным;
Дисковая система хранения данных должна иметь возможность создания, расширения, изменения параметров и удаления логических томов в оперативном режиме;
Дисковая система хранения данных должна содержать запасную дисковую ёмкость, функционирующую в режиме «горячей» подмены суммарным объемом не менее 10% от объема общего дискового пространства. Эта емкость не должна использоваться для хранения данных, но должна автоматически использоваться для восстановления отказоустойчивости массива в случае отказа диска;
Дисковая система хранения данных #2 должна обеспечивать защиту данных от одновременной потери как минимум двух носителей в группе.
Дисковая система хранения данных #2 должна предоставлять возможность доступа к данным Вычислителю;
Дисковая система хранения данных #2 должна поддерживать доступ со стороны серверов и рабочих станций, работающих под управлением OC Windows или Linux, через ЛВС по протоколам NFS, CIFS и FTP;
Должна быть обеспечена авторизация с использованием протокола LDAP при доступе к информации, расположенной на Дисковой системе хранения данных;
B.2.4.3Серверы системы управления данными
B.2.4.3.1Сервер архивирования и резервного копирования
Как минимум, Сервер должен удовлетворять следующим требованиям:
Функциональность Сервера архивирования и резервного копирования должна обеспечить резервное копирование/восстановление данных с выделенных серверов Информационной системы на Дисковую систему хранения данных.
Сервер реализуется в виде кластера без единой точки отказа, который базируется на конфигурации Сервер #1 (п. B.2.9.1).
Требования к программным средствам резервного копирования/восстановления данных приведены в п. B.4.3.
Сервер должен иметь доступ к параллельной файловой системе без использования ЛВС.
B.2.4.3.2Сервер иерархического хранения данных
Как минимум, Сервер должен удовлетворять следующим требованиям:
Функциональность Сервера иерархического хранения данных должна обеспечить работу параллельной файловой системы и миграцию данных между Дисковыми системами хранения данных в соответствии с предписанной политикой.
Сервер реализуется в виде кластера без единой точки отказа, который базируется на конфигурации Сервер #1 (п. B.2.9.1).
Требования к программным средствам приведены в п. B.4.4.
Сервер должен иметь доступ к параллельной файловой системе без использования ЛВС.
B.2.4.3.3Сервер доступа к данным из ЛВС
Как минимум, Сервер должен удовлетворять следующим требованиям:
Функциональность Сервера должна обеспечить функции, указанные в п. B.2.4.1;
Сервер реализуется в виде кластера без единой точки отказа, который базируется на конфигурации Сервер #1 (п. B.2.9.1).
Сервер должен иметь доступ к параллельной файловой системе без использования ЛВС.
Управление должно быть обеспечено с Системной консоли #1 (п. B.2.2.1).
Отказоустойчивое подключение к ЛВС со скоростью не менее 10 Gbps.
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
B.2.5.3.1Серверы оперативной системы
Функциональность серверов оперативной системы должна обеспечить управление метеорологическими базами данных, пред и пост-обработку данных, управление оперативными задачами, задачами обмена оперативной информацией.
B.2.5.1Сервер формирования оперативной продукции
Как минимум, Сервер должен удовлетворять следующим требованиям:
Сервер реализуется в виде кластера без единой точки отказа, который базируется на конфигурации Сервер #3 (п.B.2.9.3).
Сервер должен иметь доступ к Дисковым системам хранения, включая доступ к параллельной файловой системе, без использования ЛВС.
Операционная система – ОС Вычислителя.
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
B.2.5.2Сервер оперативной обработки информации
Как минимум, Сервер должен удовлетворять следующим требованиям:
-
Сервер должен представлять собой вычислительную систему с глобальной общей оперативной памятью
-
Совокупная пиковая производительность Сервера по тесту Linpack должна составлять по методике, применяемой для измерения этого значения TOP500.org (значение Rpeak):
9 TFlops;
-
Каждый процессор должен быть оригинальным 64-х разрядным скалярным процессором;
-
Архитектура набора команд процессора должна быть совместима с x86-64 с векторными расширениями;
-
Объем кэш-памяти каждого процессорного чипа должен составлять не менее 15 MB;
-
ОЗУ – 4 TB с технологией коррекции ошибок ECC (планки оперативной памяти должны иметь объем не менее 16 GB каждая);
-
4 (четыре) НЖМД SSD, емкостью не менее 160 GB каждый, с аппаратным зеркалированием;
-
2 (два) адаптера Gigabit Ethernet;
-
4 графических адаптера с объемом памяти не менее 2 GB GDDR5 с двумя интерфейсами DVI .
-
Подключение к Дисковой системе хранения данных #2 без использования ЛВС, включая подключение к параллельным файловым системам;
-
Сервер должен быть подключен к Системной консоли.
-
Непосредственное подключение 2-х рабочих мест (удаление до 30м). Каждое рабочее место должно быть оборудовано монитором 30”, клавиатурой, мышью.
-
Операционная система – единый образ операционной системы – ОС Вычислителя.
-
Шасси для размещения компонентов в блэйд форм-факторе.
-
Размещение шасси в серверной стойке.
-
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
Результаты выполнения тестов общей производительности (п.E.3.5) для полной конфигурации сервера, должны быть не хуже значений, указанных в сопроводительной документации к тестированию.
B.2.5.3Сервер рабочей группы #1
Как минимум, Сервер должен удовлетворять следующим требованиям:
Сервер реализуется в виде кластера без единой точки отказа, который базируется на конфигурации Сервер #1 (п.B.2.9.1).
Кластер должен быть подключен к Системной консоли #1 (п. B.2.2.1).
Кластер должен иметь независимую систему хранения данных, построенную на дисках SAS 10k, объемом не менее 10TB с аппаратным RAID5 и 10% набором запасных дисков, функционирующих в режиме горячей подмены.
Сервер должен иметь доступ к параллельной файловой системе без использования ЛВС.
Средства разработки и отладки приложений (п. B.4.8) должны также быть предложены для указанного кластера.
Операционная система – ОС Вычислителя.
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
B.2.5.4Сервер рабочей группы #2
Как минимум, Сервер должен удовлетворять следующим требованиям:
Основные компоненты серверной платформы должны удовлетворять следующим минимальным требованиям:
Сервер реализуется на базе конфигурации Сервер #1 (п.B.2.9.1).
Операционная система:
Windows Server x64 Edition с лицензией на 250 пользователей;
Сервер должен иметь доступ к параллельной файловой системе без использования ЛВС. Допускается замена указанного функционала на систему хранения данных, построенную на дисках SAS 10k, объемом не менее 10TB с аппаратным RAID5 и 10% набором запасных дисков, функционирующих в режиме горячей подмены.
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
B.2.5.5Сервер технологического сегмента
Как минимум, Сервер должен удовлетворять следующим требованиям:
Сервер реализуется на базе конфигурации Сервер #1 (п.B.2.9.1).
Сервер должен иметь доступ к параллельной файловой системе без использования ЛВС. Допускается замена указанного функционала на систему хранения данных, построенную на дисках SAS 10k, объемом не менее 10TB с аппаратным RAID5 и 10% набором запасных дисков, функционирующих в режиме горячей подмены.
Операционная система – Linux.
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
B.2.6.3.1Сервер системы управления и мониторинга
Как минимум, Сервер должен удовлетворять следующим требованиям:
Функциональность Сервера должна обеспечить управление и мониторинг Вычислительного комплекса и системы жизнеобеспечения.
Сервер реализуется в виде кластера без единой точки отказа, который базируется на конфигурации Сервер #1 (п.B.2.9.1).
Требования к программному обеспечению приведены в п. B.4.5.
B.2.7.3.1Сервер управления доступом к ресурсам
Как минимум, Сервер должен удовлетворять следующим требованиям:
Функциональность Сервера должна обеспечить централизованное назначение, распространение и контроль выполнения общих правил доступа к вычислительным и информационным ресурсам системы.
Аппаратная реализация должна базироваться на конфигурации Сервер #1 (п.B.2.9.1) с организацией отказоустойчивого дублирования.
Требования к программному обеспечению приведены в п. B.4.7.
Не допускается реализация других сервисов и систем на аппаратной платформе данной системы.
B.2.8.3.1Платформа виртуализации
Платформа виртуализации представляет собой совокупность серверных узлов, СХД и средств коммуникации, предназначенных для создания единого отказоустойчивого кластера для запуска виртуальных серверов.
Как минимум, ПВ должна удовлетворять следующим требованиям:
Серверная часть ПВ должна быть реализована на аппаратных средствах, идентичных по всем характеристикам серверным средствам Вычислителя #1 (п. B.2.2);
После размещения на ПВ всей предусмотренной данным Техническим заданием нагрузки, должно оставаться свободным не менее 50% аппаратных ресурсов (процессоры, память) для целей расширения использования ПВ Получателя;
ПВ должна сохранять работоспособность в полном объеме при полном выходе из строя до 50% аппаратных ресурсов (серверов);
Общее количество серверных узлов ПВ должно составлять не менее 36 (тридцати шести) серверов;
Управление аппаратными средствами ПВ должно осуществляться средствами Системы управления и мониторинга Вычислителем #1;
Коммуникационные/транспортные сети ПВ и Вычислителя #1 должны быть физически разделены;
Транспортная сеть серверных узлов ПВ должна использоваться для доступа к Дисковой системе хранения данных #1, для обеспечения функционала безостановочной миграции ВМ между узлами ПВ, для межсерверного взаимодействия в ПВ и для межсетевого обмена трафиком виртуальных машин с ЛВС Получателя;
Должен быть предусмотрен интерфейс между коммуникационной и транспортной сетями ПВ и ЛВС Получателя на уровне L2 модели OSI минимум двумя соединениями на скорости не менее 10 Gbps каждое;
B.2.9.3.1Типовые серверные конфигурации
B.2.9.1Сервер #1
Как минимум, Сервер должен удовлетворять следующим требованиям:
2 (два) процессорных чипа;
Каждый процессор должен быть оригинальным 64-битным процессором, идентичным процессору Вычислителя;
ОЗУ – 256 GB, частотой не менее 2400 MHz с технологией коррекции ошибок ECC;
2 (два) НЖМД SAS 10k, емкостью 600 GB каждый, с аппаратным зеркалированием;
2 (два) адаптера Ethernet 10/100/1000 Base-T;
Требования к типу системы охлаждения не предъявляется;
Избыточные вентиляторы с возможностью горячей замены;
Избыточные блоки питания с возможностью горячей замены;
Сервер должен быть подключен к Системной консоли #1 (п. B.2.2.1).
Операционная система – ОС Вычислителя.
Размещение в монтажном шкафу.
B.2.9.2Сервер #2
Как минимум, Сервер должен удовлетворять следующим требованиям:
-
2 (два) процессорных чипа;
Каждый процессор должен быть оригинальным 64-битным процессором, идентичным процессору Вычислителя;
ОЗУ – 128 GB, частотой не менее 2400 MHz с технологией коррекции ошибок ECC;
2 (два) НЖМД SAS 10k, емкостью 600 GB каждый, с аппаратным зеркалированием;
2 (два) адаптера Ethernet 10/100/1000 Base-T;
Требования к типу системы охлаждения не предъявляется;
Избыточные вентиляторы с возможностью горячей замены;
Избыточные блоки питания с возможностью горячей замены;
Сервер должен быть подключен к Системной консоли #1 (п. B.2.2.1).
Операционная система – ОС Вычислителя.
Размещение в монтажном шкафу.
B.2.9.3Сервер #3
Как минимум, Сервер должен удовлетворять следующим требованиям:
-
2 (два) процессорных чипа;
Каждый процессор должен быть оригинальным 64-битным процессором, идентичным процессору Вычислителя;
ОЗУ – 512 GB, частотой не менее 2400 MHz с технологией коррекции ошибок ECC;
2 (два) НЖМД SAS 10k, емкостью 600 GB каждый, с аппаратным зеркалированием;
2 (два) адаптера Ethernet 10/100/1000 Base-T;
Избыточные вентиляторы с возможностью горячей замены;
Избыточные блоки питания с возможностью горячей замены;
Подключение к Дисковой системе хранения данных без использования ЛВС, включая подключение к параллельной файловой системе;
Сервер должен быть подключен к Системной консоли #1 (п. B.2.2.1).
Операционная система – ОС Вычислителя.
Размещение в монтажном шкафу.
|
