МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М.В.ЛОМОНОСОВА
НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ
имени Д.В.СКОБЕЛЬЦЫНА
УДК 004.75
Инв.№ 105832/07
УТВЕРЖДАЮ
Директор НИИЯФ МГУ
______________ М.И.Панасюк
«___»_________ 2007 г.
ОТЧЕТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
Исследование и разработка технологического задела по запуску в грид-инфраструктуру заданий, подготовленных для различных сред исполнения
(промежуточный)
по теме:
Теоретические исследования поставленных перед НИР задач
Руководитель работ
|
________
подпись, дата
|
В.А.Ильин
|
Москва 2007 г.
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работ, д-р физико-математических наук
|
_________________
подпись, дата
|
В.А.Ильин (Введение, Заключение)
|
Исполнители
|
_________________
подпись, дата
|
А.П.Крюков (раздел 2)
|
|
_________________
подпись, дата
|
А.П.Демичев (разделы 3)
|
|
_________________
подпись, дата
|
Е.Г.Боос (разделы 4)
|
Реферат
отчета по теме:
Теоретические исследования поставленных перед НИР задач
Отчет: с., 12 рис., 1 таблица, 13 источников, 2 приложения
Ключевые слова: распределенные вычисления, грид, среда исполнения, виртуализация ресурсов.
Объектом исследования являются распределенные вычислительные ресурсы грид-инфраструктур в условиях их применения для решения задач, подготовленных для различных сред исполнения.
Целью работы является интеграция новых технологий виртуализации вычислительных ресурсов в большие системы распределенных вычислений и обработки данных (в первую очередь, в международную грид-инфраструктуру EGEE) для повышение эффективности их использования путем существенного расширения класса прикладных задач, которые могут быть решены с их помощью.
В процессе работы на втором этапе исследований проводились теоретические исследования поставленных перед НИР задач, в том числе
Разработка детальной архитектуры и алгоритмов работы модулей системы запуска заданий с различными средами исполнения в грид.
Выявление необходимости проведения экспериментов для подтверждения достижимости параметров работы системы, определенных в Техническом задании.
Проведение патентных исследований по ГОСТ 15.011-96.
Реализация мероприятий по достижению технико-экономических показателей (п. 6 Технического задания).
В рамках поставленной задачи разработаны алгоритмы работы системы запуска заданий с различными средами исполнения в грид, выяснены взаимосвязи разрабатываемой системы с другими компонентами грид-инфраструктуры, выявлены направления экспериментальных проверок для подтверждения достижимости параметров работы системы, определенных в Техническом задании, проведены патентные исследования.
В рамках реализации мероприятий по достижению технико-экономических показателей, зафиксированных в Техническом задании, опубликованы тезисы доклада по теме работы на Международной конференции "XXI International Symposium on Nuclear Electronics & Computing NEC'2007" (Болгария, Варна, 10-17 сентября, 2007 г.): A.Kryukov and I.Gorbunov "First experience of submission to the EGEE/RDIG Grid of jobs prepared for non standard OS's by means virtualization" ("Первый опыт запуска заданий, подготовленных для исполнения в нестандартных ОС, в грид EGEE/РДИГ на основе виртуализации"). По материалам работы и доклада в печать направлена статья, которая будет опубликована в Трудах конференции.
Содержание
Определения……………………… ……………………………..…………………6
Обозначения и сокращения…… ……………………………………………..……9
1 Введение 11
2 Архитектура системы запуска заданий в грид 13
2.1 Базовые подсистемы грид-инфраструктуры 13
2.2 Архитектура подсистемы управления загрузкой 16
2.3 Отличие разрабатываемой системы от существующих решений запуска заданий в грид с помощью ППО gLite и Globus Toolkit 22
3 Разработка детальной архитектуры и алгоритмов работы модулей системы запуска заданий с различными средами исполнения в грид. 23
3.1 Описание форматов описания грид-ресурсов с системой запуска заданий в различных средах исполнения 23
3.1.1 Общие сведения о схеме GLUE 23
3.1.2 Описание запросов на запуск заданий в определенных средах исполнения 24
3.1.2.1 Язык описания заданий (Job Description Language, JDL) 25
3.1.2.2 Параметры для запроса среды исполнения 27
3.1.2.3 Пример JDL-файла 29
3.2 Архитектура и алгоритмы системы запуска заданий в грид для различных сред исполнения 30
3.2.1 Общая архитектура СЗЗ-РСИ 30
3.2.2 Общий алгоритм работы СЗЗ-РСИ и ее взаимодействие с другими подсистемами грида 31
3.2.3 Архитектура службы предоставления сред исполнения (СПСИ) 33
3.2.4 Архитектура и алгоритмы работы вычислительного элемента, репозитория и рабочих узлов со службой предоставления сред исполнения (СПСИ) 35
3.2.5 Обеспечение безопасности грид-среды 37
3.2.6 Предварительные шаги по реализации алгоритмов работы СЗЗ-РСИ 39
3.2.6.1 Инструкция по ручному развертыванию виртуальной машины и запуску в ней заданий средствами грида 39
3.2.6.2 Выбор реализации обмена данными между хостовой и гостевой операционными системами на рабочем узле грид-системы 45
4 Выявление необходимости проведения экспериментов для подтверждения достижимости параметров работы системы, определенных в Техническом задании. 46
5 Заключение 48
6 Список использованных источников 51
7 Приложение 1. GLUE-схема для описания вычислительных грид-ресурсов 52
8 Приложение 2. Обработчик заданий Вычислительного элемента LCG-CE ППО gLite 52
Определения
В настоящем отчете о НИР применяют следующие термины с соответствующими определениями:
Аппаратная технология виртуализации - набор инструкций процессора Intel VT-x или AMD-V для упрощения и ускорения переключения контекста между гостевой и хостовой операционными системами.
Вычислительный элемент - в контексте грид-технологий термин "вычислительный элемент", используется для обозначения интерфейса ресурсного центра для запуска заданий на рабочие узлы.
Виртуальная машина - программная или аппаратная среда, в той или иной степени имитирующая работу реального компьютера. На виртуальную машину, так же как и на реальный компьютер можно инсталлировать операционную систему, у виртуальной машины так же есть BIOS, оперативная память, жёсткий диск (выделенное место на жёстком диске реального компьютера), могут эмулироваться периферийные устройства. На одном компьютере может функционировать несколько виртуальных машин.
Грид-инфраструктура – инфраструктура, обеспечивающая пользователям грида прозрачный, унифицированный, безопасный доступ к географически распределенным вычислительным ресурсам и ресурсам хранения данных через открытые компьютерные сети.
Гостевая операционная система - операционная система, работающая внутри виртуальной машины.
Инфраструктура безопасности грида - компонента промежуточного программного обеспечения грида; основывается на понятии открытого ключа, входит в инструментальный пакет Globus.
Кластер компьютерный - доступная по сети группа рабочих узлов (при необходимости вместе с головным узлом), размещённая на некотором сайте. Другими словами, кластер это "контейнер", который группирует вместе компьютерные узлы или подкластеры.
Монитор виртуальных машин (гипервизор) - программный уровень абстракции, разделяющий аппаратную платформу на несколько виртуальных машин; в более узком смысле - часть ядра хостовой операционной системы, ответственная за хостинг и управление виртуальными машинами; работает непосредственно с оборудованием.
Мониторинг/грид-мониторинг - грид-мониторинг подразумевает сбор, анализ и публикацию информации от распределенной инфраструктуры с целью определения статуса грид-ресурсов и хода выполнения заданий.
Приложение – любая компьютерная программа, предназначенная для решения конкретной задачи пользователя из некоторой прикладной области. В данном контексте рассматриваются грид-приложения, т.е. приложения, использующие грид-инфраструктуру для получения результата.
Промежуточное программное обеспечение/ППО - слой программного обеспечения, состоящий из агентов, являющихся посредниками между различными компонентами крупного приложения. Зачастую ППО используется в распределённых приложениях, причём агентов, составляющих этот слой, может быть несколько.
Ресурсный центр грид-инфраструктуры - может включает два типа ресурсов (или один из них): вычислительные ресурсы, на которых выполняется обработка данных; ресурсы хранения данных, которые обеспечивает хранение и транспортировку данных между аналогичными ресурсами и/или данным ресурсом и пользователем.
Рабочие узлы грид-системы - отдельный хост кластера; информация о вычислительном узле может быть видима гриду, но может быть и не видима - это зависит от способа администрирования кластера.
Сайт - используемое для администрирования логическое имя, обозначающее конкретный, стабильный, уникально идентифицируемый и тестируемый набор служб и ресурсов (вычислительных и ресурсов хранения данных).
Сервис/служба - абстрактный ресурс, представляющий возможность выполнения задач, которые имеют четкие функции с точки зрения поставщиков и потребителей. Чтобы службой можно было воспользоваться, она должна быть реализована конкретным агентом поставщика. В данном тексте термины "сервис" и "служба" используются как эквивалентные.
Хостовая операционная система - операционная система, в которой работает платформа виртуализации, исполняющаяся непосредственно на хосте
Хостовая система (хост) - компьютер, на котором работает платформа виртуализации.
Элемент хранения - любой ресурс хранения данных, зарегистрированный в информационной подсистеме грида и обеспечиваеющий доступ к удаленным сайтам посредством грид-интерфейса; элемент хранения может управлять большими массивами на дисках, системами хранения сверхбольшой ёмкости и подобными им системами.
Обозначения и сокращения
ВМ виртуальная машина
МВМ монитор виртуальных машин (гипервизор)
ОС операционная система
ПО программное обеспечение
ППО промежуточное программное обеспечение
РДИГ Российский грид для интенсивных операций с данными
РЦ ресурсный центр
СЗЗ-РСИ система запуска заданий, подготовленных для различных сред исполнения, в грид-среду
СПСИ служба предоставления сред исполнения
CE вычислительный элемент (Computing Element)
EGEE развертывание грид-систем для e-науки (The Enabling Grids for E-sciencE)
GT4 набор инструментальных средств Globus версии 4 (Globus Toolkit 4)
CLI интерфейс командной строки (Command Line Interface)
gLite промежуточное программное обеспечение проекта EGEE (Lightweight Middleware for Grid Computing)
GSI система безопасности (Grid Security Infrastructure)
JDL язык описания задания (Job Description Language)
KVM Linux Kernel Virtual Machine
OGSA открытая архитектура ГРИД-сервисов (Open Grid Service Architecture)
PBS портируемая система пакетной обработки (Portable Batch System)
RB сервис распределения ресурсов (Resource Broker)
SE элемент хранения; ресурс хранения данных (Storage Element)
UI интерфейс пользователя (User Interface)
UML User-mode Linux
VMM монитор виртуальных машин (Virtual Machines Monitor)
VW виртуальное рабочее пространство (Virtual Workspace)
VWS служба виртуального рабочего пространства (Virtual Workspace Service)
WM менеджер загрузки (Workload Manager)
WMS подсистема управления загрузкой (Workspace Management Service)
WN рабочий узел (Working Node)
|
