Руководство для пользователей linux кластера лит оияи

Скачать 1.11 Mb.

Название	Руководство для пользователей linux кластера лит оияи
страница	5/23
Тип	Руководство

rykovodstvo.ru > Руководство ремонт > Руководство

1 2 3 4 5 6 7 8 9 ... 23

2.4 Пакетная обработка счетных задач

Вы уже написали свою программу, оттранслировали ее, отладили и хотите запустить на счет. Исполняемый файл Вашей программы называется myprog.

Создайте текстовый файл с именем mybatch (например) со следующими строками в нем (символ # должен стоять в 1-ой позиции):

#!/bin/sh

#PBS -q dque

#PBS -l walltime=10:00:00,nodes=1:ppn=1

#PBS -m abe

#PBS -M <username>@cv.jinr.ru

#PBS -r n

./myprog
Выполните команду, которая разрешает выполнение этого файла:

chmod 755 mybatch
Поставьте его в очередь на исполнение в систему пакетной обработки:

qsub mybatch
Если на вычислительной ферме общего назначения есть свободные процессоры, то задача запустится на выполнение практически сразу. Статус Вашей задачи

можете смотреть командой:

qstat
Когда задача завершится, Вы получите ее "стандартный вывод" и диагностику в каталоге, из которого запускали команду qsub, в файлах вида:

mybatch.oXXXXX и mybatch.eXXXXX.

Строки в файле mybatch имеют следующее значение:
#!/bin/sh – вызов стандартного интерпретатора этой строки (необходима)

#PBS -q dque – имя очереди (фермы)

#PBS -l walltime=10:00:00,nodes=1:ppn=1 – время счета задачи (не более 10

астрономических минут в данном случае); для выполнения требуется одна

машина и один процессор на ней

#PBS -m abe – посылать mail при неожиданном останове в начале

выполнения, при окончании задачи

#PBS -M <username>@cv.jinr.ru – адрес, по которому посылать mail

#PBS -r n – не перезапускать задачу автоматически при сбоях

(рекомендуется именно этот режим для предотвращения зацикливания

задания)

./myprog – собственно запуск программы (можно указать ее параметры в

этой же строке)
В Linux кластер в настоящее время входят три фермы. Соответственно имеются три очереди, и задания из этих очередей попадают на различные фермы. Большинство пользователей имеют возможность (права) ставить задания только в очередь dque. Если Вы создали параллельную программу, то есть она может (и будет) работать параллельно на нескольких процессорах, то такую задачу можно и нужно ставить в очередь para, задавая при этом nodes=8 (работа на 8-ми процессорах одновременно).

Для пользователей коллабораций экспериментов БАК существует специальная очередь prod, доступная только этим пользователям.

При отсутствии загрузки специальных ферм, их ресурсы могут использоваться всеми пользователями, при условии, что их задачи будут выполняться не более 10-ти часов.

Существует возможность запускать задачу в очередь в интерактивном режиме, с переадресацией ее вывода на Ваш экран. Эта возможность предназначена исключительно для целей отладки программ, и ею не следует пользоваться в других целях. Подробнее смотрите:

man qsub

man pbs_resources_linux

2.5 Дисковое пространство для пользователей

Для хранения своих файлов, прежде всего, используйте свой домашний каталог (HOME). Это место хранения является наиболее безопасным с точки зрения защищенности от несанкционированного доступа и различных сбоев.

Для хранения больших объемов данных имеются временные каталоги (scratch), где информация пользователей может храниться длительное время (на данный момент – неограниченное); но следует заметить, что ведется контроль, является ли хранимая пользователями информация соответствующей их работе. На всех машинах имеются каталоги для действительно временного хранения данных, например во время счета программы. Такие каталоги регулярно очищаются от всех файлов, например при перезагрузке машины. Scratch каталоги доступны на всех машинах Linux кластера. Для их использования необходимо (один раз) создать свой каталог:

mkdir /scrc/u/myname (myname - это Ваше имя пользователя)
Временные каталоги являются локальными на каждой машине и имеют пути:

/tmp, /scr/u/myname
последний тоже необходимо один раз создать командой:

mkdir /scr/u/myname
На Вашем домашнем каталоге есть квота, то есть ограничение на максимальный объем информации, которую можно посмотреть командой:

fs lq
Квоту на scratch – каталогах можно посмотреть командой:

quota
Смотрите строку квот только для /scrc, если такая присутствует. На /scrc квота имеет два значения: quota и limit. Это означает, что в принципе можно записать количество информации до значения limit в течение двух недель, а далее Вы не сможете больше писать в /scrc, пока не удалите часть информации, чтобы ее объем стал опять меньше, чем значение quota. После этого запись опять будет разрешена.

1 2 3 4 5 6 7 8 9 ... 23

Похожие:

	Операционная система Linux Лабораторный практикум Целью работы является приобретение навыков работы с командами создания и управления учетными записями пользователей в Linux, а также...		Руководство пользователя вычислительного кластера Руководство предназначено для работы на вычислительном кластере Оренбургского государственного университета. Руководство содержит...
	Резолюция Комитета полномочных представителей оияи (март 2017 года), ход выполнения научной программы оияи в первом, стартовом году нового...		Пошаговое руководство по настройке двухузлового отказоустойчивого... В настоящем руководстве приводятся инструкции по установке и настройке отказоустойчивого кластера для сервера печати с двумя узлами....
	Программа развития туристско-рекреационного кластера Мурманской области на 2015-2017 г г Описание кластера и факторы, определяющие его текущее положение в экономике. 5		Это руководство содержит информацию об использовании системы и её... Это руководство разработано для пользователей dма39-4z Прочитайте это руководство для изучения работы и функций системы. Проинструктируйте...
	О заинтересованности в проведении открытой конкурентной закупочной... Услуг по комплексной технической эксплуатации и техническому обслуживанию имущественного комплекса Государственной корпорации «Ростех»,...		Новые пользователи unix и Linux могут быть ошеломлены размерами и... Но ни одна из этих книг не обсуждает особенности Linux. Хотя 95% всего связанного с использованием Linux абсолютно аналогично другим...
	Документация Аху №92, 95 (д. 3, лит. В); огэ №51; тсо №12, 13 инв.№06168; отк №234; оостиКРиЭЗиС №58; в помещениях ювелирного производства №45...		Linux многозадачная и многопользовательская операционная система... Это гибкая реализация ос unix, свободно распространяемая под генеральной лицензией gnu
	Программа развития биотехнологического инновационного территориального... Директор Некоммерческого партнерства «Содействие развитию Биотехнологического кластера Пущино»		Руководство предназначено для пользователей скан-тестера «Мастер-тест 7» (далее тестер) Руководство предназначено для пользователей скан-тестера «Мастер-тест 7» (далее тестер), позволяющего выполнять диагностику систем...
	Руководство предназначено для пользователей скан-тестера «Автотестер 4» (далее тестер) Руководство предназначено для пользователей скан-тестера «Автотестер 4» (далее тестер), позволяющего выполнять диагностику систем...		Александр Колядов Пасу Linux-сервера Поддержание рабочего состояния Linux физических и виртуальных серверов (около 350 единиц командой админов)
	Данный модуль включает в себя По (pcbe для Windows 9x/NT/2k/XP/2k3/2k3 64bit, Novell NetWare, Solaris, hp-ux, Linux, ibm-aix, RedHat Linux, sco unixware, and sco...		Руководство программиста Пакет средств разработки С/С++ программ для процессоров NeuroMatrix для операционных платформ Linux и Win32

Руководство, инструкция по применению