Slide 0
22 декабря 2006 г.
1
Рабочее совещание ATLAS
Проведение анализа данных ATLAS с применением программы GANGA
Шиякова Мария Маринова
НЭОВП - ATLAS
Slide 1
22 декабря 2006 г.
2
Рабочее совещание ATLAS
Данные ATLAS будут храниться в разных вычислительных центрах (ВЦ) (~50).
Доступ к данным будет осуществляться только средствами Грид
Задачи анализа будут запускаться в тех же ВЦ, где находятся данные, и для это нужно подходящее программное обеспечение.
Slide 2
22 декабря 2006 г.
3
Рабочее совещание ATLAS
Запуск задачи анализа без применения программы-интерфейса
Найти, где находятся анализируемые данные
Проверить, установлено ли в этом ВЦ требуемое программное обеспечение соответствующей версии
Написать сценарий на языке JDL, который будет управлять удаленным запуском конкретной задачи
Запустить задачу на выполнение командами LCG
Проверить, что задача выполнена
Скопировать выходные файлы на локальный компьютер или SE Грид
При необходимости создать новый набор данных (dataset), и зарегистрировать в нем свои файлы
Повторить все действия для каждого набора анализируемых данных и процедуры анализа
Slide 3
22 декабря 2006 г.
4
Рабочее совещание ATLAS
Prodsys – ориентирована на массовые вычисления (моделирование Монте-Карло). Мало пригодна для запуска задач анализа
Panda – создана американскими учеными и ориентирована на американские ВЦ и Грид (OSG)
GANGA – создана в ЦЕРНе для работы в LCG. Пригодна для запуска как задач анализа, так и задач пользовательского моделирования
Для упрощения раcпределенного анализа данных ATLAS существуют программы:
Slide 4
22 декабря 2006 г.
5
Рабочее совещание ATLAS
Задача с точки зрения GANGA
Приложение
(Athena)
Вычислительная
платформа
Входной набор данных
Выходной набор данных
Исходные данные
Результаты вычислений
Грид, локальная ферма ...
Какую программу запустить
задача
Slide 5
22 декабря 2006 г.
6
Рабочее совещание ATLAS
Ganga формирует сценарий запуска задачи в гриде и его выполняет:
находит исходные данные
посылает задачу на вычисление в соответствующий ВЦ
и возвращает результат.
Одновременно обеспечивается мониторинг.
Ganga ориентирована на тех физиков, которые хотят использовать Грид для вычислений, но не хотят разбираться в деталях его устройства.
Slide 6
22 декабря 2006 г.
7
Рабочее совещание ATLAS
Способы работы с GANGA
Командная строка
ganga
Ctrl+d
Графическая оболочка
ganga --gui
меню Job/Quit
Slide 7
22 декабря 2006 г.
Рабочее совещание ATLAS
8
Задача в командной строке
j = Job()
j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300'
j.application=Athena()
j.application.prepare()
j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/InstallAra/jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.py'
j.inputdata=DQ2Dataset()
j.inputdata.type='DQ2_LOCAL'
j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"
j.outputdata=DQ2OutputDataset()
j.outputdata.outputdata=['AnalysisSkeleton.root']
j.backend=LCG()
#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'
j.submit()
Slide 8
22 декабря 2006 г.
Рабочее совещание ATLAS
9
Все команды с предыдущего слайда можно объединить в исполняемой файл primer.py и запустить в командной строке Ganga:
In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py')
j.submit()
другие команды:
jobs
print jobs[25]
j26=j25.copy()
jobs[25].kill()
jobs[25].remove()
Slide 9
22 декабря 2006 г.
10
Рабочее совещание ATLAS
При запуске задачи Athena можно дополнительно указать параметры:
Версия Athena
Число событий
Файл с дополнительными опциями
Название файла с выходными данными
Вычислительный центр (CE)
Системные требования (время CPU, …)
Версия программного обеспечения Грид
Slide 10
22 декабря 2006 г.
11
Рабочее совещание ATLAS
Графическая среда GUI
Slide 11
22 декабря 2006 г.
12
Рабочее совещание ATLAS
Slide 12
22 декабря 2006 г.
13
Рабочее совещание ATLAS
Slide 13
22 декабря 2006 г.
14
Рабочее совещание ATLAS
Slide 14
22 декабря 2006 г.
15
Рабочее совещание ATLAS
Slide 15
22 декабря 2006 г.
Рабочее совещание ATLAS
16
Где искать выходные данные?
GANGA может скопировать выходные файлы на компьютер, с которого запускалась задача. В этом случае по завершении задачи результат можно найти в директории ~/.gangadir/workspace/output/<jobId>
Либо может оставить файлы на хранение в удаленном ВЦ, зарегистрировав их в каталоге Грид и создав новый набор данных ( dataset ) в DQ2:
user.username.ganga.jobid
Удобно при больших объемах выходных данных
Доступ к данным средствами DQ2 ( dq2_ls, dq2_get …)
Slide 16
22 декабря 2006 г.
17
Рабочее совещание ATLAS
Что нужно, чтобы запустить GANGA прямо сейчас
Действительный сертификат пользователя Грид
Доступ к установленному программному обеспечению (Athena, DQ2, LCG, Ganga)
установлено на lxplus.cern.ch, lxpub.jinr.ru …
Иметь свою программу анализа и знать какие данные анализировать
Для работы в командной строке нужно иметь представление о языке Python
Slide 17
22 декабря 2006 г.
18
Рабочее совещание ATLAS
Заключение
В ОИЯИ накоплен опыт использования программы GANGA для запуска задач анализа данных ATLAS
Желающие использовать эту программу в своей работе могут обращаться с вопросами ко мне ([email protected], т.63996, 4 корпус ЛЯП, комната 330)
... или на форум http://atlasinfo.jinr.ru/forum
Можно организовать практическое учебное занятие
