Система управления автоматическими тестами на базе MS VisualStudio 2008 & Hyper-V.


The Presentation inside:

Slide 0

Система управления автоматическими тестами на базе MS VisualStudio 2008 & Hyper-V.


Slide 1

Полная автоматическая поддержка цикла жизни продукта на этапе разработки с момента выпуска версии до генерации результатов пройденных тестов.


Slide 2

MS Team Foundation Server FileServer Hyper-V Server ATLauncher Основные элементы системы и их роли


Slide 3

Основные свойства и возможности системы:


Slide 4

Позволяет запускать тесты в любой момент времени для: повторного тестирования продукта; отладки автоматических тестов; воспроизведения дефектов продукта; запуска “свежих” тестов на протестированной версии; настройки подготавливаемого окружения. 1. Ручной запуск автоматических тестов.


Slide 5

Включение и выключение автоматического запуска тестов по событию сборки продукта. 2. Планирование времени автоматического запуска тестов на определенной сборке


Slide 6

использование тестов разных типов* в одну тестовую итерацию; создание различных тестовых групп для полного или “Smoke” тестирования; создание тестовых групп в группах тестов; регулирование времени выполнения тестов (подгонка групп по времени на исполнение тестов). * Типы тестов: MSTest, HP QTP Tests и т.д. Варианты и возможности использования: 3. Объединение тестов в тестовые группы


Slide 7

Создание и закрытие WorkItem’а типа Bug на TFS на определенную персону. Автоматическое заполнение полей WorkItem’а на TFS при создании дефекта. Алгоритм защиты от дупликации Bug’ов. 4. Автоматическое фиксирование и закрытие дефектов


Slide 8

Служит для организации поведения автоматических тестов в очереди. Очередность осуществляется по приоритетам и по времени попадания в очередь. 5. Задание приоритета для определенных сборок


Slide 9

Прерывание выполнения тестов в любой момент времени. Дополнительная возможность управления выполнением тестов в очереди. Очистка “следов” выполнения тестов. 6. Отмена выполняющихся тестов


Slide 10

Ограничение кол-ва одновременно запущенных машин. Создание тестов определенного веса (“виртуальная машина * N”). 7. Контроль распределения физических ресурсов тестовой лаборатории


Slide 11

Цель: Обеспечение бесперебойного процесса тестирования; Гарантирование прогона всех тестов в очереди. Пути достижения (алгоритм): Настройка “timeout” параметра работы виртуальной машины; Настройка времени работы самих тестов; Сбор данных с “зависшей” виртуальной машины; Остановка машины. 8. Защита ресурсов тестовой лаборатории от “зависших” виртуальных машин (“kill by timeout”)


Slide 12

Обеспечение доступа к определенным сетевым ресурсам для компьютеров вне домена. 9. Возможность использования “слепых” виртуальных машин (“blind VPC”) или машин вне домена.


Slide 13

Установка продукта по умолчанию. Копирование необходимых конфигурационных файлов. Подготовка хранилища для результатов выполненных тестов и лог файлов. 10. Подготовка окружения


Slide 14

Облегчает интеграцию автоматических тестов в систему управления. Признаки: MSTest (*.orderedtests) HP QTP (*.ls) 11. Поиск автоматических тестов на “MS SourceControl” по определенным признакам.


Slide 15

Детализированный просмотр очереди в целом и поэлементно: сервер, на котором запущена виртуальная машина; виртуальная машина, на которой запускается тест; название группы тестов (абстрактный “Display name”); версия продукта, на которой запущены тесты; путь, куда будут скопированы результаты; ID задачи (для внутреннего использования). 12. Просмотр текущего состояния выполняемых или находящихся в очереди тестов


Slide 16

Публикация результатов в MS TFS. Сохранение результатов на сервере без публикации в MS TFS (“debug mode”). 13. Публикация результатов тестов в сборку и отладочный режим “debug mode”


Slide 17

Цель: отображение статуса сборки продукта; дополнительная информативность при отладке приложения. 14. Управление полями “Build Quality” на TFS


Slide 18

Просмотр результатов автоматических тестов разного типа одним инструментом. Алгоритм генерации в HTML из trx (MSTest: TDD, UnitTests, GenericTests). Алгоритм генерации в trx из QTP report. 15. Генерация отчетов по результатам тестов в единый формат (*.html и\или *.trx)


Slide 19

Двухступенчатая система ведения лога: логирование основной системы; логирование конкретной виртуальной машины. 16. Ведение лога на каждом из этапов выполнения тестов


Slide 20

новые типы запускаемых тестов дополнительные системы виртуализации поддержка n-го кол-ва серверов формирование дополнительных отчетных форматов расширение агента запуска тестов (xml коммуникация) и т.д. 17. Расширение архитектуры и масштабируемость


Slide 21

никаких трудозатрат на обновление отдельных компонентов системы, используемых на n-ом кол-ве виртуальных машин; обновления всех виртуальных машин сервера; обновление конкретной машины (со всеми снапшотами). 18. Автоматическое обновление тестового агента (“ATLauncher”) на каждом окружении.


Slide 22

Обеспечивает: Надежность системы; Бесперебойность процесса. 19. Восстановление системы после сбоя


Slide 23

Как это работает ? Основные компоненты системы


Slide 24

Сервис управления (ATManager)


Slide 25

Тестовый агент (ATLauncher) или движок запуска тестов


Slide 26

… в картинках. Краткий обзор клиентской части


Slide 27

Краткий обзор клиентской части (Common & TFS)


Slide 28

Краткий обзор клиентской части (Builds)


Slide 29

Краткий обзор клиентской части (Machines)


Slide 30

Краткий обзор клиентской части (Manual launch)


Slide 31

Краткий обзор клиентской части (Queue)


Slide 32

Краткий обзор клиентской части (Machines)


×

HTML:





Ссылка: