Как сделать прогон тестов в тестлинк

Обновлено: 07.07.2024

Предназначение TestRail

Во время тестирования выполняются различные процессы, направленные на улучшение качества продукта: анализ требований, составление плана тестирования, разработка тест-кейсов и т. д. Среди всех этих действий подготовка тест-кейсов играет очень важную роль.

Многие тестировщики предпочитают записывать тест-кейсы в Excel или другие таблицы. Но в эпоху автоматизации использовать Excel немного старомодно. Причём существует немалая вероятность потери данных.

Чтобы избавиться от этой проблемы, немецкая компания Gurock Software разработала TestRail — специальное программное обеспечение, помогающее специалистам QA и разработчикам наладить процесс тестирования . Оно помогает контролировать и отслеживать все процессы тестирования программ и организовывать деятельность отдела QA.

TestRail обладает простым веб-интерфейсом, что облегчает создание тест-кейсов, управление тестовыми прогонами и т. д. Благодаря ему легко следить за состоянием отдельных этапов тестирования, используя информационные панели и отчёты.

Специальные фильтры, уведомления и списки задач помогают получать полную информацию о ходе тестирования.

Особенности TestRail:

— удобное разделение и эффективное управление тест-кейсами, сьютами и тест-планами;

— простой и удобный пользовательский интерфейс;

— графическое отображение тестового прогона;

— предоставление информации о ходе тестирования в реальном времени;

— интеграция с такими баг-трекерами, как Jira ;

— гибкость и настраиваемость под любые нужды;

— развитая система генерирования отчетности;

— организация и отслеживание действий всех сотрудников;

— лицензируется по количеству реально пользующихся им пользователей.

Основные вкладки TestRail

После авторизации в TestRail открывается стартовая страница. Это рабочий стол, на котором отображаются все проекты и диаграмма активности за последнее время (от 7 до 90 дней). При нажатии на проект открывается страница управления проектом.

Раздел Todo является важной частью TestRail и считается отправной точкой для тестировщиков . В чём же заключаются его особенности?

— отслеживает и фильтрует текущие активности;

— помогает отследить и распределить нагрузку между пользователями;

— отображает текущий прогресс тестирования проекта с помощью цветовой шкалы;

— является лучшим способом для тестера работать над конкретными задачами;

— страница Todo интегрирована со страницей запуска тестовых прогонов, чтобы тестировщик сразу мог перейти к выполнению своих задач.

Тестировщики могут создавать и работать над несколькими тестовыми прогонами одновременно. Более того, некоторые команды работают с различными версиями, итерациями, спринтами и майлстоунами в течение реализации проекта.

Пользователи могут использовать вкладку Milestone для создания отдельных этапов проекта, в которых поэтапно тестируются различные версии.

При создании нового этапа ( майлстоуна ) можно установить дату его начала и завершения, что помогает отслеживать сроки выполнения и порядок тестирования версий. Также можно добавить описание и пометить завершённые этапы, что поможет сконцентрироваться на активных задачах.

В этом разделе при необходимости можно создать тестовые планы и прогоны для конкретной версии, чтобы легко отслеживать прогресс в этой области. Если команда тестировщиков работает одновременно с несколькими папками, их прогресс отображается параллельно.

Test Runs & Results

Здесь осуществляется управление тест-кейсами и их выполнение в основной части тестирования. TestRail старается как можно сильнее упростить процесс ввода результатов и отслеживания прогресса тестирования.

— Milestone : чтобы связать тестовый прогон с нужным этапом тестирования;

— AssignTo : в этом параметре назначается ответственный за осуществление прогона;

— Description : подробное описание тестового прогона;

— All test cases include (select cases): по умолчанию все хранящиеся в проекте тест-кейсы включаются в тестовый прогон, но пользователь может вручную выбрать из общего списка необходимые для проверки кейсы.

Test Run можно редактировать и после его создания, изменять майлстоун или добавлять дополнительные кейсы.

После создания тестового прогона можно перейти к его непосредственному выполнению. Нужно будет на странице тест-рана указать статус отдельного тест-кейса, его исполнителя (проверяющего тестировщика ) и следить за текущими результатами, статистикой и статусами кейсов.

Для проверки кейса и добавления результата его необходимо открыть, ознакомиться с предложенными условиями и, после проведения теста, проставить статус. Также тестировщик может добавить собственный комментарий, указать время, потраченное на проверку, и выявленные баги. Поскольку TestRail может подключаться к Jira , Bugzilla и Firebug в пункте результата под названием “ Defects ” можно указать идентификатор конкретного бага, заведённого в данных сервисах.

Test Suites and Cases

Данная вкладка является неотъемлемой частью TestRail , здесь создаются и хранятся все тест-кейсы и чек-листы тестируемого приложения, которые необходимо проверять. В проекте может содержаться более тысячи тест-кейсов для различных версий, которые группируются в подразделы для удобного использования. Как правило, это позволяет разбить тестирование проекта на различные группы с определёнными типами заданий. Например, одни отвечают за проверку механики или серверной части проекта, другие за проверку интерфейса, локализации и т. д.

Во время создания тест-кейса по необходимости заполняются следующие поля:

— Title : название кейса;

— Section : раздел, к которому будет относиться задание;

— Type : определяет тип тестирования: смоук, функциональное, юзабилити, регрессия и т. д.;

— Priority : установка приоритета тест-кейса;

— Template : установка шаблона (exploratory session, steps, text);

— Estimate : оценка задачи;

— Milestone : выбирается этап, к которому относятся задания;

— Reference : сюда указывается ссылка на таск из Jira или другого сервиса;

— Description : подробное описание задачи;

— Precondition : предварительные условия, которые необходимо осуществить перед выполнением задачи;

— Steps : шаги, которые необходимо осуществить для проверки кейса и выявления багов;

Также можно создавать таблички внутри кейса, ещё больше расширяя его возможности:

— Expected Result : ожидаемый результат, описывающий как должно работать приложение без дефектов.

Сервис позволяет изменять или добавлять новые поля, настраивая функционал максимально практично для каждого проекта. Кейс может содержать не только текстовую информацию, но и графическую (картинки).

На слуху testlink, из вспомогательных - xmind. Что есть еще интересного?

Вот: сцыль. И да, тестирование GUI софта, просто либ или сайта?

P.S. Для HDL-проектов нет подобного?

~~DELIRIUM~~ ☆☆☆☆☆ ( 20.01.17 12:11:04 )
Последнее исправление: DELIRIUM 20.01.17 12:12:30 (всего исправлений: 1)

1. define организация тестирования

2. testlink - это БОЛЬ, АД и ТОРМОЗА

3. Xmind - это про бизнес-аналитику скорее

в общем, пиши конкретно что надо - получишь нормальный ответ

Тестирование gui, efi, службы. В зависимости от проекта. По ссылке из бесплатных нашел Squash TM.

У зефира интересное ценообразование, 10 юзеров - 10 долларов, 100 - уже 3000.

1. Набор инструментов, ПО упрощающие процесс тестирования

2. В чем боль, в чем ад? Тормоза после какого объема данных возникают?

3. xmind'ом удобно расписывать зависимости, очень наглядно получается

Система хранения, поддержки, прогона тестов - тестлинк. Из бесплатного лучше него ничего нет?

1. Набор инструментов, ПО упрощающие процесс тестирования

процесс тестирования лучше всего упрощает самописный фреймворк, работающий с системой under test. а если такой системы нет, а есть аутсорсинговый зоопарк - то вообще нефиг дергаться, у каждого заказчика свои тараканы по организации этого всего.

2. В чем боль, в чем ад? Тормоза после какого объема данных возникают?

боль и ад - в мышетыкательном интерфейсе, отсутствии банальных вещей вроде поиска по кастомным полям, убогом экспорте-импорте, ФРЕЙМЫ, КАРЛ. 1111

тысяча кейсов запросто может приводить к адовым тормозам, которые выливаются в тюнинг MySQL, под тестлинком лежащей (ууууух, какие там запросы)

3. xmind'ом удобно расписывать зависимости, очень наглядно получается

очень странный кейс, но вам виднее

Система хранения, поддержки, прогона тестов - тестлинк. Из бесплатного лучше него ничего нет?

240 баксов в год за тестрейл сберегут вам гораздо больше за счет экономии рабочего времени. прогон тестов в тестлинке - это вообще профанация.

актуальные методики преподавания, новые технологии и тренды в образовании, практический педагогический опыт.

Тесты давно стали неотъемлемой частью рабочих будней любого педагога. Раньше приходилось печатать их на бумаге, собирать листочки или тетради у каждого ученика, вручную проверять и анализировать результаты, гадать с ответами из-за почерков…

Мы выбрали несколько сервисов с большим набором функций для создания и проведения самых разных тестов, викторин и опросов. Некоторые из них полностью бесплатные, у некоторых есть пробные бесплатные версии. Тестируйте и выбирайте то, что подходит вашим учебным задачам.

Madtest

Конструктор для создания квиз-тестов и опросов. Можно создавать тесты как на сайте Meduza.io, больше подойдет для тестирования взрослой аудитории, для медиа и тех, кто размещает тесты и опросы у себя на сайте.

Цена: бесплатный тариф с ограничениями, платный тариф от 1990 рублей в месяц.

Возможности:

На заметку:
Сервис полностью на русском языке, но сами тесты можно делать как на русском, так и на украинском, белорусском, казахском и английском языках.

В бесплатной версии доступно создание не больше 3 квиз-тестов в месяц, не больше 8 вопросов, а так же закрыт доступ к расширенной статистике по прохождениям. Количество прохождений тестов не ограничено, но вы сможете идентифицировать не больше 10 заявок в месяц.

Обзор сервиса Madtest

Каhoot

Возможности:

На заметку:
Приложение полностью на английском языке. Тем, кто владеет языком на начальном уровне, понадобится время, чтобы разобраться с интерфейсом. Тесты и опросы можно создавать на русском языке.

Socrative

Цена: бесплатно, есть Pro версия за 60$ (при покупке 5 и более учителей одной школы скидки)

Возможности:

На заметку:
Сайт и приложение – на английском языке и полностью идентичны друг другу, легко осваиваются без знания языка. Работают только при наличии интернета.

Learningapps

Цена: бесплатно

Возможности:

На заметку:
В интерфейсе сайта 23 языка. Регистрацию проходит и учитель, и все учащиеся. Это нужно для формирования класса и отправки заданий.

Quizizz

Цена: бесплатно

Возможности:

На заметку:
В настройках приложения меняется язык, есть русский. Приятная графика и звуковые дорожки создают настроение, но не отвлекают. Сайт на английском, простой и понятный в использовании даже, если вы не знаете языка. В приложении и на сайте уже есть готовые викторины по самым разным темам: математика, языки, науки, история, география, искусство и др.

Quizlet

Возможности:

!! Будьте внимательны, если не планируете продлить подписку. Деньги снимаются автоматически, если вы не отписались за сутки до окончания ее действия.

Online Test Pad

Это система для создания тестов, опросников, кроссвордов, логических игр и комплексных заданий.

Цена: бесплатный

Возможности:

Этот онлайн-сервис позволяет создавать разнообразные образовательные тесты. И не
только:)
Учащиеся могут проходить тесты без регистрации в сервисе.
Тесты можно встроить на сайт или в блог.
Доступна разнообразная статистика по прохождению тестов.
Доступно множество настроек.
Понятный русифицированный интерфейс.
Есть возможность создавать тесты с ветвлением, добавлять обратную связь.

Минусы:

Так как этот сервис пользуется популярностью, он периодически “падает”.
Устаревший дизайн тестов.
Нет возможностей геймификации.

На заметку: больше подходит для тестирования взрослой аудитории и старших школьников.

Вебинар по созданию тестов + обзор сервисов и работа Online Test Pad. Смотрите запись здесь.

Создание тестов в Google Forms

Возможности сервиса:

Бесплатный.
Русифицированный.
Позволяет создавать тесты с разнообразными тестовыми заданиями.
Интегрирован с другими сервисами Google, в том числе успешно можно
использовать с Google Classroom.
Есть возможность отслеживать статистику.
Есть функция “ветвление”.

На наш взгляд: больше подходит для тестирования взрослой аудитории и старших
школьников.

Наш совет: используйте расширения, чтобы улучшить функционал тестов Google. Например: Flubaroo.

Когда количество тестов переваливает за несколько сотен, пора поднимать вопрос о ведении тест-плана в аккуратных программах. Нет, можно конечно продолжать пользоваться excel-табличкой и кучей вкладок. Но рано или поздно этим хаосом становится невозможно управлять.

Софта для организации тест-планов на рынке много. Однако он довольно дорогой (в среднем $ 25 за одного пользователя в месяц). Бесплатный софт тоже есть, но выглядит он как заскорузлое говно мамонта. Мы с вами сейчас посмотрим ключевых игроков. А также посмотрим, как можно упорядочить тест-план в Google Docs, используя деревья (бонус — наш удобный экспресс-шаблон, годный, если у вас на проекте несколько тысяч тест-кейсов и 3−4 тестировщика).

Тест-план — документ, где описывается весь объем работ по тестированию проекта. Как мы проверяем. Что. И когда. В идеале, тест-план пишет опытный тестировщик, а выполнить тест-план способна обезьянка с мышкой.

Тест-кейс — совокупность шагов, конкретных условий и параметров, служит для проверки реализации тестируемой функции или её части.

От инструмента для контроля и проведения тестов по факту требуется не так уж много:

возможность создавать несколько проектов и под разные команды;
возможность планировать тест: перечислять шаги, писать сценарии и пользовательские истории;
организовать периодические тестовые прогоны системы или ее компонент;
отметки о статусах тестов для каждого прогона с возможностью отслеживать — хороший ли у нас билд, или угрюмое гэ;
удобный баг-трекер (или интеграция с ним), где поместятся все задачи, но при этом не будет каши;
ну и совсем уж в идеале: смотреть процент покрытия кода — тестами (или автотестами).

Проблема больших тест-планов на крупных проектах не нова, и большие ребята написали десяток систем для хранения тестов. Ниже мы посмотрим на самые популярные.

Одно из самых популярных ПО. Пользователи хвалят его за понятную структуру: есть тест-сьюты (наборы тестов), внутри них секции или отдельные тест-кейсы, в каждом кейсе можно прописать сценарий, шаги и ожидаемый результат. По итогам автотеста будет показан результат: тест либо пройден, либо завален, либо надо перетестить. Тут же и статистика в диаграммах:

Другая не менее популярная платформа. Можно работать как в облаке, так и установить на рабочий стол. Преимущества: создание вкладок под разные проекты и команды, индивидуальная настройка диаграмм, тепловые карты для наглядности проблемных мест, планирование автотестов, свой редактор для разработки сценариев, автоматическое создание документации по багам и мгновенные обсуждения с командой.

Есть и более дорогие предложения, но и софта подешевле (или даже бесплатно) тоже полно. Из того, что мы потыкали:

PractiTest,
Zephyr,
Test Collab,
TestFLO for JIRA,
TestLink,
XQual,
TestCaseLab,
QAComplete,
QACoverage,
Plutora Test,
Inflectra,
Meliora Testlab,
Aqua,
Panaya,
Testpad.

В общем-то, простой табличный инструмент Гугла закрывал и раньше все потребности тестера, кроме проблем с огромным количеством тестов в одном месте. Решением стала простая группировка по строкам: эта функция появилась в таблицах весной 2018. Благодаря ей мы переработали наш шаблон тест-плана, добавив ему структурности, и успешно закрыли вопрос платного софта. Мы используем вкладки, чтобы разбить тесты по компонентам системы, и деревья — для группировки тестов по смыслу. То же самое можно сделать в коммерческом софте типа TestRail, но в Гугле это оказалось в разы удобнее.

Мы используем два разных документа — один для тест-планов, второй — для тестовых прогонов (в него копируется вкладка из тест-плана и тестер-с-мышкой может спокойно идти по системе и проверять ее по уже прописанным сценариям). Также мы вывели небольшие, но полезные метрики (вроде количества свалившихся тестов) внизу.

Чтобы сгруппировать задачи, достаточно выделить нужные строки и нажать правой кнопкой "сгруппировать", либо использовать хоткей Alt + Shift + Стрелка вправо. Группировка может быть многоуровневой.

Читайте также: