Как сделать отчет по тестированию

Добавил пользователь Владимир З.
Обновлено: 04.10.2024

Курс предназначен пользователям, администрирующим сайты на платформе "1С-Битрикс: Управление сайтом". Курс Администратор. Модули позволяет освоить методы выполнения расширенных задач по администрированию модулей не относящихся к коммерческой деятельности Для модулей, связанных с торговлей в Интернете создан отдельный курс Администратор. Бизнес. .

Начальные требования

Необходимый минимум знаний для изучения курса:

базовые навыки компьютерной грамотности и навыков работы с ОС Windows;
базовые знания о WWW и организации доступа к веб-серверу;
базовые навыки установки и администрирования *nix-систем;
знание системы в рамках курса Контент-менеджер Мы считаем, что вы этот курс уже прошли и знаете многое о Битриксе. Поэтому подсказок во всплывающих окнах будет намного меньше, чем в курсе Контент-менеджер.
Подробнее. , чтобы банально не путаться в интерфейсе.
знание системы в рамках курса Администратор. Базовый Мы считаем, что вы этот курс уже прошли и знаете многое об администрировании "1С-Битрикса". Поэтому подсказок во всплывающих окнах будет намного меньше, как и объяснений о том где и как выполнять общие задачи администрирования.

У нас часто спрашивают, сколько нужно заплатить

Курс полностью бесплатен. Изучение курса, прохождение итоговых тестов и получение сертификатов - ничего из этого оплачивать не нужно.

Ещё у нас есть Академия 1С-Битрикс, где можно обучиться на платной основе на курсах нашей компании либо наших партнёров.

Баллы опыта

В конце каждого урока есть кнопка Прочитано! . При клике на неё в Вашу итоговую таблицу опыта добавляется то количество баллов, которое указано в прочитанном После нажатия кнопки Прочитано! появится
окно подтверждения:

уроке.

Периодически мы заново оцениваем сложность уроков, увеличивая/уменьшая число баллов, поэтому итоговое количество набранных Вами баллов может отличаться от максимально возможного. Не переживайте! Отличный результат - это если общее число набранных Вами баллов отличается от максимального на 1-2%.

Тесты и сертификат

После изучения курса вам будет предложено пройти итоговые тесты на сертификацию.
Для доступа к итоговым тестам данного курса необходимо успешно сдать итоговые тесты курса Администратор. Базовый.
При успешной сдаче последовательности тестов на странице Моё обучение можно просмотреть результат обучения и загрузить сертификат в формате PDF.

Комментарии к урокам

Для преподавания оффлайн

Если данный курс берётся в качестве основы для оффлайного преподавания, то рекомендуемая продолжительность: 4 дня (32 академических часа).

Если нет интернета

iPhone:
FBReader
CoolReader
iBook
Bookmate

Windows:
Calibre
FBReader
Icecream Ebook Reader
Плагины для браузеров:
EpuBReader – для Firefox
Readium – для Google Chrome

iOS
Marvin for iOS
ShortBook
обновляются периодически, поэтому возможно некоторое отставание их от онлайновой версии курса. Версия файла - от 01.11.2021.

Как проходить учебный курс?

Отчет - это документ сформированный на основе результатов теста. Он может быть создан автоматически после тестирования в модуле тестирования и в Журнале (на основе результатов и файла с тестом). Отчет представляет собой краткую информацию о результатах тестирования и детальную информацию по заданиям. В отчете могут быть как все задания, которые задавались тестируемому, так и только те на которые был дан ошибочный ответ. Кроме указания как ответил тестируемый может быть показан и верный ответ на тест. Для удобства так же используется цветовое обозначение: зеленый - ответ указан верно, красный - неверно, синий - требовалось отменить (или что-то выбрать или ввести), но не отмечено (не выбрано, не отвечено).

Отчет может быть показан тестируемому, открыт в текстовом редакторе или сохранен в файл (rtf, docx, pdf, html).

Содержание

Отчет в модуле тестирования

Отчет по прохождению теста может выглядеть так:

Будет ли показан и/или сохранен отчет модулем тестирования, все задания или только с ошибками, с верными ответами или без, задается в параметрах теста (составителем теста). Сам тестируемый настройками модуля тестирования не может задать или изменить данные параметры.

Если включено показывать отчет, то он будет показан тестируемому после показа оценки за тест. Тестируемый сможет проанализировать свои ошибки и скорректировать свою образовательную линию.

Если включено сохранять отчет, то он будет сохранен в файл. При этом он может быть как показан тестируемому, так и нет. Обычно данная возможность используется в том случае, если для тестирования используется только один компьютер. Если компьютеров много, то удобнее использовать модуль Журнал. Файл может быть сохранен в нескольких форматах. Наиболее актуальными являются формат docx (Microsoft Word 2007 и выше) и html. Куда и в каком формате будет сохранен отчет указываться в параметрах модуля тестирования на вкладе Файлы и папки.

Обратите внимание еще раз: будет ли показан и/или сохранен отчет указываться в параметрах теста. Если в параметрах теста не включен отчет, то в модуле тестирования его никак не включить.

Изображения, прикрепленные к заданиям и открывающиеся в полный размер по щелку, вставляются в конце текста вопроса. Т.к. они могут быть большими (если позволяют размеры экрана), а в отчете это будет не удобно, то их можно уменьшить до удобной ширины. Для этого на вкладке Разное должен быть отмечен переключатель "Ограничить ширину изображений в отчете" и задано значение ширины. Большие изображения будут автоматически уменьшены. По умолчанию эта опция включена и указан наиболее удобный для ширины листа размер.

Результаты тестирования Модулем тестирования могут сохраняться в файл и/или отправляться в Журнал тестирования. К результатам может быть прикреплен отчет. Прикрепленный отчет можно будет открыть в Журнале, открыв или получив данные результаты. Включать или нет отчет в результаты задается так же в параметрах теста. Но следует учитывать, что отчет может очень сильно увеличить объем данных результатов, поэтому прикреплять его следует только, если вы уверены, что это вам требуется. Тем более отчет можно и создать в Журнале.

Отчет в журнале

Если к результату прикреплен отчет, то просмотреть его можно командой Действия → Результаты → Отчеты → Показать отчет. или нажав F6 . О том что к результату прикреплен отчет можно узнать по отметке в колонке "отчет" таблицы результатов или по кнопке "показать отчет" внизу окна, где подробности по заданиям.

Необязательно (и чаще даже нежелательно) включать отчет в результаты тестирования, его можно создать, имея файл с тестом, для которого получены результаты. Если для теста задан пароль редактирования, то требуется знать и его.

Для того чтобы создать отчет в меню выберите Действия → Результаты → Отчеты → Создать отчет → Из всех или из выделенных результатов. (или нажав F7 или Ctrl + F7 ). Если при выборе команды держать Shift , то отчет будет не только создан и показан, а прикреплен к результату.

В открывшемся окне укажите файл с тестом (тестами) и/или папку для их поиска, параметры отчета (показывать правильные ответы, показывать все или только задания с ошибками). Если при нажатии кнопки "Указать папку" держать Shift , то поиск файлов с тестами будет проводится не только в указанной папке, но и во всех вложенных в нее папках.

Отчеты можно создавать сразу по нескольким результатам тестирования.

Полученный отчет можно распечатать или сохранить в различных форматах: docx (документ word 2007 и выше), rtf, html и др.

Настройка шаблона отчета

Какие данные будут в шапке отчета и как она будет выглядеть можно настроить на свой вкус. В папке с настройками программы (папка Config в папке с программой) есть два файла для примера, один (TmplReport) краткий, другой (TmplReport (2)) более подробный.

Для того чтобы использовался шаблон при создании отчета отметься переключатель "Использовать шаблон для отчетов" на вкладке Разное параметров модуля. По умолчанию файл шаблона находится в папке Config и имеет имя TmplReport. Но это можно изменить правкой файла настроек программы, задав значение параметру TmplReportFile=TmplReport.rvf.

Файл шаблона можно изменить текстовым редактором встроенным в программу (кстати, в его окне и открывается отчет в журнале, в модуле тестирования в окне просмотра). Отдельной кнопочки (пока) нет. Т.е. для правки шаблона отчета запустите редактор тестов MyTestEditor, перейдите на любое текстовое поле поддерживающее форматирование (описание теста, группы, вопрос, варианты ответа. ) и откройте текстовый редактор командой Формат - Открыть текстовый редактор или F4 . Дайте команду Файл → Открыть и откройте нужный файл.

Отчет в автономных тестах

Отчет в автономных тестах такой же как и в модуле тестирования. Настроить его параметры, при создании автономного теста, можно на вкладке Разное. Дополнительно тут же можно и выбрать файл шаблона.

Эта статья посвящена тому, как настроить и создать отчет о тестировании. Если вы уже получили его и хотите понять, как толковать результаты, ознакомьтесь со статьей Как разобраться в отчете о тестировании.

Отчет создается автоматически, когда вы публикуете приложение для закрытого или открытого тестирования. Он позволяет выявить проблемы в приложении до того, как оно станет доступно широкому кругу пользователей. Отчет содержит результаты тестирования, которое нацелено на обнаружение следующего:

проблем со стабильностью;
проблем совместимости с Android;
проблем с производительностью;
проблем с доступностью;
уязвимостей;
проблем с конфиденциальностью.

Принцип тестирования

После загрузки и публикации тестовой версии набора Android App Bundle мы устанавливаем приложение на различных устройствах Android. Затем оно автоматически запускается и сканируется в течение нескольких минут. В это время робот выполняет в приложении базовые действия, такие как ввод текста, нажатие и пролистывание. Если вы предоставите нам собственные тесты и учетные данные тестового аккаунта, робот сможет также использовать их при проверке.

По окончании тестирования мы создаем отчет с результатами и удаляем ваше приложение со всех устройств.

Как проверить, подходит ли ваше приложение для тестирования

Мы создадим отчет о тестировании, если сможем установить и просканировать ваше приложение. В некоторых случаях вам нужно будет внести небольшие изменения в программный код, например, если для приложения требуется подтверждение страны или установки. Подробную информацию можно найти в разделе часто задаваемых вопросов.

Учтите, что на тестовых устройствах невозможно проверить фоновые приложения, такие как оболочки для Android, виджеты, клавиатуры и циферблаты.

Создание отчета о тестировании

Отчеты для любого приложения, опубликованного для тестирования, будут приходить вам автоматически, пока вы не откажетесь от их получения. Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов.

Чтобы получать по электронной почте уведомления о готовых отчетах о тестировании, выполните следующие действия:

Откройте Play Console.
Нажмите Настройка >Уведомления.
Прокрутите страницу вниз до параметра Отчет о тестировании и установите флажок рядом с ним. Вы можете получать письма обо всех отчетах или только об отчетах по приложениям с ошибками.

Отчеты о тестировании создаются автоматически, когда вы публикуете версию приложения для закрытого или открытого тестирования. Чтобы отключить все эти отчеты, выполните следующие действия:

Откройте Play Console.
Выберите приложение.
Нажмите Тестирование >Отчет о тестировании >Настройки.
Прокрутите экран вниз до раздела "Настройки" и снимите флажок Включить отчет о тестировании.
Нажмите Сохранить.

Настройка тестирования

Чтобы в отчете была представлена более полная и полезная для вас информация, вы можете настроить проверки в соответствии со своими потребностями.

Шаг 1. Если в приложении есть экран входа, укажите учетные данные тестового аккаунта

Если вы хотите, чтобы робот проверил процесс входа или сопутствующий контент, укажите учетные данные аккаунта. Обратите внимание, что если приложение поддерживает функцию "Войти с аккаунтом Google", то робот автоматически выполнит вход. В этом случае указывать учетные данные не нужно.

При тестировании с использованием учетных данных важно помнить следующее:

Учетные данные, которые вы предоставляете, используются только для тестирования.
Мы прилагаем все усилия, чтобы сохранить их конфиденциальность, однако не рекомендуем указывать личные учетные данные. Вместо этого создайте специальный тестовый аккаунт.
Учетные данные вводятся автоматически только в приложениях со стандартными виджетами Android и не подходят для тестирования приложений, которые используют OpenGL на экране входа или компонент WebView для веб-аутентификации.
Если приложение поддерживает функцию "Войти с аккаунтом Google", робот выполнит вход автоматически.

Откройте Play Console.
Выберите приложение.
В меню слева нажмите Тестирование >Отчет о тестировании >Настройки.
В разделе "Учетные данные тестового аккаунта" выберите Предоставить учетные данные.
Укажите следующие сведения:
- Имя пользователя для тестового аккаунта.
- Пароль для тестового аккаунта.
Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.

Откройте Play Console.
Выберите приложение.
В меню слева нажмите Тестирование >Отчет о тестировании >Настройки.
Внесите изменения:
- Чтобы изменить учетные данные, в разделе "Учетные данные тестового аккаунта" введите новые имя пользователя и пароль в соответствующих полях.
- Чтобы удалить учетные данные, в разделе "Учетные данные тестового аккаунта" выберите Не предоставлять учетные данные.
  - Примечание. Если вы удалите учетные данные тестового аккаунта, то вам потребуется добавить их снова, когда возникнет необходимость в проверке, для проведения которой роботу нужно войти в приложение.
Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.

Шаг 2. Предоставьте скрипт Robo или игровой цикл

Если вы хотите, чтобы при тестировании приложения робот выполнял определенные действия, предоставьте скрипт Robo или игровой цикл.

Если к тестированию прикреплен скрипт, поисковый робот сначала выполняет действия из этого скрипта, а затем – стандартную проверку.

Вот как загрузить скрипт в отчет о тестировании:

Запишите скрипт с помощью инструмента Firebase в Android Studio: Android Studio >Tools (Инструменты) >Firebase >Test Lab >Record Robo Script (Записать скрипт Robo). Подробную информацию можно найти в Справочном центре Firebase.
- Примечание. Чтобы создать скрипт Robo, вам не нужен аккаунт Firebase.
Записав скрипт, откройте Play Console.
Выберите приложение.
Нажмите Тестирование >Отчет о тестировании >Настройки. Перетащите файл скрипта в раздел "Настройка выполнения отчета о тестировании" или нажмите кнопку Загрузить.
Нажмите Сохранить.

Чтобы получить информативный отчет о тестировании игры или приложения на базе OpenGL, необходимо предоставить игровой цикл. Он определяет действия, которые будет выполнять робот. В одном приложении можно протестировать несколько игровых циклов.

Вот как использовать игровые циклы для подготовки отчета о тестировании:

Измените игру таким образом, чтобы в ней выполнялись следующие действия:
- запуск цикла;
- выполнение цикла;
- завершение цикла (необязательно). Для изменения игры используйте собственную среду разработки. Подробную информацию можно найти в справочном центре Firebase.
  - Примечание. Чтобы использовать игровые циклы в отчете о тестировании, вам не нужен аккаунт Firebase.
Опубликуйте версию игры с игровым циклом для закрытого или открытого тестирования. Робот автоматически обнаружит и выполнит игровой цикл.

Шаг 3. Измените начальную точку тестирования, добавив ссылки на контент

Чтобы протестировать дополнительные точки входа в приложение, добавьте в отчет о тестировании ссылки на контент (не более трех).

Несколько минут робот будет выполнять обычное тестирование, затем закроет приложение и в течение 30 секунд по очереди перейдет по каждой добавленной вами ссылке. Ошибки, выявленные при дополнительных проверках, будут включены в отчет в обычном режиме.

Подробную информацию о том, как создавать и тестировать ссылки на контент для приложения, можно найти на сайте для разработчиков Android.

Шаг 4. Ознакомьтесь с отчетами о тестировании для определенных языков

Чтобы посмотреть результаты тестирования для определенных языков, укажите их на странице Настройки отчета о тестировании. Можно выбрать не более пяти языков.

Примечание. Так как отчет о тестировании создается автоматически при загрузке тестовой версии набора App Bundle, добавлять языки можно только после завершения начального тестирования.

Откройте Play Console.
Выберите приложение.
В меню слева нажмите Тестирование >Отчет о тестировании >Настройки.
В разделе "Тестирование приложений на определенных языках" выберите + Добавить язык.
Выберите не более пяти языков. Результаты последующих тестирований будут отображаться только для этих языков.
- Примечание. Если этого не сделать, мы автоматически выберем языки с наибольшим количеством установок приложения.
Нажмите Сохранить.

Просмотр отчета о тестировании

В готовом отчете вы сможете посмотреть сводку о тестировании, в том числе количество обнаруженных ошибок, предупреждений и незначительных проблем, разделенных по типам. Также вы увидите рекомендации, относящиеся к запуску приложения, на основе результатов его тестирования.

Выполните следующие действия:

Откройте Play Console.
Выберите приложение.
Нажмите Тестирование >Отчет о тестировании >Общие сведения.
Проверьте все разделы:
- "Стабильность";
- "Производительность";
- "Доступность";
- "Безопасность и доверие".
Если в разделе есть ошибка, выберите Показать обзор, чтобы посмотреть сведения о ней.
Чтобы детально изучить ошибку, нажмите Показать подробную информацию.
Предыдущие отчеты о тестировании можно найти внизу страницы в разделе "Сведения об отчете".

Вот как посмотреть подробные сведения, которые содержит отчет о тестировании:

Откройте Play Console.
Выберите приложение.
Нажмите Тестирование >Отчет о тестировании >Сведения.
Ознакомьтесь с информацией на вкладках Стабильность, Эффективность, Доступность, Скриншоты, а также Безопасность и доверие. Каждая из них содержит полные сведения о последнем тестировании, в том числе трассировку стека, скриншоты и диаграммы.

Часто задаваемые вопросы

Тестирования приложений

Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов. Если через два дня результатов нет, загрузите объект ещё раз, чтобы создать новый отчет.

Приложения, в которых при запуске выполняется проверка

В этом случае для создания отчета потребуется слегка изменить код программы.

Тестовые устройства находятся в США. Некоторые приложения используют геоданные или содержат контент, доступный не во всех регионах, поэтому результаты их тестирования могут быть неполными.

Если вы хотите протестировать приложение за пределами США, опубликуйте версию набора App Bundle для тестирования, в которой не требуется определять местоположение. Убедиться, что отчеты о тестировании выполняются в Test Lab, можно двумя способами:

Занесите в белый список группы IP-адресов, указанные в обзоре Firebase Test Lab.
Добавьте переменную системы, как описано в разделе Modify instrumented test behavior for Test Lab (Изменение хода автоматизированного тестирования для Test Lab).

Тестовая платформа не поддерживает приложения, которые выполняют такую проверку для устройств с ОС Android.

Приложения с рекламой или возможностями совершения покупки

Google Реклама исключает трафик от диапазона адресов, указанных в тестировании. Для других рекламных сетей необходимо внести IP-адреса в список игнорируемых.

Узнать, как снизить риск мошенничества, связанного с рекламой, можно на сайте Google Developers.

Тестовые устройства не могут совершать покупки в ходе проверки. Если в ваших приложениях есть платный контент, результаты могут быть неполными.

Другие показатели

Да. Отчет о тестировании будет создан в любом случае.

Однако обнаруженные ошибки ANR и сбои также будут зашифрованы или урезаны. Чтобы трассировку стека было удобнее исправлять, рекомендуем загрузить файл деобфускации или файл отладочных символов.

Вы можете ознакомиться с дополнительной информацией о том, как это сделать.

Нет. Тестовая платформа не поддерживает такие действия.

Чтобы проверить приложение вместе с определенным контентом, опубликуйте тестовую версию приложения с медиафайлами, встроенными в набор App Bundle.

Если вы начали открытое тестирование приложения или уже опубликовали его рабочую версию, для отчета о тестировании будет использоваться специальный идентификатор. Благодаря ему приложение сможет проходить проверку на наличие лицензии.

Если вы не запустили открытое тестирование и не опубликовали рабочую версию набора App Bundle, то получите отчеты о тестировании, но приложение будет считаться нелицензированным. Чтобы его можно было тестировать, опубликуйте закрытую версию с отключенным сервисом лицензирования.

Тестовые устройства по умолчанию используют вертикальную ориентацию экрана. Однако если приложение работает только с горизонтальным расположением, видеоролики и скриншоты тоже будут горизонтальными.

Выбор устройства

Мы отбираем тестовые устройства, которые широко распространены в той или иной экосистеме, учитывая ряд критериев: популярность, частота возникновения сбоев, разрешение экрана, производитель, версия ОС Android и т. д.

В этом случае они также будут исключены из тестирования, но мы не добавим в таргетинг дополнительные устройства, указанные в манифесте.

Отчет о тестировании формируется на основе Firebase Test Lab. Если вам нужно изменить набор тестовых устройств, проведите собственное тестирование в консоли Firebase.

Поскольку поддерживаются только ARM-устройства, приложения для устройств на базе процессора x86 будут считаться несовместимыми с любыми устройствами.

Поддерживаются только телефоны и планшеты, поэтому невозможно протестировать приложения непосредственно в Wear OS, Android Auto, Android TV или на устройствах с версиями Android до 4.1.1 (Jelly Bean).

Как правило ЛПР (лицам принимающим решения) требуются ответы на следующие вопросы:
1) Это можно продавать/устанавливать или нужно доработать/выкинуть?
2) Какова степень уверенности?
3) Как называется то, о чем идет речь?

Напишем отчет в виде краткого резюме по текущему состоянию продукта.
——————————————————————–
Продукт СМФ (проект “Банзай”), версия 158/32ф.

Было выполнено 60% тестов из запланированных. Тестирование было прекращено ввиду большого числа ошибок, закрывающих доступ к тестированию.

В настоящий момент полностью неработоспособны 18 из 150 юзкейсов.
Полностью неработоспособны 3 из 45 критически важных юзкейсов.
Работает с оговорками 93 юзкейса.
39 юзкейсов реализованы хорошо.

Я не рекомендую поставку данной версии клиентам. Версия ограничено пригодна для ознакомления с возможностями программы. Оценочное время готовности продукта: декабрь - 30%, февраль - 70%. Полагаю, нам не стоит приурочивать рекламную компанию к рождеству.
Отчет подготовлен 17 сентября сего года лидером тестирования проекта “Банзай” имярек.
——————————————————————–

Повторюсь.
Кому отчет? Зачем? Что на его основании будут делать?

В отчет о тестировании не должны входить метрики, связанные с приоритетами и жизненным циклом ошибок.
Так например метрики :
связанные непосредственно с ошибками (по статусам/приоритетам и т.д.),

скажут что нибудь только тому человеку, который прекрасно понимает процесс. А, например, менеджеру по продажам не скажут ничего. Т.е. вообще ничего.
- У нас в этой версии остались неисправленными 15 важных, 78 маловажных ошибок.
- А сколько должно быть? Вот я слышал, что продукт Х был выпущен с несколькими сотнями тысяч известных неисправленных ошибок. И очень успешный продукт. А тут всего 93. Так выпускаем или нет?

Человек же, который понимает процесс и в нем участвует, должен быть подключен к системе бактрекинга. Должен. Если он управляет процессом, то эту статистику он сам должен просматривать в этой системе с некоторой периодичностью. Не ему должны поставлять такой отчет, а он должен его и сам формировать, и сам просматривать, и сам принимать решения на его основе. Иначе какой же он руководитель?

Метрики
по времени решения/открытия, числу возвратов и т.п.
могут понадобиться для анализа процессов и расшивки узких мест. Т.е. действительно, если есть такая практика, то можно формировать отчет, в который войдут:

процент возвратов,
среднее время исправления дефектов, с разбивкой по приоритетам,
и т.д.

номер версии и даже название проекта (отчет будет помесячным)
оценка работоспособности программы

Здесь мы оцениваем текущий уровень зрелости процессов и работу руководителя, а не проект. Но, опять же, это функциональные обязанности процессного аудитора, роль которого могут выполнять и генеральный, и технический директор, и выделенный отдел аудита процессов. И опять же, они должны быть подключены к системе и получать эти данные через систему, а не через дополнительное человеческое звено.

В приведенном выше примере отчет говорил не о том, какие есть ошибки, а каково состояние проекта. Поэтому в нем должны быть метрики проекта и не должно быть метрик ошибок. Кроме того, и это самое важное, отчет о тестировании должен содержать не столько данные системы, сколько экспертное мнение специалиста, сформированное на основе этих данных.
Развивая тему дальше.

Мой опыт показывает, что список ошибок включать в отчет бессмысленно, его все равно никто из руководства не читает. Такой список хорош, только если работник не может быть подключен к системе бактрекинга. Например, из-за экономии денег генеральному директору или дизайнеру интерфейсов не купили компьютер . [2]

[1] По хорошему тут бы карты Шухарта приложить. Но ими мало кто пользоваться умеет.
[2] Нечто подобное я имел несчастье наблюдать в одном из проектов.Небольшая экономия денег обернулась необходимостью распечатывать список ошибок и передавать его на бумаге. Со всеми вытекающими.

Комментариев: 4

Сергей, формулировка отчёта в терминах только чисел тоже не очень хороша.

Что значит “неработоспособны 3 из 45 критически важных юзкейсов”? Может быть руководство решит, что эти 3 не так уж критически важны, и можно выпустить продукт без них. Для этого ЛПР должны получить информацию, какие именно три неработоспособны.

А вот с этим пожалуй соглашусь.

Не работает:
* сохранение файлов
* справка
* неработоспособно разделение прав (работать можно только по root-вым аккаунтом)

Изначально эти вещи даже были, но я их выкинул. Так лучше?

Однако следующий шаг — ЛПР захочет знать, кого спросить про эти три неработающие юзкейса? У кого узнать размер бедствия и прогнозы по исправлению ситуации? Либо мы включаем эту информацию (фактически часть описания дефекта и его текущий статус) в отчёт, либо даём ссылку и надеемся, что начальник сообразит, что есть что в этой дурацкой баг-трекинговой системе. Что лучше?

В общем, я бы сформулировал главный принцип так — числовые показатели, даже мегаобъективные, не являются признаком хорошего отчёта.

А является таким признаком наличие фактов, полезных для принятия решения. Для чего нужно общаться с ЛПР, чтобы научиться понимать, какие факты могут быть им полезны. А не клепать отчёты всегда по единому шаблону.

При написании отчета следует понимать: Кому отчет? Зачем? Что на его основании будут делать?

Как правило ЛПР (лицам принимающим решения) требуются ответы на следующие вопросы:

1) Это можно продавать/устанавливать или нужно доработать/выкинуть?
2) Какова степень уверенности?
3) Как называется то, о чем идет речь?

Напишем отчет в виде краткого резюме по текущему состоянию продукта.

Было выполнено 60 % тестов из запланированных. Тестирование было прекращено ввиду большого числа ошибок, закрывающих доступ к тестированию.
В настоящий момент полностью неработоспособны 18 из 150 юзкейсов.
Полностью неработоспособны 3 из 45 критически важных юзкейсов.
Работает с оговорками 93 юзкейса.
39 юзкейсов реализованы хорошо.

Я не рекомендую поставку данной версии клиентам. Версия ограниченно пригодна для ознакомления с возможностями программы. Оценочное время готовности продукта: декабрь – 30 %, февраль – 70 %. Полагаю, нам не стоит приурочивать рекламную кампанию к рождеству.

Читайте также: