Юзабилити-метрики в настоящее время содержатся в стандартах ISO 9126-4 и ISO 9241-11. Однако они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Все это затрудняет работу с ними и снижает эффективность юзабилити-тестирования. Анатолий Костин, сотрудник Института психологии РАН и научный руководитель компании USABILITYLAB, проводит сравнительный анализ этих стандартов и предлагает собственный вариант метрик.
В настоящее время юзабилити-метрики содержатся в нескольких стандартах ISO:
- ISO 9126-4: Разработка Программного обеспечения, Качество Программного продукта, часть 4: Качество в используемых метриках;
- ISO 9241-11: Эргономические требования к офисной работе с визуальными дисплейными терминалами (VDTs), часть 11: Руководство по юзабилити.
В этих стандартах юзабилити-метрики разделены на несколько групп – четыре в ISO 9126-4 и три в ISO 9241-11. Их перечень и содержание приведены в таблице.
Группы юзабилити-метрик
| ISO 9126-4 | ISO 9241-11 |
|---|---|
| Эффективность (effectiveness): оценивает результаты выполнения задач пользователем | Эффективность (effectiveness): точность и полнота, с которой пользователи достигают поставленных целей |
| Продуктивность (productivity): оценивает затраты пользователей при получаемой эффективности | Экономичность (efficiency): отношение израсходованных ресурсов к точности и полноте достижения целей |
| Безопасность (safety): оценивает уровень риска, вреда людям, бизнесу, ПО, собственности или окружающей среде | Группа отсутствует |
| Удовлетворенность (satisfaction): оценивает отношение пользователя к работе с продуктом | Удовлетворенность (satisfaction): комфорт и приемлемость использования |
Как видно из таблицы, в стандартах совпадают первая и последняя группы (хотя и с некоторыми смысловыми отличиями), по-разному называется вторая группа, а в ISO 9241-11 отсутствует группа «Безопасность». Таким образом, в стандартах существуют достаточно серьезные расхождения уже на этом, самом общем, уровне описания юзабилити-метрик.
Сами метрики, входящие в перечисленные стандарты, достаточно произвольны по составу и размыты по содержанию. При этом ISO 9241-11 предлагает только примеры метрик в зависимости от цели тестирования: общая юзабилити, приемлемость для обученных пользователей, приемлемость для новичков, минимизация требований поддержки, обучаемость, устойчивость к ошибкам и т.п.
Далее приводится перечень юзабилити-метрик, которые предлагаются в стандартах, и их недостатки.
Современные юзабилити-метрики и их недостатки
Эффективность
| Стандарт | Метрика | Недостаток |
|---|---|---|
| ISO 9126-4 | Task effectiveness (доля правильно выполненных задач) | Частный показатель |
| ISO 9126-4 | Task completion (доля выполненных задач) | Частный показатель |
| ISO 9126-4 | Error frequency (частота ошибок) | Показатель не эффективности, а надежности |
| ISO 9241-11 | Percentage of goals achieved (процент достигнутых целей) | Частный показатель |
| ISO 9241-11 | Percentage of users successfully completing task | Частный показатель, непригоден для индивидуальной оценки |
| ISO 9241-11 | Average accuracy of completed tasks | Частный показатель |
Продуктивность / Экономичность
| Стандарт | Метрика | Недостаток |
|---|---|---|
| ISO 9126-4 | Task time (время выполнения задачи) | Можно рассматривать и как показатель эффективности |
| ISO 9126-4 | Task efficiency (продуктивность выполнения задачи) | Размытый показатель, не определен смысл |
| ISO 9126-4 | Economic productivity (экономическая продуктивность) | Размытый показатель |
| ISO 9126-4 | Productive proportion (доля продуктивного времени) | Трудно выделить продуктивные действия |
| ISO 9126-4 | Relative user efficiency (продуктивность относительно эксперта) | Размытый показатель |
| ISO 9241-11 | Time to complete a task | Частный показатель |
| ISO 9241-11 | Tasks completed per unit time | По сути показатель эффективности |
| ISO 9241-11 | Monetary cost of performing the task | Частный показатель |
Безопасность
| Стандарт | Метрика | Недостаток |
|---|---|---|
| ISO 9126-4 | User health and safety | Размытый показатель, трудно оценить |
| ISO 9126-4 | Safety of people affected by use of the system | Аналогичный недостаток |
| ISO 9126-4 | Economic damage (величина экономического ущерба) | Размытый показатель |
| ISO 9126-4 | Software damage (возможность повреждения программы) | Размытый показатель |
| ISO 9241-11 | — | Группа метрик отсутствует |
Удовлетворенность
| Стандарт | Метрика | Недостаток |
|---|---|---|
| ISO 9126-4 | Satisfaction scale (степень удовлетворенности) | Размытый показатель, не определен смысл |
| ISO 9126-4 | Satisfaction questionnaire | Частный показатель |
| ISO 9126-4 | Discretionary usage (доля потенциальных пользователей) | Размытый, трудный для оценивания показатель |
| ISO 9241-11 | Rating scale for satisfaction | Размытый показатель |
| ISO 9241-11 | Usage rate over time (частота использования) | Размытый, трудный для оценивания показатель |
| ISO 9241-11 | Frequency of complaints (частота жалоб) | Частный показатель |
Таким образом, метрики, предлагаемые в стандартах, неполны, часто не совпадают между собой, иногда противоречивы, их набор произволен и не охватывает многие аспекты деятельности. Кроме того, в них мало учитываются психологические особенности деятельности пользователя.
Размытость содержания и отсутствие четкого перечня метрик снижает практическую значимость стандартов. Во-первых, юзабилити-специалисты должны самостоятельно заниматься разработкой метрик и, следовательно, неизбежно будет отсутствовать их общность, унификация. Во-вторых, полученные с использованием разных вариантов метрик результаты будет трудно сравнивать. Поэтому не достигается главная цель стандартизации.
Изложенные результаты проведенного анализа заставляют пересмотреть и скорректировать как состав групп, так и перечень и содержание юзабилити-метрик…
Продолжение работы Анатолия Костина читайте здесь.