В первой части статьи ее автор, доктор психологических наук и кандидат технических наук А.Н.Костин, критикует юзабилити-метрики по стандартам ISO 9126-4 и ISO 9241-11. Они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Во второй части статьи автор обосновывает необходимость разработки новых метрик на новой основе.
Разработка юзабилити-метрик
Для адекватной юзабилити-оценки и более полного учета психологического содержания в юзабилити-метриках их следует разрабатывать на основе деятельностного подхода. Суть данного подхода заключается в выделении особенностей различных компонентов деятельности, ее психофизиологических, эмоциональных и личностных аспектов, а также внешних, результативных и процессуальных показателей. Тогда оценка юзабилити продукта будет исходить не из его формальных свойств, а из показателей деятельности пользователя при работе с продуктом.
Группы метрик и их назначение
По аналогии с ISO 9126-4 юзабилити метрики предлагается разделить на 4 группы, но с определенными коррективами. Во-первых, в название каждой группы для определенности введен термин «деятельность». Во-вторых, изменено название второй группы, так как затраты на деятельность адекватно отражает понятие «Экономичность» (как в ISO 9241-11), а не «Продуктивность» (как в ISO 9126-4), которое по смыслу мало отличимо от понятия «Эффективность». В-третьих, группу «Безопасность», которая содержится в ISO 9126-4 и отсутствует в ISO 9241-11, целесообразно дополнить метриками, характеризующими надежность деятельности пользователей. В итоге получаются следующие группы юзабилити метрик.
Перечень и содержание групп юзабилити метрик
| № | Название группы | Содержание группы |
|---|
| 1 | Эффективность деятельности | Метрики отражают различные аспекты результативности деятельности |
| 2 | Экономичность деятельности | Метрики оценивают затраты на деятельность, т.е. ресурсы пользователя |
| 3 | Надежность и безопасность деятельности | Метрики направлены на оценку устойчивости выполнения, рисков и возможных опасных последствий |
| 4 | Удовлетворенность деятельностью | Метрики раскрывают различные аспекты отношений пользователя к продукту |
Для большей определенности и разносторонности оценок метрики каждой группы разделены на технологическую и психологическую подгруппы. Метрики технологической подгруппы отражают аспекты деятельности пользователя, связанные со свойствами продукта, а метрики психологической подгруппы — с особенностями психологических процессов деятельности.
Перечень и содержание подгрупп юзабилити метрик
| № | Группа метрик | Технологическая подгруппа | Психологическая подгруппа |
|---|
| 1 | Эффективность деятельности | Результативность | Психологическая эффективность |
| 2 | Экономичность деятельности | Процессуальные затраты | Психологические затраты |
| 3 | Надежность и безопасность | Результативная надежность | Психологическая надежность |
| 4 | Удовлетворенность деятельностью | Удовлетворенность свойствами продукта | Личностная удовлетворенность |
Разработка юзабилити-метрик
Разработанные метрики представляют собой показатели деятельности, раскрывающие содержание каждой из введенных подгрупп.
Перечень юзабилити-метрик
Для каждой метрики в скобках указывается качественная шкала оценки, а ее смысл раскрывается в графе содержания.
1. Эффективность деятельности
Подгруппа «Результативность»
| № | Название метрики | Содержание |
|---|
| 1 | Успешность (высокая – низкая) | Степень достижения целей деятельности |
| 2 | Оперативность (высокая – низкая) | Степень отсутствия вынужденных задержек |
| 3 | Количественные показатели результативности | Относительные результативные показатели в зависимости от вида задачи |
Подгруппа «Психологическая эффективность»
| № | Название метрики | Содержание |
|---|
| 4 | Эффективность анализа информации | Степень адекватности, полноты и своевременности оценки ситуаций |
| 5 | Эффективность решений | Степень правильности, полноты и своевременности принятия решений |
| 6 | Эффективность планирования | Масштаб, детальность и гибкость планирования |
| 7 | Эффективность исполнительных действий | Степень правильности, своевременности и точности действий |
2. Экономичность деятельности
Подгруппа «Процессуальные затраты»
| № | Название метрики | Содержание |
|---|
| 1 | Количественные показатели затрат | Относительные показатели затрат в зависимости от вида задачи |
| 2 | Использование дополнительной информации | Частота и время поиска дополнительной информации |
| 3 | Повторные или дополнительные операции | Частота и время выполнения повторных операций |
| 4 | Затраты на обучение | Относительные затраты на подготовку и освоение |
Подгруппа «Психологические затраты»
| № | Название метрики | Содержание |
|---|
| 5 | Субъективная сложность | Степень затруднений при выполнении деятельности |
| 6 | Трудоемкость деятельности | Степень занятости исполнительными действиями |
| 7 | Психофизиологическая цена | Степень усталости, утомления, болезненных ощущений |
| 8 | Выраженность негативных эмоций | Частота проявления раздражения, недовольства, гнева |
3. Надежность и безопасность деятельности
Подгруппа «Результативная надежность и безопасность»
| № | Название метрики | Содержание |
|---|
| 1 | Стабильность выполнения | Степень повторяемости достижения целей |
| 2 | Ошибочность действий | Частота и количество допускаемых ошибок |
| 3 | Компенсация ошибок | Возможность и время исправления ошибок |
| 4 | Риск деятельности | Возможность создания опасных ситуаций |
Подгруппа «Психологическая надежность и безопасность»
| № | Название метрики | Содержание |
|---|
| 5 | Уверенность в деятельности | Степень спокойствия и энергичности |
| 6 | Сосредоточенность | Степень концентрации внимания на задаче |
| 7 | Ответственность | Степень осторожности и продуманности |
4. Удовлетворенность деятельностью
Подгруппа «Удовлетворенность свойствами продукта»
| № | Название метрики | Содержание |
|---|
| 1 | Удовлетворенность функциональностью | Отношение к назначению и полезности продукта |
| 2 | Удовлетворенность качеством | Отношение к эффективности, надежности, безопасности |
| 3 | Потребность в продукте | Отношение к необходимости использования |
| 4 | Адекватность продукта | Оценка соответствия продукта задачам |
| 5 | Удобство представления информации | Оценка структуры и формы представления |
| 6 | Удобство управления | Оценка средств управления и ввода данных |
| 7 | Удовлетворенность алгоритмом | Оценка оптимальности алгоритма деятельности |
| 8 | Удовлетворенность автоматизацией | Отношение к предсказуемости функционирования |
Подгруппа «Личностная удовлетворенность»
| № | Название метрики | Содержание |
|---|
| 9 | Удовлетворенность характером деятельности | Отношение к характеру деятельности (творческая/рутинная) |
| 10 | Эстетическая удовлетворенность | Отношение к эстетическим свойствам продукта |
| 11 | Выраженность позитивных эмоций | Частота проявления удовольствия, радости |
| 12 | Социальная удовлетворенность | Оценка социальных аспектов деятельности |
Безусловно, приведенный перечень не является жестким, метрики могут дополняться и уточняться. Тем не менее достаточная обобщенность метрик обеспечивает полноценное сравнение результатов различных исследований, что отвечает требованиям стандартизации.
Как и в существующих стандартах некоторые метрики являются общими, универсальными, некоторые — частными. Поэтому в зависимости от цели исследования допускается использование только части из приведенных метрик. В то же время в любом тестировании целесообразно использовать все четыре группы метрик, а в каждой группе — как технологические, так и психологические критерии. При этом должен соблюдаться основной принцип: чем сложнее продукт, тем больше должен быть используемый набор метрик.
Методы тестирования
- Группа 1 (Эффективность): наблюдение, хронометраж, оценка результативных показателей, экспертная оценка
- Группа 2 (Экономичность): наблюдение, опрос, анкетирование, психофизиологические методы
- Группа 3 (Надежность): наблюдение, экспертная оценка
- Группа 4 (Удовлетворенность): опрос, анкетирование, наблюдение (для эмоциональных метрик)
Выводы
- Разработка юзабилити-метрик на основе деятельностного подхода позволяет логически упорядочить как их смысловые группы, так и сами метрики
- Разделение метрик на технологические и психологические подгруппы повышает разносторонность и содержательность оценки
- Возможность частичного использования метрик обеспечивает гибкость процедур тестирования
- Достаточная обобщенность метрик обеспечивает сравнение результатов различных исследований