Chatbot Usability Scale (Bot Usability Scale, BUS-11)

Chatbot Usability Scale (BUS-11) — специализированная валидированная шкала для количественной оценки юзабилити чат-ботов и конверсационных ИИ-систем, состоящая из 11 вопросов, измеряющих пять ключевых аспектов взаимодействия: личность бота, пользовательский опыт, обработку ошибок, адаптацию пользователя и функциональность.

История метода

Метод Chatbot Usability Scale был разработан в 2021 году исследователями под руководством Симоне Борски (Simone Borsci) из Университета Твенте (Нидерланды) в сотрудничестве с коллегами из других институтов, включая Имперский колледж Лондона. Метод был создан в ответ на растущую потребность в стандартизированном инструменте для оценки конверсационных интерфейсов.

Изначально метод был представлен в виде 15-пунктовой шкалы (BUS-15) в статье “The Chatbot Usability Scale: the Design and Pilot of a Usability Scale for Interaction with AI-Based Conversational Agents”, опубликованной в журнале Personal and Ubiquitous Computing. Исследователи провели серию из четырех исследований, включая систематический обзор литературы, чтобы определить ключевые атрибуты для оценки качества взаимодействия с чат-ботами.

В 2022 году Борски и его коллеги провели подтверждающий факторный анализ и валидацию BUS на разных языках, в результате чего была создана оптимизированная 11-пунктовая версия (BUS-11). Эта версия сохранила психометрические свойства оригинала, но стала более компактной и удобной в применении. Результаты мультиязычной валидации были опубликованы в статье “A confirmatory factorial analysis of the Chatbot Usability Scale: a multilanguage validation” в том же журнале.

С момента создания метод получил признание среди исследователей и практиков в сфере UX как эффективный инструмент для оценки и сравнения чат-ботов и ИИ-систем с диалоговым интерфейсом. В отличие от общих шкал юзабилити, таких как System Usability Scale (SUS), BUS-11 учитывает уникальные особенности конверсационных интерфейсов, включая естественность диалога, обработку ошибок и адаптивность.

Описание метода

Chatbot Usability Scale представляет собой стандартизированный опросник, содержащий 11 утверждений, которые оцениваются пользователями по 5-балльной шкале Лайкерта (от “полностью не согласен” до “полностью согласен”). Эти утверждения охватывают пять ключевых аспектов взаимодействия с чат-ботами и ИИ-системами.

Метод позволяет получить как общую количественную оценку юзабилити системы (от 0 до 100 баллов), так и детализированные оценки по отдельным факторам, что помогает выявить конкретные проблемные области и сильные стороны интерфейса. Результаты могут быть использованы для сравнения различных чат-ботов, оценки эффективности внесенных изменений или мониторинга юзабилити в процессе разработки.

BUS-11 оценивает следующие факторы:

• Личность бота (Bot Personality) — насколько естественным и приятным воспринимается взаимодействие с системой
• Пользовательский опыт (User Experience) — общее впечатление от использования и эмоциональная реакция
• Обработка ошибок (Error Handling) — способность системы распознавать ошибки и адекватно на них реагировать
• Адаптация пользователя (User Adaptation) — насколько легко пользователи приспосабливаются к взаимодействию
• Функциональность (Functionality) — эффективность выполнения задач и полезность системы

В отличие от общих шкал юзабилити, таких как System Usability Scale (SUS) или UMUX-LITE, BUS-11 специально разработана с учетом уникальных особенностей конверсационных интерфейсов. Шкала продемонстрировала высокую надежность (коэффициент альфа Кронбаха между 0.76 и 0.87) и была успешно валидирована на различных языках, включая английский, испанский, немецкий и голландский.

Типология метода

• Тип данных: количественный
• Модерация: немодерируемый (может проводиться без присутствия модератора)
• Продолжительность: короткая (заполнение опросника занимает 5-10 минут у одного участника)
• Формат проведения: индивидуальный, может проводиться как очно, так и удаленно с использованием онлайн-форм

Цели и задачи метода

• Количественная оценка юзабилити чат-ботов и конверсационных ИИ-систем
• Выявление конкретных проблемных аспектов взаимодействия с чат-ботом
• Сравнение различных чат-ботов или версий одной системы
• Мониторинг изменений юзабилити в процессе разработки и итерации
• Определение приоритетных направлений для улучшения пользовательского опыта
• Оценка соответствия чат-бота ожиданиям и потребностям пользователей
• Выявление различий в восприятии системы разными группами пользователей
• Обоснование решений по дизайну на основе количественных данных
• Создание бенчмарков для оценки конкурентоспособности продукта
• Измерение влияния внесенных изменений на пользовательский опыт

Применение в процессе Human-Centered Design

Стадия 1. Понимание и определение контекста использования

Вспомогательное применение

• Помогает определить ожидания пользователей от конверсационных интерфейсов
• Выявляет специфические аспекты взаимодействия, важные для целевой аудитории
• Позволяет понять существующие паттерны взаимодействия с чат-ботами

Стадия 2. Определение требований пользователей

Вспомогательное применение

• Помогает приоритизировать требования к чат-боту на основе оценок важности различных аспектов
• Выявляет критические атрибуты, влияющие на удовлетворенность пользователей
• Позволяет сформулировать количественные критерии успеха для проекта

Стадия 3. Создание проектных решений

Вспомогательное применение

• Обеспечивает фокус на ключевых аспектах юзабилити при проектировании диалоговых потоков
• Помогает выбрать оптимальные решения из нескольких альтернатив на основе оценок пользователей
• Создает основу для итеративного улучшения прототипов

Стадия 4. Оценка проектных решений

Основное применение

• Обеспечивает количественную оценку юзабилити реализованного чат-бота
• Позволяет сравнивать различные версии системы и отслеживать прогресс
• Выявляет конкретные аспекты, требующие доработки
• Предоставляет данные для принятия решений о готовности продукта к релизу
• Создает основу для дальнейшей оптимизации пользовательского опыта

Chatbot Usability Scale (BUS-11) наиболее эффективен на стадии оценки проектных решений, когда необходимо получить объективные количественные данные о качестве пользовательского опыта взаимодействия с чат-ботом. Метод позволяет не только измерить общий уровень юзабилити, но и детализировать результаты по конкретным аспектам взаимодействия, что делает его ценным инструментом для итеративного улучшения конверсационных интерфейсов. Регулярное применение BUS-11 на различных этапах разработки помогает отслеживать динамику изменений и обеспечивает основу для принятия обоснованных дизайн-решений.

Преимущества и ограничения

Бизнес-выгоды

• Снижение затрат на поддержку пользователей за счет улучшения юзабилити чат-бота
• Повышение конверсии и удержания пользователей благодаря более качественному взаимодействию
• Сокращение времени разработки через фокусирование на приоритетных аспектах юзабилити
• Объективное обоснование инвестиций в улучшение пользовательского опыта
• Возможность количественного сравнения с конкурентами и установления бенчмарков
• Уменьшение риска провала продукта из-за проблем с юзабилити
• Оптимизация ресурсов за счет приоритизации критических улучшений

Уникальные особенности

• Специализированный инструмент, учитывающий специфику диалоговых интерфейсов
• Научно валидированная методология с проверенной надежностью
• Позволяет оценивать как общий уровень юзабилити, так и отдельные аспекты взаимодействия
• Простота применения и интерпретации результатов
• Возможность сравнения различных чат-ботов и версий одной системы
• Учитывает уникальные аспекты диалоговых систем, не охватываемые общими шкалами юзабилити

Оптимальные условия применения

• Оценка готовых чат-ботов или высокоточных прототипов
• Итеративная разработка с регулярными оценками прогресса
• Сравнение нескольких вариантов дизайна конверсационного интерфейса
• Сбор обратной связи после значительных изменений в системе
• Установление базовых показателей перед началом оптимизации
• Обоснование необходимости улучшений для заинтересованных лиц
• Оценка влияния конкретных изменений на общее восприятие системы

Ограничения

• Субъективный характер оценок, зависящий от индивидуального восприятия пользователей
• Ограниченная применимость к недиалоговым типам ИИ-систем
• Возможное влияние эффекта новизны на первые впечатления пользователей
• Не заменяет качественные методы исследования для выявления конкретных проблем
• Чувствительность к контексту и сценариям использования
• Требует достаточного размера выборки для получения статистически значимых результатов
• Фокусируется на текущем опыте, не учитывая долгосрочные аспекты взаимодействия

Основные компоненты метода

Полный опросник BUS-11

Оцените каждое утверждение по шкале от 1 (полностью не согласен) до 5 (полностью согласен):

• Взаимодействие с чат-ботом/ИИ-системой было легким и понятным.
• Я нашел функциональность чат-бота/ИИ-системы полезной.
• Чат-бот/ИИ-система мог понять, что я имею в виду, даже если я выражался не совсем точно.
• Чат-бот/ИИ-система быстро отвечал на мои запросы.
• Взаимодействие с чат-ботом/ИИ-системой казалось естественным.
• Чат-бот/ИИ-система был способен корректно обрабатывать ошибки.
• Я легко мог восстановить взаимодействие после ошибок или недопонимания.
• Чат-бот/ИИ-система проявлял дружелюбность и вежливость.
• Я получил всю необходимую информацию от чат-бота/ИИ-системы.
• Я бы предпочел использовать этого чат-бота/ИИ-систему, а не обращаться к человеку-оператору.
• Я бы рекомендовал этого чат-бота/ИИ-систему другим людям.

Факторная структура BUS-11

В результате конфирматорного факторного анализа были выявлены следующие факторы:

• Личность бота: пункты 5, 8
• Пользовательский опыт: пункты 1, 10, 11
• Обработка ошибок: пункты 3, 6, 7
• Функциональность: пункты 2, 4, 9

Расчет результатов

• Общий балл BUS: Суммируйте баллы по всем 11 пунктам (диапазон 11-55 баллов)
• Нормализованный балл: (Общий балл – 11) × 2.27 = Балл от 0 до 100
• Факторные оценки: Рассчитывается среднее значение по пунктам, относящимся к каждому фактору

Интерпретация результатов

• 0-50: Неудовлетворительный уровень юзабилити, требуется существенная доработка
• 51-68: Приемлемый уровень юзабилити с пространством для улучшений
• 69-80: Хороший уровень юзабилити
• 81-100: Отличный уровень юзабилити

Результаты BUS-11 показывают сильную положительную корреляцию с другими валидированными инструментами оценки юзабилити, такими как UMUX-LITE, что подтверждает конвергентную валидность метода.

Структура проведения

Подготовка

• Определите цели исследования и аспекты чат-бота, которые необходимо оценить
• Выберите формат проведения (очный или удаленный) и подготовьте опросник BUS-11
• Определите целевую аудиторию и количество участников (рекомендуется минимум 15-20 участников)
• Подготовьте 2-3 типичных сценария использования чат-бота/ИИ-системы
• Создайте инструкции для участников и форму для сбора демографических данных
• Протестируйте настройку исследования с 1-2 пилотными участниками
• Внесите необходимые корректировки в процедуру на основе пилотного тестирования

Проведение

• Предоставьте участникам доступ к чат-боту/ИИ-системе и инструкции по выполнению задач
• Попросите участников выполнить подготовленные сценарии использования
• После завершения взаимодействия с системой предложите заполнить опросник BUS-11
• При необходимости соберите дополнительные качественные комментарии о пользовательском опыте
• Поблагодарите участников и предоставьте им вознаграждение, если это предусмотрено

Анализ

• Подсчитайте общий балл BUS и нормализованный балл для каждого участника
• Рассчитайте средние значения и стандартное отклонение для всей выборки
• Проанализируйте оценки по каждому из пяти факторов для выявления проблемных аспектов
• Сегментируйте результаты по демографическим или поведенческим характеристикам участников
• Сравните результаты с предыдущими измерениями или бенчмарками (если имеются)
• Определите статистическую значимость различий при сравнении версий или групп пользователей
• Сформулируйте рекомендации по улучшению на основе выявленных проблемных аспектов
• Подготовьте отчет с визуализацией результатов и конкретными рекомендациями

Связь с другими методами

Предшествующие методы

• Модерируемое юзабилити-тестирование — выявляет конкретные проблемы для последующей количественной оценки
• Глубинное интервью — помогает понять ожидания пользователей от чат-бота
• Прототипирование — создает версию чат-бота для тестирования
• Customer Journey Map (CJM) — определяет ключевые точки взаимодействия с чат-ботом
• Персона — формирует понимание потребностей целевых пользователей

Дополняющие методы

• Обратная связь от клиентов — обогащает количественные данные качественными комментариями
• System Usability Scale (SUS) — позволяет сравнить с общей оценкой юзабилити
• Анализ логов взаимодействия — предоставляет объективные данные о фактическом использовании
• Экспертная оценка удобства — дополняет пользовательскую оценку экспертным мнением

Последующие методы

• A/B-тестирование — проверяет эффективность внесенных изменений
• Когнитивный прогон — детально анализирует проблемные аспекты, выявленные в BUS-11
• GOMS-анализ — моделирует оптимальные пути взаимодействия с чат-ботом
• Дизайн-спринт — разрабатывает решения для выявленных проблем
• Карта эмпатии — углубляет понимание эмоциональных реакций пользователей

Заключение

Chatbot Usability Scale (BUS-11) представляет собой ценный инструмент для оценки и улучшения пользовательского опыта взаимодействия с конверсационными ИИ-системами. В условиях стремительного роста популярности чат-ботов и виртуальных ассистентов этот метод приобретает особую значимость, поскольку обеспечивает стандартизированный подход к оценке их юзабилити.

Основная ценность BUS-11 заключается в его специализированном характере — в отличие от общих шкал юзабилити, он учитывает уникальные аспекты диалоговых интерфейсов, такие как естественность взаимодействия, способность системы обрабатывать неоднозначные запросы и адаптироваться к стилю общения пользователя. Это делает его незаменимым инструментом для команд, разрабатывающих чат-боты и конверсационные ИИ-системы.

Международная валидация BUS-11 на различных языках подтверждает его кросс-культурную применимость, что особенно важно в контексте глобального распространения ИИ-технологий. Простота применения и интерпретации результатов делает BUS-11 доступным для широкого круга специалистов, от UX-исследователей до продуктовых менеджеров. При этом научная обоснованность метода обеспечивает достоверность получаемых результатов и возможность их использования для принятия обоснованных решений по улучшению продукта.

В контексте развития ИИ-технологий и увеличения роли конверсационных интерфейсов в цифровых продуктах, Chatbot Usability Scale становится все более востребованным инструментом. Его дальнейшее развитие может включать адаптацию для оценки мультимодальных ИИ-систем, интегрирующих текстовые, голосовые и визуальные модальности, а также создание специализированных версий для конкретных отраслей и типов приложений.