Осознать и уменьшить когнитивные искажения в исследованиях пользователей.

Published in

Дизайн в Контуре

7 min readDec 6, 2021

Мы с Аней работаем UX-исследователями в Контуре. В этой статье мы решили поделиться своими опытом и приемами работы с когнитивными искажениями во время исследования. Она будет полезна тем, кто участвует в исследованиях в любой из ролей: самим исследователям, наблюдателям из команды, заказчикам.

В исследованиях хороший путь — это идти от логических выводов и фактов. Такой путь требует больше времени и внимательности, способности подвергнуть критике свои идеи и убеждения. Но этот путь не единственный. Есть вариант прийти к выводам с помощью более быстрых, иррациональных суждений. Они дают нам понимание ситуации здесь и сейчас.

Иногда мы наблюдаем, что исследование идет по иррациональному пути. Например, формулируем поспешные выводы и искажаем результаты. Со временем мы разобрались, что происходит и как это лечить.

Первый шаг работы с искажениями — разобраться, что это и почему они возникают.

Что такое когнитивные искажения

Когнитивные искажения — это ошибки в восприятии информации. Они появляются, если мы хотим быстро прийти к каким-то выводам и решениям, понять и запомнить информацию. В итоге когнитивные искажения приводят к ошибкам в анализе и создают “свою реальность”.

Интересно, что искажения возникают не просто так. Они приходят как “помощники”, чтобы помочь нам справиться с неопределённостью или быстро понять, что делать дальше.

Бастер Бенсон выделил 4 проблемы, с которыми когнитивные искажения помогают справиться:

Расплывчатость, недостаточность данных — в начале исследования, когда недостаточно информации, чтобы сформулировать гипотезу, а опираться на что-то хочется.
Недостаточно времени — когда нужно быстро отреагировать и принять решение, как действовать в моменте. Например, если во время интервью нужно задать уточняющий вопрос, которого не было в скрипте. Он может быть сформулирован как “наводящий” на ответ, так как это быстрее и проще придумать в моменте.
Большой объем данных и информации — когда пообщались со всеми пользователями и надо делать выводы по результатам исследования. Но время на обработку данных ограниченно, и хочется быстрее перейти на следующий шаг.
Когда запоминаем и вспоминаем. Обычно мы не вспоминаем дословно всё-всё, что узнали во время исследования, а только какие-то определённые моменты. Выделяя их, мы неосознанно придаем им чуть больше значимости, чем остальной информации.

Эти проблемы могут возникнуть на любом из этапов исследования. Начиная от формулирования гипотезы и заканчивая выводами. Справляясь с ними, заказчик и исследователь могут прибегнуть к помощи когнитивных искажений. А это может изменить весь фокус исследования.

Особенность когнитивных искажений в том, что они непроизвольны. Поэтому, если осознать когда и как они проявляются, то станет намного проще отследить и скорректировать их в процессе исследования.

Мы разберём, с какими искажениями можно столкнуться на разных этапах исследования на своих примерах из практики.

Этапы исследования и когнитивные искажения

1 этап: Формулирование гипотез и планирование исследования.

Обычно работа над задачей начинается с ощущения “Понятно, что ничего не понятно”. Знаем, что есть какая-то проблема, есть какие-то знания о том, как она проявляется и много-много сомнений. Дополнительно к ощущению неопределённости добавляется вера в какую-то из гипотез и желание придумать для неё решение.

Искажения, которые часто встречаются на этом этапе:

🔵Иллюзия асимметричной проницательности — отвергаем картину мира других людей, считаем свою единственно верной. Не слышим критику или вопросы, которые подвергают гипотезу сомнению.

Пример проявления — исследователь или заказчик опирается только на собственные представления о пользователях. Можно услышать фразу “Я знаю, как это работает”.

🔵Искажение изобретателя — не можем оценить плюсы и минусы своей идеи. Настолько в неё “влюблены”, что идем исследовать не для проверки, а чтобы услышать, что всё так и есть.

Пример проявления — бывает у заказчиков, которым нужно исследование, как формальный этап. Идут не проверять гипотезу, а подтверждать её, чтобы скорее получить “зелёный свет” и начать пилить решение. Можно услышать фразу “Давай по-быстрому проведём исследование и дальше пойдём, не будем стопорить процесс”.

Оба эти искажения возникают на старте. Если их не отследить, будут влиять на всё исследование. Когда они проявляются у заказчика, то исследователю нужно будет на всех этапах работать с его убежденностью и верой в идею. А когда у самого исследователя, то идти проверять гипотезы вообще мало смысла. Ведь ему уже на старте как-будто всё известно: новое вряд ли узнаем и точно не проверим гипотезу.

Эти искажения начинают проявляться, как защитная реакция, чтобы снизить противоречия и неопределённость. Но на самом деле, в начале исследования наличие неопределённости нормально. Всё и должно быть не понятно и без четкой картинки.

Исследование является тем инструментом, который снимет неопределённость и с помощью которого мы получим ответы.

Избегать искажений у себя и заказчиков на первом этапе нам помогает такой прием:

В начале исследования стараемся сфокусироваться на том, какая проблема стоит за гипотезой и почему важно проводить исследования. Проговариваем это с заказчиками и командой. Такая установка помогает меньше “влюбляться” в гипотезы и смело их отбрасывать. Ведь мы решаем “вон ту” глобальную задачу, а гипотеза — это лишь одно из возможных решений проблемы.

2 этап: Проверка гипотезы

Во время проведения самого исследования, нам нужно реагировать в моменте и принимать решения. Не делать поспешных выводов, понимать получаем ли мы ответы на свои вопросы. Не стремиться услышать подтверждения своей гипотезы, а узнать правду. Отсюда появляются два искажения:

🔵Эффект ожидания наблюдателя — ожидаем определённого результата, бессознательно манипулируем ходом эксперимента или неправильно интерпретируем данные.

Пример проявления — задаем подталкивающие и “узкие” вопросы, раскручиваем те темы, которые наиболее интересны. Не узнаём все детали и реальную ситуацию целиком. Например, вместо того чтобы узнать как человек добирается до работы, спрашиваем: “Сколько у вас времени занимает дорога на машине?”.

🔵Эффект обратного действия — стоим на своём, даже если получаем опровергающую инфу.

Пример проявления — когда заказчик видит результаты, то говорит: “Да это пользователи какие-то не такие попались, странные. Надо было по-другому выборку составить”. “Ты, наверное, не так спрашивал, исследование проведено некорректно”.

Снизить проявление искажений на втором этапе помогает такой приём:

В процессе исследования классно быть в постоянном диалоге с командой (проектировщик, аналитик, продакт и т.п.). Вместе смотреть скрипт интервью, задание на юзабилити-тестирование и ходить на само исследование. Это помогает взглянуть на процесс с разных точек зрения, вовремя заметить, если что-то было упущено или наоборот преувеличено.

3 этап: Работа с результатами исследования

Когда провели исследование, начинается самое интересное и сложное — проанализировать всё, что узнали. При этом не зарыться в деталях, но выделить суть. Вызовы, в которых искажения нам тоже хотят прийти на “помощь”. Например, вот эти:

🔵Ошибка базового процента — концентрируемся на единичном сценарии, придаём ему большее значение, чем более частому и общему.

Пример проявления — в ходе исследования нам попадается пользователь со специфичным и сложным сценарием. Из-за этого ему неудобно выполнять свои задачи в продукте и накопилось много болей. Мы можем сконцентрироваться на этом кейсе, более красочно рассказать его команде и все будут помнить именно его. Все остальные пользователи, с более частым сценарием, уйдут на второй план.

🔵Информационное искажение — ищем новую информацию, когда она уже ни на что не влияет.

Пример проявления — получили не очень приятные результаты и идём исследовать ещё и ещё. Потому что бывает страшно отказаться от этой гипотезы, принять результат и идти выпиливать/менять фичу.

При работе с результатами исследования уменьшить искажения помогает такой приём:

Обычно мы стараемся подводить итоги исследования или интервью хотя бы через пару часов после разговора с респондентом. Перерыв помогает уложить мысли в голове, отойти от эмоций и посмотреть на ситуацию более рационально.

Когнитивные искажения — это то, как наш мозг справляется с возрастающей нагрузкой. Обычно они высвечивают только один вариант и не дают альтернатив. Искажения приводят к тому, что исследователь и заказчик не могут мыслить шире, прийти к каким-то действительно интересным инсайтам в ходе исследования. Они находятся в рамках собственной идеи, в ситуации «Мы это делаем или нет?».

Совсем избежать искажений не получится, но можно снизить их влияние. Мы разнесли каждый из приемов по этапам, но лучше использовать их все вместе. Они дополняют друг друга и уменьшают искажения.

Это поможет “разлюбить” свою идею, провалидировать решения с командой и расширить видение ситуации, чтобы было проще опираться на факты.

Только исследования, никаких влюбленностей в гипотезы 💔

Чуть больше про искажения и то как с ними жить можно почитать тут: