Опрос или интервью: что выбрать для исследования

Однажды я месяц защищал перед командой результат опроса. Триста ответов, красивые столбики, вывод железобетонный: людям не хватает фильтров в каталоге. Сделали фильтры. Метрика не сдвинулась ни на сантиметр. Потом провёл восемь живых разговоров и за вечер понял, в чём была беда: люди не искали в каталоге вообще, они шли через поиск и злились, что он тупой. Фильтры им были не нужны, я сам подсунул им этот вариант в анкете, а они выбрали наименее идиотский из предложенных. Вот тогда я и усвоил, что вопрос «опрос или интервью» решается до того, как ты напишешь хоть один вопрос, а не после.

Артём, UX-исследователь в Aski. Дальше без академии про репрезентативность и доверительные интервалы, на нормальном языке: чем эти два метода реально отличаются, когда брать какой и как их сшивать, чтобы не повторить мою историю с фильтрами.

Базовое противопоставление опроса и кастдева мы уже трогали в разборе кастдева. Тут отдельный полный заход именно про выбор метода, так что местами буду ссылаться, а не пересказывать по второму кругу.

Опрос или интервью: в чём вообще разница

Если совсем коротко, разница в том, какой вопрос вы задаёте миру.

Опрос меряет «сколько». Сколько человек сталкивается с проблемой, какой процент готов платить, какой из трёх вариантов набрал больше голосов. Вы заранее придумали варианты ответа, разослали анкету, собрали галочки и посчитали. Это количественный метод: на выходе числа, проценты, графики.

Интервью копает «почему» и «как». Почему человек выбрал именно так, как он вообще пришёл к этой задаче, что пробовал до вас и что его в итоге бесило. Тут нет заготовленных вариантов, вы тянете живую историю и идёте за ней. Это качественный метод: на выходе мотивы, контекст, формулировки самих людей.

Вот тут и зарыта главная штука. Количественный метод хорош, когда вы уже знаете, что спрашивать, и хотите узнать масштаб. Качественный нужен, когда вы сами ещё не до конца понимаете, в чём проблема. Перепутаете порядок, получите мою историю: триста ответов на неправильно поставленный вопрос.

Количественные и качественные исследования: таблица различий

Чтобы не держать всё в голове, сведу основное в таблицу. Это две большие семьи методов, опрос и интервью самые ходовые их представители, но не единственные.

• На какой вопрос отвечает — Опрос (количественный): сколько, насколько часто — Интервью (качественный): почему, как именно
• Формат — Опрос (количественный): анкета, форма, шкалы — Интервью (качественный): живой разговор с уточнениями
• Выборка — Опрос (количественный): от сотни до тысяч — Интервью (качественный): чаще от шести до пятнадцати
• Что на выходе — Опрос (количественный): проценты, средние, динамика — Интервью (качественный): мотивы, истории, язык клиента
• Сильная сторона — Опрос (количественный): масштаб и сравнимость — Интервью (качественный): глубина и неожиданное
• Слабое место — Опрос (количественный): не объясняет причину — Интервью (качественный): нельзя обобщить на всех
• Цена ошибки в вопросе — Опрос (количественный): высокая, переспросить нельзя — Интервью (качественный): низкая, поправил по ходу

Последняя строка часто выпадает из внимания, а зря. В анкете кривая формулировка тиражируется на всю выборку, и вы даже не узнаете, что спросили не то: люди молча выберут ближайший вариант. В разговоре вы услышите заминку, переспросите и спасёте интервью на лету. Это, кстати, одна из причин, почему на незнакомой теме разговор безопаснее.

Не хочу, чтобы сложилось ощущение, будто числа врут, а разговоры это истина. Бывает наоборот. Восемь интервью с неудачно набранными людьми заведут вас в тупик не хуже плохой анкеты. Метод сам по себе ничего не гарантирует, гарантирует то, насколько он подходит к вашему вопросу.

Когда нужен опрос, а когда интервью

Перейдём к практике. Разложу по ситуациям, в каких задачах что брать. Тут разные исследователи спорят о деталях, но крупными мазками картина устойчивая.

Берите интервью, когда:

• Тема для вас новая и вы сами толком не знаете, в чём боль аудитории. Сначала надо нащупать, про что вообще спрашивать.
• Нужно понять причину за цифрой, которую вы уже видите. Отток вырос, а почему, дашборд молчит.
• Вы ищете язык клиента: как люди сами называют проблему, какими словами. Эти формулировки потом идут в офферы и на сайт.
• Проблема сложная, многоступенчатая, и важен контекст, в котором человек её решает.

Берите опрос, когда:

• Вы уже понимаете проблему и хотите узнать, насколько она распространена. Нащупали в разговорах, теперь меряете масштаб.
• Нужно сравнить варианты на большой аудитории: два оффера, три названия, что делать первым.
• Надо отследить динамику: тот же замер раз в квартал, чтобы видеть, растёт удовлетворённость или падает.
• Решение зависит от чистой статистики, а не от понимания нюансов.

Заметили закономерность? Интервью почти всегда идёт первым по времени, на этапе «я ещё не понимаю», а опрос вторым, на этапе «понимаю, хочу померить». Это не закон природы, бывают исключения, к ним вернёмся. Но как ориентир по умолчанию работает.

И отдельная оговорка, чтобы вы не загнали себя в ложный выбор. Само словосочетание «опрос или интервью» подталкивает выбрать одно. На деле зрелое исследование почти всегда берёт оба, просто в нужном порядке. О порядке дальше.

Как комбинировать опрос и интервью

Самое интересное начинается, когда вы перестаёте выбирать между методами и начинаете их складывать. Связка сильнее любого из них по отдельности. Есть два рабочих сценария, и они отличаются тем, что идёт первым.

Сначала интервью, потом опрос. Классика для новой темы. Вы проводите десяток глубоких разговоров, на них вылезают живые боли и гипотезы, которые вы сами бы не придумали. Дальше эти гипотезы упаковываете в анкету и гоните через опрос на большой выборке, чтобы понять, какая из болей встречается у пятидесяти процентов, а какая была единичной историей одного человека. Разговоры дают, что спрашивать. Опрос даёт, насколько это массово.

Сначала опрос, потом интервью. Когда у вас уже есть большая база и непонятная цифра. Скажем, опрос показал, что сегмент новичков уходит чаще остальных, а почему, неясно. Вы берёте из этого сегмента десяток человек и идёте в интервью добирать причину. Опрос тут работает как прожектор: подсвечивает, где болит, а разговоры объясняют, отчего.

Вот как это выглядело у меня на той самой истории с фильтрами, только сделанной правильно во второй заход.

Шаг 1. Восемь интервью. Выясняется: люди не пользуются каталогом, идут через поиск, поиск тупит.
Шаг 2. Опрос на тысячу человек с вопросом про то, как они ищут товар. 70% подтверждают, что начинают с поиска.
Шаг 3. Решение: чиним поиск, а не фильтры. Метрика наконец сдвигается.

Если бы я сделал так с самого начала, сэкономил бы месяц и нервы команды. Мораль простая: разговоры показывают, куда смотреть, опрос показывает, насколько это важно. Порядок выбираете по тому, чего у вас сейчас нет, понимания или масштаба.

Типичные ошибки выбора метода

Большинство провалов в исследованиях это не кривой вопрос в анкете, а изначально неверный метод. Собрал то, на чём спотыкаются чаще всего, включая себя.

Опрос вместо разговора на старте. Самая дорогая ошибка, моя любимая, потому что я на ней обжёгся лично. Вы ещё не понимаете боль, но рассылаете анкету с вариантами, которые сами же и выдумали. Люди выбирают из вашего списка, вы получаете подтверждение собственных фантазий и идёте делать не то.

Разговор там, где нужна была цифра. Обратная крайность. Провели пять интервью, услышали интересную боль и помчались строить под неё фичу на весь продукт. А боль-то была у этих конкретных пяти, на тысяче человек она встречается у трёх процентов. Качественный метод не для того, чтобы измерять долю, он не отвечает на «сколько».

Выводы на выборке из друзей и коллег. Касается обоих методов, но в интервью особенно больно. Близкие щадят, хвалят и говорят то, что вам приятно. Про подбор правильных людей у нас есть отдельный разбор, как искать респондентов, не буду тут расписывать, но это половина успеха в любом методе.

Наводящие формулировки. «Согласитесь, ведь удобнее, когда...» одинаково убивает и анкету, и интервью. В опросе вы получаете завышенный процент согласных, в разговоре вежливое поддакивание. Спрашивайте нейтрально и про прошлый опыт, а не про гипотетическое будущее. Почему люди врут на вопросы о будущем, лучше всех объяснил Роб Фитцпатрик в «Спроси маму».

Метод выбран под привычку, а не под задачу. Кто-то любит цифры и всё меряет анкетами, кто-то любит разговоры и опрашивает там, где хватило бы формы. Метод должен диктоваться вопросом исследования, а не тем, что вам приятнее делать. Я за собой эту слабость к разговорам знаю и каждый раз себя проверяю: точно ли тут нужна глубина или я просто не хочу возиться с цифрами.

Где интервью обычно ломается и что с этим делать

Допустим, вы выбрали правильно: тема новая, идёте в интервью. И упираетесь в ту самую стену, об которую разбивается большинство.

Разговоры дают глубину, но они дорогие по времени и почти не масштабируются. Один человек физически может провести три-четыре интервью в день, дальше каша в голове. А после каждого надо переслушать запись, расшифровать, разметить, кто что сказал, разобрать. Десять разговоров легко превращаются в неделю, выпавшую из жизни ещё до того, как родится хоть один вывод. Именно из-за этого многие и сбегают в опрос, даже когда задача требует глубины: анкету разослал тысяче и пошёл пить кофе. Так глубина и приносится в жертву охвату, а потом удивляются, почему фичи не стреляют.

Перед нами классический компромисс между глубиной и охватом, и под него мы делали Aski. Идея в том, чтобы дать глубину интервью на масштабе, близком к опросу. Фотореалистичный аватар сам ведёт голосовое интервью по вашему гайду, задаёт уточняющие вопросы про реальный опыт и расшифровывает разговор на лету. Десятки таких интервью идут параллельно и круглосуточно, потому что вам не надо сидеть на каждом лично, а по всем сразу собирается отчёт с болями, частотой и формулировками клиентов. Респондент просто открывает ссылку в браузере и говорит, как на обычном созвоне, без анкет, регистрации и установок. Получается разговор по глубине и десятки людей по охвату, тот самый компромисс, который обычно приходится выбирать, тут частично снимается.

Честно, не панацея. Если вам нужна строгая статистика по тысячам респондентов, классическая анкета быстрее и дешевле, тут разговор не конкурент. И живой исследователь иногда поймает невербалику и заминку тоньше аватара. Но рутину расшифровки и сведения десятков интервью в один отчёт это снимает целиком, а спотыкаются обычно как раз о неё. Первые интервью бесплатные, карта не нужна, так что прогнать на своей теме можно сегодня же.

Коротко

Опрос меряет «сколько» на большой выборке, интервью копает «почему» на маленькой. Это не соревнование, это два инструмента под разные вопросы. Не понимаете боль, идёте в разговоры. Понимаете и хотите масштаб, идёте в опрос. А по-взрослому почти всегда берёте оба: интервью даёт гипотезы, опрос проверяет их на массе, или наоборот, опрос подсвечивает, а интервью объясняет. Главная ошибка не в формулировке вопроса, а в том, что метод выбран не под задачу. Я свой месяц на этом потерял, чтобы вы не теряли.

Хотите попробовать качественную часть без недели на расшифровку, Aski проводит голосовые интервью за вас и сводит их в отчёт, первые бесплатно.

FAQ

Чем интервью отличается от опроса простыми словами? Опрос это анкета с заранее заданными вопросами и вариантами ответа, он отвечает на «сколько» и работает на большой выборке. Интервью это живой разговор с открытыми вопросами и уточнениями по ходу, оно отвечает на «почему» и «как» и работает на маленькой выборке. Опрос даёт числа, интервью даёт причины и контекст. Подробнее про сам формат разговора у нас есть разбор глубинного интервью.

Когда нужен опрос, а когда интервью? Интервью берут, когда тема новая и вы сами не до конца понимаете боль аудитории, или когда надо понять причину за уже известной цифрой. Опрос берут, когда проблема ясна и нужно измерить её масштаб, сравнить варианты на большой аудитории или отследить динамику во времени. По умолчанию интервью идёт раньше по времени, опрос позже, но из этого правила бывают исключения.

Что такое количественные и качественные исследования? Количественные исследования меряют величины: сколько, какой процент, насколько часто. Главный их инструмент это опрос, на выходе числа и графики. Качественные исследования вскрывают смыслы: почему человек так поступает, как устроен его опыт. Главный инструмент тут интервью, на выходе мотивы и формулировки людей. Опрос и интервью самые ходовые представители этих двух семей, но не единственные.

Можно ли заменить интервью опросом? На этапе, когда вы уже понимаете проблему и хотите померить масштаб, да, опрос справится и будет быстрее. А вот на старте, когда вы сами ещё не знаете, в чём боль, опрос заменить интервью не может: вы зададите вопросы про свои же догадки и получите ответы про свои же догадки. Сначала разговоры, чтобы понять, что спрашивать, потом анкета, чтобы померить.

Как совместить опрос и интервью в одном исследовании? Двумя способами. Первый: сначала десяток интервью на гипотезы, потом опрос, чтобы проверить эти гипотезы на большой выборке. Второй: сначала опрос показывает, где проблема, потом интервью с людьми из проблемного сегмента объясняют причину. Выбор зависит от того, чего вам сейчас не хватает, понимания или масштаба.

Сколько человек нужно для опроса и для интервью? Для интервью на одной сфокусированной теме обычно хватает от шести до пятнадцати человек, ориентир тут не само число, а насыщение: момент, когда новые разговоры перестают приносить новое. Для опроса нужна выборка побольше, от сотни и выше, иначе проценты будут шумными и на них нельзя опереться. Это разные логики: интервью про глубину, опрос про статистическую устойчивость.

Источники

• Что такое кастдев и зачем он нужен, наш разбор, где впервые противопоставлены опрос и интервью с клиентами.
• Глубинное интервью: что это и как провести, подробно про качественный метод и технику разговора.
• Как провести опрос клиентов, практический гайд по количественному методу: анкета, отклик, разбор ответов.
• Роб Фитцпатрик. «Спроси маму» (The Mom Test). О том, как задавать вопросы, чтобы не получать ложноположительные ответы из вежливости.