Как анализировать результаты интервью: от расшифровки до выводов

Самый дорогой провал в исследовании случается не на интервью. Он случается после. Десять отличных разговоров записаны, респонденты были честные, а через неделю ты сидишь над папкой расшифровок и не знаешь, что с ними делать. Текста на сто страниц, в голове каша, и из этой каши надо как-то родить вывод, под который команда будет двигать продукт.

Над такой папкой расшифровок я, Артём, UX-исследователь в Aski, просидел не одну ночь. Расскажу, как анализировать результаты интервью так, чтобы из горы реплик получились выводы, на которые можно опереться, а не пересказ собственных гипотез. Тема про то, что делать ПОСЛЕ разговора: расшифровка, теги, паттерны, как отличить сигнал от шума. Не про сборку финального документа, про неё у нас отдельный разбор, как собрать отчёт по исследованию; тут про сам процесс, как из сырья дойти до этих выводов.

Сразу оговорюсь: единственно правильной методики анализа нет, академики до сих пор спорят. Я дам рабочую схему, по которой сам хожу, и честно отмечу, где она проседает.

Почему анализ интервью это отдельная работа, а не «прочитать и понять»

Кажется, что тут думать. Поговорил с людьми, всё ведь и так в голове, сел и записал выводы.

Так не выходит. Память врёт, и врёт системно. После десяти разговоров ты помнишь не то, что чаще всего говорили, а то, что сказал самый яркий или самый последний респондент. Один эмоциональный мужик с горящими глазами перевесит в твоей голове пятерых спокойных, у которых была та же боль, только без надрыва. Это называется ошибкой доступности, и на ней горят почти все, кто разбирает интервью «по памяти».

Вторая ловушка хуже. Ты идёшь в анализ с гипотезой, и мозг услужливо подсвечивает в расшифровках всё, что её подтверждает, а противоречащее проматывает как «ну это случайность». Подтверждающее искажение. Самообман тут особенно сладкий, потому что данные вроде как реальные, ты же не выдумал цитаты. Просто выбрал из них удобные.

Поэтому анализ это дисциплина, а не озарение. Нужна процедура, которая заставляет тебя посмотреть на ВСЕ данные одинаково внимательно, а не только на те, что укладываются в твою картинку. Дальше про эту процедуру по шагам.

Шаг первый: расшифровка, и почему её нельзя пропускать

Анализировать по аудиозаписи, отматывая туда-сюда, невозможно. Нужен текст, по которому глаз бежит и цепляется. Так что первое, что делаешь после серии интервью, превращаешь все записи в расшифровки.

Это самая тупая и самая выматывающая часть. Час разговора это примерно час-полтора расшифровки руками, даже если печатаешь быстро. Автоматическое распознавание ускоряет, но за ним всё равно надо вычитать: оно путает термины, теряет, кто говорил, склеивает реплики. На десяти интервью одна расшифровка спокойно съедает два-три рабочих дня, и это ещё до того, как ты начал думать.

Маленькая, но важная деталь: размечай, кто что сказал. Реплики интервьюера и респондента надо разделять, иначе потом не отличишь, где человек сам сформулировал боль, а где ты её ему подсунул вопросом. Половина мусора в выводах рождается именно тут, когда наводящий вопрос едет в анализ как «слова клиента».

Шаг второй: кодирование, или развешиваем теги

Вот тут начинается собственно анализ глубинных интервью. Кодирование звучит академично, на деле это простая штука: ты идёшь по тексту и навешиваешь на куски смысла короткие ярлыки-теги. Увидел, где человек жалуется на долгую выгрузку, повесил тег «медленная выгрузка». Дальше по всем расшифровкам ловишь то же самое и вешаешь тот же тег.

Смысл в том, чтобы оторваться от конкретных слов и подняться на уровень смыслов. Люди одну и ту же боль формулируют по-разному: один скажет «тормозит», другой «приходится ждать», третий «я за это время успеваю кофе сварить». Под капотом это одно. Тег и склеивает эти три фразы в одну сущность, которую дальше можно посчитать.

Теги бывают двух пород, и их полезно не путать:

• Откуда берутся. Открытые коды — рождаются из текста по ходу чтения. Заранее заданные коды — взяты из гипотез до анализа.
• Что ловят. Открытые коды — неожиданное, то, чего ты не ждал. Заранее заданные коды — проверку того, что искал.
• Риск. Открытые коды — разрастаются, теги плодятся. Заранее заданные коды — проходишь мимо нового.
• Когда основа. Открытые коды — разведка, ранний продукт. Заранее заданные коды — проверка конкретных гипотез.

На раннем исследовании я кодирую в основном открыто: иду от текста, а не от своих ожиданий. Это и спасает от подтверждающего искажения, потому что тег рождается из того, что человек реально сказал, а не из того, что я хотел услышать. Заранее заданные коды добавляю сверху, когда есть четкие гипотезы для проверки.

Есть нудный, но честный приём: первые два-три интервью кодируешь, потом останавливаешься и причесываешь список тегов. Похожие склеиваешь, разросшиеся дробишь. Иначе к десятому интервью у тебя сорок тегов, половина дублирует друг друга, и вся затея рассыпается.

Респондент сказал: «Я обычно выгружаю отчёт утром, но он грузится так долго, что я успеваю сходить за кофе, а руководитель уже пишет, где цифры».
Теги, которые я повешу: `медленная выгрузка`, `утренний дедлайн`, `давление руководителя`.

Одна реплика, три тега. Это нормально, в живой фразе обычно несколько смыслов сразу.

Шаг третий: аффинити-карта, собираем теги в темы

Теперь у тебя по всем интервью развешаны теги. Их десятки. Следующий ход, сгруппировать близкие в темы покрупнее. Этот приём называют аффинити-картой, и по-простому это сортировка родственного в кучки.

Классика выглядит так: стена, стикеры, каждый тег или цитата на отдельном стикере, и ты руками двигаешь их по стене, сбивая в группы. `Медленная выгрузка`, `зависает на больших файлах`, `приходится перезапускать` уезжают в одну кучу под названием «производительность бесит». Группы потом тоже группируются в темы повыше. Получается дерево: цитаты → теги → темы → большие выводы.

Стена со стикерами не обязательна, я чаще делаю это в таблице или на онлайн-доске. Суть не в стикерах, а в движении снизу вверх: ты не придумываешь категории заранее и не рассовываешь по ним реплики, а наоборот, даёшь группам сложиться из самих данных. Так темы получаются не те, что ты ждал, а те, что реально есть.

Тут всплывает то, ради чего всё и затевалось. Когда теги сбиты в темы, становится видно, что повторяется у разных людей, а что было единичной историей. И вот мы подошли к главному разделу.

Как отделить сигнал от шума

Самый частый вопрос про обработку интервью звучит так: окей, у меня сто наблюдений, какие из них важные? Где боль, под которую надо чинить продукт, а где случайная жалоба одного человека на плохое настроение.

Грубый, но рабочий ориентир, частотность. Считай, на скольких разных интервью всплыла тема. Не сколько раз её упомянули вообще: один разговорчивый респондент может десять раз помянуть одну боль, и это всё равно один человек, одна точка данных. Считаем людей, а не реплики.

Дальше примерно такая логика. Тема всплыла у одного из десяти, скорее всего, шум или частный случай, кладём в копилку «присмотреться потом». Всплыла у трёх-четырёх из десяти, это уже паттерн, мимо такого не пройдёшь. Всплыла у семи-восьми, вот он, тот сигнал, ради которого ходили в поле.

Только частотность это не вся правда, и слепо ей доверять опасно. Иногда боль всплыла всего у двух человек, но это боль, за которую люди готовы платить прямо сейчас, и тогда она важнее, чем нытьё восьмерых про мелкое неудобство, которое они и так терпят. Так что к частоте всегда добавляю второй вопрос: а что человек СДЕЛАЛ из-за этой боли. Искал решение, платил за костыль, городил обходной путь в Excel? Значит, болит по-настоящему. Просто сказал «да, неудобно» и забыл? Значит, терпимо. Поведение весит больше слов, всегда.

Ещё один маркер сигнала, эмоция и конкретность. Когда человек вспоминает реальный случай с деталями и в голосе прорезается раздражение, это почти наверняка живая боль. Когда отвечает гладко и общо, «ну да, хотелось бы побыстрее», это вежливость, шум. Я научился ловить эту разницу не сразу, и до сих пор иногда ошибаюсь.

Главная ловушка анализа: не подгоняй под гипотезу

Расскажу историю, за которую до сих пор немного стыдно. Делал я исследование по одной фиче, и у меня была железобетонная гипотеза, что людям не хватает интеграции с внешним сервисом. Я в неё верил. Сел разбирать восемь интервью, выписал все места, где про интеграцию хоть что-то говорили, и собрал красивый вывод: спрос есть, надо делать.

Через пару дней коллега, который не был на интервью, попросил показать сырьё. Прочитал расшифровки и спросил: а почему ты выкинул половину разговоров, где люди вообще про интеграцию не вспоминали и жаловались совсем на другое? Я полез проверять. Оказалось, про интеграцию по-настоящему говорили двое из восьми, и оба, когда копнёшь, имели в виду разные вещи. А реальная общая боль, которую назвали шестеро, была в другом месте, и я её просто не заметил, потому что искал глазами свою гипотезу.

Вывод, который я унёс: анализ надо вести так, будто ты не знаешь, что хочешь найти. Несколько правил, которые с тех пор соблюдаю:

• Кодируй сначала открыто, от текста. Свои гипотезы накладывай вторым слоем, а не первым, иначе видишь только их.
• Специально ищи опровержения. После каждого вывода спрашиваю себя: а где в данных то, что ему противоречит. Если противоречий ноль, это подозрительно, обычно значит, что я их не искал.
• Считай частоту до того, как сформулировал вывод. Не «вот вывод, найду под него цитаты», а «вот цифры, что из них следует».
• Дай сырьё прочитать тому, кто не был на интервью. Свежий глаз ловит твою подгонку моментально, как тот коллега поймал мою.

Эта дисциплина бесит. Хочется ведь, чтобы данные подтвердили то, во что ты уже поверил. Но именно в момент, когда тянет подогнать, и решается, исследование у тебя или самообман с цитатами.

Как дойти до выводов

Темы собраны, частоты посчитаны, сигнал от шума отделён. Финальный ход, превратить это в выводы, на которых команда что-то сделает.

Вывод это не «люди жалуются на скорость». Это слишком общо, под такое ничего не починишь. Хороший вывод привязан к поведению и к частоте: «шесть из десяти откладывают утренний отчёт из-за долгой выгрузки, двое из них из-за этого пробовали другой инструмент». Видна боль, видно, сколько людей, видно, что они из-за неё делают. Под такое уже понятно, что чинить и почему это важно.

К каждому выводу цепляю две-три живые цитаты. Не для красоты. Цитата это доказательство, что вывод вырос из данных, а не из моей головы, и заодно она доносит боль до команды сильнее любой моей формулировки. Когда продакт читает сухое «пользователи недовольны выгрузкой», ему всё равно. Когда читает «я успеваю сходить за кофе, а руководитель уже пишет», он чувствует.

И не делай вид, что данных хватило на всё. Где выборки не хватило, где тема всплыла у двоих и непонятно, паттерн это или случайность, так и пиши: гипотеза есть, подтверждений мало, надо добрать. Честное «мы пока не знаем» полезнее уверенного вывода на двух наблюдениях.

Где этот процесс ломается на практике

Схема выше рабочая. На бумаге. В реальности об неё разбивается почти каждый, кто пробовал разобрать больше пяти интервью руками, и я не исключение.

Дело в объёме и в монотонности. Расшифровать десять разговоров, вычитать распознавание, развесить по всему массиву теги, свести их в темы, посчитать частоты по каждой, вытащить цитаты. Это не час и не два, это неделя кропотливой возни, на которой внимание садится к третьему интервью. А когда внимание садится, ты начинаешь срезать углы: кодируешь по диагонали, частоту прикидываешь на глаз, цитаты берёшь первые попавшиеся. И вся дисциплина, ради которой всё затевалось, утекает.

Поэтому, честно говоря, у большинства команд анализ интервью либо не доводится до конца, либо делается «по памяти», со всеми искажениями из начала статьи. Не потому что люди ленивые, а потому что ручное кодирование сотни страниц это адова рутина, на которую не хватает ни времени, ни терпения.

Эту часть мы в Aski и снимаем. Каждый разговор расшифровывается на лету, так что шаг с ручной расшифровкой отпадает сам собой. Дальше Aski делает первичный разбор: сводит по всем интервью боли и мотивы, помечает каждую частотой, на скольких сессиях она всплыла, и подкрепляет цитатами из разговоров. То самое кодирование и сведение в темы, только без недели ручной возни. Вы получаете не сырьё, а уже разложенную картину, и ваша работа сводится к тому, ради чего всё и затевалось, к выводам и решениям. Респондент при этом просто открывает ссылку в браузере и говорит как на обычном созвоне, без регистрации и установки. Первые интервью бесплатные, карта не нужна, так что прогнать свою серию и посмотреть на готовую сводку можно сегодня же.

Без иллюзий про границы. Окончательное суждение, что из найденного важно, а что шум, и какой вывод из этого делать для продукта, всё равно за человеком. Машина отлично снимает рутину разметки и считает частоту честнее усталого исследователя, но смысл и приоритеты расставляете вы. Разве что подгонять под гипотезу она точно не станет, ей всё равно, во что вы там верите.

Коротко

Анализ интервью это не «прочитал и понял», а процедура против собственной памяти и собственных гипотез. Сначала расшифровка с разделением, кто говорил. Потом кодирование: вешаешь теги на смыслы, склеиваешь разные формулировки одной боли. Дальше аффинити-карта, сбиваешь теги в темы снизу вверх. Сигнал от шума отделяешь по частоте, но всегда сверяешь с поведением: что человек реально сделал из-за боли. И главное, ведёшь анализ так, будто не знаешь, что хочешь найти, иначе соберёшь не выводы, а отражение своих гипотез с цитатами для убедительности.

FAQ

С чего начать анализ результатов интервью?

С расшифровки. Переведи все записи в текст и обязательно размечай, где реплика интервьюера, а где респондента, иначе потом не отличишь слова клиента от собственного наводящего вопроса. По аудио, отматывая туда-сюда, анализировать невозможно, нужен текст, по которому бежит глаз. Только после этого имеет смысл браться за теги.

Что такое кодирование интервью простыми словами?

Это разметка текста короткими тегами по смыслу. Идёшь по расшифровке и на каждый кусок, где есть боль, мотив или важная мысль, вешаешь ярлык. Одну и ту же боль люди формулируют по-разному, тег склеивает разные формулировки в одну сущность, которую дальше можно посчитать и сравнить между интервью. Это основа всего анализа глубинных интервью.

Как отделить важное от случайного в ответах?

Считай частотность по людям, а не по репликам: на скольких разных интервью всплыла тема. Один-два человека из десяти, скорее всего шум, три-четыре уже паттерн, семь-восемь явный сигнал. Но к частоте всегда добавляй второй вопрос: что человек реально сделал из-за этой боли. Искал решение или платил за костыль, значит болит по-настоящему. Просто сказал «неудобно» и забыл, значит терпимо.

Как не подогнать выводы под свою гипотезу?

Кодируй сначала открыто, от текста, а гипотезы накладывай вторым слоем. После каждого вывода специально ищи в данных то, что ему противоречит: если противоречий не нашлось вообще, ты их просто не искал. Считай частоту до того, как сформулировал вывод, а не подбирай цитаты под готовый. И дай сырьё прочитать человеку, который не был на интервью, он ловит подгонку моментально.

Сколько времени занимает обработка результатов кастдева?

Дольше, чем сами интервью, и это регулярно недооценивают. Только расшифровка десяти разговоров с вычиткой это два-три дня. Плюс кодирование всего массива, сведение в темы, подсчёт частот и сбор цитат, ещё несколько дней вдумчивой работы. На практике аккуратный разбор серии из десяти интервью съедает около недели, поэтому у многих команд этот этап и не доводится до конца.

Можно ли автоматизировать анализ интервью?

Частично да. Расшифровку и первичное сведение болей с частотой и цитатами сегодня снимают с человека, в Aski это происходит само по всем интервью сразу. Но финальное суждение, что из найденного важно, какой приоритет и какой вывод делать для продукта, остаётся за исследователем. Машина убирает рутину разметки и считает честнее, чем уставшая голова, а смысл расставляете вы.

Источники

• Как собрать отчёт по исследованию. Наш разбор следующего шага: как из выводов анализа собрать финальный документ для команды.
• Глубинное интервью: как провести. Про сам разговор и насыщение выборки, до этапа анализа.
• Как провести кастдев: пошагово. Весь процесс целиком, частью которого служит анализ результатов.
• Johnny Saldaña. «The Coding Manual for Qualitative Researchers». Базовый справочник по кодированию качественных данных: открытые и заданные коды, циклы кодирования.
• Braun V., Clarke V. «Using thematic analysis in psychology» (Qualitative Research in Psychology, 2006). Классическая методика тематического анализа: от кодов к темам и выводам.