Как проверить гипотезу продукта: от формулировки до критериев

Любимая ошибка всех, кто строит продукт: сначала влюбиться в идею, потом «проверить» её так, чтобы она точно подтвердилась. Спросить друзей, услышать «класс, я бы пользовался», поставить галочку. Это не проверка. Это поиск аплодисментов.

Настоящая проверка устроена иначе. Ты формулируешь гипотезу так, что её можно завалить, а потом честно идёшь её заваливать. Если не получилось завалить, значит, в ней что-то есть. Ниже разберём, как проверить гипотезу продукта по-взрослому: как её сформулировать, какие они бывают, чем именно проверять и как понять, подтвердилась она или нет.

Денис, продуктовый аналитик в Aski. Я несколько лет проверяю чужие и свои гипотезы, и большую часть этого времени делал это неправильно: подгонял проверку под желаемый ответ. Так что дальше разбор не из методички, а из этих самых промахов. Если про сам метод интервью с клиентами вы пока плаваете, загляните сначала в разбор что такое кастдев и зачем он нужен, тут базу повторять не буду.

Гипотеза, которую нельзя проверить, это не гипотеза

Начну с того, обо что спотыкаются чаще всего. «Людям нужен наш продукт» это не гипотеза. Это вера. Проверить её невозможно, потому что под неё не подложено ни одного измеримого факта. Каким людям? Что значит «нужен»? Как ты поймёшь, что ошибся?

Гипотеза должна быть устроена так, чтобы у неё был способ оказаться неправдой. Это называется фальсифицируемостью, словечко из философии науки, но смысл простой: если никакой результат не способен её опровергнуть, то и подтвердить её нельзя.

Удобный шаблон, которым я пользуюсь:

Мы верим, что [кто] страдает от [какой проблемы] настолько, что [сделает вот что]. Мы поймём, что правы, если [измеримый результат]. Мы поймём, что ошиблись, если [другой измеримый результат].

Разница чувствуется сразу. Сравните.

Плохо: «Малому бизнесу нужна автоматизация отчётности».
Хорошо: «Мы верим, что бухгалтеры в фирмах до 20 человек тратят на квартальный отчёт больше дня и готовы платить за инструмент, который срежет это до часа. Поймём, что правы, если из 15 разговоров минимум половина сама назовёт это болью и хоть раз пыталась её решить. Ошиблись, если про эту боль вспомнит один-два».

Вторая формулировка уже содержит критерий провала. Вот она, граница между гипотезой и хотелкой. Без заранее записанного «при каком результате я признаю, что не прав» проверка превращается в подгон: что бы ни вышло, ты найдёшь способ прочитать это в свою пользу.

Маленькая оговорка. Цифры в критерии на старте всё равно берутся пальцем в небо, «половина из пятнадцати» это не закон природы. Но записанный заранее ориентир, пусть и грубый, всё равно честнее, чем оценка задним числом, когда данные уже на руках и хочется их пожалеть.

Гипотезы бывают разные, и проверяются по-разному

Свалить всё в кучу «проверим гипотезу» это типичная засада. Под одним словом прячутся очень разные утверждения, и инструмент под каждое свой. Грубо я делю их на четыре вида.

Гипотеза проблемы. Болит ли у людей вообще то, что я придумал. Самая первая и самая важная: если боли нет, дальше можно не идти. Проверяется разговором, а не показом продукта.

Гипотеза решения. Закрывает ли моя штука эту боль так, что человек готов поменять привычку. Тут уже нужен хотя бы макет. Про то, чем эти две стадии отличаются и почему их нельзя путать, у нас есть отдельный разбор: проблемное и решенческое интервью.

Гипотеза цены. Сколько человек реально готов отдать и за что именно. Самая лживая в опросах: на словах все экономные, на словах все богатые, кто как. Проверяется только действием с деньгами или близко к ним.

Гипотеза канала. Где этих людей ловить и сколько стоит привести одного. Можно угадать с продуктом и прогореть, потому что привлечение клиента дороже, чем он приносит.

Вот как это раскладывается по способам проверки:

• Проблема. Что проверяем — существует ли боль. Чем проверять — проблемное интервью. Сигнал «да» — человек уже что-то делал с проблемой сам.
• Решение. Что проверяем — заходит ли наше решение. Чем проверять — прототип, решенческое интервью. Сигнал «да» — пробует им воспользоваться, просит доступ.
• Цена. Что проверяем — сколько готов платить. Чем проверять — предзаказ, оплата, фейк-дор. Сигнал «да» — оставил деньги или платёжный контакт.
• Канал. Что проверяем — где брать людей и почём. Чем проверять — тестовый трафик на лендинг. Сигнал «да» — стоимость заявки ниже потолка.

Порядок обычно такой: проблема, потом решение, потом цена и канал. Перепрыгивать вниз, не закрыв верх, опасно. Полировать цену для боли, которой нет, занятие тоскливое.

Способы проверки: от разговора до денег

Инструментов больше, чем кажется, и они стоят по-разному. Пройдусь по основным от самого дешёвого к самому дорогому.

Самый дешёвый и самый недооценённый, это разговор. Серия интервью с теми, у кого проблема реально есть. Проверка гипотезы интервью даёт не цифру, а понимание: почему болит, как человек справляется сейчас, что он уже пробовал. Главное правило тут железное, и оно ломает большинство новичков: спрашивай про прошлое и про реальные поступки, а не про гипотетическое будущее. «Вы бы пользовались?» собирает вежливое «да» и обнуляет всю проверку. «Расскажите, как вы делали это в последний раз, что бесило?» вытаскивает правду. Почему так подробно расписано в материалах про кастдев, тут повторю одно: люди не врут специально, они просто щадят собеседника и плохо предсказывают собственное будущее поведение.

Дальше идёт лендинг-тест. Собираешь одну страницу с описанием продукта, которого ещё нет, гонишь на неё немного трафика и смотришь, кто оставит почту, кликнет «купить», запишется в лист ожидания. Это уже проверка не словом, а действием: человек тратит своё внимание и контакт. Тут заодно ловятся сразу две гипотезы, формулировки боли в заголовке и канала привлечения. Осторожно с трактовкой: клик это интерес, но ещё не готовность платить, не путайте одно с другим.

Фейк-дор (дословно «фальшивая дверь») это приём пожёстче. Ты показываешь кнопку или функцию, которой на самом деле нет, и считаешь, сколько людей в неё ткнётся. Нажал, а там «скоро будет, оставьте почту». Спорный метод, потому что человек упёрся в пустоту, и злоупотреблять им нельзя. Но как дешёвый замер спроса на конкретную фичу работает.

MVP (минимально жизнеспособный продукт) это уже стройка. Самая урезанная рабочая версия, которая закрывает одну боль, без обвеса. Смысл не в том, чтобы сделать «маленький продукт», а в том, чтобы проверить главную гипотезу минимальными силами. Иногда MVP это вообще не код, а человек, который руками делает то, что потом автоматизируешь. Эрик Рис в Lean Startup называл такой подход концом догадок: вместо споров в переговорке выкатываешь версию и смотришь на поведение.

И самая честная проверка из всех, предзаказ. Деньги вперёд за то, чего ещё нет. Когда человек достаёт карту до того, как продукт готов, это сигнал, который не подделать вежливостью. Я доверяю предоплате больше, чем сотне восторженных интервью, и пока ни разу об этом не пожалел.

Как понять, что гипотеза подтвердилась

Вот где ломаются даже опытные. Данные собрали, а как их прочитать, непонятно. И тут включается самообман.

Критерий должен быть записан до проверки, не после. Это не каприз, это защита от себя самого. Когда результат уже на руках, мозг услужливо подгонит планку: «ну, пять из пятнадцати это же тоже неплохо, считаем за подтверждение». Если бы вы записали «минимум восемь» заранее, такой фокус бы не прошёл.

На что смотреть, чтобы не обмануться:

• Поведение, а не слова. «Классная идея» это шум. «Дайте ссылку, я попробую прямо сейчас» это сигнал. Между ними пропасть.
• Усилие со стороны человека. Оставил почту, заплатил, потратил время на разговор по своей инициативе, всё это стоит дороже комплимента.
• Повторяемость. Одна горячая история это случайность. Та же боль на восьмом разговоре подряд это закономерность.

И самое неприятное, к чему надо приучить себя заранее. Опровергнутая гипотеза это хороший результат, а не провал вечера. Вы потратили несколько дней и узнали, что строить это не стоит. Сравните с тем, чтобы узнать то же самое через полгода разработки и сожжённый бюджет. Та статистика, что значительная доля стартапов закрывается, сделав продукт без спроса, как раз про команды, которые до этого «опровержения» так и не дошли или прочитали его в свою пользу.

Бывает и третий исход, кроме «подтвердилась» и «нет». Неубедительно. Данных мало, сигналы противоречивые, выборка кривая. Это не повод трактовать в удобную сторону, это повод докрутить проверку: добрать респондентов, переформулировать вопрос, сменить способ.

Главный враг проверки сидит у вас в голове

Самая частая причина провала проверки не в методе. Она в том, что вы влюблены в свою гипотезу и подсознательно ищете ей подтверждения. В психологии это подтверждающее искажение: человек замечает то, что укладывается в его картину, и пропускает мимо ушей то, что её ломает.

На интервью это выглядит так. Человек мнётся, говорит уклончиво, в целом скорее «нет», а вы слышите одну вежливую фразу «ну, в принципе любопытно» и записываете её в плюс. Десять таких размытых разговоров, и вот у вас в голове уже «гипотеза в целом подтвердилась», хотя на деле не подтвердилось ничего.

Несколько привычек, которые мне помогают держать себя за руку:

Записывать критерий провала заранее и не трогать его потом. Это первое и самое важное. Цифра на бумаге не даст себя уговорить.

Искать опровержение, а не подтверждение. Заходить в проверку с вопросом «что должно случиться, чтобы я понял, что не прав». Звучит контринтуитивно, работает отлично.

Считать поступки, а не реплики. Завести для себя правило: пока человек не сделал шага, которого вы просили (оставил почту, заплатил, записался), у вас по нему ноль данных, что бы он там ни наговорил.

Отдавать проверку тому, кто в гипотезу не влюблён. Если интервью проводит автор идеи, он бессознательно ведёт человека к нужному ответу, наводящими вопросами, интонацией, паузами в нужных местах. Чужой человек или нейтральный инструмент тут чище.

Вот на последнем пункте отдельно остановлюсь, без рекламной патоки. Проблема ручной проверки гипотезы не только в трудозатратах, хотя десяток интервью с расшифровками это легко неделя возни. Проблема ещё и в том, что вы сами себе не нейтральный интервьюер. Ровно под это мы делали Aski: вы ставите цель и вопросы, дальше аватар проводит интервью голосом с десятками респондентов параллельно, не отрывая команду, и сводит их боли по частоте, на скольких разговорах каждая всплыла. Аватар не влюблён в вашу гипотезу и не подыгрывает, он задаёт ровно те вопросы, что вы заложили, и одинаково внимательно слушает и тех, кто хвалит, и тех, кто против. Респондент просто открывает ссылку в браузере и говорит как на созвоне. Проверить гипотезу на десятках людей можно за вечер, а не за месяц. Первые интервью бесплатные, карта не нужна, так что прогнать свою гипотезу реально сегодня же.

Честно про границы: чутьё живого исследователя, который по запинке ловит, что человек темнит, инструмент пока не заменит целиком. Но рутину опроса и сведения, ту самую, на которой проверка чаще всего и буксует, он снимает с плеч.

Коротко

Проверить гипотезу продукта это не про то, чтобы убедиться в своей правоте. Это про то, чтобы дать ей честный шанс оказаться неправдой. Сформулируйте так, чтобы у гипотезы был способ провалиться. Запишите критерий провала до проверки. Выберите инструмент под вид гипотезы: разговор для боли, прототип для решения, предзаказ для цены. Считайте поступки, а не комплименты. И помните, что главный враг проверки это ваша собственная влюблённость в идею, а не нехватка данных.

Если хотите проверить гипотезу на живых интервью и не утонуть в расшифровках, Aski проводит интервью за вас, первые бесплатно.

FAQ

Как правильно сформулировать гипотезу продукта?

По шаблону «верим, что [кто] страдает от [проблемы] настолько, что [сделает вот что]; правы, если [результат]; ошиблись, если [другой результат]». Ключевое тут не первая часть, а последняя: критерий, при котором вы признаёте гипотезу неверной. Без записанного заранее условия провала это не гипотеза, а вера, и проверить её нельзя.

Сколько интервью нужно, чтобы проверить гипотезу?

Универсального числа нет. По опыту повторяющиеся боли начинают звучать после пяти-восьми разговоров, а надёжно гипотеза проблемы валидируется на десяти-пятнадцати на сегмент. Ориентир не в количестве, а в насыщении: когда новые разговоры перестают приносить новое, можно закругляться.

Можно ли проверить гипотезу опросом вместо интервью?

Опрос меряет масштаб по тем вопросам, которые вы уже придумали, но плохо вскрывает причины и легко собирает вежливые «да» на гипотетику. На старте, когда сами ещё не поняли, в чём боль, надёжнее живой разговор. Опрос хорош позже, когда боль ясна и нужно замерить её на большой выборке.

Что делать, если гипотеза не подтвердилась?

Радоваться, хоть это и звучит странно. Вы потратили несколько дней и узнали, что это строить не стоит, вместо того чтобы узнать то же самое через полгода разработки. Опровергнутая гипотеза экономит деньги и время. Дальше формулируете следующую и проверяете её, обычно она уже точнее, потому что в разговорах вы услышали, что людям нужно на самом деле.

Как не обманывать себя при проверке гипотез?

Записывайте критерий провала до проверки и не трогайте его потом. Считайте поступки, а не слова: пока человек не оставил почту, не заплатил, не записался, у вас по нему ноль данных. И по возможности отдавайте проверку тому, кто в гипотезу не влюблён, автор идеи бессознательно ведёт собеседника к нужному ответу.

С какой гипотезы начинать проверку?

С гипотезы проблемы: есть ли у людей вообще та боль, которую вы придумали. Если боли нет, проверять решение, цену и канал бессмысленно. Только убедившись, что проблема реальна и люди уже что-то ради неё делают, переходите к решению, а потом к цене и каналу привлечения.

Источники

• Эрик Рис. «Бизнес с нуля» (The Lean Startup). О проверке гипотез через MVP, цикл «создать-измерить-научиться» и подход, при котором решения принимают по поведению пользователей, а не по догадкам.
• Стив Бланк. «Четыре шага к озарению» (The Four Steps to the Epiphany), 2005. Первоисточник customer development и разделения проверки на проблемную и решенческую стадии.
• Роб Фитцпатрик. «Спроси маму» (The Mom Test). Про то, как задавать вопросы про прошлый опыт, а не про гипотетическое будущее, чтобы не собирать ложноположительные подтверждения.
• Почему проваливаются стартапы: разбор CB Insights, наш пересказ исследования, где «нет спроса на рынке» на первом месте среди причин провала.