КАК ПРОВЕСТИ ОПРОС И УЗНАТЬ ЧТО-ТО НОВОЕ

 

МЕТОД ОПРОСА

При разработке продукта нам часто нужно узнавать мнение пользователей (будущих, потенциальных). Если не уделять этому внимания, то можно сделать продукт, который никому не нужен и который не будет пользоваться популярностью.

Самый простой способ узнать мнение - это спросить человека, что он думает по определенному вопросу. По сути это и есть опрос: когда вы общаетесь с человеком и у вас есть заранее подготовленный список продуманных вопросов.

По определению этот метод похож на интервью или глубинное интервью. В интервью мы тоже опрашиваем людей по вопросам из списка. Однако интервью, как правило, проводится с небольшим количеством людей (до 50) и преследует другие цели. Хотя интервью тоже иногда относят к методам опроса.

Мы же будем разбирать такой метод опроса как анкетирование. Анкетирование дает нам количественное представление о ситуации. Анкетирование - это список вопросов, который может дать нам представление о мнении определенного среза людей по ряду вопросов. Если правильно собирать данные, то можно собирать их постоянно и следить, как изменилась динамика с течением времени.

КАК ПРОВЕСТИ ОПРОС

Для проведения опроса нам потребуется формализованный список вопросов, который мы хотим задать нашим респондентам. Список вопросов должен быть один для всех респондентов, но может немного меняться, если мы опрашиваем немного разные группы пользователей.

Список вопросов из анкеты мы можем задавать очно и дистанционно.

Очный опрос. Опрос проводится лично с помощью анкеты тогда, когда у вас есть доступ к большому количеству представителей аудитории лично. Вы заранее готовите анкету, распечатываете её или открываете на планшете, ПК. При таком виде опроса вы лично видите с кем говорите, иногда это может привести к интервью. Крайне трудоемкий способ, поэтому применяется редко, например, когда у вас нет другой возможности опросить людей.

Дистанционный опрос. Способ, когда вы рассылаете свою анкету или публикуете её прямо на сайте. Часто при этом используются специальные сервисы, в которых сразу можно анализировать данные. Метод имеет чуть большее количество ограничений, чем личный опрос, но компенсирует скоростью работы и легким анализом. Ограничения мы затронем дальше, но главное из них - невозможность уточнить вопрос, когда мы получаем ответ.

 

ЧТО МОЖНО УЗНАТЬ ИЗ ОПРОСА

Когда вы начинаете работать над проектом и до конца не представляете, кто ваши клиенты или потенциальные клиенты, какие у них мотивы и стремления, какие цели они преследуют, то почти любой способ исследований принесет много информации. Лучший способ узнать много новой информации - это глубинное интервью, но оно крайне затратно, и иногда невозможно провести его быстро.

Узнать новую информацию можно и опросом. Если вы понимаете общую направленность продукта или услуги, но не понимаете множество аспектов деятельности ваших пользователей, то об этом можно спросить. Опрос в этом случае может носить не количественный, а качественный характер. То есть важнее получить не цифры, а сами варианты ответов. Например, вас интересует какие книги продукт-менеджеры читают для саморазвития. Мы предполагаем, что они читают книги для саморазвития (мы почти в этом уверены). Также допустимым будет вопрос “Как вы развивались в профессии последние пару лет?”, хотя такие вопросы больше свойственны интервью. Его можно сделать вариантами ответов и пунктом “Другое” или открыты Таким образом мы узнаем, как они развиваются и читают ли они книги, если читают, то можно узнать какие.. Вы сможете узнать новую информацию только если зададите открытый вопрос, но на открытый вопрос никто не любит отвечать.

Проверить свою гипотезу. Вы уже знаете всю общую информацию о ваших пользователях, но есть отдельные моменты, которые нужно уточнить. Здесь уже важны будут цифры и соотношение ответов. Например, вы знаете, что ваши пользователи внимательно изучают характеристики товара перед покупкой, но на что они смотрят и по каком параметры выбирают, вы не знаете. Есть более 20 характеристик, по которым можно выбрать. Вы можете узнать, какую информацию ваш респондент смотрел перед покупкой такого товара ранее. Тогда вы включаете в свой опрос список характеристик, которые есть у вашего товара, и просите респондентов указать, какие из них наиболее важны для них

Узнать положение дел. Самые популярные опросы - это третий тип. Мы хорошо знаем с кем говорим, мы знаем, как делить аудиторию на группы, но нам интересно соотношение ответов в группе. Есть несколько типов вопросов, которые можно задать, чтобы выяснить положение дел:

• Социально-демографические вопросы. Когда вам нужно разделить вашу аудиторию по какому-то популярному критерию: возраст, пол, место жительства или мнения. У вас есть жесткий список вопросов и ответов на них (ответить другим способом нельзя).

• Поведенческие вопросы. Когда вам нужно понять, как человек поступал, поступает или поступит в определенной ситуации. Например, каким телефоном он пользуется, какие функции использует чаще.

• Оценочные вопросы. Нужны тогда, когда вы хотите узнать насколько хорошо или плохо обстоят дела. Популярные примеры данной группы - это NPS опрос, CEI и CSI. Данные вопросы можно задавать как большим группам, так и малым. Например по NPS на сайте вы можете судить, насколько ваша компания близка к успеху, по CSI - насколько ваш продукт отвечает потребностям пользователей, а в случае с CES или SEQ можно оценить индивидуальное взаимодействие.

Данные виды опросов в чистом виде используются довольно редко. Часто один вид наслаивается на другой или дополняет его.

 

СОСТАВЛЯЕМ ВОПРОСЫ

Самый очевидный способ составить опрос - это сразу написать вопросы. И это самая частая ошибка. Для начала вы должны сформулировать и записать цель опроса. Цель опроса - это результат, который вы хотите получить. Например, вы хотите узнать, как нужно изменить ваш продукт, чтоб он стал более востребован у пользователей. Либо вы хотите изменить фильтры в каталоге продукции (а возможно и способ выбора), но не уверены, что делать.

Когда у нас есть цель, то наступает время составлять общие исследовательские вопросы (программные вопросы). Это конкретные вопросы, ответ на которые поможет достичь цели. Например, если вы хотите узнать какие, изменения нужно делать в первую очередь, то это исследовательский вопрос, а не вопрос для респондентов. Респонденты могут понять его не как вы и преследовать другие цели при исследовании. Еще примерами хороших исследовательских вопросов могут быть: нужен ли функционал, который вы собираетесь разрабатывать; будут ли пользоваться новым способом оплаты, который вы хотите подключить; почему они не используют один из способов отправки информации, который вы сделали. То есть исследовательский вопрос - это набор гипотез, ответ на которые должен помочь достичь цель исследования.

Вопросы для респондентов - это конечные вопросы, которые вы будете задавать. Ответы на эти вопросы должны подтвердить или опровергнуть ваши гипотезы. Даже если ответы - это ряд чисел от 1 до 5. Вопросы должны быть написаны тем языком, на котором говорит человек, который будет отвечать на вопрос. То есть если ваша аудитория - это обычные люди со средним уровнем компьютерной грамотности или ниже, то использование профессиональных терминов из вашей среды недопустимо. Например, на вопрос “Интересна ли вам подводка в наших статьях?” можно получить очень странные ответы, которые после нельзя будет интерпретировать. Если же у вас опрос среди профессионального сообщества, то такие термины допустимы.

Хороший вопрос для респондентов:

• Должен быть краток и непротиворечив, и должен касаться только чего-то одного.

• Должен быть о конкретной ситуации.

• Не должен содержать подсказку или каким-либо образом склонять к какому-то ответу.

• Должен содержать пояснение, если есть подозрения, что человек может быть вне контекста или может не понять вопроса.

Хорошие варианты ответов должны:

• Не пересекаться друг с другом.

• Иметь множественный выбор, если важно узнать все понятия, или один ответ, если интересно самое важное (популярное).

• Использовать шкалы (от 1 до 5 или 10) с подсказками в начале, в конце и, желательно, в середине. Сами шкалы должны быть симметричны.

• Содержать ответ “Другое”, если у вы не уверены, что вы включили все возможные ответы.

При составлении вопросов лучше обращаться к прошлому опыту респондентов, если это невозможно, то спрашивать: “Как вы это делаете обычно”.

Если вопрос крайне деликатный, то используйте косвенные вопросы. Если вы думаете, что значимая часть респондентов будет врать, то дублируйте вопрос, используя противоположные формулировки.

 

КАК ИСПОЛЬЗОВАТЬ ДАННЫЕ

Когда вы откроете результаты опроса и обработаете их, то вы можете понять, что у вас появилось еще больше вопросов. Ваши новые вопросы станут более глубокими, только задав их вы уже поймете больше о ваших пользователях. Поэтому часто после опроса хочется проверить новые гипотезы.

Для этого вам нужно обратиться к цели вашего исследования и исследовательским вопросам. Нужно посмотреть, получилось ли узнать ответ на эти вопросы. Иногда вы можете получить еще больше данных, чем изначально предполагали.

Следующим шагом может быть серия глубинных интервью, так как захочется более подробно уточнить некоторые данные, которые вы получили. Либо сразу можно перейти к юзабилити тестированию, если вы узнали, что пользователи имеют потребность, но не могут удовлетворить её в помощью вашего продукта.

Вы можете сразу понять, какие изменения нужно сделать в продукте, чтобы он стал более востребованным или более удобным для ваших пользователей. Иногда имеет смысл составить список изменений продукта, а иногда стоит устроить “тестирование концепции”: то есть разработать прототип и провести его исследование на ваших пользователях.

В любом случае итог опроса - это список дальнейших шагов, и нужно быть к этому готовым. Даже если в итоге вы получили цифровые показатели (например, индекс удовлетворенности), то ваша задача - понять, как можно их улучшить в будущем.

 

ОГРАНИЧЕНИЯ МЕТОДА

Нужно помнить, что люди не всегда говорят правду. Если вы даете вознаграждение за опрос, то люди могут подумать, что от ответов зависит то, получат они деньги или нет. Некоторые могут отвечать более позитивно, так как не хотят обидеть людей, которые у них спрашивают. Поэтому к числовым оценкам нужен всегда особенный подход.

Другие респонденты могут думать о себе лучше “чем оно на самом деле”, поэтому если вы спрашиваете “Будете ли вы бегать по утрам”, то многие ответят, что хотя это делать, но это не означает, что будут. Поэтому в таких вопросах нужно быть осторожным не пытаться использовать социально желательные ответы.

Нельзя быть уверенным, что вы и ваш респондент одинаково понимаете вопрос. Возможно, что вы используете специальные термины или намекаете на какой-то ответ. Отчасти это можно решить предварительными прогонами вопросов на знакомых, но уверенными до конца быть никогда нельзя.

В очном исследовании вы всегда можете уточнить, почему человек поступил так или иначе, ответил так или иначе, а еще дополнительными вопросами вытащить “всю правду”. В удаленном опросе такое невозможно.

Люди всегда спешат, и, как правило, не мотивированы заполнять вашу длинную анкету. Если на заполнение вашей анкеты уходит более 20 минут, то вы можете получить только половину ответов от исходной группы. Иногда лучше провести два небольших опроса, чем один, но большой.

 

СКОЛЬКО ЛЮДЕЙ НУЖНО СПРОСИТЬ

Когда вы научитесь проводить опрос, то одним из первых вопросов будет “Сколько людей спрашивать?”. Ответ на этот вопрос всегда сложный. Для начала нам нужно понять, а сколько бы мы могли спросить людей вообще, если бы у нас не было никаких ограничений.

Генеральная совокупность - это максимальное количество людей, которых вы могли бы опросить. Например, вы хотите узнать мнение пользователей о своем проекте. Ваша аудитория в год 1 000 000 - это и есть генеральная совокупность. Путем нехитрых математических операций можно выяснить, что вам нужно 384 человека, чтобы с 95% вероятностью и 5% отклонением получить ответы на свои вопросы. Если нам нужна вероятность 99% c 5% отклонением, то нам нужно опросить 665 человек. Эти цифры можно посчитать на калькулятор https://allcalc.ru/node/100.
И еще немного про цифры: https://fdfgroup.ru/.../vyborka-tipy-vyborok-raschet.../.

Данная выборка должна быть случайной. Иначе данные могут не отражать реальной картины. Сделать выборку случайной сложно, но если правильно проводить исследование, то можно получить правильные результаты. Выборка должна быть консистентна. Если она не консистентна, то для каждой группы пользователей нужно считать отдельную выборку.

 

---

Описание и регистрация на мастер-класс: https://cx-forum.ru/forum/programme/workshop/   

---