Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Насмотренность - Напользованность

Если хочешь делать продукты с хорошим пользовательским опытом — развивай свой личный пользовательский опыт.

Очень часто пиарят важность насмотренности: ходи на Бехансы и смотри, что крутые рисуют.
Это, конечно, лучше чем не ходить, но в бою с хреновым UX пригодится слабо.
Смотреть как штангу тягают или самому потягать — разные ощущения и опыт.

В бою с хреновым UX пригодится твоя напользованность: чем с большим количеством разных продуктов ты поработал, тем шире у тебя пользовательский кругозор.

Когда ты сам пользуешься продуктом, то видишь не только продукт в виде интерфейса. Тебя вовлекают в продукт, дожимают до покупки, с тобой общаются — это всё складывается в пользовательский опыт. Со временем накапливается больше личного опыта и удачных практик, которые ты будешь транслировать в свою работу.

В общем, хватит только смотреть — больше пользуйся.

Насколько влияет самое первое письмо будущему работодателю на потенциальное трудоустройство

Осенью прошлого года мне довелось поучаствовать в любопытном исследовании. Ваня Васильев, руководивший в разное время дизайном Альфабанка и Scentbird, решил выяснить, насколько влияет самое первое письмо будущему работодателю на потенциальное трудоустройство.

Эксперимент проходил так:
- Ваня нашёл десяток примеров описаний вакансий продуктового дизайнера и скомпилировал из них усреднённый текст (https://research.mintblaster.com/#vacancy). Cамо по себе, кстати, интересное упражнение.
- Собрал группу из 16 экспертов (https://research.mintblaster.com/#experts) (в которую попал и ваш покорный слуга) — нанимающих дизайн-руководителей и руководительниц из Яндекса, Альфа-Банка, Почты России, Сбербанка, МТС, Mail.ru, Acronis, Miro, Revolut и других компаний.
- Сделал лендинг (https://research.mintblaster.com/) и предложил заинтересованным дизайнерам написать ровно одно письмо — такое, как если бы они по-настоящему хотели устроиться на работу. Всего удалось собрать 243 отклика, из них 228 человек отметили, что действительно искали работу.
- Дальше каждый эксперт отсматривал заявки дизайнеров-претендентов. Отреагировать на заявку можно было только кнопками «да» и «нет» — продолжил ли бы я общение с кандидатом на основании этого первого письма или отказал бы сразу. Практически Тиндер!
- Чтобы результаты были точнее, каждое письмо независимо оценивали минимум семь экспертов.
- В конце каждому кандидату пришла взвешенная оценка шансов оказаться приглашенным на собеседование на основании письма.

Получились такие результаты:
- Кандидаты распределились по нескольким группам по количеству положительных оценок экспертов:
- 3% — Все эксперты нажали «да».
- 8% — Больше 80% положительных голосов экспертов.
- 25% — От 50% до 80% положительных голосов.
- 22% — Между 30% и 50% положительных голосов.
- 40% – меньше 30% положительных голосов.
- (ещё 2% были отмечены как спам.)
- То есть по-настоящему сильных откликов — всего 11% (первые две группы). Это очень соотносится с моим опытом поиска дизайнеров.
- Почти половина всех откликов — 40% — очень слабые.
- Другая добрая половина (47%) попала в средние группы, когда голоса экспертов разделились.
- В среднем эксперты тратили 50 секунд на просмотр одной заявки (включая просмотр портфолио и вообще всех приложенных ссылок). Вот столько времени у письма есть, чтобы произвести впечатление.

Продираясь через десятки писем, я искал только одно: портфолио с хорошими работами (писал про это давным-давно (http://t.me/desprod/9)) и/или внятный свежий опыт работы над продуктами. Всё.

Остальное не важно. Длинные тексты, перечни навыков и дипломов, списки инструментов или интересов, желания и мечты — всё это больше мешает. Стаж работы вообще идёт во вред, если не подтверждается результатами.

Если вы начинающий дизайнер или почему-то не хотите или не можете показать результаты с последнего места работы — сделайте несколько фейковых проектов специально для портфолио. Например, редизайн Википедии или что-нибудь в таком роде.

Вот, кстати, Ксения Стернина, которая тоже была экспертом в Ванином исследовании, подробно рассказала про то, что стоит и не стоит писать в письме работодателю (https://blog.uxssr.com/2020/01/29/cover-letter-for-designers/).

Почитать полностью все результаты исследования можно тут (https://designer.mintblaster.ru/results). Там же Ваня проводит следующий эксперимент, в котором кандидаты могут рейтинговать друг друга. Кстати, по отзывам участников, когда они смотрят чужие письма и работы и сравнивают с тем, что написали сами, очень хорошо начинают понимать, как стоит писать и как не стоит.

Идеальный процесс

Процесс разработки продукта невозможен без плана, методологии и документации. За методологию отвечают наши кураторы, а составление плана работы и следование ему — является ответственностью самих команд.

Важная особенность хорошего плана — он дает возможность дополнительной синхронизации с заказчиком. С помощью плана до заказчика можно донести какие реперные точки вы будете проходить, а также в какой момент какие артефакты предоставите.

Женя Бондарев рассказал нам о типичной структуре разработки цифрового продукта:

Погружение
Сбор информации, поиск вдохновения, анализ и инсайты.
Женя дал очень хорошее определение того, что такое инсайт:
Инсайт — это глубинная потребность человека в чем-либо. Обязательные элементы инсайта — мотив и барьер: я хочу делать то и то — мотив; но не делаю это потому что — барьер.
Наша задача, как дизайнера, в том, чтобы узнать конкретную причину этого барьера.

Проектирование
Продумывание логики, тестирование. Бывают случаи, когда проводить тестирование не нужно — но не стоит забывать, что тестирование остается самым дешевым способом совершить ошибку.
Дизайн концепт, масштабирование и анимация — на этом шаге важно синхронизироваться с разработчиками на предмет реалистичности визуальных желаний.

Usability test
Тестирование всего продукта и финальные изменения — Женя советует писать гипотезы в гугл-доке на протяжении всего исследования, чтобы во время тестирования не упустить что-то важное.
По итогу тестирования выявляются критичные и не очень ошибки, после чего нужно решить, с чем можно выходить на рынок, а что требует обязательной доработки. На этом шаге может всплыть много неожиданностей, на эту тему как-то писал Костя Горский — t.me/desprod/239

Финализация
Финальное утверждение, подготовка к разработке, подготовка к публикации (кейс в медиа, либо конкурс и т.д.), авторский надзор.
Круто выпускать MVP как можно раньше, чтобы начать получать реальный фидбэк.

После лекции Женя попросил нас расписать подобный план для своих проектов, где мы должны были указать основные чек-поинты, время, роли и артефакты.
Я немного упростил наш план, так как в оригинале он выглядел ещё больше:

1. Погружение

1. Связаться с заказчиком
Сделать:
- интервью с заказчиком
- запросить метрики
Итог:
- утвержденное направление работу
- утвержденные с заказчиком сроки
Срок: 4.03

2. Поиск референсов/конкурентов
Срок: 04.03

3. Интервью с пользователями
Сделать:
-подготовить вопросы
-найти респондентов
На выходе:
- уточненный портрет
- проблемы пользователей
Срок: 13.03

4. Попробовать
Сделать:
- Сделать заказ (понять процесс, опросить мастера)
- Зарегаться как мастер (понят, процесс, взять заказ)
На выходе:
- проблемы
- полное понимание бизнес-процесса
Срок: 11.03

Анализ полученных инсайтов
Артефакты: понять на каких проблемах фокусируемся, список инсайтов, фичерлист
Показываем заказчику — 12.03
— Ретро —


2. UX — проектирование

1. Информационная архитектура — 20.03
2. Структура — 20.03
3. Карта экранов — 31.03
4. Сценарии
5. Прототип
6. Тестирование прототипа (проверка гипотез) - 7.04

Анализ полученных решений
Артефакты: протестированный прототип, карта экранов, структура, информационная архитектура
Показываем заказчику — 9.04

— Ретро —


3. UI — визуальный язык

1. Существующие гайды продукта
2. Мудборд
3. Дизайн концепт 3-5 экранов — 14.04
4. Масштабирование
5. Анимация

Анализ полученных решений
Артефакты: финальный дизайн продукта, анимация
Показываем заказчику — 30.04

— Ретро —


4. Передача в разработку
5 занятий 10.05-19.05

5. Подготовка портфолио
9 занятий 22.05-09.06

6. Презентация
3 занятия

7. Защита
23 июня


По сути, этот план также может являться оглавлением моего дальнейшего повествования.
Как вы могли заметить, на сегодняшний момент мы заканчиваем стадию «2. UX — проектирование» и переходим к поиску визуальной концепции.
Уже сейчас можно сделать какие-то выводы о том, как мы двигаемся по этому плану: что-то из написанного в плане мы так и не сделали до сих пор, что-то наоборот — сделали с опережением. Так, мы до сих пор не утвердили окончательный набор фич, но, с другой стороны, у нас уже готовы все необходимые артефакты — можно начинать готовить мудборды

Текстовые поля для Google

Как ребята из команды Material Design пересобрали текстовые поля для Google.
Огромное исследование и куча инсайтов.

Почему поля

Казалось бы, текстовое поле, что думать то? Но не все так просто.

Текстовое поле - один из самых популярных элементов интерфейса. Форма обратной связи, заявки, обязательная информация и т.д. Конверсии, конверсии и еще раз конверсии.

Команда Material Design провели исследование текстовых полей и выяснили, что куча народа, видя поле с чертой и плейсхолдером (серым текстом подсказкой внутри) не понимали, что оно кликабкльное. Как следствие отваливались и не заполняли формы.

Перекладываем на масштаб Google и сразу становятся понятны причины такой дотошности в мелочах. На таком огромном трафике изменение в 1% дает тебе колоссальное бабло.

Цель состояла в том, чтобы определить, как улучшить текстовое поле. Сделать его заметнее, читабельнее и понятнее – с более четкой целью касания.

Процесс

Исследование проходило в два этапа:

- сперва участникам оценивали разные варианты дизайна
- потом тюнинг конкретных элементов

Участникам предлагалось взаимодействовать с различными вариантами текстовых полей. Собирались прототипы и задавались уточняющие вопросы. Задействовали 600 человек.

Выводы

Результаты двух исследований показали, что следующие элементы текстовых полей имеют наибольшую ценность:

- Закрытые текстовые поля с прямоугольной формой, лучше, чем те, которые имели подчеркивание в виде линии
- Рамка текстового поля должна быть с полупрозрачной заливкой и нижней линией или без заливки, но с непрозрачной чертой.
- Цветовой контраст линий текстового поля с фоном соответствовал минимальным коэффициентам контрастности 3: 1.
- Текст метки должен быть помещен в пределы рамки текстового поля.
- Текстовые поля должны иметь закругленные углы

После того, как работа была проведена Google обновил у себя все текстовые формы.
Под постом бвдет гифка До и После апдейта.

Как подготовить питч вашего стартапа

Как подготовить питч вашего стартапа

Игорь Рябенький, управляющий партнер фонда AltaiR Capital и ангел-инвестор — в том числе в Miro, тогда ещё RealtimeBoard — рассказывает (https://www.facebook.com/1100761030/posts/10217324472199396/?d=n): как подготовить питч вашего стартапа.

↓ ↓ ↓

Каждый день я просматриваю десятки писем и питчей, огромная часть из которых оказывается в мусорной корзине почты, потому что не несет в себе нужной информации или отправлена не по адресу.

А из тех, что почему-то зацепили, большинство игнорируют правила презентации, превращая месседж в поток сознания или набор картинок.

Ниже несколько простых правил, которые помогут вам составить грамотный питч и «зацепить» инвестора.

Первый вид питчей – Elevator pitch, так называемая «презентация в лифте», которая 30 секунд рассказывает о вас самую суть.

На примере фонда AltaIR Capital я покажу, как выглядит мой Elevator pitch:

«Я хочу привлечь деньги в фонд, потому что AltaIR – ведущий игрок на рынке ранних инвестиций в стартапы, который способен приносить своим инвесторам десятки процентов годовых и больше. Для того, чтобы участвовать в крутых раундах лучших проектов, я хочу поднять фонд на 300 млн. долларов».

В двух предложениях я рассказал о себе и обозначил инвестору его выгоду и для чего мне нужно дать денег.

Очень часто стартапы присылают питчи, которые являются нарезками, компиляциями, массой красивых картинок, а чаще некрасивых, непроходимых шрифтов, а поскольку мне это приходится видеть каждый день десятками, это набило оскомину.

Питч должен быть очень простым, вам нужно рассказать по пунктам:

1. Мой стартап решает вот такую проблему

2. Эта проблема действительно назрела, и для нее есть огромный рынок

3. Мы собрали команду мечты, которая это сделает

4. У нас обоснованная и понятная бизнес модель с привлекательной юнит экономикой

5. Наш план в течение года иметь 10 млн. пользователей, а через 2 года мы дойдем до 20 млн. долларов чистой выручки

6. У нас есть обоснованные каналы привлечения клиентов, и наше соотношение стоимости привлечения клиента к его жизненному циклу будет 1 к 10

Все! Вот такой питч заинтересует инвестора.

Еще один важный момент. Вы не 100 долларовая бумажка, чтобы нравиться всем, и кроме содержания питча важна его адресность. Я каждый день получаю десятки писем от тех, кто делает массовую рассылку по всем инвесторам или не смотрит, кому отсылает свое предложение. Здесь надо понимать, что холодный питч более-менее профессиональному инвестору имеет очень маленькие шансы на ответ. Если у вас нет рекомендации, пробиться будет очень тяжело, особенно сейчас, во время пандемии. Мы с вами не встретимся, не выпьем кофе, не посмотрим друг другу в глаза. Нет ничего, кроме переписки в почте или мессенджере или сессии в Zoom. Поэтому, если вы заходите с холода, то должны четко понимать, кому вы адресуете свой питч, и подготовить его на отлично. Если вам лень узнать о тех, у кого вы просите денег, почему вы рассчитываете на их внимание?

Кроме, Elevator pitch есть еще pitch deck (слайды для инвестора), и здесь тоже много проблем. Не нужно присылать рекомендации и презентации на 250 слайдов. Я это повторяю во всех школах, акселераторах, и вместе со мной это делают десятки уважаемых людей.

Питч должен выглядеть сжато и понятно.

1. Постарайтесь уложиться в 5 слайдов, максимум 10

2. Меньше картинок, меньше забористых трудночитаемых шрифтов

3. Четко пишите, какую проблему вы решаете

4. Желательно написать, что вы изобрели что-то абсолютно новое или что-то известное сделали лучше. Здесь вы показываете свою команду и как она будет решать эту проблему

5. Четко указывайте, как вы пойдете на рынок и где ваши клиенты

6. Отдельным слайдом дайте бизнес-модель, чтобы инвестор понимал, что вы хотите сделать

7. Не пишите, пожалуйста, что я сделаю продукт, а потом у меня будет куча источников дохода, я буду продавать семечки утром, а вечером шить, так не работает, особенно для стартапа на ранней стадии

8. Постарайтесь включить воображение и посчитать количество потенциальных клиентов в зависимости от вашей модели и стоимость их привлечения

9. Покажите расходы на команду

10. Прикиньте, какие продажи ваш сервис/товар/услуга будут генерировать

11. Добавьте страничку расчета в Excel, которая покажет ваши затраты, сроки выхода в бизнес (первые продажи и unit-экономику) и как вы планируете дальше развиваться. Здесь вы сможете просчитать свои этапы финансирования и донести их до инвестора

12. Выделите один слайд для конкурентов. Необязательно рисовать квадрат и ставить себя в правый угол или писать список ваших функций, в котором у вас есть 128 функций, а у всех остальных по 28. Инвестору важно, что у вас есть одна своя крутая функция, которую вы делаете лучше всех! Если вы пишете, что конкурентов у вас нет, на это 2 причины: вы плохо искали или вы решили не тем заняться.

Если резюмировать, то ваш питч должен быть о том:
- что вы собираетесь делать
- почему ваша команда имеет шансы сделать это хорошо
- почему ваш рынок большой и масштабируемый
- каким образом вы будете его завоевывать
Такой питч стреляет, и после него с вами будут разговаривать.

20 секунд мне требуется на то, чтобы понять, стоит ли читать питч или он отправится в мусорную корзину.

Давайте уже будем присылать нормальные питчи. Тогда мы работать будем меньше.