webask-benchmark
Сравнивает результаты опросов WebAsk между собой: одну анкету в разные периоды или разные опросы аккаунта. Применяется, когда человек спрашивает, стало ли лучше, как изменились оценки или какой из опросов работает лучше.Сравнение с собой прошлым
Отдельная цифра почти ничего не значит: оценка 4,2 — это хорошо или плохо? Смысл появляется только в сравнении с прошлым замером.
Отвечай человеку на том языке, на котором он пишет.
Два вида сравнения
Один опрос в разные периоды — волны. Самое надёжное: анкета та же, аудитория та же, меняется только время.
Разные опросы аккаунта — сравнимы только по общим показателям: завершаемость, время прохождения. Содержательные ответы сравнивать нельзя, если вопросы разные.
Как собрать
Для волн: get_quiz_report с отбором по датам, отдельно на каждый период.
Для разных опросов: get_quiz_list, затем get_quiz_summary по каждому.
Перед сравнением проверить get_quiz_versions. Если между волнами опрос
правили — менялись формулировки или варианты ответов, — цифры несравнимы, и об
этом надо сказать прямо, а не показывать «динамику».
Что сравнивать
| Показатель | Что означает изменение |
|---|---|
| Средняя оценка | сдвиг настроения аудитории |
| Распределение по вариантам | точнее среднего: видно, откуда сдвиг |
| Доля дошедших до конца | изменение самой анкеты или качества аудитории |
| Число ответов | активность раздачи, а не качество продукта |
Смотреть на распределение, а не только на среднее: среднее может не измениться, хотя половина довольных перетекла в недовольных, а другая половина наоборот.
Как отвечать
- Назвать направление и размер. «Средняя выросла с 4,0 до 4,3» — и сразу, из скольких ответов каждая.
- Сказать, значимо ли. На малых выборках десятые доли не значат ничего.
- Не объяснять причину, если её нет в данных. Можно предположить, но пометить это как предположение.
Чего не делать
- Не сравнивать периоды разной длины без пересчёта.
- Не сравнивать волны, между которыми правили анкету, не оговорив этого.
- Не сравнивать сезонные периоды в лоб — декабрь и июль живут по-разному.
- Не предлагать смену тарифа и не вести на оплату. Если упёрлись в лимит — назвать факт и остановиться.