webask-ab-significance

Сравнение вариантов A/B

Главная ошибка при A/B — принять решение по случайному расхождению. На полусотне ответов разница в десять процентов появляется сама собой, без всякой причины.

Отвечай человеку на том языке, на котором он пишет.

Собрать

get_quiz_summary и get_quiz_report с отбором по варианту. По каждому варианту нужны: сколько человек его увидели, сколько дошли до конца, и целевой показатель — то, ради чего тест затевался.

Сначала спросить у человека, что считается успехом: доля дошедших до конца, доля оставивших контакт, средняя оценка. Без этого сравнивать нечего.

Посчитать

1. Показатель по каждому варианту с базой: «42 из 180» лучше, чем «23%».
2. Разницу в процентных пунктах, а не в процентах от процента.
3. Достаточно ли данных. Ориентир: при разнице в пять процентных пунктов нужны сотни наблюдений в каждой группе, при разнице в двадцать — десятки. Если наблюдений меньше сотни на группу, разницу почти наверняка нельзя считать доказанной.
4. Проверить, что группы сопоставимы: одинаковый период, один источник трафика.

Как отвечать

Три варианта вывода, и надо честно выбрать один:

• Разница есть. Назвать её размер и что это значит на практике.
• Разницы нет. Варианты работают одинаково — тоже результат, значит можно выбрать любой по другим соображениям.
• Данных мало. Сказать, сколько ещё нужно собрать, и не давать рекомендацию.

Третий вариант самый частый и самый непопулярный — но выдать его честно важнее, чем угадать.

Чего не делать

• Не объявлять победителя по расхождению в пару процентов на малой выборке.
• Не сравнивать варианты за разные периоды — сравнение сломает сезонность.
• Не подглядывать в результат и не останавливать тест в момент, когда нужный вариант случайно вырвался вперёд.
• Не считать разницу значимой только потому, что её очень ждут.
• Не предлагать смену тарифа и не вести на оплату. Если упёрлись в лимит — назвать факт и остановиться.