1. Кому і скільки листів розсилати
2. калькулятор Optimizely
3. метод SurveyMonkey
4. Значний результат чи ні
5. 1. Калькулятор VWO
6. 2. Калькулятор AB Testguide
7. Правило: тестувати один елемент
8. висновок

Ми не будемо наводити формули для розрахунку обсягу вибірки. Навряд чи хтось з олівцем в руках кинеться вважати статистичні похибки. В інтернеті можна знайти багато інструментів, які вважають вибірку і перевіряють дані тесту на значимість. Ми розповімо про тих, яким довіряємо самі.

Почнемо з визначень.

1. Генеральна сукупність - все, на кого поширюються висновки А / В-тесту. Наприклад, всі ваші передплатники.
2. Вибірка - ті, хто проходить тест. За діями вибірки ви робите висновки про поведінку всієї сукупності.
3. Похибка - допустима помилка в результатах. Зазвичай беруть від 1% до 5%.
4. Рівень довіри - якщо коротко, то це точність вибірки. Зазвичай 95%.

Кому і скільки листів розсилати

Щоб порахувати вибірку, використовуємо онлайн-калькулятори. Вони можуть дати різні результати. Рекомендуємо використовувати один як основний і один для перевірки.

калькулятор Optimizely

цей калькулятор дуже простий, розроблений платформою Optimizely для тестування веб-сторінок. Враховує 2 основних параметри:

1. Очікувана конверсія. Наприклад, з відкриттів в переходи.
2. Мінімально значимий ефект - різниця між А і В, яка для вас буде відчутною.

Припустимо, ви відправили 100 листів групі А і 100 листів групі В. Група А відкрила 20 листів. Група В - 23 листи, на 15% більше. Вирішіть, наскільки цей відсоток відчутний для вашого бізнесу і підставте його в другу колонку.

Виходячи з двох параметрів сервіс вважає обсяг вибірки.

калькулятор Optimizely

метод SurveyMonkey

Найповніший і надійний метод. SurveyMonkey - сервіс для проведення онлайн-опитувань. У себе на сайті компанія пояснила, як за 5 кроків визначити потрібний об'єм вибірки.

• 1 крок - визначити генеральну сукупність. Вся база контактів? Жінки 25-35 років? Ліди, які відмовилися від покупки?
• 2 крок - визначити точність тесту. Закладіть похибка від 1% до 5% і рівень довіри від 90% до 99%.
• 3 крок - визначити необхідний обсяг вибірки. Використовуйте таблицю.

Розрахунок вибірки методом SurveyMonkey

Приклад. Проводимо тест по всій базі - 10 000 адрес. Відповідна нам вибірка - від 370 до 4 900 респондентів. З огляду на ресурси і бажання довіряти отриманим даним, я б зупинився на 623.

• 4 крок - прикинути відсоток відповіли. Як «консервативне і найбільш ймовірне значення» сервіс пропонує закласти 10-14%. Якщо ви тестируете заголовки - закладіть середній Open Rate.
• 5 крок - дізнатися, скільком людям відправляти лист. Розділіть цифру з третього кроку на цифру з четвертого.

Проробивши всі 5 кроків, ви розумієте, скільки листів потрібно відправити, щоб результатами тесту можна було довіряти.

Значний результат чи ні

Ви провели спліт-тест і отримали різні результати для групи А і В. Припустимо, на кнопку А натиснув на 15 осіб більше, ніж на кнопку В. Значущий цей результат з точки зору статистики?

Зрозуміти це допоможуть 2 простих калькулятора.

1. Калькулятор VWO

Хлопці з сервісу Visual Website Optimiser розробили приємний калькулятор значущості результатів тесту . Просто забиваєте обсяг вибірки по контрольної (А) і тестової (В) групи і кількість цільових дій.

Калькулятор дає відповідь:

• Yes - різниця в результатах між групами A і B значима;
• No - різниці немає або вона незначна.

калькулятор VWO

Якщо ви працюєте над тестом на дачі і без інтернету - скачайте Excel-версію .

2. Калькулятор AB Testguide

калькулятор працює за тим же принципом, додаючи до відповіді математичні обгрунтування.

Калькулятор AB Testguide

Іноді для тесту розсилки вважати вибірку не треба - тестові листи відправляються по всій базі. Але навіть в цьому випадку треба розуміти, чи мають отримані дані статистичну значущість. Використовуйте калькулятор.

Правило: тестувати один елемент

Крім малого обсягу вибірки і даних є ще одна часта проблема А / В-тестів. Це велика кількість експериментів, коли тестується не один елемент, а кілька.

Наприклад, онлайн-школа тестує довгий і короткий варіанти листи. При цьому довгий варіант містить не тільки більше тексту, а й додаткові візуальні елементи, текст структурований і сформульований по-іншому. Такий експеримент свідомо не має значущості. Вірніше, значимість він має, але отримані результати не можна застосовувати в майбутньому: тест репрезентативний тільки для двох відправлених листів.

висновок

Тестувати розсилки потрібно. Але тільки тоді, коли можете зібрати статистично значущі результати. В інших випадках тести шкідливі: компанія отримує свідомо спотворені дані про поведінку своїх передплатників. Про те, як правильно налаштувати спліт-тести в UniSender, читайте в нашій базі знань .

Успіхів!