- 1 Що таке А/В-тестування
- 2 Що можна тестувати за допомогою А/В-тестів?
- 3 Навіщо потрібні А/В-тести
- 4 Кому потрібні А/В-тести
- 5 Які завдання бізнесу вирішують A/B-тести
- 6 Існує кілька основних категорій показників, які можна оптимізувати шляхом проведення A/B тестування:
- 7 6 етапів проведення А/В-тестування
- 8 Інструменти для налаштування тестів
- 9 Плюси та мінуси А/В-тестування в Google Optimize
- 10 Як провести A/B-тестування за допомогою Google Optimize
- 11 Ідеї, ефективність яких варто обов’язково перевірити за допомогою A/В-тестування
- 12 Скільки часу займе А/В тестування
- 13 Часті помилки А/В-тестування
- 14 Інші види тестування
А/В-тестування – це свого роду експеримент, що дозволяє перевірити дві гіпотези, точніше порівняти їх та вибрати найкращий варіант. Таким чином можна тестувати в Інтернеті все що завгодно: сайт, окрему сторінку, текст і навіть фото товару. Є спеціальні інструменти, за допомогою яких легко та просто провести експеримент.
Але перед його початком рекомендуємо визначитися для себе, навіщо вам А/В тестування і скільки часу ви готові на нього витратити. Врахуйте, тести за день не проводяться, дехто займає півроку, якщо товар дорогий. Вирішивши основні питання, можна приступати до тестування. Як зробити все правильно, а потім інтерпретувати отримані результати, ми докладно розписали нижче.
Що таке А/В-тестування
Найпростіші АВ-тести мають у своїй основі схему, що складається з трьох елементів:
- аудиторія;
- вихідна та експериментальна сторінки;
- магія.
Припустимо, компанія має лендинг з виробництва та продажу дверей за індивідуальними замовленнями, трафік на який надходить завдяки контекстній рекламі. Маркетологи з’ясували, що зараз актуальні кнопки незвичайної форми для сайтів – вони сприяють збільшенню конверсії та зростанню продажів на відміну від традиційних прямокутних.
Однак перш ніж використовувати цей прийом, необхідно досвідченим шляхом з’ясувати, чи справді він такий ефективний, як кажуть. Тобто потрібно змінити форму кнопки на сайті та подивитися на реакцію аудиторії. Якщо змінений лендинг дасть хороші результати, можна використовувати таку кнопку постійно.
Вести аналіз можна, враховуючи як усю аудиторію, так і якусь її частину. Другий варіант оптимальний, тому що у разі отримання негативного результату компанія меншою мірою постраждає фінансово, тобто не втратить велику кількість замовлень. Найкраще тестувати новинки на 5 – 10% аудиторії.
В цьому випадку потрібно створити другу версію лендингу з кнопками іншої форми та відправити туди 5 – 10% трафіку з контекстної реклами. Люди зможуть випробувати оновлений варіант сайту, а компанія отримає дані про його роботу, не зазнавши збитків.
На останньому етапі здійснюється аналіз поведінки користувачів та залежно від результатів приймається рішення про подальше використання нововведень.
Простий приклад.
До впровадження нової кнопки конверсія становила 4 – 6 %, але в експериментальної сторінці вона збільшилася до 12 %, відповідно, можна дійти невтішного висновку про ефективність заміни кнопки і використовувати її постійно. Для цього рекламний трафік перенаправляють на нову сторінку повністю.
Система аналітики вибирається залежно від ключової метрики. У нашому прикладі з лендингом по дверях можливе використання Яндекс.Метрики (потрібно сказати, що це досить універсальний інструмент, який може застосовуватись у різних тестуваннях).
Отже, A/B-тестування (спліт-тестування) являє собою порівняльний аналіз різних версій сайту, додатки тощо, оцінку зміни ключових метрик за допомогою групи користувачів та прийняття підсумкового рішення про внесення змін.
Що можна тестувати за допомогою А/В-тестів?
Спліт-тестування є прикладним методом впливу на різні метрики сайту. Маркетологи вибирають об’єкти вивчення у відповідність до своїх цілей та завдань.
Допустимо, потрібно зрозуміти, чому аудиторія практично миттєво залишає сайт, після того, як опиняється на лендингу. Ймовірно, це пов’язано із проблемами у візуалі сторінки. Запустивши A/B-тестування, фахівець може з’ясувати, який варіант її макету буде робочим, визначити оптимальне поєднання кольорів, вибрати шрифти, що привертають увагу картинки, правильне розташування блоків тексту.
Якщо потрібно збільшити кількість передплат, можна змінити форму конверсії. Завдяки спліт-тестування можна підібрати потрібний колір деталі інтерфейсу, оптимальний варіант тексту, правильну кількість полів у формі передплати, а також її розташування.
Найчастіше дослідженню піддаються такі елементи веб-сторінок:
- текст, формат та розташування конверсійних кнопок;
- заголовок та опис продукту;
- розміри, зовнішній вигляд та розташування конверсійних форм;
- макет та дизайн сторінки;
- ціна товару та інші елементи бізнес-пропозиції;
- зображення продукції та інші картинки;
- кількість текстів на сторінці.
Які основні проблеми допомагає вирішити спліт-тестування:
- Реакція аудиторії на зміни. Компанія починає розуміти, як інформація (візуальна, текстова) сприймається користувачами, які її варіанти краще впливають на потенційних покупців. Отже, з’являється можливість використовувати саме те, що подобається цільовій аудиторії і може підштовхнути її до покупки. Незалежно від досвіду фахівця він повинен завжди ставити під сумнів свої методи та прийоми роботи та тестувати їх різні варіанти. Іноді результати експериментів виявляються вражаючими.Нерідко припущення маркетолога не співпадають із реальністю.Тому важливо ґрунтуватися не лише на власному досвіді та знаннях, а й на даних, отриманих у ході тестів.
- Дані тестів проти думки експертів. Найчастіше фахівці вносять корективи в роботу сайту, виходячи з власних гіпотез. Однак наскільки виправдані такі зміни можна судити лише тоді, коли отримано точні дані щодо поведінки аудиторії. Інакше компанія, яка запровадила нововведення навмання, може втратити частину прибутку, зазнати збитків.
- Персоналізація взаємодії з клієнтами. Фахівці компанії розуміють, як краще спілкуватися з людьми, які приходять на сайт із різних джерел, користуючись різними пристроями, переслідуючи свої особисті цілі.
За допомогою сервісів веб-аналітики, таких як Google Analytics, Яндекс.Метрика та ін., можна поєднати ці дані та систематизувати знання про користувачів. Для цього потрібно зібрати інформацію про ресурси, які вони відвідували, дізнатися, що робили. Завдяки цьому аудиторія може бути розділена на безліч сегментів за цілим рядом ознак. Крім того, можна з’ясувати, як поводяться користувачі, які прийшли на сайт органічно та з платного трафіку.
Однак не кожен здатний використовувати результати аналізу якнайкраще. Наприклад, на більшості сайтів можна зустріти однаковий контент для користувачів усіх сегментів, незалежно від їх цілей, інтересів, поведінки та джерел трафіку. Для цього і потрібне спліт-тестування. Воно допомагає персоналізувати зміст сайту.
Кому потрібні А/В-тести
- Продакт-менеджери. Вони використовують тести для аналізу різних цінових моделей, щоб зрозуміти, яка з них призведе до зростання доходів, або оптимізувати частину вирви продажів з метою збільшення конверсії.
- Маркетологи. Ці фахівці займаються тестуванням зображень, закликів до дії (call-to-action) та багатьох інших елементів маркетингової кампанії чи реклами з метою покращення метрик.
- Дизайнери продуктів. Вони досліджують візуальну складову елементів сайтів, додатків тощо (наприклад, колір кнопки оформлення замовлення). Крім того, ці фахівці можуть використовувати результати A/B тестування, щоб зрозуміти, чи буде зручна нова функція користувачам.
Запускати процес варто лише тоді, коли є пристойний трафік, а отже, і статистичні дані.
Допустимо, компанія зробила лендинг із продажу дверей і запустила контекстну рекламу, вклавши в неї невелику суму. Відвідувачів на сайті поки що небагато. У цій ситуації метрики мають низьку чутливість, даних збирається мало і тести можуть не показати реальну картину.
Якщо ж тестування таки запущено, має сенс проводити його кілька місяців. Однак суть методу зовсім в іншому, а саме у швидкому зборі даних, які дозволять ухвалити рішення щодо термінових змін та нововведень.
Які завдання бізнесу вирішують A/B-тести
Якщо залучення користувачів низьке, проведення A/B-тестування допоможе проаналізувати роботу на всіх її етапах, внести корективи і в результаті покращити показники конверсії. Чим корисні тести?
-
Вирішують проблеми користувачів.
Заходячи на сайт, користувачі хочуть бачити гарну картинку, зручний функціонал, інтуїтивно зрозумілий інтерфейс, інформативні тексти. Вони спрощують пошук корисних продуктів і економлять час. Якщо всього цього немає, відвідувачі не миряться з незручностями, тому що в умовах достатку пропозицій це нікому нецікаво.
A/B-тестування допомагає визначити проблемні місця сайту, скоригувати їх, усунути недоліки та зробити його привабливим для потенційних клієнтів.
-
Забезпечують кращу окупність інвестицій (ROI).
Тестування дозволяє підвищити ефективність використання активних каналів залучення аудиторії без залучення додаткових коштів. Внесення навіть малих змін сприяє покращенню показників конверсії.
-
Зменшують кількість відмов.
Відмови користувачів знижують прибуток компанії. Люди не затримуються на сайтах з різних причин: погане юзабіліті, мізерний асортимент, високі ціни тощо. Протестувавши різні елементи на сторінці, компанія може зрозуміти, що саме не влаштовує аудиторію, і виправити ці моменти.
-
Знижують ризики при змінах.
Впровадження нових елементів на сайт, внесення змін до його роботи має здійснюватися поступово, оскільки стрімкість може призвести до негативних наслідків, що не прогнозуються. Користувачі не завжди сприймають нове у позитивному ключі. A/B-тестування сайту дозволяє перевірити реакцію аудиторії та використовувати тільки ті нововведення, які дають потрібні результати.
Крім того, такі методи дослідження дають можливість зробити сайт функціональнішим без істотних правок, наприклад, за рахунок додавання ряду нових функцій, зміни опису продуктів та відстеження реакції користувачів на ці дії. Якщо вона позитивна, зміни можна затвердити.
-
Забезпечують статистично значущі покращення.
У процесі тестування увага приділяється даним статистики, аналіз яких і повідомляє фахівців про успіх чи невдачу нововведень. Вивчаються такі метрики:
– Тривалість перебування користувача на сторінці;
– Кількість відмов;
– CTR – показник числа кліків по відношенню до загальної кількості показів оголошення;
– Кількість заповнених форм для заявок.
Тести демонструють, що треба робити, щоб статистика стала позитивною.
-
Допомагають покращити дизайн.
Погано зроблений сайт може звести нанівець всі зусилля рекламників та маркетологів із залучення клієнтів. Щоб мінімізувати відмови користувачів, потрібно або внести незначні редагування в дизайн сторінок (підсилити функціонал, змінити колірне рішення тощо), або провести його масштабну реконструкцію. Тестування дозволить передбачити реакцію відвідувачів сайту на ці дії.
Існує кілька основних категорій показників, які можна оптимізувати шляхом проведення A/B тестування:
Конверсія.
Поліпшивши сайт, можна підвищити відсоток конверсії. На зручному та інформативному ресурсі користувачі роблять більше цільових дій, запланованих компанією (підписка на оновлення, реєстрація, додавання товарів до кошика тощо). Конверсія в дзвінок відстежується колтрекінгом.
Фінансові показники.
Головна мета будь-якої компанії – отримання прибутку. Майже всі дії з оптимізації роботи зрештою спрямовані на зростання фінансових показників. Гарний, зручний та інформативний сайт допоможе утримати трафік, забезпечить конверсію та зростання продажів. Основними фінансовими показниками є величина середнього чека, щомісячний обсяг продажу, вартість залучення клієнта (CAC).
Корисно також встановлювати на сторінку специфічні доповнення, пов’язані з покупками. Це можуть бути suggestive-алгоритми, що пропонують користувачеві товари, які інші покупці особливо часто кладуть у свої кошики разом із вибраним ним.
Поведінкові фактори.
Це набір характеристик, що відображають те, як користувач веде себе на сайті: час перебування на ньому, глибина перегляду (кількість відвіданих сторінок), відсоток постійних відвідувачів, частка відмов (bounce rate), обсяг CTR сніппета у пошуковій видачі тощо.
6 етапів проведення А/В-тестування
Як проводити A/B-тестування? Процес включає шість кроків. Розглянемо його на прикладі тестування сторінки реєстрації гіпотетично існуючого стартапу.
1) Визначення мети
Важливо, щоб цілі бізнесу та тестування співпадали.
Приклад. Компанія тільки-но розпочала свою діяльність і потребує приросту відвідувачів, причому важливо, щоб це були активні користувачі (з ними пов’язана метрика DAU). Багато хто думає, що цього можна досягти двома способами: поліпшенням показників утримання (відсоток повертаються для повторного використання продукту) або за рахунок зростання кількості нових людей, що зареєструвалися.
Але аналізуючи вирву можна відзначити, що більше половини користувачів залишають сайт ще до завершення реєстрації. Це вказує на те, що збільшення кількості реєстрацій можна шляхом зміни самої сторінки реєстрації. Така дія має призвести до зростання активних відвідувачів.
2) Визначення метрики
Наступний крок – виділення метрики, яка стане орієнтиром щодо успішності нововведень під час тестування. Найчастіше фахівці використовують як її коефіцієнт конверсії, хоча оцінкою може бути і кликабельность (CTR).
У випадку з нашою компанією головним показником буде частка зареєстрованих користувачів (registration rate), яка визначається як кількість нових відвідувачів, що реєструються, поділена на загальну кількість вперше зайшли на сайт.
3) Розробка гіпотези
Процес A/B-тестування включає створення припущення про те, що має бути змінено, і що потрібно перевірити, щоб виявити динаміку. Необхідно визначити бажане в результаті компанією і які можуть бути обґрунтування результатів роботи.
Приклад.
Аналізуючи сторінку реєстрації, яку потрібно змінити, спеціаліст бачить на ній банер та форму реєстрації. Протестувати можна різні елементи, проте в першу чергу це має бути рекламний модуль, оскільки він є більш помітним. Слід змінити зображення на ньому та подивитися, як це позначиться на реєстрації користувачів. Потім настає черга тестування полів форми, позиціонування, розміру тексту.
Загальна гіпотеза така: «Заміна модулів головної сторінки реєстрації, а саме основного зображення, призведе до збільшення кількості нових користувачів, які будуть реєструватися всередині продукту».
Потім слід виділити дві гіпотези, які допоможуть зрозуміти, чи те, що відбувається на сторінці, результатом внесених до її роботи змін. Тобто чи не випадкова різниця між її версіями A (основний) та B (новою, яка тестується).
- Нульова гіпотеза припускає, що результати версій А і В не сильно відрізняються, а всі відмінності є випадковими. Цю гіпотезу слід спростувати.
- Альтернативна гіпотеза полягає в тому, що А відрізняється від Б, і необхідно зробити висновок про її істинність.
Фахівець повинен вирішити, чи буде тест одностороннім або двостороннім. Односторонній тест дозволяє виявити зміну в одному напрямку, тоді як двосторонній тест – у двох напрямках (як позитивний, так і негативний).
4) Підготовка експерименту
Для коректного проведення тесту та отримання правильних результатів потрібно зробити ряд дій:
- Створити нову версію (B) із змінами, які потрібно протестувати.
- Визначити контрольну та експериментальну групи: які категорії користувачів тестуватимуться – все і на всіх платформах чи тільки мешканці однієї країни? Потрібно підрозділити людей на дві групи (1 і 2) залежно від їх типу, використовуваної платформи, локації і т. п. Далі необхідно визначити кількість осіб у кожній з них у відсотковому співвідношенні до загальної кількості тих, хто бере участь у вибірці, але частіше контрольна і експериментальні групи робляться однаковими.
- Слід переконатися, що відвідувачі сайту бачитимуть версії A та B у випадковому порядку. Тобто шанси потрапити на ту чи іншу версію будуть рівними у всіх користувачів.
- Визначити рівень статистичної значущості (?). Це показник ризику, який буде прийнято при помилках першого роду (відхилення нульової гіпотези, якщо вона є вірною). Зазвичай = 0.05. Тобто в 5% випадків буде виявлено різниця між A та B, яка в реальності є не значущим та необ’єктивним явищем. Чим нижчий вибраний рівень значущості, тим нижчий ризик виявлення випадкової різниці.
- Визначити мінімальний розмір вибірки. Це робиться за допомогою калькулятора для кожної версії. Він залежить від безлічі параметрів та переваг компанії. Великий розмір вибірки є важливим для отримання результатів, які матимуть статистичну значущість (невипадкових).
- Визначити період тестування. Для цього потрібно розділити загальний розмір випадків, необхідних для тестування кожної версії, на щоденний трафік компанії. В результаті вийде кількість днів, яка буде потрібна для проведення тесту. Здебільшого це один чи два тижні.
Приклад. На сайті компанії змінюється головна сторінка із реєстрацією відвідувачів. Це буде варіант В. Спеціаліст компанії вирішує, що у тестуванні візьмуть участь лише нові користувачі, які заходять на сторінку реєстрації. При цьому необхідно забезпечити випадкову вибірку, тобто кожен відвідувач матиме однаково невизначені шанси зайти на варіант сайту А або В.
Також потрібно обмежити час. Якщо сторінку реєстрації щодня відвідує приблизно 10 000 нових користувачів, її версію побачить по 5 000 осіб. У цьому випадку мінімальний розмір вибірки становить близько 100000 переглядів кожної версії. 100 000/5000 = 20 днів – так визначається час A/B-тестування.
5) Проведення експерименту
У ході експерименту необхідно:
- Обговорити його деталі та параметри з виконавцями.
- Виконати запит на тестовому закритому майданчику, якщо він є, щоб перевірити дані. Якщо площадка відсутня, необхідно перевірити дані, отримані першого дня експерименту.
- Обов’язково необхідно відстежити, чи відбувається тестування після його запуску.
- Важливо не дивитися дані експерименту до його закінчення, це може зіпсувати статистичну значимість.
6) Аналіз результатів
Необхідно отримати дані та розрахувати значення обраної метрики для версій A та B, а також різницю між цими значеннями. Якщо різниця не виявилася, можна зробити вибірку за платформами, типами джерел, локації тощо. Завдяки цьому можна побачити, що нова версія ефективніша у певних сегментах.
Потім перевіряється статистична значимість, мета якої – зрозуміти, чи була різниця в результатах між A і B обумовлена змінами чи вона стала результатом випадкового збігу обставин, які, природно, відбуваються. Для цього тестові статистичні дані (і отримане p-значення) порівнюються з обраним для підготовки експерименту рівнем значущості.
Якщо p-значення менше за рівень значущості, нульова гіпотеза може бути спростована. Якщо p-значення більше або дорівнює рівню значущості, спростувати її не вийде.
Результати A/B-тестування можуть бути такими:
- Початкова версія А має кращі показники або між А та В немає істотної різниці. Це говорить про те, що нововведення виявилися неефективними. Однак для початку варто виключити причини, які могли призвести до некоректного тестування, яке спотворило результати. Можна провести глибокий аналіз даних, щоб зрозуміти чому нова версія не виправдала себе. До речі, це допоможе зібрати інформацію для більш продуктивних тестів у майбутньому.
- Експериментальна версія B показує значущі результати. Відповідно, A/B-тестування підтвердило гіпотезу про більшу ефективність версії B у порівнянні з версією A. Після публікації отриманих показників можна розширити аудиторію та провести масштабний експеримент, щоб отримати нові дані.
Інструменти для налаштування тестів
Проведення експерименту вимагає створення тестового варіанта сторінки, поділу користувачів на групи, підрахунку цільових метрик для кожної з них. Якщо компанія має ресурси, можна робити все це вручну. Однак краще користуватися спеціальними сервісами, що полегшують A/B тестування.
Інструменти для його проведення та результати їх порівняння за декількома параметрами представлені в таблиці.
Google Optimize | Changeagain | VWO | Optimizely | Convert | ABtasty | |
Інтеграція с Google Analytics | ✓ | ✓ | ✓ | Х | ✓ | ✓ |
Візуальний редактор | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
Цілі Google Analytics | ✓ | ✓ | Х | Х | Х | Х |
Таргетинг | Велика кількість критеріїв для таргетингу | Таргетинг по пристроям, країнам | Більше 15 критеріїв | Понад 15 критеріїв | Більше 35 критеріїв | 7 критеріїв |
Наявність безкоштовної або демоверсії | Безкоштовна версія, до п’яти тестів одночасно | Безкоштовна версія для одного експерименту на один сайт. Демоверсія 30 днів | Демоверсія 30 днів, але трафік обмежений: 1000 відвідувачів | Безкоштовна версія для одного сайту та однієї мобільної програми. Функціонал обмежений | Демоверсія 15 днів | Демоверсія 30 днів |
Найчастіше для експериментів використовують Google Optimize, тому розглянемо особливості A/B-тестування за допомогою цього сервісу докладніше.
Плюси та мінуси А/В-тестування в Google Optimize
Optimize — це онлайн-сервіс A/B-тестування, що підключається до сайту та дозволяє експериментувати з новими формами контенту. Причому він вміє використовувати дані, зібрані в Google Analytics, щоб пропонувати користувачеві найбільш підходящий варіант сторінки – ефективний і результативний.
Плюси Optimize:
- Великий обсяг даних. Налаштовуючи тестування, можна використовувати цілі та сегменти Google Analytics. Відповідно, робота вестиметься зі звичними та зручними метриками з GA.
- Широкі можливості для персоналізації. Провівши успішний спліт-тест, можна налаштувати показ різного контенту, використовуючи аудиторії GA та змінні, які впроваджені, наприклад, dataLayer в GTM. Персоналізація – це один із ключів до ефективності сайту, збільшення його продуктивності в рамках кожного сегмента.
- Інтеграція з іншими продуктами Google для більш глибокого націлення та аналізу (Google Ads, Data Studio, Tag Manager тощо).
- Зручний та інтуїтивно зрозумілий інтерфейс. Є візуальний редактор, що дозволяє здійснювати настроювання та запуск нових тестувань без залучення розробників, що значно заощаджує час та кошти.
- Слабо відбивається на швидкості завантаження сторінки.
- Відсутня необхідність ручної інформації та підготовки звітів, сервіс робить це самостійно.
Недоліки Optimize:
- На даний момент він не дозволяє тестувати мобільні програми.
- Немає розкладу запуску спліт-тестування, неможливо заздалегідь запрограмувати його запуск. Допустимо, компанії потрібно провести кілька десятків тестів, проте немає можливості зробити це одночасно. Або безкоштовна версія обмежує кількість одночасних тестів. Або ж немає бажання проводити тестування всіх цих варіантів для тих самих користувачів. Тоді програма може бути не надто зручною. Прийде заходити в інтерфейс щоразу в момент запуску експерименту. Але існують послуги, які надають ці можливості.
Як провести A/B-тестування за допомогою Google Optimize
Працює Google Optimize за тим же принципом, що багато інших інструментів для тестування.
- На першому етапі створюються тестові варіанти сторінок чи якихось інших об’єктів.
- Потім визначаються ключові показники, за допомогою яких проводитиметься аналіз даних та визначатиметься переможець. Це можуть бути метрики, які вже вбудовані в Optimize, наприклад кількість переглядів сторінок, тривалість сесії, транзакції, дохід і показник відмов. Крім цього, можна вибрати будь-яку кастомну мету з GA.
- Далі потрібно зрозуміти, хто братиме участь у тестуванні, і почати його. Важливо визначитися з тим, скільки потенційних клієнтів побачить експериментальний варіант сторінки. Це може бути половина аудиторії або, скажімо, 20% від неї. Якщо компанія не впевнена у своїй гіпотезі, не варто ризикувати більшим обсягом трафіку.
Optimize дозволяє проводити не тільки стандартне A/B-тестування, але й мультиваріативні тести (коли є декілька мінливих елементів у безлічі комбінацій), а також редирект тести (для сторінок з різним URL та дизайном).
Сервіс від Google створює звіти, які дозволяють відслідковувати хід експерименту та аналізувати зібрані дані одразу після його закінчення.
Терміни у звітах Optimize:
- improvement – ймовірний діапазон для коефіцієнта конверсії (зміни);
- probability to be best — можливість, що новий варіант кращий за інших;
- probability to beat baseline – ймовірність того, що експериментальна версія забезпечить більший коефіцієнт конверсії порівняно з оригіналом;
- conversion Rate – прогнозований середній показник зміни;
- conversions — кількість сесій із конверсіями.
Optimize використовує для розрахунку ймовірності Байєсову статистику. Це означає, що в процесі тестування користувач зможе побачити можливість перемоги варіанта B ще до його закінчення. Якщо вона досягла певного рівня, експеримент може бути завершений достроково, що дозволить заощадити час та фінанси.
Фахівці Google збираються реалізувати в Optimize механізм, який дозволить розподіляти трафік, щоб більша його частка припадала на найкращий варіант до закінчення експерименту. Завдяки цьому можна зробити тестування менш витратним та продуктивнішим.
Інтеграція Optimize з обліковим записом Google Analytics дозволяє переглядати та аналізувати результати тестування в інтерфейсі GA (меню “Поведінка” – “Експерименти”).
Ідеї, ефективність яких варто обов’язково перевірити за допомогою A/В-тестування
Фахівці, які організовують тести, повинні зазнавати нововведень, які справді мають шанси на успіх, а не просто вигадувати будь-які гіпотези та намагатися їх запровадити заради експерименту. Допустимо, нічим не обґрунтована заміна фону на головній сторінці сайту навряд чи призведе до покращення ключових показників.
Маркетолог повинен розуміти, як проводиться A/B тестування. Методика його виконання крім чисто технічних моментів включає пошук способів поліпшення сторінок. Важливо як їх придумати, а й обґрунтувати ймовірну ефективність. Спліт-тестування має просто підтвердити, а іноді й спростувати припущення спеціаліста. Буває й так, що маркетолог перевірив усі ідеї, а потрібний результат так і не отримав.
У цьому випадку можна спробувати впровадити ряд змін і перевірити їх ефективність:
- Використання постійно видимої форми конверсії, яка завжди залишатиметься в полі зору користувача, навіть при прокручуванні сторінки. Її можна помістити у верхній частині екрана – наприклад, зроблено навігаційне меню Facebook.
- Видалення зайвих полів із конверсійної форми. Не всі користувачі бажають залишати персональні дані на сайті.
- Розміщення відео на посадочній сторінці. Такий хід може мати позитивний вплив на деякі показники, наприклад, зменшить кількість відмов, підвищить коефіцієнт конверсії та час перебування на сторінці.
- Збільшення терміну безкоштовного тестування продукту компанії користувачами (актуально для тих, хто продає ПЗ та веб-сервіси). Завдяки цьому можна значно збільшити конверсію.
- Експерименти із кольором кнопок конверсії. Наприклад, яскраво-червоний може як привертати увагу, і викликати роздратування. Щоб з’ясувати, якою буде реакція користувачів на нього, потрібно створити A/B тестування та перевірити гіпотезу.
- Пропозиція якихось бонусів першим 10 чи 100 покупцям (передплатникам). Цікаво, що після завершення акції елемент інтерфейсу з описом цієї можливості, залишений на сайті, може продовжити приносити свої плоди: користувачі будуть також реагувати на нього, навіть не розраховуючи увійти до числа щасливчиків.
Скільки часу займе А/В тестування
Існує спеціальний калькулятор A/B тестування – калькулятор Евана Міллера. Для розрахунку часу проведення експерименту та необхідності цього заходу потрібно мати дані про:
- трафіку на сайті;
- поточної конверсії;
- передбачуваному прирості конверсії.
Калькулятор Евана Міллера дозволить розрахувати кількість показів, потрібну для отримання статистично значущого результату. Співвідношення кількості показів та приблизного трафіку на сайті вкаже, який час займе експеримент і чи варто його проводити.
Якщо тестування триватиме довго, починати його недоцільно: доки йде процес, пропозиція компанії може стати неактуальною, ресурси будуть витрачені даремно. Наприклад, очікувати півроку даних тесту із заміни кольору кнопки на сайті нерозумно, особливо якщо в результаті різниця між варіантами сторінок буде незначною.
Однак бувають і такі тести, які тривають кілька місяців, але є корисними, результативними і можуть окупитися. Компанії, що продають дорогі товари (автомобілі, нерухомість тощо) можуть дозволити собі провести тривале A/B тестування.
Допустимо, трафік на сайті становить 10 000 осіб на місяць. Компанія проводить тести двох popup, що збирають електронні адреси користувачів:
- Передбачувана конверсія popup – 2%.
- Очікуваний приріст конверсії – 20%.
- Тобто, конверсія popup в одному з варіантів може збільшитися до 22%.
Всі дані були внесені в калькулятор, який показав, що кожен з варіантів сторінки потрібно показати 19784 користувачам. З цієї кількості треба відняти ту частину потенційних клієнтів, якій немає необхідності показувати повідомлення (припустимо, тим, чия електронна пошта вже є в основі компанії). Через війну залишається 45 000 користувачів. Потрібно 19784*2 показу. Тестування займе місяць.
Наведемо приклад експерименту з розрахунковою тривалістю 21 рік.
Вихідні дані: трафік на сайті – 10 000 осіб на місяць, конверсія в email – 3%. Компанія хоче з’ясувати, чи впливають емодзі на Open Rate – відношення кількості відкритих листів до кількості надісланих. Для цього проводиться A/B-тестування подання теми листа.
Варіант А: Вам подарунок – 5000 рублів на перше замовлення!
Варіант Б: [Емодзі] Вам подарунок – 5000 рублів на перше замовлення!
Результати тесту:
Open rate варіанта А – 40%.
Open rate варіанта Б – 41%.
Значить, емодзі практично не вплинули на конверсію.
Ввівши дані в калькулятор, фахівець побачить, що потрібно надіслати 37 719 листів на кожен з варіантів, щоб зрозуміти, який вплив емодзі на конверсію. Всього 75438 листів. Маючи конверсію в e-mail 3% та трафік у 10 000 осіб, можна щомісяця надсилати 300 листів. Отже, щоб провести повноцінний експеримент, доведеться витратити 21 рік.
Часті помилки А/В-тестування
Сегментація аудиторії не проведена.
Маркетинг багато в чому базується на сегментації споживачів товарів та послуг. Без цього рівень ефективності просування багаторазово знижується. Компанія має пропонувати покупцям саме те, що їх цікавить, а для цього потрібно знати, які ці інтереси. Важливо розуміти, що всі вони різні навіть у межах виділеної цільової аудиторії.
Для A/B-тестування сегментація також має величезне значення, оскільки, запустивши експеримент загальну масу користувачів, можна отримати абсолютно некоректний результат.
Вибрано дуже маленьку аудиторію для експерименту.
Величина аудиторії прямо пропорційна до надійності результату тестування. Дані будуть вважатися репрезентативними у тому випадку, якщо в експерименті взяли участь хоча б кілька сотень людей.
Тестування включає відразу кілька експериментів.
A/B тестування допомагає визначити ефективність якоїсь конкретної зміни в плані збільшення конверсії. Відповідно, впроваджувати необхідно лише одне нововведення за раз. Змінивши відразу кілька елементів, неможливо буде визначити тестування, який з них вплинув на кінцевий результат.
Однак можна проводити розширене A/B-тестування. Програми, які дозволяють це зробити (наприклад, Carrot quest), пропонують налаштувати для одного автоповідомлення необмежену кількість A/B-тестів. Допустимо, спочатку проводиться експеримент із заголовком листа, після виявлення переможця та закінчення тесту починається тестування CTA, потім тексту повідомлення тощо.
Використовується чужий досвід.
Впровадження результатів чужого успішного тестування на свою роботу явно провально. Кожна компанія має унікальні вихідні дані, і навіть якщо комусь використання яскраво-червоної кнопки на сайті підвищило конверсію, далеко не факт, що це спрацює десь ще. Це з’ясовується лише досвідченим шляхом.
Завищені очікування.
Тестування далеко не завжди забезпечує збільшення конверсії, якого чекають фахівці. Потрібно розуміти, що дворазове зростання цього показника трапляється, проте частіше воно набагато нижче. Однак навіть невеликий результат здатний вплинути на кількість лідів та прибуток.
Тестування добре тим, що його можна використовувати безліч разів, експериментуючи з налаштуваннями, доки не будуть знайдені оптимальні значення.
Інші види тестування
Крім A/B-тестування існують інші типи експериментів подібного плану:
- А/А тест. У разі однакове повідомлення демонструється розділеної на дві частини аудиторії. Так перевіряється, наскільки однорідний трафік, яка якість налаштування спліт-тестування. Цей експеримент проводять як підготовку до A/B-тесту, проте він займає багато часу.
- А/А/Б тест. Його використовують, якщо трафік здається неоднорідним для певної категорії користувачів. Сегмент Б дасть достовірний результат тільки у разі рівності А та А.
- А/Б тест із контрольною групою. У разі користувачі діляться втричі частини: 45 % аудиторії побачать варіант А, 45 % побачать варіант Б, 10 % нічого не побачать. Тестування дозволяє зрозуміти, який вплив повідомлення на користувача. Якщо конверсія в контрольній групі така сама, як у інших або вище, це сигнал до закриття А/Б тесту.
Не варто засмучуватися через невдалі експерименти. Навіть якщо результати були поганими, це все одно використання можливості набути нових знань та досвіду. У майбутньому це дозволить проводити успішніші тести, виходячи з отриманих раніше даних.