148 Работа с Facebook чем-то напоминает поиск черной кошки в темной комнате, когда у тебя завязаны глаза. Но если нельзя идти на свет, то мы пойдем на звук. Шорохи в противоположной части комнаты подсказывают, что точного ответа на вопрос, сколько тестировать оффер и с каким бюджетом, нет, но есть чек-лист, который сделает тесты проще и интуитивнее. Для этого обратимся к статистике.
Правило 3 дней и 50 конверсий
Facebook хочет получить 50 конверсий перед полной оптимизацией рекламы, а зарубежные affiliate-блогеры советуют не трогать только что залитые объявления на протяжении трех дней.
3 дня смотреть, как бюджет сливается в минус, и ждать окончания обучения Facebook — звучит удручающе. Даже при идеальной цене лида в бурже — 200 рублей (кто не мечтает о такой при выплатах 20$?). 50 таких конверсий обойдутся в 10 000 рублей. Так себе математика, если учесть что лидов может не оказаться совсем. Слишком много расходов, чтобы понять, что объявление не работает.
Объявления, которые ничего не спасет
Если объявление зашло хорошо, это будет заметно практически сразу. Но если оно изначально работает плохо, то спустя 3 дня чуда не произойдет, и 50 конверсий не прилетят в один момент.
Для того чтобы понять, насколько хорошо или плохо зашло объявление, нужно определить критические значения цены клика, лида и CTR для конкретного гео, выплаты, среднего апрува и конверсии. После — сравнить их с полученными показателями.
Допустимая стоимость лида
Стандартная формула ROI имеет вид:
ROI=(Доход от вложений за период–размер вложений за период)/размер вложений за период.
Разложим каждую составляющую формулы на отдельные компоненты, получим:
ROI=(выплата*количество лидов*апрув–цена лида*количество лидов)/цена лида*количество лидов.
Другими словами, путем математических действий получим, что:
ROI=(выплата*апрув–цена лида)/цена лида.
Универсальная формула допустимой цены лида, в которую вы можете подставить желаемый ROI и другие показатели:
Цена лида=выплата*апрув (в десятичном формате)/(ROI (в десятичном формате)+1)
Вы можете корректировать допустимый уровень ROI, который вы ожидаете от тестов. Это может быть как 0%, так 10% или 50% или -50%, если, например, вы хотите получить информацию о целевой аудитории оффера, чтобы после использовать эти данные в рекламной кампании.
Расчет допустимых показателей с помощью таблицы
Чтобы каждый раз не пересчитывать эти показатели вручную, мы подготовили для вас таблицу со всеми расчетами. Вы можете перейти по ссылке или скачать шаблон таблицы с расчетом допустимых показателей (прикрепили его к посту). По ходу статьи мы будем еще не один раз к ней возвращаться.
Вот так выглядит таблица:
В пункт 1 устанавливается значение выплаты по офферу.
Пункт 2 — желаемое значение ROI. В таблице они по умолчанию выставлены с порогом 50%.
Пункт 3 — возможный апрув по офферу.
Пункт 4 — возможный коэффициент конверсии
Пункт 5 — средний CPM по гео.
Полученные данные помогут сориентироваться в первоначальных результатах. То есть ответят на вопрос, за рамки каких показателей не нужно выходить, чтобы получить ROI 0%, 50% и т.д.
Расчет допустимых показателей на примере
К примеру, чтобы отработать в ноль на оффере Flawless Brows ES при апруве 42% и выплате 15$ (около 960 рублей), лид должен стоить 403 рубля. Средний CPM на аналогичном оффере по Испании — 450 рублей.
Тогда получим следующие критические показатели:
Зеленым таблице выделены критические показатели стоимости лида, клика для разных значений конверсии и CTR.
Вручную стоимость клика и CTR можно рассчитать следующим образом.
Допустимая цена клика=цена лида*средний CR.
К примеру, если средний CR по офферу 3%, значит, допустимая цена клика — 12,1 рубля.
Зная эти цифры, будет легче ориентироваться в том, зашла ли кампания хорошо, или результаты катастрофически ужасные.
Цена клика=CPM/1000*CTR,
CTR=CPM/1000*CPC.
По этой формуле можно ориентироваться по показателям CPM и CTR. Да, CPM никогда не бывает одинаковым, но среднюю стоимость тысячи показов можно определить из прошлых кампаний.
Средний CPM по выбранной аудитории — 450, значит, критический CTR равен 3,72%.
Ура — мы закончили первый этап прогнозирования показателей при тестах!
Лид за 30 рублей и 2 клика
Или сколько нужно слить кликов и лидов, чтобы понять, что объявление нужно выключить?
Не стоит откупоривать бутылку шампанского, если клики по рублю или лид пришел со второго клика и обошелся в 30 рублей. Такие данные статистически не значимы, и спустя несколько сотен слитых рублей лид за 30 может стать лидом за 300 или 500.
Статистическую достоверность в первую очередь нужно проверять для критических показателей. Так вы узнаете, когда объявление точно можно выключать.
Сколько тестировать оффер, чтобы получить достоверные данные
При получении первых данных по кликам и лидам нужно оценивать достоверность результатов.
Проверка статистической значимости показателя кликабельности
Влияет ли количество слитых кликов на CTR? Сколько нужно слить кликов, чтобы понять, что полученный CTR стабилен?
Мы проанализировали данные более 15 кампаний на разных гео и пришли к выводу, что для того, чтобы получить достоверный показатель CTR достаточно 15–20 кликов. После 20 кликов среднее значение кликабельности может меняться, но уже не так значительно.
Если первые данные в несколько раз выше критических, например, клики по 100 рублей на недорогом гео, то 20 кликов можно не ждать. В обычных же случаях проверяем значимость кликабельности по таблице.
Проверяемое число (1) — значение показателя CTR, которое необходимо проверить.
Необходимое число событий (2) — сколько кликов необходимо получить для проверки достоверности. По умолчанию стоит 20.
Количество показов (3) — сколько показов уже сделано в рекламной кампании.
Размер выборки (4) — сколько нужно показов, чтобы достоверность данных была доказана.
Значимость (5) — соотношение количества сделанных показов и размера выборки. Чем ближе к 1, чем выше значимость.
То есть если CTR в вашей кампании 1%, но вы сделали только 100 показов и получили 1 клик, то данные недостоверны. Вам нужно сделать 2 000 показов, чтобы получить стабильный показатель, который можно брать как основу дальнейшего анализа.
Проблема в определении значимости показателей в том, что при каждом показе они все меняются, и проследить, какой именно пункт повлиял на общую картину в конкретный момент невозможно. На практике завтра CPM может вырасти в два раза или FB может начать отсыпать нерелевантную аудиторию из-за сбоя в аукционе. Именно поэтому нужно отслеживать изменение всех показателей в комплексе.
Важно: не забывайте проверять, какой пласт аудитории из выбранной дал Facebook. Если вы льете на широкую, то прежде чем делать общий вывод, посмотрите, сколько действий было совершено отдельными категориями аудитории, а после принимайте решение.
Проверка статистической значимости показателя конверсии
С лидами все немного сложнее: они дороже, чем клики, а бюджет на тесты ограничен. Поэтому сначала мы определим критический показатель конверсии, который нужно проверить. Все, что ниже его, дает отрицательные результаты.
Для этого перейдем к таблице, которая называется калькулятор критического показателя конверсии.
Здесь СPC (1) — полученная стоимость клика,
CPL (2) — критическая стоимость лида, которую мы определили на начальном этапе,
CR (3) — минимальный уровень конверсии, который позволит выходить в плюс при данных показателях.
Последним шагом проверяем достоверность показателя конверсии.
Все то же самое, что и в проверке достоверности кликабельности, только необходимое число событий снижено до трех. Размер выборки — количество кликов, которое нужно получить для того, чтобы проверить показатель конверсии.
То есть если вы слили более 116 кликов, но так и не получили лид, на 117 клике на 118 клике 2 лида уже точно не придут. Следовательно, показатель конверсии будет ниже критического, и объявление будет работать в минус.
Важно: если коэффициент кликабельности и конверсии достоверны, то вы можете считать, достоверными стоимость клика и лида.
Достоверность результатов при сплит-тестировании
Разница между двумя объявлениями не всегда очевидна, поэтому, выбирая победителя в тестах, можно воспользоваться специальным калькулятором. Например, такой есть у ABTestGuide.
Все просто.
Берете два объявления, результаты которых хотите сравнить. Заполняете данные по посетителям и конверсиям (или показам и кликам) и нажимаете “Apply changes”. Зеленый цвет значит, что результаты значимы. Что круто: в данном калькуляторе есть математическое обоснование выводов. В данном случае графики показывают, что вариант B статистически значимо имеет лучшие результаты, чем А.
Инсайты по эффективным тестам:
- Определяйте критические показатели, все, что ниже их — стоит отключать
2. Оптимизация не спасает очень неудачные объявления, их лучше сразу отключить или перезалить еще раз
3. Проверяйте достоверность полученных показателей
4. При проверке достоверности ориентируйтесь не на слитый бюджет, а на количество полученных событий
5. Обращайте внимание на изменение каждого показателя во время тестирования
6. При сплит-тестировании разница в результатах может быть не очевидна, поэтому лучше пользоваться специальным калькулятором.
Слитые в минус деньги на тесты не пропадают зря. Они дают информацию: какие объявления работают, а какие нет, какую аудиторию стоит исключить и так далее. В любом случае, не упускайте возможность сделать свои тесты чуточку эффективнее, а статистика поможет это сделать!
Источник: https://vk.com/@leadrock-effektivnye-testy-statisticheskii-podhod-pri-testirovanii-of
