Иногда кажется, что улучшить уже работающий лендинг довольно просто: поменять визуал, добавить вопрос в квиз, сделать интерфейс чище или немного передвинуть CTA. На практике даже небольшое изменение может стоить нескольких процентов выручки — а иногда сразу десятков.
Constructor от ProPush.me как раз построен вокруг идеи быстрого запуска: можно взять готовый лендинг с уже проверенной механикой, разместить его у себя, доработать при необходимости с помощью AI Assistant и начать лить трафик буквально за несколько часов.
Готовый вариант можно вообще не менять. Но у медиабаинговых команд почти всегда появляются собственные идеи: другой текст, новый дизайн, дополнительные шаги воронки, механики удержания пользователей и так далее. А значит, начинается тестирование.
И вот здесь интереснее всего не успешные тесты, а провалившиеся.
Мы собрали шесть реальных примеров из практики клиентов ProPush.me, которые активно используют Constructor. Названия клиентов и офферов мы не раскрываем, но результаты и цифры реальные.
Важно: иллюстрации к статье не являются оригинальными лендингами клиентов — мы используем похожие примеры, чтобы показать механику, не раскрывая их материалы.
Кейс №1. Спортивный кликер, который пришлось остановить через два часа
Клиент из entertainment-вертикали решил адаптировать классический clicker landing под спортивную тематику. Логика выглядела разумно: сезонный визуал должен был повысить вовлеченность, а сама механика оставалась знакомой — пользователь несколько раз нажимает на объект и переходит к следующему этапу.
Но результат оказался противоположным.
Через два часа тест остановили. Новый вариант приносил на 35% меньше выручки. На 26% меньше пользователей вообще начинали проходить опрос, а среди начавших до основного exit доходило на 35% меньше людей.
Получилось, что потери постепенно накапливались на каждом этапе воронки.
Что пошло не так?
В оригинальном лендинге повторные клики воспринимались как часть понятной игровой механики. Пользователь видел прогресс, понимал, зачем нажимает, и чувствовал, что его действия ведут к результату.
После смены тематики та же механика стала выглядеть случайной. Пользователь уже не понимал, почему ему нужно несколько раз нажимать на элемент. Плюс новый welcome screen хуже подталкивал к следующему действию.
Вывод: нельзя просто перенести механику успешного лендинга в другой визуальный контекст и рассчитывать, что она продолжит работать так же. Если меняется тематика, нужно проверить, остается ли понятной сама логика взаимодействия.
И здесь короткий тест как раз спас деньги. Если новый вариант уже в первые часы серьезно проигрывает контролю, нет смысла продолжать заливать в него полноценный бюджет.
Комментарий Карины Архангельской, директора по продажам Propush.me:
Хорошая новость в том, что короткий тест на 1–2 часа позволил быстро увидеть проблему и не продолжать эксперимент, который дальше просто сжигал бы бюджет. Поэтому перед полноценным запуском мы всегда рекомендуем делать такой «разогревочный» тест: нескольких часов часто достаточно, чтобы понять, стоит ли масштабировать новый вариант.
Кейс №2. Один дополнительный вопрос — минус 18% выручки
Второй пример — многоступенчатый survey offer.
Команда одновременно подготовила несколько вариантов. В одном ускорили таймер, в другом добавили дополнительные вопросы в начале опроса.
Гипотеза с вопросами была вполне логичной: больше взаимодействий с пользователем должны повысить вовлеченность и одновременно помочь лучше сегментировать трафик.
Но версия с дополнительными вопросами закончила тест с −18% revenue.
Перенос вопроса о возрасте на первый экран почти вдвое увеличил объем трафика, уходящего в Age Exit. Сам по себе этот показатель выглядел хорошо.
Проблема была в другом.
Одновременно исчезла часть TabUnder-трафика, а до основного exit стало доходить примерно на 30% меньше пользователей.
Получился классический пример локальной оптимизации: один показатель вырос, но вся воронка в итоге стала приносить меньше денег.
Версия с более быстрым таймером, кстати, показала около +2% revenue. Но даже этот небольшой выигрыш оказался нестабильным в разных зонах монетизации.
Что отсюда следует?
При изменении середины воронки нельзя смотреть только на тот этап, который вы хотели улучшить.
Добавили вопрос? Посмотрите не только на его conversion rate, но и на то, что произошло до и после него.
В данном случае дополнительный шаг действительно увеличил показатели одного exit, но одновременно отвлекал часть пользователей от первого клика, запускающего основную механику монетизации.
И еще одно важное правило: один тест — одна гипотеза.
Если одновременно поменять таймер, количество вопросов, их последовательность и дизайн кнопки, даже победивший вариант мало чему вас научит. Вы просто не будете знать, какое именно изменение дало результат.
Хотите проверить три идеи — проведите три последовательных теста.
Комментарий Карины Архангельской, директора по продажам Propush.me:
Не стоит менять несколько переменных одновременно. Если в одном тесте поменять таймер, количество вопросов и их порядок, потом невозможно будет понять, что именно ухудшило результат, а что, наоборот, сработало. Принцип простой: один тест — одна гипотеза. Хотите проверить три изменения — лучше провести три последовательных теста.
Кейс №3. Почти одинаковые лендинги и −6% revenue из-за небольшой UX-детали
Следующий тест особенно хорошо показывает, насколько обманчивым может быть визуальное сравнение лендингов.
Команда подготовила четыре варианта одного clicker landing. Структура и основная механика практически не менялись. Отличались фон, вид кликабельных объектов и отдельные элементы оформления.
Если открыть варианты рядом, разница минимальна.
Но один из них — с камнями, меняющими цвет после клика, — принес примерно на 6% меньше revenue, чем контроль.
Еще два визуально очень похожих варианта тоже заметно проиграли.
Лучший вариант при этом обошел оригинал всего примерно на 2%.
Почему несколько процентов здесь имеют значение?
Около 80% revenue в этой воронке приходилось на основной exit. Поэтому даже небольшое падение доли пользователей, доходящих до конца, напрямую било по деньгам.
Причину нашли в совсем небольшой UX-детали: анимация подсветки камней происходила немного не там, где пользователь нажимал.
На скриншоте это практически невозможно заметить. Во время взаимодействия — достаточно, чтобы нарушить ритм кликов.
Часть пользователей уходила, часть просто реже доходила до конца.
Вывод: если лендинг построен на быстрых повторяющихся действиях, финансовое значение имеет буквально каждый элемент UX.
Два варианта могут казаться практически идентичными и при этом показывать совершенно разный результат.
Более того, иногда главная ценность A/B-теста заключается даже не в том, чтобы узнать победителя, а в том, чтобы понять, почему он победил.
Кейс №4. Сделали лендинг «чище» — потеряли 10% revenue
Один из работающих лендингов содержал дополнительный элемент, который после определенных действий пользователя направлял трафик в отдельную monetization zone.
Команда решила проверить вполне классическую UX-гипотезу: если убрать лишний элемент, интерфейс станет проще, пользователь будет меньше отвлекаться и конверсия основного flow вырастет.
Подготовили две версии: в одной элемент упростили, во второй убрали полностью.
Обе принесли примерно на 10% меньше revenue, чем оригинал.
Основное падение пришлось на дополнительные зоны монетизации — количество impressions снизилось примерно на 11–12%.
При этом конверсия основного сценария практически не изменилась.
То есть ожидаемой компенсации не произошло: дополнительную монетизацию убрали, но основной flow от этого лучше работать не стал.
Красивее не всегда прибыльнее
Это довольно важный урок для любых оптимизаций.
Хороший UX и хорошая монетизация — не одно и то же.
Иногда элемент может действительно казаться лишним с точки зрения дизайна, но при этом стабильно приносить часть revenue.
Поэтому перед тем, как убрать «ненужный» блок из работающего лендинга, полезно сначала разобраться, какую роль он играет в экономике всей воронки.
Иногда некрасивый, старый или странный на первый взгляд элемент оказывается настоящей рабочей лошадкой.
Проигравший вариант, кстати, не выбросили полностью. Его оставили как альтернативный лендинг для тестирования качества отдельных источников трафика, хотя для основного потока и whitelist-кампаний он не подошел.
Кейс №5. Лендинг проиграл второй раз — и все равно оказался полезным
Не каждый проигравший A/B-тест нужно отправлять в корзину.
Один из клиентов ProPush.me переработал собственный лендинг после неудачного первого теста. В первой версии до основного exit доходило примерно вдвое меньше пользователей, чем на контрольном лендинге.
Команда внесла изменения и запустила тест повторно.
И снова проиграла.
В среднем новая версия по-прежнему монетизировалась хуже контроля, а до главного exit доходило на 33% меньше пользователей.
Можно было бы закрыть эксперимент на этом.
Но команда сегментировала результаты — и картина изменилась.
На некоторых источниках разница практически исчезала. А в кампаниях с CPA-моделью новый лендинг вообще показывал результат лучше оригинального.
В итоге его не удалили, а отправили в отдельный поток.
Средний проигрыш может скрывать локальную победу
Если смотреть только на общий revenue, полезную связку легко не заметить.
Поэтому результаты тестов стоит разбивать как минимум по:
- источникам;
- GEO;
- типам трафика;
- устройствам;
- модели кампании.
Лендинг, который проигрывает 10% в среднем, вполне может выигрывать 15% на одном конкретном сегменте.
Еще одна полезная практика — не удалять неудачные тесты навсегда.
Храните их как архив гипотез. Через несколько месяцев могут измениться источники, аудитория или рынок — и старая версия внезапно окажется актуальной.
Кейс №6. Новый Social-лендинг: хорошая идея, но слабые кнопки
В Social-вертикали команда решила довольно серьезно поменять формат лендинга.
В одной версии появился pre-pop с дополнительным вопросом для сегментации пользователей. Второй вариант сделали без pop-up. Оба одновременно сравнивали с классическим контрольным лендингом.
Уже в первые часы стало понятно, что эксперимент неудачный.
Обе новые версии заметно проигрывали оригиналу.
Вариант без pop-up показывал хуже результаты практически на всех этапах funnel, а до конца лендинга доходило на 55–60% меньше пользователей.
Тест быстро остановили.
Причина оказалась намного проще гипотезы
Команда собиралась проверить новый формат survey.
Но кнопки перехода на следующих шагах в новых версиях оказались физически меньше. На первый взгляд дизайн выглядел почти так же, однако CTA стали менее заметными.
Кроме того, персонажи на новых креативах привлекали меньше внимания.
Получилось, что вместо проверки новой логики опроса команда фактически сравнивала оригинальный лендинг с вариантом, где одновременно ослабили CTA и визуал.
Вывод: небольшие детали — размер кнопки, контрастность, заметность изображения — иногда влияют на результат сильнее, чем большая дизайнерская концепция.
Если переделываете уже работающий лендинг, постарайтесь сначала определить, какие его элементы обеспечивают результат. Даже если пока не до конца понятно почему.
Именно поэтому контрольная ветка должна работать одновременно с тестом. Сравнение с исторической статистикой намного менее надежно: на нее влияют сезонность, изменение качества трафика, источники и множество других факторов.
При живом контроле серьезное падение обычно видно уже в первые часы.
Комментарий Карины Архангельской, директора по продажам Propush.me:
Самая надежная страховка при A/B-тестировании — всегда оставлять контрольную ветку параллельно с новым вариантом. Без нее придется сравнивать результат с историческими данными, на которые влияют сезонность, изменение качества и источников трафика и множество других факторов. А при живом контроле серьезное падение обычно становится заметно уже в первые часы.
10 правил A/B-тестирования лендингов
Если собрать опыт этих и других тестов в Constructor, получится довольно практичный чек-лист.
1. Всегда оставляйте живой контроль.
Сравнение с результатами прошлой недели или прошлого месяца может вводить в заблуждение из-за изменений трафика и сезонности.
2. Начинайте с короткого тестового запуска.
Несколько часов часто достаточно, чтобы увидеть катастрофическое падение. Если новый вариант сразу проигрывает на 30%, продолжать жечь бюджет ради красивой статистики нет смысла.
3. Следите за всей воронкой.
Revenue показывает итог, но не объясняет причину. Смотрите, на каком именно шаге начали теряться пользователи.
4. Сегментируйте результаты.
Проигрыш в среднем может скрывать выигрыш на конкретном GEO, source или device.
5. Проверяйте качество трафика.
Иногда результат теста портит один аномальный источник.
6. Меняйте одну переменную за раз.
Иначе невозможно понять, что именно повлияло на результат.
7. Не делайте выводы на слишком маленькой выборке.
Разница в несколько процентов может оказаться обычным статистическим шумом.
8. Не удаляйте проигравшие лендинги сразу.
Они могут оказаться эффективными для отдельного сегмента или пригодиться позже.
9. Не ставьте знак равенства между UX и монетизацией.
Упрощение интерфейса не гарантирует рост revenue.
10. Разбирайтесь не только в том, что победило, но и почему.
Именно понимание причины позволяет повторить результат в следующих тестах.
Вместо заключения от Карины Архангельской
Constructor позволяет начать с готового лендинга, где ключевые механики уже проверены, и довольно быстро запустить на него трафик.
Для многих кампаний этого будет достаточно.
Но чтобы получать результат выше среднего, рано или поздно придется кастомизировать лендинги. А любая кастомизация неизбежно приводит к тестам — и часть этих тестов обязательно окажется неудачной.
В этом нет ничего необычного.
Сильные команды отличаются не тем, что каждая их гипотеза выигрывает. Они быстрее понимают, почему тест проиграл, сохраняют полученные данные и переходят к следующему варианту.
Тем более сегодня, когда AI-инструменты позволяют создавать и переделывать варианты лендингов намного быстрее, стоимость новой итерации становится все ниже.
Поэтому главные правила довольно простые: тестируйте чаще, не останавливайтесь после первого неудачного варианта и всегда держите контрольную ветку.
А дальше — смотрите на цифры.
Источник