Как сравнить ценность iGaming-партнеров с помощью когортного анализа

Первый депозит говорит о том, что партнер привел платящего игрока. Сколько этот игрок принесет дальше, по нему не видно. Два партнера с одинаковым числом FTD через два месяца могут дать оператору противоположный результат: у одного игроки возвращаются и вносят повторные депозиты, у другого пропадают после приветственного бонуса.

Эту разницу показывает когортный анализ – способ оценить качество трафика после первого депозита. Игроков группируют по дате прихода и сравнивают на одинаковом сроке после FTD. По такой таблице видно, кому из партнеров поднять лимит, с кем пересмотреть ставку CPA и когда данных еще слишком мало для вывода.

Одинаковое число FTD, разное продолжение: пример двух партнеров

Возьмем двух партнеров, которые в июле привели оператору по 100 игроков с первым депозитом. Оператор платит обоим по CPA, $50 за FTD, то есть по $5 000. Здесь и дальше примеры условные и упрощенные: NGR считается как GGR минус бонусы, а налоги, платежные комиссии и курсовые разницы не учитываются.

По FTD и депозитам за первый месяц партнеры почти не отличаются. У X 500 регистраций и 100 FTD, у Y 400 регистраций и те же 100 FTD, поэтому конверсия регистраций в депозит (Reg2Dep) у Y даже выше: 25% против 20%. В примере все FTD пришли из регистраций того же месяца. Сумма депозитов к 30-му дню у обоих $30 000. Разница видна только в NGR: игроки X к этому дню принесли оператору $6 000, игроки Y – $3 000. Первые 30 дней совпадают с примером из статьи о KPI партнерской программы.

Сравнение партнеров X и Y: регистрации, FTD, Reg2Dep, средний первый депозит, депозиты и NGR к D30 и D60, выплата по CPA и результат оператора

Рисунок 1. Одинаковые 100 FTD, через 60 дней разница $6 400

Через 60 дней разрыв становится больше. NGR по игрокам X доходит до $10 200, по игрокам Y – до $3 800. После выплаты по CPA оператор зарабатывает на когорте X $5 200 и теряет на когорте Y $1 200. Оба партнера получили одинаковые деньги за одинаковое число FTD, а результат разошелся на $6 400.

Средний первый депозит у Y вдвое больше, $120 против $60, но значительную часть дохода с этих денег забирают бонусы. Во втором месяце после первого депозита депозиты вносят 33% игроков X и 12% игроков Y, и на второй месяц приходится больше половины разницы в NGR: $3 400 из $6 400.

После первого депозита остаются три вопроса, на которые FTD не отвечает: возвращаются ли игроки, сколько повторных депозитов они вносят и сколько NGR остается после бонусов. Reg2Dep на них тоже не отвечает, он описывает только первый шаг игрока. В пересчете на одну регистрацию к 60-му дню игроки X приносят $20,4 NGR, игроки Y – $9,5.

Reg2Dep у партнеров X и Y и NGR к D60 на одну регистрацию

Рисунок 2. Reg2Dep выше у Y, NGR на регистрацию выше у X

Как читать когортную таблицу без сложной теории

Когортную таблицу удобнее всего показывать тепловой картой. На рисунке 3 игроки партнера X разбиты по неделям первого депозита, а в ячейках стоит доля игроков, которые внесли депозит в соответствующую неделю после первого депозита.

Тепловая карта удержания партнера X: недельные когорты FTD с 6 июля по 24 августа, доля игроков с депозитом на 1-8 неделе после FTD

Рисунок 3. Как читать когортную таблицу: партнер X по неделям

Сначала стоит смотреть сверху вниз по одному столбцу. В столбце все когорты сравниваются на одном сроке после FTD. На 4-й неделе у партнера X депозиты вносят от 32 до 35% игроков любой когорты, кроме акционной: удержание от недели к неделе стабильно. Потом строку читают слева направо: когорта 6-12 июля теряет активных игроков быстрее всего в первые три недели, с 48 до 35%. За следующие пять недель она теряет еще 9 процентных пунктов.

Три места на карте проверяют отдельно:

• Яркая первая неделя. Когорта 3-9 августа пришла на акцию с повышенным бонусом. В первую неделю активны 65% игроков, к третьей – 29% против 36-37% у соседних когорт. Похоже, часть игроков пришла за бонусом и ушла после отыгрыша.
• Маленькая когорта. В неделе 17-23 августа всего 9 FTD, и каждый игрок меняет ячейку на 11 процентных пунктов. 67% в первую неделю здесь – шесть человек.
• Пустые ячейки. К дате среза эта неделя прошла не у всех игроков когорты. Данных за нее еще нет, поэтому считать ячейку нулем нельзя, и в среднее по столбцу такие когорты не входят.

Если проседает диагональ, сначала смотрят на календарь. На одной диагонали лежит одна и та же календарная неделя для разных когорт, и общая просадка чаще связана со сбоем платежей, техническими работами или праздниками, чем с качеством партнера. Если та же просадка есть у других партнеров, дело не в трафике.

Цвет на такой карте показывает только то, что выбрано метрикой. Здесь это доля активных игроков, и яркая ячейка ничего не говорит о деньгах: активные игроки акционной недели могли отыгрывать бонус и принести оператору минус. Чтобы увидеть деньги, строят ту же карту по накопленному NGR на один FTD.

Коротко о терминах:

• Когорта – игроки, которые совершили одно и то же событие входа в один период, например первый депозит на неделе 6-12 июля.
• Возраст когорты – сколько дней или недель прошло после события входа.
• Дата среза – последний день, данные которого вошли в отчет.
• Удержание (retention) – доля игроков когорты, которые выполнили выбранное действие в заданном окне. В примерах статьи это депозит.
• Накопительный показатель – сумма от дня входа до выбранного дня, например NGR когорты за первые 30 дней.

Как собрать сопоставимые группы игроков

Сравнение когорт корректно, когда у всех групп одно событие входа, одна дата среза и понятный размер. Эти три вещи фиксируют до первого отчета и не меняют по ходу анализа.

Событие входа. Когорта по регистрации отвечает на вопрос, сколько игроков доходит до депозита и за какой срок. Для оценки трафика после первого депозита удобнее когорта по FTD: в ней только заплатившие игроки, и она совпадает с событием, за которое оператор платит по CPA. Если начать с регистраций, а потом перейти на FTD, цифры до и после станут несравнимы: игрок, зарегистрированный в июле и заплативший в августе, перейдет из одной когорты в другую.

Дата среза и горизонт. Дата среза фиксируется одна на весь отчет. Горизонт D30 или D60 доступен когорте только тогда, когда его достиг самый молодой игрок. Самому молодому игроку когорты 3-9 августа к 4 октября исполнилось 56 дней, поэтому D60 для нее еще не посчитан.

Рисунок 4. Возраст когорты считают от события входа до даты среза

Разрезы. Основной разрез – партнер. Дальше когорту делят только под конкретный вопрос:

• продукт или бренд, если у них разные бонусные условия;
• метки партнера (subID), если нужно понять, какая из его площадок дает игроков, которые уходят после бонуса;
• страна, если партнер приводит игроков из регионов с разным средним депозитом;
• ссылка или промокод, если партнер использует и то, и другое.

Каждый разрез дробит когорту, поэтому рядом с каждым значением стоит размер группы в FTD. Порог, ниже которого команда не делает выводов, задают заранее. В учебном примере это 20 FTD: когорта 17-23 августа с 9 FTD в сравнение не входит.

Как собрать такую когорту в Alanbase

Когорты строятся в разделе «Статистика» на вкладке «Когортный анализ». Фильтры и столбцы в ней настраиваются так же, как в обычной статистике.

1. Период и условие когорты. Период – даты, когда игроки совершили событие входа. Условие – цель, по которой игрок попадает в когорту, например регистрация или первый депозит.
2. Группировка когорты. По дням, по 7, 10 или 15 дней, по месяцам, по офферам или по партнерам. Для сравнения партнеров выбирают «по партнерам», для разбивки по времени – «по дням», «по 7 дней» или «по месяцам».
3. Горизонт. Общий период статистики задает, до какого дня смотреть на когорту. Для горизонта D30 он заканчивается через 30 дней после последнего дня периода когорты.
4. Столбцы. Показатели и собственные формулы: регистрации, FTD, повторные депозиты, выводы, ставки, GGR, NGR, выплата партнеру. Из них собирают столбец «NGR минус выплата».
5. Фильтры. Продукт, оффер, страна, Sub ID, источник трафика (клики или промокоды), менеджер партнера. У сети со своими вебмастерами когорту фильтруют по WebID. Готовый отчет выгружают в CSV или XLSX.

Настройки когорты в Alanbase: период, условие когорты и варианты группировки, демо-данные

Рисунок 5. Настройки когорты в Alanbase: условие и группировка. 

Так выглядит готовая таблица с группировкой по партнерам: игроки, зарегистрированные за одну неделю, и все, что они сделали за следующие три месяца. У партнера со 100 регистрациями 2 FTD, у партнера с 47 регистрациями – 10 FTD: по числу регистраций нельзя судить о платящих игроках.

Когортный анализ в Alanbase с группировкой по партнерам: регистрации, FTD, повторные депозиты, выводы, ставки, выплата и прибыль, демо-данные

Рисунок 6. Когорта регистраций 1-7 декабря с группировкой по партнерам. 

Хотите такую таблицу по своим партнерам? Напишите нашему менеджеру: на демо покажем, как собрать когорты с вашим событием входа и формулой NGR, а после откроем полный доступ на 14 дней без привязки карты.

Что смотреть на D0, D7, D30 и D60

D0 – день входа в когорту, в нашем случае день первого депозита. D7, D30 и D60 – выбранные горизонты. У каждого показателя два вида: значение за окно между горизонтами и накопленное с D0. Если их смешать в одной таблице без пометок, читатель сравнит оборот за одну неделю с оборотом за два месяца.

Таблица показателей партнеров X и Y на D0, D7, D30 и D60: активные игроки, повторные депозиты, GGR, бонусы, NGR за окно и накопительно, NGR минус выплата

Рисунок 7. Что видно на D0, D7, D30 и D60: партнеры X и Y

Удержание. За окно считают игроков, которые внесли депозит именно в эти дни. В первую неделю партнеры близки: 48% у X и 44% у Y. В окне с 8-го по 30-й день у Y активна уже почти вдвое меньшая доля, 22% против 41%. Накопительная версия отвечает на другой вопрос: сколько игроков хотя бы раз вернулись с повторным депозитом. К D60 это 66% игроков X и 53% игроков Y, разница меньше, чем в окнах после первой недели. Игроки Y возвращаются в первые дни и быстро пропадают, игроки X продолжают вносить депозиты и во втором месяце.

Повторные депозиты. В окне D31-D60 игроки X внесли $16 000, игроки Y – $3 500. У Y почти половина повторных депозитов за 60 дней, $10 000 из $21 500, пришлась на D0 и первую неделю. У X на это время пришлось $8 000 из $40 000, остальное игроки внесли позже.

Доход и затраты. По накопленному NGR на D7 партнеры неразличимы: $1 900 и $1 800. К D30 у X вдвое больше, к D60 – почти втрое. Все затраты по CPA приходятся на D0: оператор платит $5 000 сразу и дальше возвращает их из NGR. Поэтому накопленный результат стартует с минуса у обоих и пересекает ноль только у X.

График накопленного NGR минус выплата по CPA для партнеров X и Y на D0, D7, D30 и D60

Рисунок 8. На D7 партнеры неразличимы, к D60 расходятся на $6 400

У каждого горизонта своя задача:

• D0 показывает размер первого депозита и то, сколько из него сразу ушло на бонусы. У Y в первый день бонусы составили $2 000 при GGR $2 500.
• D7 годится как ранний сигнал о технических проблемах и явном фроде, но ценность игроков по нему оценивать рано.
• D30 – первая оценка: X уже в плюсе на $1 000, Y в минусе на $2 000.
• D60 в этом примере – горизонт решения по ставке CPA. Для партнеров на RevShare горизонт нужен длиннее: выплата идет, пока игрок приносит NGR.

В таблице только наблюдаемые значения. Если команда продлевает кривую до D180 и называет результат LTV, это прогноз. Его держат в отдельной строке с подписью метода и не складывают с уже полученным NGR.

Как сравнивать партнеров, которые пришли в разные даты

Нового партнера хочется сравнить с теми, кто работает давно, и здесь проще всего ошибиться. Партнер Z подключился в сентябре и за неделю 21-27 сентября привел 30 FTD. К дате среза, 4 октября, самому молодому его игроку 7 дней, поэтому для сравнения доступен только D7. К D7 игроки Z принесли $720 NGR, или $24 на один FTD. Июльские игроки X за 60 дней принесли по $102. Если положить эти числа рядом, Z выглядит в четыре раза хуже, хотя его игроки прожили более чем в восемь раз меньше.

Корректное сравнение идет на одинаковом достигнутом возрасте, и возраст выбирают по самой молодой когорте. Z дошел до D7, значит и X берут на D7: там у него $19 на FTD против $24 у Z.

Сравнение партнеров X и Z по накопленному NGR на один FTD: неверно – разный возраст когорт, верно – одинаковый возраст D7

Рисунок 9. Новых партнеров сравнивают на том же возрасте когорты

У этого сравнения есть слабое место – размер выборки. Один игрок Z принес $300 из $720. Без него остается $420 на 29 игроков, то есть $14,5 на FTD, и Z уже слабее X. Строго говоря, крупнейшего игрока нужно убрать и из когорты X, но в когорте из 100 FTD один игрок сдвигает среднее гораздо меньше. Вывод из 30 игроков и одной недели зависит от одного человека, поэтому ранжировать партнеров по нему рано. Рядом со средним значением полезно показывать то же значение без самого крупного игрока: если вывод меняется, данных пока мало.

Есть и другие причины, по которым молодая когорта выглядит лучше или хуже, чем есть:

• Неполные данные. Отмены ставок, возвраты платежей и корректировки бонусов приходят с задержкой. Они могут изменить последние дни перед датой среза, а у молодой когорты на эти дни приходится большая часть ее истории.
• Сезон и акции. Июльская когорта X и сентябрьская когорта Z пришлись на разные турниры и акции оператора. Надежнее сравнивать Z с сентябрьскими когортами других партнеров того же типа.
• Начало сотрудничества. В первые недели партнер может тестировать площадки, и состав его трафика еще меняется. Первая когорта может быть не похожа на третью.

Часть недобросовестного трафика тоже проявляется только после первого депозита: игроки отыгрывают бонус, выводят деньги и больше не возвращаются. Инструменты, которые помогают отсечь такие схемы раньше, мы разбирали в обзоре «Больше контроля, меньше рутины».

Какие решения проверять по когортам

Когортный отчет приносит пользу, когда по нему принимают решение о партнере. У каждого такого решения есть данные, на которые оно опирается, и ограничение, которое может его опровергнуть. В учебном примере таких решений три.

Три сценария решений по когортам: новый партнер Z, партнер Y и партнер X: данные, что проверяем и ограничение

Рисунок 10. Три решения, которые проверяют по когортам

Изменить условия теста или лимит

Новому партнеру Z хочется сразу поднять лимит: на D7 его игроки принесли больше, чем игроки X в том же возрасте. Но разница держится на одном игроке, а D7 показывает первую неделю и ничего не говорит о втором месяце. Разумнее оставить лимит теста, пока две недельные когорты Z не дойдут до D30. Если к этому сроку NGR на FTD будет не ниже, чем у сентябрьских когорт других партнеров на D30, лимит можно поднимать. Когда сравнить не с кем, ориентиром служит июльская когорта X: $60 на D30.

Обсудить ставку и качество с партнером

По партнеру Y данных уже достаточно: сотня FTD, 60 дней и устойчивая разница в каждом окне после первой недели. К D60 его игроки приносят $38 NGR на FTD, а оператор платит $50. Если оператор считает окупаемость на горизонте 60 дней, ставка для Y не должна превышать $38. Другой вариант – гибрид: меньшая ставка за FTD плюс доля от NGR, тогда партнер зарабатывает больше на тех игроках, которые остаются. Выплаты такому партнеру удобно закрывать двумя счетами, отдельно по CPA и по RevShare, как в обновлении «Ручная рутина не масштабируется».

Кроме ставки, с партнером стоит обсудить источники. Для этого когорту Y раскладывают по subID. Если игроков, которые уходят после бонуса, дает одна площадка или одно объявление с крупным приветственным предложением, разговор пойдет о конкретном источнике, и отключать партнера целиком не придется. Договориться проще, когда партнер видит те же цифры. В Alanbase администратор создает когортную таблицу для партнеров с нужными столбцами и открывает ее всем или выбранным партнерам. Партнер видит ее в своем кабинете и сам смотрит показатели своих игроков.

Рисунок 11. Когортная таблица для партнеров в Alanbase. 

Если не уверены, какие столбцы нужны для разговора с партнером о ставке и источниках, напишите нашему менеджеру напрямую: покажем, как собрать такую выгрузку в Alanbase.

Расширить источник после дополнительной проверки

Партнер X – кандидат на рост объема: июльская когорта в плюсе и к D30, и к D60, а недельные когорты держат один уровень удержания. Но рост объема может изменить состав трафика: партнер подключает новые площадки, и новые когорты могут оказаться слабее июльской. Неделя акции 3-9 августа уже показала, как меняется картина, когда меняются условия привлечения. Поэтому лимит поднимают ступенями, а каждую новую когорту сравнивают с июльской на D30 и смотрят на нее в разрезе subID.

Отдельно о том, чего делать не стоит: повышать ставку из-за одной яркой ячейки. 67% активных игроков в когорте 17-23 августа – это шесть человек из девяти, а к пятой неделе та же когорта уже ниже соседних: 22%, то есть два игрока из девяти, против 29-30%.

Для аналитика: формулы, данные и ограничения

Формулы основных показателей собраны на одной шпаргалке, рядом с каждой – пример из учебных данных. Исходные числа – на рисунках 1 и 7, поэтому расчет можно повторить на своих данных заменой чисел.

Шпаргалка формул когортного отчета: удержание, Reg2Dep, доля с повторным депозитом, NGR, NGR на FTD и на регистрацию, результат оператора, предельная ставка CPA, доля оператора при RevShare

Рисунок 12. Шпаргалка аналитика: формулы когортного отчета

Показатели в примере считаются так:

• Размер когорты – число игроков с первым депозитом в период когорты. Он не меняется, сколько бы игроков ни ушло.
• Удержание в окне – доля игроков когорты, внесших депозит в окне. У X в окне D31-D60 это 33 из 100, или 33%.
• NGR – GGR минус бонусы и другие вычеты по договору. У X за первые 30 дней: $9 000 GGR минус $3 000 бонусов, то есть $6 000.
• Результат оператора – накопленный NGR когорты минус все выплаты партнеру за эту когорту. У X к D60: $10 200 минус $5 000, или $5 200.
• Предельная ставка CPA – накопленный NGR на один FTD к горизонту окупаемости. У Y к D60 это $3 800 на 100 FTD, то есть $38.
• Доля оператора при RevShare – при ставке 30% оператор оставляет себе 70% NGR: с $10 200 это $7 140.
• Сумма депозитов – это не выручка, не NGR и не прибыль. Часть денег игрок выводит, а бонусы уменьшают доход оператора, поэтому в примере одинаковые $30 000 депозитов дали $6 000 и $3 000 NGR. Состав NGR берут из договора с партнером и фиксируют для каждого набора данных: в учебном примере это GGR минус бонусы, в реальном договоре добавляются налоги и платежные комиссии.

Перед тем как показывать отчет руководителю, проверьте данные:

• Возвраты и корректировки. Отмененные ставки, оспоренные платежи и корректировки бонусов приходят с задержкой. В одних системах они попадают в день исходного события и меняют прошлые дни, в других – в день поступления. Как это устроено в ваших данных, фиксируют заранее, а дату среза записывают рядом с отчетом, чтобы через месяц было понятно, почему цифра изменилась.
• Задержки событий. Если продукт передает депозиты или ставки с опозданием, последние дни перед датой среза неполные. Надежнее ставить дату среза на несколько дней раньше сегодняшнего дня.
• Акции и сезон. Когорты, которые пришли на акцию или крупный турнир, помечают и сравнивают с похожими.
• Полнота истории. Если продукт начал передавать бонусы позже других событий, у старых когорт NGR окажется завышенным. Их сравнивают только с когортами того же периода данных.
• Регистрации, депозиты, выводы, ставки и бонусы Alanbase получает из интеграции с продуктом, и формула NGR собирается из этих событий под условия вашего договора. Если какое-то событие не передается, в когортах его тоже не будет. Если собирать формулы и когортные столбцы у вас некому, настройку платформы под проект команда Alanbase делает бесплатно. Начать можно с сообщения менеджеру.

Чек-лист данных и ответы на вопросы

Перед тем как менять ставку или лимит по когортному отчету, проверьте пять пунктов:

1. Определены событие входа, дата среза и состав когорты.
2. Сравниваются одинаковые горизонты и понятные размеры групп.
3. Значения за окно и накопительные значения не смешаны.
4. Доход, депозиты и затраты разделены и определены.
5. Ограничения выборки и качества данных указаны рядом с выводом.

 

Чем когорты отличаются от обычного отчета?

Обычный отчет за октябрь складывает депозиты игроков, пришедших и вчера, и год назад. Когортный отчет держит игроков одного периода прихода вместе и показывает, что с ними стало через неделю, месяц и два. Поэтому по нему видно, что именно изменилось: трафик партнера или поведение старых игроков.

 

 

Когда начинать сравнение?

Когда у сравниваемых когорт есть один и тот же горизонт и в каждой достаточно игроков, чтобы вывод не зависел от одного человека. Порог по числу FTD и горизонт решения стоит записать заранее, до того как появились цифры.

 

 

Почему Reg2Dep недостаточно?

Reg2Dep показывает, какая доля регистраций дошла до первого депозита. Что игрок сделает после, он не показывает. В примере статьи у Y Reg2Dep выше, а NGR на регистрацию к 60-му дню более чем вдвое ниже, чем у X.

 

 

Что делать с неполными периодами?

Оставлять пустыми и не считать нулем. Если когорта не дошла до горизонта, она не входит в среднее по этому горизонту.

 

 

Как учитывать нового партнера?

Сравнивать его первую когорту с другими на том возрасте, до которого она дошла, и показывать результат без самого крупного игрока. Окончательное решение ждет горизонта, который вы записали заранее.

 

 

Какие данные понадобятся от продукта?

По каждому игроку с датой и привязкой к партнеру: регистрация, первый и повторные депозиты, выводы, ставки и выигрыши, начисленные бонусы, отмены. Для проверки источников нужны еще метки партнера (subID). Какие показатели держать на общем дашборде и как считать NGR без путаницы, мы разбирали в статье о KPI партнерской программы.

 

Сравните своих партнеров на демо

Возьмите двух партнеров с похожим числом FTD, о которых команда спорит. Покажем, как собрать когорты по вашим партнерам и сравнить трафик на одинаковом горизонте в Alanbase. Демо займет 30-40 минут, после него можно 14 дней пользоваться платформой с полным доступом