##АБ-тестирование эффективности HTML и AMP рассылки

AMP для писем сравнительно новая технология и многие маркетологи все еще сомневаются стоит ли ее использовать, ведь AMP-письма требуют больше времени, а значит выше по себестоимости.

Совместно с Облако Mail.ru мы подготовили AMP-кампанию по неактивным пользователям Облака. Было необходимо не просто реактивировать их, но и убедиться в эффективности использования AMP для этого.

Поэтому письмо было отправлено в виде АБ-теста - одна версия письма была обычным HTML-письмом, где пользователю предлагалось получить +256Гб на 2 месяца, а второй версией было полноценное AMP-письмо с игровой механикой “поиска предмета”.

<Img
img="/api/uploads/blog_2_1_e749851faa.gif"
alt="Myths About Marketing Automation"
/>
Обе версии были отправлены с одинаковой темой и имели примерно равный OR.

|    | HTML   | AMP    | 
|----|--------|--------|
| OR | 11.11% | 10.19% |
Следует сразу отметить, что отправка осуществлялась на неактивных пользователей.

Не все пользователи, получившие AMP-версию, увидели именно ее из-за ограничений поддержки (например открыли через почтовый клиент, который не поддерживает AMP):

AMP
|AMP-part|	HTML-part|
|---------------|-----------------|
|81%           |19%|
Пропорции отличаются от привычных 50\50 так как рассылка была именно по пользователям mail.ru, где поддерживается AMP и в мобильных приложениях и в веб-интерфейсе.

И если в html версии (аб-теста) пользователю нужно было только лишь перейти по ссылке и получить подарок, то в AMP-версии нужно было сначала пройти игру - найти все предметы и только после этого появлялась возможность получить подарок, перейдя на сайт.
Однако, количество переходов на сайт из AMP-версии было на 78% больше:

|HTML|	AMP|
|----------------|----------------|
|CTOR|	4.88%|	8.67%|

(переход на веб-версию письма не учитывался в статистике)

То есть вовлечение пользователя в игру позволило на 78% повысить количество переходов из этого письма. Совершив первое действие в письме подписчику все сложнее остановиться.

Целевым действием письма была активация подарка. И из AMP-письма таких активаций было на 55% больше, чем из html.

Помимо классических емейл-метрик мы также замерили среднее время пребывания пользователя в письме и оно составило 10,8 секунды. Причем те пользователи, внимание которых удалось удержать более, чем на 10 секунд в письме - прошли игру до конца и перешли по ссылке.

##Итоги

Применение AMP-геймификации в письме, позволило на 78% увеличить CTOR и на 55% увеличить конверсию.

Важным аспектом становится психологический и чтобы добиться от пользователя совершения целевого действия необходимо удержать его внимание более чем на 10 секунд.

Применили AMP-геймификации в письме и сделали A/B тестирование

small_article3.jpg

thumbnail_article3.jpg

article3.jpg

HTML vs AMP. Повысили конверсию на 55%

##Первый блин

Совместно с компанией Math & Mind мы разработали AMP-письмо, где предложили пользователю прямо в письме ответить на несколько вопросов.

Изначальная версия письма имела следующий вид:

<Img
img="/api/uploads/blog1_2aaec46973.png"
alt="Myths About Marketing Automation"
/>
Мы отправили ее на небольшую тестовую выборку, чтобы проверить как сработает эта механика. И, на наше удивление, письмо не показало никаких отличных от обычного html-письма результатов.

##Работа над ошибками

Дело в том, что подписчики еще не привыкли к интерактивным письмам, тем более что визуально оно не отличалось от того, что отпралвляи раньше. Пользователи ожидали, что это самое обычное письмо и что по клику на ответ их переадресует на сайт.

Чтобы визуально “оживить” письмо и показать что с ним можно взаимодействовать мы добавили сверху карусель с увеличивающимся таймером “возраст вашего мозга”

<Img
img="/api/uploads/blog2_b3f51b0b84.png"
alt="Myths About Marketing Automation"
/>
Это оказалось тем самым недостающим звеном: тестовая выборка показала неплохие результаты, и письмо было отправлено на основную аудиторию.

##Результаты

Мы отследили отдельно открытия HTML- и AMP-версии. Уникальные открытия распределились следующим образом:

*HTML – 64.63%
*AMP – 35.37%
Если же посмотреть на не уникальные открытия, то:

*HTML – 62.8%
*AMP – 37.2%

<Img
img="/api/uploads/blog3_5c9cc8d8b8.png"
alt="Myths About Marketing Automation"
/>
Что позволяет сделать однозначный вывод: к AMP-письмам возвращаются охотнее.

Чтобы узнать, как пользователи ведут себя внутри письма, мы установили трекинг-пиксели на каждом вопросе нашего квиза: чтобы понять отток аудитории, то есть насколько интересна подписчикам такая механика.

<Img
img="/api/uploads/blog4_a35eca50f2.png"
alt="Myths About Marketing Automation"
/>

Первая ступенька – это 100% пользователей, которые открыли именно AMP-версию письма.
Ответили на первый вопрос – 27,9%
На второй – 25,7%
И на последний – 24,8%.
Мы видим минимальный отток аудитории. То есть если пользователь совершил первый шаг, то с высокой вероятностью он пройдет весь путь.

После прохождения этого мини-квиза мы предлагаем пользователю перейти на сайт и поиграть еще. И тут уже пользователи более лояльны и заинтересованы поэтому охотно переходят на сайт. Мы отдельно отслеживали переходы на сайт из HTML- и AMP-версии письма и вот какие значения получили:

HTML – 6.95%
AMP – 32,54%

<Img
img="/api/uploads/blog5_3b20ad6835.png"
alt="Myths About Marketing Automation"
/>
Вот так графически можно представить получившиеся показатели OR и CTR с подсвечиванием какая часть приходится на HTML и AMP открытия и переходы.

<Img
img="/api/uploads/blog6_71fbed4eeb.png"
alt="Myths About Marketing Automation"
/>

Отсюда мы можем сделать вывод, что использование AMP-технологии и постепенное вовлечение подписчика позволило значительно повысить CTR!

Использовали AMP-технологию и постепенно вовлекли подписчиков

small_article2.jpg

thumbnail_article2.jpg

article2.jpg

Увеличили CTR в 2,5 раза

##Идея

Часто нам нужна от подписчиков обратная связь \- что их волнует, что интересно, что не нравится в рассылках. Оперирование только цифрами OR и CTR позволяет получить лишь обрывочные данные, поэтому маркетологи возвращаются к опросам подписчиков. Но тут есть сложности, связанные с низкой конверсией: людям зачастую просто лень переходить из письма и отвечать на опросник. Тут на помощь приходит AMP - технология, которая позволяет использовать формы внутри письма без необходимости перехода.

А чтобы дополнительно мотивировать подписчиков на обратную связь, мы обернули опрос в игровую механику: волшебный шар ответит на любой вопрос пользователя.

Вопрос пользователя сохраняется на сервере, а в письме выводится случайный вариант ответа \- “да”, “нет” или “не знаю” в различный вариантах.

<Img
img="/api/uploads/blog_3_1_0d41492e6b.gif"
alt="Myths About Marketing Automation"
/>

###Показатели

AMP работает не у всех, поэтому мы собрали отдельно замеряли открытия HTML и AMP-версии

Уникальные открытия распределились следующим образом:

* AMP – 56.3%
* HTML – 43.7%

Если же посмотреть на не уникальные открытия, то:

* AMP – 62.13%
* HTML – 37.87%

<Img
img="/api/uploads/blog_3_2_2f4f2b48b6.png"
alt="Myths About Marketing Automation"
/>

Если сравнить соотношение уникальных и не уникальных открытий HTML и AMP версий письма, то можно увидеть, что к AMP-письмам неоднократно возвращались.

* В среднем к AMP письму возвращалось - 1,36
* В среднем к HTML письму возвращалось - 1,07

###Конверсия в заполнение формы

В среднем на каждого открывшего AMP-версию пользователя приходится **1,69 заполнений формы**. То есть многие подписчики по несколько раз заполняли и отправляли форму.

Если выделить только уникальных заполнивших форму пользователей, показатель также впечатляющий: **20,74%**.

Игровая механика дала свой эффект, и многие из тех, кто решился отправить форму, в дальнейшем сделали это еще несколько раз. Особенно интересно было наблюдать, как подписчик задавал один и тот же вопрос “Волшебному шару”, пока не получал желаемый ответ)

Обернули опрос в игровую механику, и вот что получилось

Блог