А/б-тестирование в яндекс.директе: как провести и где брать идеи?

Игра

Ограничение по памяти: 64 МБ

Петя и Вася играют в игру: они по очереди берут из колоды карточки, на которых написаны целые неповторяющиеся положительные числа (первый карточку всегда берет Петя). Карточки игроки берут по одной сверху колоды. После этого они сравнивают значения, записанные на карточках: игрок, у которого меньше, тянет еще одну карточку и оставляет ее у себя. Когда все карточки заканчиваются, Петя и Вася считают сумму значений, написанных на этих карточках. Проигрывает тот, у кого сумма получается меньше, чем у другого игрока.

Им надоело вручную тянуть карточки и сравнивать значения. Они попросили вас написать программу, которая по исходному набору карточек будет определять победителя.

Гарантируется, что для любого теста победителя можно будет определить однозначно.

Формат входных данных

В первой строке входных данных записано целое число n, кратное трем, — общее количество карточек (3 ≤ n ≤ 999).

В следующей строке записаны n различных целых положительных чисел a_i — значения, написанные на карточках в том порядке, в котором Петя и Вася будут их раздавать (1 ≤ a_i ≤ 1000).

Что нужно знать перед разработкой теста

Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.

Когда стоит использовать тесты с выбором ответа

У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.

Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.

Фото: BublikHaus / Shutterstock

Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.

А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.

Можно ли с помощью теста проверить понимание

Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.

А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.

Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.

SHL в России

В 1992 открылся офис в Москве, в 2006-м – в Санкт-Петербурге. Компания обслуживает большинство крупнейших российских корпораций, многие филиалы иностранных компаний. Среди них Сбербанк, ВТБ, Внешэкономбанк, «Роснефть», «Лукойл», «ТНК», «Газпромнефть», Avon, Nestle, Amway, Pepsico и десятки других транснациональных корпораций сектора FMCG.

Небольшие российские компании тоже все чаще берут на вооружение тесты, так как они позволяют быстро отсеять слабо подготовленных соискателей, а также выявить максимальный уровень знаний отдельных конкурсантов. Есть и другие создатели тестов, но задачи, предложенные самой авторитетной компанией, больше всего популярны.

Логические тесты SHL

Логические тесты Shl знакомы всем, кто пробовал определить свой уровень IQ, там много подобных заданий. Идет ряд однотипных геометрических объектов, обладающих одним общим признаком. Очередная фигура пропущена, ниже есть несколько вариантов для продолжения ряда. Простейший пример – ряд простых многогранников: треугольник, четырехугольник и т. д. Ответ – очередная фигура, например шестиугольник. Такие простые задачи дает только тренировочный тест SHL, на реальном тестировании будет намного сложнее. Часто встречаются многогранники, вписанные в другие многогранники, то есть найти зависимость бывает трудно, особенно за краткое время.

Пройти Онлайн логический тест:

С чего начать?

Сформируйте список гипотез — это предположения о том, где рекламная кампания может работать лучше. Концентрироваться стоит не только на главной цели — получении продаж, можно работать над повышением конверсионности посадочной страницы и объявлений, уменьшением показателя отказов, увеличением кликабельности и прочим.

После формирования списка оцените, какой пункт может дать наибольший эффект, если гипотеза сработает. Так получится сформировать очередность тестов, выделяя в приоритет самые потенциально результативные решения.

Где брать идеи для тестов

1. Стандартные элементы. Под ними понимаются тексты объявлений, картинки, позиции в выдаче, стратегии управления ставками. Это прекрасный старт для внедрения процесса А/Б-тестирования. Внимательно наблюдайте за результатами, записывайте всё, что заметите, — это может стать отличной базой для следующих тестов.

2. Рекомендованные настройки и стандарты. Подвергайте сомнениям все настройки, особенно те, что диктуются рынком и системами как правильные и проверенные. К примеру, в сети Яндекса принято не использовать минус-слова: считается, что это ограничивает охват. А что если попробовать применить общий пакет минус-слов? Возможно, станет меньше трафика, но он будет более качественным.

3. Аналитика. Статистика может стать основным источником вашего вдохновения. На основе отчетов по рекламным кампаниям можно сформировать целый ряд гипотез о том, как улучшить каждый этап пути пользователя к покупке: от показа объявления до заказа на сайте.

4. Отдел продаж и клиентский сервис. Ценную информацию для гипотез могут подсказать отделы, которые напрямую общаются с клиентами. Они чаще всего знают боль пользователя и причины выбора вашего продукта, удобство сайта и прочие важные мелочи. Опираясь на эти данные можно сгенерировать немало идей.

5. Конкуренты. Идеи для тестирований можно взять из анализа конкурентов в этой или близкой тематике. Именно так у нас стал популярен вариант с расширенными уточнениями в виде коротких УТП: объявление становилось на строку больше и занимало еще больше места. Мы заметили такой формат у конкурентов бренда, протестировали, отметили рост CTR и стали внедрять для разных тематик.

Особенности тестов SHL

Для решения задач дается немного времени, на один пример – не более минуты, а может быть, и 30–40 секунд. Если проводится тестирование в офисе, то пользоваться можно только карандашами и листочками бумаги. Уже несколько лет, как большинство компаний дают возможность сдать SHL тест удаленно, хоть дома, хоть в интернет-кафе. Кандидату предоставляется ссылка на онлайн-страницу и срок, до которого надо пройти тест. Работодатель получает удобный отчет о результатах пройденного теста. Так намного удобнее, нет очередей, а претендентам, в принципе, немного легче благодаря возможности создать тишину и спокойную атмосферу. Рассчитывать на какие-либо подсказки, поиск в интернете нет смысла, так как время весьма ограничено, и если раз отвлечься, то «догнать» таймер и успешно SHL тест пройти не получится.

Как проводить А/Б-тестирование

Шахматное расписание показов — изначальный и самый распространённый способ в Яндекс.Директе примерно до прошлого года.

Суть метода:

Определяется гипотеза тестирования. Например, мы хотим проверить, что лучше в качестве посадочной для рекламы: лендинг или основной сайт.

Подбираются кампании для теста

Важно понимать: чем больше трафика и конверсий, тем быстрее пройдет тестирование.

Создаются две копии выбранной кампании для теста. В одной кампании мы ведем на короткий лендинг, а во второй — на основной сайт.

В настройках времени показа настраивается время работы кампаний: час показывается одна, час — другая.

Именно таким образом — по времени — можно разделить всю аудиторию на две части. Это ручной способ деления показов между кампаниями, в котором есть несколько сложностей:

• ограничение возможностей: протестировать достоверно более двух вариантов одновременно в этой схеме не получится;

• не всегда корректная статистика: если пользователь несколько раз осуществлял поиск в разное время, он мог увидеть два варианта рекламы.

Эксперименты — собственный продукт Яндекса для проведения тестирований, который позволяет делить аудиторию (на поисковых и тематических площадках). С марта 2020 года «Эксперименты» стали доступны всем без предварительных запросов в службу поддержки.

Теперь деление аудитории доверено автоматическим алгоритмам, и это избавило специалистов от части сложностей. Пользователь попадает только в одну группу эксперимента и даже при множественном поиске увидит только свой вариант.

Запуск с помощью «Экспериментов» происходит похожим образом:

1. Определяется суть теста, затем происходит выборка кампаний.

2. Создаются копии выбранных кампаний.

3. Создается «Эксперимент» в Яндекс Аудиториях.

4. В настройках каждой кампании необходимо привязать соответствующий сегмент «Эксперимента».

Результаты можно сводить на уровне кампаний или с использованием отчета по «Экспериментам» в Директе и Метрике.

А/Б-тестирование можно считать статистически корректным и значимым, если соблюдать специальные правила:

1. Копировать кампании нужно с уже накопленной статистикой. Это позволит начать тестирование с использованием статистики, которая уже есть. Кампании не будут разгоняться, набирать CTR заново и получать дорогие клики.

2. Новые кампании должны стартовать вместе с остановкой старой. Одновременная работа не допускается.

3. Вносить изменения во время тестирования нужно в обе кампании сразу.

4. Один тест — один элемент. Например, при тестировании заголовков другие элементы менять нельзя, чтобы оценить вклад только этого изменения.

5. Эксперимент считается завершенным, когда данных для принятия решения будет достаточно. Определить это можно с помощью калькуляторов А/Б-тестов, которых в сети достаточно много.

Cookie файлы бывают различных типов:

Необходимые. Эти файлы нужны для обеспечения правильной работы сайта, использования его функций. Отключение использования таких файлов приведет к падению производительности сайта, невозможности использовать его компоненты и сервисы.

Файлы cookie, относящиеся к производительности, эффективности и аналитике. Данные файлы позволяют анализировать взаимодействие посетителей с сайтом, оптимизировать содержание сайта, измерять эффективность рекламных кампаний, предоставляя информацию о количестве посетителей сайта, времени его использования, возникающих ошибках.

Рекламные файлы cookie определяют, какие сайты Вы посещали и как часто, какие ссылки Вы выбирали, что позволяет показывать Вам рекламные объявления, которые заинтересуют именно Вас.

Электронная почта. Мы также можем использовать технологии, позволяющие отслеживать, открывали ли вы, прочитали или переадресовывали определенные сообщения, отправленные нами на вашу электронную почту. Это необходимо, чтобы сделать наши средства коммуникации более полезными для пользователя. Если вы не желаете, чтобы мы получали сведения об этом, вам нужно аннулировать подписку посредством ссылки «Отписаться» («Unsubscribe»), находящейся внизу соответствующей электронной рассылки.

Сторонние веб-сервисы. Иногда на данном сайте мы используем сторонние веб-сервисы. Например, для отображения тех или иных элементов (изображения, видео, презентации и т. п.), организации опросов и т. п. Как и в случае с кнопками доступа к социальным сетям, мы не можем препятствовать сбору этими сайтами или внешними доменами информации о том, как вы используете содержание сайта.

Вербальные тесты SHL

Вербальный тест SHL более сложен даже для подготовленных соискателей, а если с ним столкнуться впервые, провал практически гарантирован. Вкратце вербальная задача – это небольшой текст о каком-либо явлении, событии и т. д. Ниже идет 2-3 утверждения, связанные с текстом, которые следует отметить как «истинные», «ложные», «мало информации». Смысл задания в том, чтобы претендент смог быстро прочесть текст, понять логические связи и дать ответ. Сложность в том, что ответ «нет информации» часто похож на «ложь» или «правду» и научиться чувствовать разницу можно только после многих тренировок.

Пройти Онлайн вербальный тест Shl::

Примеры SHL теста вербального – описание ситуации с вымиранием дельфинов, в смерти которых виноваты выбросы крупных предприятий на побережье. В утверждении сказано, что «предприятия своими выбросами уничтожили несколько морских видов животных». Вроде похоже на то, что дано в задании, но верный ответ – «мало информации», так как в исходных условиях идет речь исключительно о дельфинах, а про урон, нанесенный другим обитателям морских глубин, ничего из текста не известно.

Онлайн доступ и подготовка к тестам Shl:

Сегодня готовятся: чел.

Числовые тесты

30 тестов, 600 вопросов

Личный кабинет

Моментальный доступ

Подробные решения

Графики результатов

1 месяц доступа

340 рублей

Подробнее

Сегодня готовятся: чел.

Вербальные тесты

30 тестов, 450 вопросов

Личный кабинет

Моментальный доступ

Подробные решения

Графики результатов

1 месяц доступа

340 рублей

Подробнее

Сегодня готовятся: чел.

Логические тесты

22 теста, 220 вопросов

Личный кабинет

Моментальный доступ

Подробные решения

Графики результатов

1 месяц доступа

340 рублей

Подробнее

Сегодня готовятся: чел.

Optimum

35%
Хит

Числовые тесты

Вербальные тесты

Логические тесты

Моментальный доступ

Подробные решения

1 месяц доступа

690 рублей

Подробнее

Другие тесты автора Давайте пройдем тесты

23 ноября 2021 96926

Проходили 28338 раз

Тест: «Хороший Вы человек или злой?

HTML — код

18 марта 2021 320093

Проходили 229507 раз

Кто ты из My Little Pony? Тест

HTML — код

17 февраля 2021 108964

Проходили 38357 раз

Тест: Какой у тебя характер?

HTML — код

23 марта 2021 113641

Проходили 40459 раз

Тест на умственную отсталость

HTML — код

18 февраля 2021 81377

Проходили 30145 раз

Тест: «Мое будущее. Каким оно будет?»

HTML — код

12 января 2021 56509

Проходили 8556 раз

Тест: Какая профессия тебе подходит?

HTML — код

31 марта 2021 137142

Проходили 28507 раз

Тест на когнитивные способности

HTML — код

20 февраля 2022 85364

Проходили 41697 раз

Новый тест на кругозор и эрудицию: 20 занимательных вопросов для проверки ваших знаний…

HTML — код

9 декабря 2021 13114

Проходили 3945 раз

Тест для самых умных и эрудированных

HTML — код

12 марта 2021 61632

Проходили 22660 раз

Тест: Насколько вы харизматичны?

HTML — код

26 ноября 2021 39497

Проходили 13654 раза

Тест: «Пацанка ты или Леди?»

HTML — код

15 января 2021 82321

Проходили 29186 раз

Тест на адекватность

HTML — код

27 января 2022 6297

Проходили 2372 раза

Большой тест на знание флагов мира

HTML — код

1 июля 2021 42032

Проходили 11334 раза

Тест: Какая у тебя суперспособность?

HTML — код

8 июня 2021 58062

Проходили 21898 раз

Тест. Какое имя вам подходит?

HTML — код

27 января 2022 52144

Проходили 19766 раз

Тест: Кто ты из певцов?

HTML — код

Как тестирование может улучшить результаты

Разберем несколько примеров из нашей практики, когда тестирование помогло оптимизировать продвижение.

Гипотеза от команды клиента: в наиболее результативных кампаниях с большим количеством трафика не нужны корректировки по полу и возрасту.

Чтобы проверить гипотезу, мы запустили тест. Кампания с корректировками по полу и возрасту принесли клиенту больше трафика и рост среднего чека, как следствие, увеличился доход с сокращением ДРР. Это произошло из-за перераспределения аудитории: реклама стала чаще показываться пользователям с большей покупательской платежеспособностью в сети.

Гипотеза оказалась ошибочной, а по итогам теста корректировки по полу и возрасту были внедрены во все кампании.

Banner

Гипотеза: в быстрых ссылках поисковых объявлений эффективнее показывать хиты продаж.

Детали эксперимента:

• в первой кампании быстрые ссылки остались без изменений и вели на подкатегории;

• во второй кампании указаны наименования самых популярных в магазине товаров.

В результате первый тип кампании — на подкатегории — принес больше конверсий и дохода. Конверсия в покупку была выше, этот результат считаем статистически значимым.

Вероятно, так получилось потому, что:

• названия «популярных товаров» были непривлекательными;

• ссылки на товары не несли никакой ценности для клиента. Подкатегории же в быстрых ссылках давали возможность пользователю получить представление об ассортименте и сразу перейти в необходимый раздел на сайте.

По итогам теста товары-хиты в быстрых ссылках больше не использовались.

Турбо-страницы для медицинской клиники

Гипотеза: посадочные страницы сайта довольно сложные для восприятия и слишком долго грузятся на мобильных устройствах, что снижает конверсию в заявку.

Решение и тест: создать простые турбо-страницы для одного направления и сравнить, какая посадочная отработает лучше для мобильного трафика.

В результате конверсия в обращение с турбо-страниц оказалась почти в два раза выше, а СРА — в два раза ниже. При этом улучшения произошли именно из-за роста конверсии на мобильных устройствах.

После теста на одном направлении мы решили внедрить турбо-страницы на все остальные.

Будьте последовательны и цикличны для роста вашего проекта: анализируйте результаты, формируйте гипотезы, проводите А/Б-тесты, внедряйте положительный опыт и возвращайтесь на первый этап.

Рекомендации для прохождения тестов

1. Рассчитывать надо лишь на себя, поэтому нужна серьезная подготовка. Учебников по сдаче тестов нет, да они и не нужны, а вот образцы заданий необходимы, иначе не получится уяснить способ подачи материала, другие нюансы.
2. Хорошее подспорье – бесплатные примеры, которые легко найти в сети, однако следует помнить, что подобные SHL тесты ответы значительно проще, чем настоящие задания.
3. Будет полезна любая другая информация из интернета, касающаяся процесса отбора, тестирования, только надо следить, чтобы это были не «сплетни», а реальные инсайдерские данные.
4. Также хороший способ подготовки – специализированные подборки тестов, создаваемые авторитетными онлайн-ресурсами. Несколько сайтов специализируются на помощи молодежи, выпускникам, всем людям, пытающимся устроиться в топовые корпорации, а сама помощь заключается в создании сборников тестов.
5. Чтобы ознакомиться, следует вначале SHL тесты купить, зато польза от них несомненна, так как даются задачи реального уровня сложности, ответы разъясняются.
6. Остерегайтесь услуги – прохождение тестов онлайн за вас, вы окажетесь в очень неудобной ситуации при ретесте в присутствии работодателя, кроме этого попадете в «черный список» тестирующей компании.

Смотрите видео:

Как правильно подготовиться к тестам SHL сейчас

Как проверить, работает ли тест

На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.

Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.

Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.

Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.

Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.

В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.

Что такое файл cookie и другие похожие технологии

Файл cookie представляет собой небольшой текстовый файл, сохраняемый на вашем компьютере, смартфоне или другом устройстве, которое Вы используете для посещения интернет-сайтов.

Некоторые посещаемые Вами страницы могут также собирать информацию, используя пиксельные тэги и веб-маяки, представляющие собой электронные изображения, называемые одно-пиксельными (1×1) или пустыми GIF-изображениями.

Файлы cookie могут размещаться на вашем устройстве нами («собственные» файлы cookie) или другими операторами (файлы cookie «третьих лиц»).

Мы используем два вида файлов cookie на сайте: «cookie сессии» и «постоянные cookie». Cookie сессии — это временные файлы, которые остаются на устройстве пока вы не покинете сайт. Постоянные cookie остаются на устройстве в течение длительного времени или пока вы вручную не удалите их (как долго cookie останется на вашем устройстве будет зависеть от продолжительности или «времени жизни» конкретного файла и настройки вашего браузера).

Кошельки и монеты

Ограничение по памяти: 64 МБ

Программист Петя очень любит складывать все имеющиеся у него деньги в кошельки и фиксировать, сколько денег лежит в каждом кошельке. Для этого он сохраняет в файле набор целых положительных чисел — количество денег, которое лежит в каждом из его кошельков (Петя не любит, когда хотя бы один из его кошельков пустует). Петя хранит все деньги в монетах, номинал каждой монеты — 1 условная единица.

Однажды у Пети сломался блок магнитных головок и ему пришлось восстанавливать данные с жесткого диска. Он хочет проверить, корректно ли восстановились данные, и просит вас убедиться, что можно ту сумму денег, которая у него была, разложить во все его кошельки, чтобы получились те же числа, что и в восстановленном файле.

Формат входных данных

В первой строке выходных данных содержится натуральное число n (1 ≤ n ≤ 100) — количество кошельков у Пети.

Во второй строке через пробел записаны данные из восстановленного файла: n натуральных чисел a_i, каждое из которых означает, сколько денег лежит в i-м кошельке у Пети (1 ≤ a_i ≤ 100).

В третьей строке записано натуральное число m (1 ≤ m ≤ 104)— общая сумма денег, которая была у Пети до того, как он разложил ее по кошелькам.

Формат выходных данных

Если в восстановленном файле нет ошибки, и исходную сумму можно разложить по кошелькам с указанной конфигурацией, выведите Yes. Если такой конфигурации не может существовать, выведите No.

2
2 3
5

Yes

2
2 3
4

No

2
2 3
3

Yes

Примечания

В первом примере у Пети есть два кошелька, в первом лежат две монеты, во втором — три.
Конфигурации, приведенной во втором примере, не может существовать, поэтому файл восстановлен некорректно.

В третьем примере предложенная конфигурация возможна: во втором кошельке лежит одна монета и первый кошелек, внутри которого лежат две монеты.