force stopped listing что это такое
Эксперимент в Яндексе. Как идентифицировать взломщика с помощью машинного обучения
На серверах Яндекса хранится много нужной и важной для людей информации, поэтому нам необходимо надёжно защищать данные наших пользователей. В этой статье мы хотим рассказать вам о наших исследованиях, в которых мы изучаем, как отличить владельца аккаунта от злоумышленника. Причем даже тогда, когда оба имеют логин и пароль от учетной записи. Мы разработали метод, который основан на анализе поведенческих характеристик пользователей. Он использует машинное обучение и позволяет отличать поведение настоящего владельца аккаунта от злоумышленника по ряду характеристик.
Такой анализ базируется на математической статистике и изучении данных об использовании сервисов Яндекса. Поведенческих характеристик недостаточно, чтобы однозначно идентифицировать пользователя и заменить тем самым использование пароля, но это позволяет определить взлом уже после авторизации. Таким образом, украденный пароль от почты не даст прикидываться её настоящим владельцем. Это по-настоящему важный шаг, который позволит по-другому взглянуть на системы безопасности в интернете и решить такие сложные задачи, как определение настоящего владельца аккаунта, а также момента и характера взлома.
Принято полагать, что способы распознавания человека появились относительно недавно, но на самом деле история различных методов идентификации уходит своими корнями в Средние века. Известно, что в древнем Китае на рубеже 14-15 веков уже догадались использовать отпечатки пальцев. Правда, применяли этот метод ограниченно — купцы таким образом подписывали торговые соглашения. В конце 19 века уникальность папиллярных линий легла в основу дактилоскопии, основоположником которой стал Уильям Гершель. Именно он выдвинул теорию о том, что рисунок ладонных поверхностей человека не меняется в течение всей его жизни.
Дактилоскопическая карта Гершеля
С развитием информационных технологий появились различные системы распознавания пользователя. В большинстве своем эти методы созданы, чтобы человек мог контролировать доступ в какую-то систему, но на самом деле область идентификации и аутентификации пользователей значительно шире.
Ученые всего мира бьются над проблемой идентификации людей по различным признакам. Есть разные модели и теории: от самых популярных, где для распознавания используются уже упомянутые отпечатки пальце, радужная оболочка глаз, голос, до новых и спорных, в которых учитываются движения мышки, клавиатурный «почерк» и поведение на сайте. Яндекс тоже активно занимается изучением существующих моделей и созданием новых. Мы находимся в самом начале пути, но уже достигли некоторых успехов, поэтому хотим вам немного рассказать о наших экспериментах.
Над алгоритмами защиты ящиков от взлома, спама и вредоносной деятельности, которая может нанести ущерб пользователю, мы работаем постоянно. Те методы контроля доступа, которые уже существуют, затрудняют злоумышленникам проникновение в почтовый ящик, но, увы, не решают проблему взлома полностью. Узким местом остается использование пароля, который может быть потерян, украден, перехвачен или подобран. Например, перехват пароля может произойти, если вы используете пароль от Яндекса на других сервисах, где не поддерживается безопасное соединение.
Мы задумались: «А возможно ли отличить взломщика от настоящего владельца аккаунта, если оба авторизуются одним и тем же паролем?» Оказалось, что да. Наши исследования показали, что поведение владельца почтового ящика всегда отличается от того, как ведет себя взломщик.
Вообще из поведения пользователя в почте можно выделить ряд характеристик: время входа, обычное месторасположение, количество авторизаций, используемых устройств и др. Есть операции, которые не характерны для конкретного человека. Например, удаление прочитанных писем, стирание папок, отправка рассылок. У человека может сложиться определенное поведение при работе с разными типами писем: прочтение писем от людей, удаление рассылок, игнорирование писем из социальных сетей. Кроме того, существуют и такие привычки как «читает цепочку непрочитанных писем снизу вверх», «авторизуется и идет сначала в Почту, потом — в Диск и уже следом — в Новости» и так далее. Такие паттерны поведения могут быть вычислены для многих наших сервисов. Из совокупности этих факторов и складывается профиль пользователя, который не дает полного представления о самом пользователе, но позволяет отличить факт взлома аккаунта от нормальной авторизации. Конечно, этот подход не может быть эффективным без использования машинного обучения. С его помощью определяется набор факторов, которые влияют на профиль, и границы для определения взлома.
Суть этого метода очень проста: каждый имеет привычки, свойственные только ему, начиная с режима работы и отдыха, продолжая местами, в которых человек бывает, и количеством устройств, которыми он пользуется. Например, кто-то всегда проверяет почту из дома и работы, использует два устройства, никогда не удаляет прочитанные письма и не рассылает спам. Он использует почту в дневные часы и никогда не проверяет почту ночью. А кто-то в течение месяца часто бывает в командировках и периодически читает почту из разных стран. У этих пользователей будут различные паттерны поведения, на основе которых можно построить индивидуальный профиль и сравнивать с ним каждый новый заход в почту.
Вот так выглядят профили двух разных людей. На красном графике показан профиль обычного не взломанного пользователя. Видно, что всё достаточно равномерно, и при этом нет резких скачков параметров. Синий график иллюстрирует поведение подозрительного аккаунта: все показатели сильно скачут, прослеживается хаотичное обращение к ресурсу. Это дает возможность предположить факт несанкционированного доступа.
А на этом графике изображено изменение профиля в момент взлома. В синей области видно, что показатели находятся в норме, в то время как в красной зоне уже прослеживаются значительные колебания. Кроме того, отчетливо видны даты, в которые это произошло, что может значительно упростить поиск места взлома.
Такой подход может обезопасить пользователей от кражи паролей и сессионных кук и позволит детектировать взлом даже после авторизации в аккаунте.
Мы пока не готовы говорить о запуске полностью работающей системы определения взлома. Еще не все детали пазла собраны — потребуется время, чтобы в полной мере оценить и научиться использовать преимущества данных технологий. Но их эффективность очевидна уже сейчас: использование машинного обучения в системах защиты информации способно сильно повысить безопасность хранимых данных. Так что мы продолжим работу в этом направлении.
Эксперименты в Яндекс.Директе: запускаем первый А/Б-тест
Менеджер проектов по контекстной рекламе в WebCanape Артем Артемов рассказал, как настроить эксперимент в Директе с помощью Яндекс.Аудиторий и проанализировать его работу.
Не бывает одного правильного способа настроить объявление. Делать ставку на единственный вариант настроек, текст, аудиторию — провальная стратегия. Для успеха рекламной кампании необходимо экспериментировать. В незапамятные времена (в прошлом году) мы все тестировали различные сеты настроек вручную, теперь же в Яндекс.Директе появился инструмент, который позволяет автоматизировать процесс A/Б-тестирования. Называется этот волшебный инструмент «Эксперименты».
Когда вы запускаете тест, система случайным образом разделяет аудиторию на сегменты. Количество и размер сегментов вы определяете самостоятельно. При этом выборки могут быть разными — можно установить размер каждой группы от 1% до 99%, чтобы в сумме получилось 100%. Сейчас «Эксперименты» доступны по запросу, и подключают их за пару дней.
Экспериментировать на старте новой кампании обязательно. Мы же запустили этот инструмент на старом проекте с небольшим бюджетом — чтобы попробовать и дальше использовать его на других проектах. Рассказываем, что из этого вышло.
Клиент: «Займ Гарант» — компания выдает микрозаймы физическим лицам.
Регион: Республика Хакасия.
Бюджет: 15 000 рублей (на рекламу в месяц).
Проблема: мы крутим рекламу с 06:00 до 24:00, но в этом промежутке есть временные периоды, которые не приносят конверсии, расходуя бюджет без отдачи. До запуска «Экспериментов» нам приходилось ковыряться в Метрике и разбираться, есть ли эффект от ночных показов. Вручную мы выявили, что крутить рекламу по ночам неэффективно, а теперь задача состоит в том, чтобы определить в диапазоне с 6 до 24 часов периоды, когда реклама не дает желаемых результатов, и перераспределить бюджет.
Решение: подключили «Эксперименты», чтобы провести A/Б-тестирование на день и вечер. Новый новый инструмент Директа упрощает анализ.
Вводная информация о проекте
Мы сотрудничаем с компанией «Займ-Гарант» c 2015 года. За годы работы мы провели всевозможные виды оптимизации. Проект рекламируется по 150 фразам и получает около 300 переходов из рекламы в месяц при средней цене клика 52,47 рубля. Семантическое ядро не требует большого бюджета, потому что трафик по ключевым словам в регионе не такой большой.
Подключение инструмента «Эксперименты» в аккаунте
Инструмент сравнительно новый, поэтому в нашем аккаунте он подключен не был. Чтобы получить к нему доступ, нужно связаться с менеджером Яндекса или оставить заявку на подключение инструмента через форму в разделе «Контекстная реклама». Сейчас сплит-тестирование подключается в экспериментальном режиме для каждого клиента отдельно, на агентском аккаунте подключить инструмент пока нельзя.
В заявке надо обязательно указать логин, домен клиента и примерный план эксперимента (это такая формальность, что можно особенно ничего не расписывать — мы просто написали, что хотим протестировать новый инструмент). Такая заявка попадет к менеджеру, и он откроет доступ к новому инструменту. Но не сразу. Пару дней придется подождать. После подключения в Яндекс.Аудиториях появится вкладка «Эксперименты». С ней мы и будем работать.
Настройка экспериментов
Прежде чем приступить к настройке, продумайте гипотезу, которую будете проверять с помощью сплит-тестов. Кто-то скажет, что гипотезы ограничиваются лишь вашей фантазией, но лучше все-таки отталкиваться от реальной проблемы. Например, наша гипотеза была в том, что в конкретное время суток одно и то же объявление будет приносить больше конверсий, чем в другое. Чтобы ее проверить и выяснить, когда все-таки лучше крутить рекламу микрофинансовой организации, мы решили сравнить эффективность объявлений в разные временные периоды:
Чтобы отключить период с 00:00 до 06:00, нам пришлось потратить время на анализ данных в Метрике. Теперь же, после завершения эксперимента, всю информацию можно будет увидеть в одном отчете.
Первым делом необходимо создать новый эксперимент: придумываем ему название, выбираем счетчик и делим на сегменты (на два и больше).
Важно! Сегменты Экспериментов и сегменты Метрики — это не одно и то же. Это разные сегменты, не связанные между собой.
Нажимаем «Создать эксперимент». Доступ настраивать не нужно, потому что мы все делаем не в агентстком аккаунте. Инструмент пока не подключают в аккаунтах агентств.
Эксперимент для A/Б-тестирования готов и выглядит так:
Если нажать на кнопку «Результаты», откроется Яндекс.Метрика с новым отчетом, в котором подсчет сегментов будет по всем кампаниям. Мы же будем проводить тестирование в рамках одной поисковой кампании, а смотреть результат будет удобнее в Мастере отчетов Яндекс.Директа.
Подготовка кампании для эксперимента и запуск
Для эксперимента взяли рекламную кампанию на поиске. Перед подключением настроенных сегментов необходимо сделать две копии исходной кампании (по количеству тестовых сегментов).
На скриншоте видны исходная кампания и две ее копии с пометками — в нашем случае добавлены названия сегментов.
Дальше нужно установить все необходимые настройки для кампаний исходя из определенных нами условий для сегментов. То есть мы настраиваем в каждой кампании нужный временной таргетинг: для сегмента A выставляем время с 06:00 до 15:00.
Важно! Временной таргетинг не может охватывать меньше 40 часов в рабочие дни.
Когда таргетинги установлены, листаем настройки вниз, пока не увидим раздел «Эксперименты». В нем выбираем нужный эксперимент и сегмент:
Остальные настройки оставляем прежними. Не забудьте сохранить.
Для другой кампании повторяем ту же последовательность действий, но уже используем сегмент B с другим временным таргетингом.
Перед запуском новых кампаний нужно установить в настройках исходной РК дату завершения — день, в который планируется запустить две новые кампании. Ну а в новых кампаниях необходимо установить дату запуска. Для чистоты эксперимента важно, чтобы новые кампании были запущены в один день. На скриншоте выше видно, что исходная кампания завершилась 24 июня 2019 года, и в этот же день запущены две ее копии с экспериментальными сегментами.
Анализ результатов в Мастере отчетов
Мы покрутили объявления три недели, после чего решили посмотреть результаты. За это время должна накопиться статистика, достаточная, чтобы делать выводы об эффективности рекламной кампании.
Чтобы посмотреть результаты, выбираем кампании, в которых проводили A/Б-тестирование и смотрим. Нужно построить отчет во вкладке «Мастер отчетов». Для этого указываем следующие значения:
Затем отмечаем параметры, которые будем сравнивать.
Ниже отмечаем условие фильтрации «Эксперименты» и выбираем нужный эксперимент (если у вас их несколько).
Кампания с сегментом A (время показа — с 06:00 до 15:00) ушла в серьезный отрыв:
При всем этом ставки в обеих кампаниях одинаковые и запущены они были в одно и то же время.
Неограниченные возможности для Экспериментов
Эксперименты от Яндекса — простой в освоении инструмент, позволяющий формировать удобные для анализа отчеты. Раньше при проведении сплит-тестов, чтобы узнать результаты, приходилось перелопачивать всю Метрику, а теперь можно сформировать один отчет, и в нем будут отражены все важные данные по нужным кампаниям.
Удобно, что Эксперименты универсальны. Можно построить любую гипотезу и проверить ее на A/Б-тестах. Здесь удобно сравнивать медийные кампании, разные медиапланы, кампании в РСЯ и на поиске, автоматические стратегии и ручные (если нужно протестировать три стратегии, то потребуется настроить три сегмента) и прочее.
Мы работали с кампаниями на поиске и проверяли эффективность в зависимости от разных временных таргетингов. За три с лишним недели мы накопили достаточно статистики, чтобы понять, в каком сегменте показатели интереснее, и перенаправить бюджеты на более эффективную кампанию. Сейчас, протестировав «Эксперименты» на небольшом проекте, мы запускаем инструмент на крупных клиентах с бюджетом от 100 000 рублей.
Эксперименты в Яндекс.Директе: запускаем первый А/Б-тест
Зимой Яндекс запустил новый инструмент для сплит-тестирования рекламы в Яндекс Директе — Эксперименты. Специалисты WebCanape поделились опытом применения этого инструмента на своих проектах. В кейсе подробная инструкция по подключению, настройке и анализу.
Не бывает одного правильного способа настроить объявление. Делать ставку на единственный вариант настроек, текст, аудиторию — провальная стратегия. Для успеха рекламной кампании необходимо экспериментировать. В незапамятные времена (в прошлом году) мы все тестировали различные сеты настроек вручную, теперь же в Яндекс.Директе появился инструмент, который позволяет автоматизировать процесс A/Б-тестирования. Называется этот волшебный инструмент «Эксперименты».
Когда вы запускаете тест, система случайным образом разделяет аудиторию на сегменты. Количество и размер сегментов вы определяете самостоятельно. При этом выборки могут быть разными — можно установить размер каждой группы от 1% до 99%, чтобы в сумме получилось 100%. Сейчас «Эксперименты» доступны по запросу, и подключают их за пару дней.
Экспериментировать на старте новой кампании обязательно. Мы же запустили этот инструмент на старом проекте с небольшим бюджетом — чтобы попробовать и дальше использовать его на других проектах. Рассказываем, что из этого вышло.
Клиент: «Займ Гарант» — компания выдает микрозаймы физическим лицам.
Регион: Республика Хакасия.
Бюджет: 15 000 рублей (на рекламу в месяц).
Проблема: мы крутим рекламу с 06:00 до 24:00, но в этом промежутке есть временные периоды, которые не приносят конверсии, расходуя бюджет без отдачи. До запуска «Экспериментов» нам приходилось ковыряться в Метрике и разбираться, есть ли эффект от ночных показов. Вручную мы выявили, что крутить рекламу по ночам неэффективно, а теперь задача состоит в том, чтобы определить в диапазоне с 6 до 24 часов периоды, когда реклама не дает желаемых результатов, и перераспределить бюджет.
Решение: подключили «Эксперименты», чтобы провести A/Б-тестирование на день и вечер. Новый новый инструмент Директа упрощает анализ.
Мы сотрудничаем с компанией «Займ-Гарант» c 2015 года. За годы работы мы провели всевозможные виды оптимизации. Проект рекламируется по 150 фразам и получает около 300 переходов из рекламы в месяц при средней цене клика 52,47 рубля. Семантическое ядро не требует большого бюджета, потому что трафик по ключевым словам в регионе не такой большой.
Инструмент сравнительно новый, поэтому в нашем аккаунте он подключен не был. Чтобы получить к нему доступ, нужно связаться с менеджером Яндекса или оставить заявку на подключение инструмента через форму в разделе «Контекстная реклама». Сейчас сплит-тестирование подключается в экспериментальном режиме для каждого клиента отдельно, на агентском аккаунте подключить инструмент пока нельзя.
В заявке надо обязательно указать логин, домен клиента и примерный план эксперимента (это такая формальность, что можно особенно ничего не расписывать — мы просто написали, что хотим протестировать новый инструмент). Такая заявка попадет к менеджеру, и он откроет доступ к новому инструменту. Но не сразу. Пару дней придется подождать. После подключения в Яндекс.Аудиториях появится вкладка «Эксперименты». С ней мы и будем работать.
Прежде чем приступить к настройке, продумайте гипотезу, которую будете проверять с помощью сплит-тестов. Кто-то скажет, что гипотезы ограничиваются лишь вашей фантазией, но лучше все-таки отталкиваться от реальной проблемы. Например, наша гипотеза была в том, что в конкретное время суток одно и то же объявление будет приносить больше конверсий, чем в другое. Чтобы ее проверить и выяснить, когда все-таки лучше крутить рекламу микрофинансовой организации, мы решили сравнить эффективность объявлений в разные временные периоды:
Чтобы отключить период с 00:00 до 06:00, нам пришлось потратить время на анализ данных в Метрике. Теперь же, после завершения эксперимента, всю информацию можно будет увидеть в одном отчете.
Первым делом необходимо создать новый эксперимент: придумываем ему название, выбираем счетчик и делим на сегменты (на два и больше).
Важно! Сегменты Экспериментов и сегменты Метрики — это не одно и то же. Это разные сегменты, не связанные между собой.
Нажимаем «Создать эксперимент». Доступ настраивать не нужно, потому что мы все делаем не в агентском аккаунте. Инструмент пока не подключают в аккаунтах агентств.
Эксперимент для A/Б-тестирования готов и выглядит так:
Если нажать на кнопку «Результаты», откроется Яндекс.Метрика с новым отчетом, в котором подсчет сегментов будет по всем кампаниям. Мы же будем проводить тестирование в рамках одной поисковой кампании, а смотреть результат будет удобнее в Мастере отчетов Яндекс.Директа.
Для эксперимента взяли рекламную кампанию на поиске. Перед подключением настроенных сегментов необходимо сделать две копии исходной кампании (по количеству тестовых сегментов).
На скриншоте видны исходная кампания и две ее копии с пометками — в нашем случае добавлены названия сегментов.
Дальше нужно установить все необходимые настройки для кампаний исходя из определенных нами условий для сегментов. То есть мы настраиваем в каждой кампании нужный временной таргетинг: для сегмента A выставляем время с 06:00 до 15:00.
Важно! Временной таргетинг не может охватывать меньше 40 часов в рабочие дни.