Facebook поможет устраивать A/B-тестирование по науке

Big Data / Новости
автор: Олег Парамонов  04 апреля 2014

Facebook опубликовала исходные коды фреймворка PlanOut, который был разработан и применяется этой компанией для проведения A/B-тестирований. Он включает в себя специализированный язык программирования, упрощающий организацию сложных экспериментов, средство автоматической фиксации результатов и инструменты, помогающие проводить серии взаимосвязанных экспериментов.

A/B-тестирование — метод проверки действенности тех или иных интерфейсных решений, который нередко применяют интернет-компании. Для того чтобы выяснить, какой эффект произведут изменения на сайте, его посетителей случайным образом делят на несколько групп. Участники каждой из них видят различные версии сайта. Чтобы выбрать оптимальную версию, достаточно сравнить показатели этих групп.

В некоторых случаях это позволяет предотвратить изменения, которые могли бы привести к катастрофическим последствиям — скажем, сократить доходы интернет-магазина или ускорить отток пользователей. В других — наоборот, улучшить, причём за счёт незначительных на первый взгляд изменений. Влияние мелочей — например, правильного оттенка или подходящих слов — зачастую оказывается очень серьёзным.

Facebook ежедневно проводит тысячи подобных экспериментов. Инженеры компании хорошо знакомы с подводными камнями, которые подстерегают тех, кто берётся за A/B-тестирование без должного умения. Допустить ошибку, которая полностью лишит смысла полученные во время эксперимента результаты, проще простого.

Приставить к каждому программисту эксперта по статистике, который будет следить, чтобы к тестам было невозможно придраться, — слишком дорого даже по меркам Facebook. Но к проблеме можно подойти с другой стороны — заложить знания экспертов в программный продукт.

PlanOut является реализацией именно этой идеи. Он даёт готовую платформу для проведения A/B-тестирований, которая позволяет избежать если не всех, то многих распространённых ошибок. При этом он спроектирован таким образом, чтобы поощрять подход к экспериментам, принятый у психологов и когнитивистов. Кроме того, в него заложена возможность проведения не одного, а серии последовательных опытов.

Код PlanOut опубликован на GitHub, а краткое объяснение можно найти в блоге Facebook. Тех, кого интересуют подробности, направляют к научной работе «Планирование и внедрение онлайновых полевых экспериментов«. Создатели PlanOut намерены представить её на конференции WWW 2014, которую проводит авторитетная международная организация Ассоциация вычислительной техники (ACM).

Поделиться
Поделиться
Tweet
Google
 
Читайте также
Symantec представила Backup Exec 15
Symantec представила Backup Exec 15
Teradata QueryGrid поможет объединить различные средства анализа
Teradata QueryGrid поможет объединить различные средства анализа
Huawei и Intel будут сотрудничать в области «больших данных»
Huawei и Intel будут сотрудничать в области «больших данных»
Хостинг "ИТ-ГРАД"
© ООО "Компьютерра-Онлайн", 1997-2017
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.
«Партнер Рамблера» Почта защищена сервером "СПАМОРЕЗ" Хостинг "Fornex"