Руководство · Эксперименты
Проверьте изменение ранжирования до того, как его увидят все.
Набор синонимов или новый буст может улучшить один запрос и незаметно ухудшить пятьдесят. Эксперимент делит живой трафик между двумя сохранёнными профилями, и решение принимают цифры.
Правильная настройка
Два профиля, одно изменение
Контроль — ваш текущий профиль, тестовый вариант — его копия ровно с одним изменением. Два изменения сразу ничего вам не скажут.
Закрепление за посетителем
Распределение детерминировано по идентификатору посетителя, поэтому человек не переключается между вариантами и сравнение измеряет ранжирование, а не шум.
Сначала проверка офлайн
Прогоните эталонный набор на тестовом профиле. Если nDCG падает, тратить трафик нет смысла.
Чтение результата
Основная метрика
Конверсия поиска или клики на поиск — выбранные до старта. Если выбирать метрику задним числом, победитель находится всегда.
Полные недели
Трафик в будни и выходные ведёт себя по-разному; останавливайте тест на границе недели, а не тогда, когда график выглядит удачно.
Применить или откатить
Применение делает тестовый вариант профилем по умолчанию; откат завершает эксперимент без изменений.
Как начать
- 1
Создайте эксперимент
Выберите индекс, контрольный и тестовый профили и долю трафика.
POST /api/v1/experiments?index=products { "name": "Boost new arrivals", "controlProfileId": "prof_default", "treatmentProfileId": "prof_boost_new", "treatmentWeight": 50, "status": "running" } - 2
Запустите и дождитесь результата
Поиски без явно указанного профиля распределяются автоматически; отчёт сравнивает клики и конверсии по вариантам.