Руководство · Аналитика
Пять цифр, которые показывают, работает ли поиск.
Большинство команд отслеживают число поисков. Но оно растёт, когда поиск плохой, потому что люди повторяют запрос. Вот метрики, которые меняются, когда поиск становится лучше.
Пять метрик
Доля пустых выдач
Доля поисков, которые ничего не нашли. Самый быстрый сигнал: опечатки, сленг и недостающие синонимы проявляются здесь первыми.
Доля спасённых запросов
Среди запросов, которые в исходном виде ничего не нашли, — доля, спасённая переформулировкой. Каждый ответ фиксирует спасший шаг.
Конверсия поиска
Доля поисковых сессий, закончившихся покупкой. Требует отправки событий конверсии с идентификатором посетителя.
CTR по показам
Клики, делённые на показанные результаты, а не на поиски. Отношение поисков к кликам скрывает девять проигнорированных результатов на каждой странице.
nDCG на эталонном наборе
Фиксированный список запросов с оценёнными ожидаемыми результатами, который пересчитывается после каждого изменения. Единственная метрика, не зависящая от трафика.
Как читать их вместе
Поисков больше, конверсия на месте
Обычно это проблема релевантности: люди повторяют запрос. Проверьте запросы с пустой выдачей и низким CTR.
Пустых выдач меньше, CTR ниже
Переформулировки спасают запросы слабыми совпадениями. Посмотрите, какой шаг лестницы срабатывает чаще всего, и добавьте синонимы.
nDCG упал после изменения
Изменение ухудшило заведомо хорошие запросы. Откатите его или сначала запустите как эксперимент.