Guide · Expériences
Testez une modification du classement avant que tout le monde ne la voie.
Un jeu de synonymes ou un nouveau boost peut améliorer une requête et en dégrader discrètement cinquante autres. Une expérience répartit le trafic réel entre deux profils enregistrés et laisse les chiffres trancher.
Bien la configurer
Deux profils, une modification
Le contrôle est votre profil actuel, la variante est une copie avec exactement une modification. Deux modifications à la fois ne vous apprennent rien.
Persistante par visiteur
L’affectation est déterministe selon l’identifiant du visiteur : une personne ne passe pas d’une variante à l’autre et la comparaison mesure le classement, pas le bruit.
Vérifiez d’abord hors ligne
Exécutez le jeu de référence sur le profil de la variante. Si le nDCG baisse, inutile de dépenser du trafic.
Lire le résultat
Métrique principale
Conversion depuis la recherche ou clics par recherche, choisie avant de commencer. Choisir la métrique après coup désigne toujours un gagnant.
Des semaines complètes
Le trafic de semaine et celui du week-end se comportent différemment ; arrêtez à la fin d’une semaine, pas quand la courbe vous plaît.
Promouvoir ou annuler
Promouvoir fait de la variante le profil par défaut ; annuler met fin à l’expérience sans aucun changement.
Pour commencer
- 1
Créez l’expérience
Choisissez l’index, les profils de contrôle et de variante et la part du trafic.
POST /api/v1/experiments?index=products { "name": "Boost new arrivals", "controlProfileId": "prof_default", "treatmentProfileId": "prof_boost_new", "treatmentWeight": 50, "status": "running" } - 2
Lancez-la et patientez
Les recherches sans profil explicite sont affectées automatiquement ; le rapport compare les clics et les conversions par variante.