Leitfaden · Experimente
Testen Sie eine Ranking-Änderung, bevor alle sie sehen.
Ein Synonymset oder ein neuer Boost kann eine Anfrage verbessern und fünfzig andere unbemerkt verschlechtern. Ein Experiment teilt den Live-Traffic auf zwei gespeicherte Profile auf und lässt die Zahlen entscheiden.
Richtig aufsetzen
Zwei Profile, eine Änderung
Die Kontrollgruppe ist Ihr aktuelles Profil, die Testvariante eine Kopie mit genau einer Änderung. Zwei Änderungen auf einmal sagen Ihnen nichts.
Feste Zuordnung pro Besucher
Die Zuordnung ist deterministisch anhand der Besucher-ID, sodass niemand zwischen Varianten wechselt und der Vergleich das Ranking misst, nicht Rauschen.
Zuerst offline prüfen
Lassen Sie das goldene Set gegen das Testprofil laufen. Sinkt nDCG, lohnt es sich nicht, Traffic einzusetzen.
Das Ergebnis lesen
Primärmetrik
Such-Conversion oder Klicks pro Suche, festgelegt vor dem Start. Wer die Metrik nachträglich wählt, findet immer einen Gewinner.
Volle Wochen laufen lassen
Traffic unter der Woche und am Wochenende verhält sich unterschiedlich; beenden Sie den Test an einer Wochengrenze, nicht wenn das Diagramm gut aussieht.
Übernehmen oder zurückrollen
Beim Übernehmen wird die Testvariante zum Standardprofil; beim Zurückrollen endet das Experiment ohne Änderung.
So starten Sie
- 1
Experiment anlegen
Wählen Sie den Index, Kontroll- und Testprofil sowie den Traffic-Anteil.
POST /api/v1/experiments?index=products { "name": "Boost new arrivals", "controlProfileId": "prof_default", "treatmentProfileId": "prof_boost_new", "treatmentWeight": 50, "status": "running" } - 2
Starten und abwarten
Suchen ohne explizites Profil werden automatisch zugeordnet; der Bericht vergleicht Klicks und Conversions pro Variante.