Integration · Crawl

Keine API? Ihre Sitemap genügt.

AACSearch liest Ihre Sitemap oder Startseiten, ruft jede Seite sicher ab, entfernt das Markup und indexiert den Text. Dokumentation wird nach Überschriften aufgeteilt, sodass ein Treffer direkt auf den passenden Abschnitt verweist.

Zwei Arten zu crawlen

Sitemap-Crawl

Jede URL in sitemap.xml wird zu einem Dokument mit Titel, Text und URL und nach Zeitplan aktualisiert.

Dokumentations-Crawl

Nach dem Vorbild von DocSearch: Start-URLs, erlaubte Domains und CSS-Selektoren für Überschriftenebenen und Text, sodass jeder Abschnitt ein eigener Treffer mit Anker ist.

Sicher by Design

Nur öffentliche Adressen

Der Crawler lehnt private und Loopback-Adressen ab und prüft jede Weiterleitung erneut, sodass er nicht gegen ein internes Netzwerk eingesetzt werden kann.

Begrenzte Läufe

Seiten- und Tiefenlimits verhindern, dass ein Crawl auf Websites mit endlosen Kalendern oder Filtern ausufert.

Was das ermöglicht

KI-Antworten mit Quellen

Der Assistent antwortet auf Basis der gecrawlten Seiten und verlinkt den verwendeten Abschnitt.

Bedeutungsbasierte Suche

Die hybride Suche findet den passenden Artikel auch dann, wenn die Worte des Besuchers vom Titel abweichen.

Technische Daten

Quellen
sitemap.xml, einzelne URLs, Start-URLs der Dokumentation
Seiten pro Docs-Crawl
standardmäßig 50, bis zu 1.000
Linktiefe
standardmäßig 10
Dokumente pro Sitemap-Lauf
standardmäßig 500, bis zu 2.000
Verfolgte Weiterleitungen
bis zu 5, jede erneut geprüft
Zeitplan
manuell, stündlich, täglich oder wöchentlich

Bevor Sie starten

  • Eine öffentliche Sitemap oder eine Liste von Start-URLs
  • Für Dokumentation: CSS-Selektoren für Seitentitel, Überschriften und Fließtext
  • Seiten, die ihren Text im HTML ausliefern (reine Client-Anwendungen benötigen eventuell stattdessen die Dokumenten-API)

Fragen