SembrelioBot

Zweck

SembrelioBot ruft öffentliche Seiten einer Website nur ab, nachdem eine Person, die angibt, dazu berechtigt zu sein, die Website für eine Auswertung eingereicht hat. Der Text der Seiten wird genutzt, um Fakten über das Unternehmen zu extrahieren, etwa Leistungen, Standort und Kontaktdaten. Diese Fakten werden mit Antworten von KI-Diensten verglichen. SembrelioBot durchsucht nicht allgemein das Web und sammelt keine Inhalte zum Training von KI-Modellen.

Was SembrelioBot abruft

Zuerst die robots.txt, dann die Startseite, die sitemap.xml (und in der robots.txt genannte Sitemaps) und die llms.txt, danach weitere Seiten derselben Website, zuerst Seiten wie Impressum, Kontakt und Leistungen. Abgerufen wird nur die eingereichte Website, mit und ohne „www“; andere Domains, Subdomains und verlinkte Websites nicht. SembrelioBot führt kein JavaScript aus. Die Seite wie ausgeliefert, ihr Text und eine Markdown-Fassung werden für die Auswertung gespeichert.

User-Agent

SembrelioBot gibt sich mit diesem User-Agent zu erkennen:

SembrelioBot/0.1 (+https://sembrelio.com/bot)

robots.txt

SembrelioBot liest vor dem Abruf von Seiten die robots.txt und befolgt die Regeln für das Token SembrelioBot oder, wenn es keine eigenen Regeln gibt, die Regeln für alle User-Agents (*). Kann die robots.txt wegen eines Serverfehlers oder einer Zeitüberschreitung nicht gelesen werden, ruft SembrelioBot keine Seiten ab. Um SembrelioBot für Ihre gesamte Website zu sperren, ergänzen Sie:

User-agent: SembrelioBot
Disallow: /

Grenzen

Höchstens 30 Seiten pro Website und Auswertung, höchstens eine Anfrage pro Sekunde (langsamer, wenn die robots.txt ein Crawl-delay vorgibt), mit einem Timeout von 20 Sekunden pro Anfrage. SembrelioBot speichert keine Cookies, meldet sich nicht an, sendet keine Formulare ab und umgeht keine Bezahlschranken.

Kontakt

Fragen oder Probleme mit SembrelioBot: bot@sembrelio.com