RegensbotBot, der Crawler von Regensbot

RegensbotBot ruft eine Seite ab, wenn ein Regensbot-Kunde sie prüfen lässt, über seinen KI-Assistenten, die API oder das Dashboard. Er liest diese Seite, ihre robots.txt, ihre Sitemaps und einige Ressourcen, auf die die Seite verweist, und prüft sie anhand der veröffentlichten Richtlinien von Suchmaschinen.

Ein Kunde kann RegensbotBot außerdem eine Website crawlen lassen, die er bei Regensbot angelegt hat. Der Crawl liest die robots.txt und die Sitemaps der Website und folgt ihren Links auf den eigenen Hosts der Website. Von einer Seite auf einer anderen Website, die eine gecrawlte Seite als Canonical oder Sprachversion nennt, liest er nur den Statuscode.

Regensbot speichert die Ergebnisse dieser Prüfungen, keine Kopien Ihrer Seiten: je Seite Angaben wie Adresse, Statuscode, Titel, Beschreibung, Überschriften, Links und Typen strukturierter Daten, Fingerabdrücke des Textes zum Erkennen von Duplikaten und kurze Auszüge, die als Beleg zitiert werden.

So erkennen Sie ihn

Seine Anfragen tragen diesen User-Agent:

RegensbotBot/1.0 (+https://staging.regensbot.de/bot)

Um zu vergleichen, was Suchmaschinen und Besucher ausgeliefert bekommen, wiederholen einige Prüfungen eines Audits einer einzelnen Seite eine Anfrage mit dem User-Agent des Googlebot, des Storebot-Google oder eines Browsers. Diese Anfragen kommen von der Adresse von Regensbot, nicht von Google. Crawls von Websites verwenden immer den User-Agent von RegensbotBot.

Grenzen

• Ein Audit stellt höchstens 120 Anfragen und endet nach 120 Sekunden.
• Ein Kunde prüft eine Website höchstens 6-mal pro Stunde, alle Kunden zusammen höchstens 30-mal pro Stunde.
• Ein Crawl stellt eine Anfrage nach der anderen, höchstens eine pro Sekunde und Host; auf einer Website, die der Kunde nicht als seine eigene bestätigt hat, höchstens eine alle zwei Sekunden.
• Jeder Kunde crawlt eine nicht bestätigte Website höchstens einmal im Monat mit bis zu 25 Seiten. Geplante Crawls laufen nur auf bestätigten Websites, und über alle Kunden hinweg läuft je Website immer nur ein Crawl.
• Antwortet Ihre Website mit 429 oder 503, hört RegensbotBot sofort auf und wartet so lange, wie Retry-After verlangt, höchstens 60 Minuten.

So schließen Sie ihn aus

Fügen Sie diese Gruppe in Ihre robots.txt ein. RegensbotBot ruft dann von Ihrer Website nur noch die robots.txt ab:

User-agent: RegensbotBot
Disallow: /

Der ältere Name SEOAuditorBot funktioniert auch. Engere Regeln in dieser Gruppe, etwa Disallow: /privat/, halten Crawls von den Adressen fern, die sie erfassen.

Crawls einer Website, deren Inhaber sie nicht bei Regensbot bestätigt hat, befolgen außerdem die Regeln für alle Crawler (User-agent: *), wenn es keine Gruppe für RegensbotBot gibt: Disallow: / beendet dort den Crawl, engere Regeln überspringen die Adressen, die sie erfassen. Regensbot behandelt diese Regeln als Nutzungsvorbehalt nach § 44b des Urheberrechtsgesetzes (UrhG).

Ist die robots.txt eines Hosts nicht abrufbar (Serverfehler, Statuscode 429 oder keine Antwort), ruft ein Crawl von diesem Host nichts weiter ab, außer der Host gehört zu einer Website, deren Inhaber sie bei Regensbot bestätigt hat. Ist es der Host der Startadresse des Crawls, bricht der Crawl ab.

Ein Audit einer einzelnen Seite, das ein Kunde anfordert, und Crawls einer Website, deren Inhaber sie bei Regensbot bestätigt hat, lesen die Regeln für alle Crawler nicht als an RegensbotBot gerichtet, weil sie prüfen, wie Suchmaschinen die Website sehen. Um RegensbotBot davon fernzuhalten, verwenden Sie eine Gruppe für RegensbotBot.

Eine Ausnahme: Leitet eine andere Website RegensbotBot auf Ihre Website weiter, wird die Zielseite einmal abgerufen, bevor Ihre robots.txt gelesen werden kann. Regensbot prüft auf ihr dann nichts.

Kontakt

Wenn Ihre Domain ganz gesperrt werden soll oder Sie ein Problem melden möchten, schreiben Sie uns an die Adresse in unserem Impressum.