Kostenloser KI-Crawler-Zugriffscheck

Sehen Sie, welche Regeln Ihre robots.txt-Datei festlegt.

Prüfen Sie eine öffentliche Seite oder Website. Wir lesen die öffentliche robots.txt-Datei, wenden die veröffentlichten Regeln an und zeigen die genauen Belege.

Eine öffentliche Adresse. Nur erklärte Regeln. Ohne E-Mail.

Öffentliche Website prüfen

Eine erlaubende robots-Regel beweist nicht, dass ein Crawler eine Seite erreicht, indexiert, abruft, zitiert, empfiehlt oder verwendet.

Schmitdys Hafeninstrumente messen eine öffentliche Webroute

Eine klare Auslegung einer öffentlichen robots.txt-Datei.

Erklärte Crawler-Regel

Geben Sie eine öffentliche Website- oder Seitenadresse ein.

Wir nutzen ihren Pfad, wenn wir die öffentliche robots.txt-Datei der Website auslegen. Wählen Sie eine Seite, die ohne Anmeldung erreichbar ist.

Die Methode

Eine vorsichtige Auslegung einer öffentlichen Datei.

Wir senden eine gewöhnliche öffentliche Anfrage.

Der Check prüft die Adresse, löst nur öffentliche Netzwerkziele auf, folgt höchstens drei sicheren Weiterleitungen und liest maximal 128 KB aus der robots.txt-Datei. Er gibt sich nicht als Crawler eines Anbieters aus.

Wir zeigen die passende Regel.

Der Parser nutzt benannte User-Agent-Gruppen vor Platzhaltergruppen. Der längste passende Pfad entscheidet, bei Gleichstand hat Allow Vorrang. Sie können die Quellzeile und die Originaldatei öffnen.

Die Grenze bleibt sichtbar.

Die Dokumentation der Anbieter beschreibt Rollen. Das Ergebnis beschreibt nur die erklärte robots-Regel. Zugriff und Sichtbarkeit brauchen weiter eigene Belege.

FAQ

Bevor Sie das Ergebnis nutzen

Bedeutet „Erlaubt“, dass ein KI-Produkt meine Seite zeigt?

Nein. „Erlaubt“ bedeutet, dass der Parser für einen dokumentierten Token und den geprüften Pfad eine passende Allow-Regel gefunden hat. Es belegt nicht, dass ein Anbieter die Website erreicht oder indexiert, die Seite abgerufen, zitiert oder empfohlen oder ihren Inhalt für die Modellentwicklung verwendet hat.

Warum kann bei nutzerinitiiertem Abruf stehen, dass robots.txt-Regeln möglicherweise nicht greifen?

Die Dokumentationen der Anbieter unterscheiden sich. OpenAI und Perplexity beschreiben beispielsweise Abrufe auf Wunsch einer Person, die anders als automatisiertes Crawling behandelt werden können. Die Zeile zeigt trotzdem die erklärte Regel aus der Datei und verweist für diese Grenze auf die Dokumentation des jeweiligen Anbieters.

Was bedeutet Nicht festgelegt?

Eine passende User-Agent-Gruppe enthält keine Allow- oder Disallow-Regel für diesen Pfad, oder die Datei enthält weder eine passende benannte noch eine Platzhaltergruppe. Das ist keine Zugriffsentscheidung und kein Sichtbarkeitsbeleg.

Warum konnte die robots.txt-Datei nicht erreicht werden?

Die öffentliche Anfrage kann zu lange dauern, abgelehnt werden, die Sicherheitsgrenze überschreiten oder an einer sicheren Weiterleitung oder DNS-Prüfung scheitern. Dieses Ergebnis zeigt nicht, wie ein KI-Anbieter reagieren würde.

Speichern Sie die Adresse oder das Ergebnis?

Wir nutzen Adresse und öffentliche Antwort für diese Anfrage, ohne beides in Webanalysen oder Laufdatensätzen abzulegen. Der Rate-Limit-Nachweis enthält keine Adresse, keinen Antworttext, keine Weiterleitung und keine Antwortheader. Ihr Ergebnis bleibt in diesem Tab, bis Sie es selbst speichern.

Alle kostenlosen Tools