Kurz gesagt: TIME liefert einigen KI-Agenten eine schlanke Markdown-Version seiner Website. Darin stehen gesponserte Fakten, die Menschen nicht sehen. Unser Test vom 19. August 2026 zeigt: Der Zugang unterscheidet sich bereits je nach Bot. Das neue Internet hat eine URL, mehrere Zielgruppen und einen neuen Markt für maschinelle Aufmerksamkeit.
Am 19. August 2026 habe ich denselben TIME-Artikel mit mehreren Crawler-Kennungen geöffnet. Die URL blieb gleich. Fast alles andere änderte sich.
Googlebot erhielt rund 305.000 Byte HTML. ClaudeBot und PerplexityBot bekamen jeweils 13.409 Byte sauberes Markdown. ChatGPT-User, OAI-SearchBot und GPTBot erhielten HTTP 406 und keinen Artikel.
Danach prüfte ich eine Sammlungsseite von TIME. ClaudeBot und PerplexityBot erhielten eine Markdown-Seite mit einem gesponserten Ally-Bank-FAQ, Kampagnenmarkern und FAQPage-Schema. Dieses bezahlte Material erscheint auf der Seite für Menschen nicht.
Vincent Schmalbach dokumentierte die Trennung am 5. August. Zwei Wochen später hatte sich die Bot-Matrix bereits verändert. Genau darin liegt die eigentliche Nachricht. Wir veröffentlichen nicht mehr eine feste Seite für ein allgemeines Publikum. Wir verhandeln mit mehreren maschinellen Zielgruppen, die mit eigenen Namen, Rechten und einem eigenen wirtschaftlichen Wert ankommen.
Was lieferte TIME am 19. August 2026 an KI-Bots aus?
Ich sendete pro Crawler eine GET-Anfrage mit dem aktuellen vollständigen User-Agent des jeweiligen Betreibers sowie den Headern Accept: / und Accept-Encoding: identity, also ohne Komprimierung. Anthropic veröffentlicht statt einer Browser-Kennung das Token ClaudeBot. Dieses Detail ist wichtig, denn ein verkürzter Bot-Name erzeugte andere Ergebnisse und ist in der Tabelle nicht enthalten. Der datierte Messbeleg enthält alle User-Agents, Statuscodes, ausgewählte Header und Body-Hashes.
Die sechs offiziellen Crawler-Kennungen erzeugten in unserem Live-Test drei unterschiedliche Antwortgruppen.
| Kennung der Anfrage | HTTP-Ergebnis | Format | Übertragene Bytes | Bedeutung |
|---|---|---|---|---|
| Googlebot | 200 | HTML | Rund 305.000 | Googles Such-Crawler erhielt die vollständige Webseite |
| ClaudeBot | 200 | Markdown | 13.409 | Anthropics Crawler für Modellentwicklung erhielt eine maschinenfertige Seite |
| PerplexityBot | 200 | Markdown | 13.409 | Perplexitys Such-Crawler erhielt dieselbe Maschinenseite |
| ChatGPT-User, OAI-SearchBot und GPTBot | 406 | Kein Inhalt | 0 | Diese OpenAI-Crawler wurden in unserem Test abgewiesen |
Die Markdown-Antwort war rund 23-mal kleiner als die HTML-Antwort. In den Headern standen eine neue Mobian-Impressionskennung, eine no-store-Cache-Regel, ein Markdown-Formatmarker und eine Zahl von 3.323 Token.
Die Sammlungsseite ging weiter. Ihre Maschinenfassung enthielt einen klar als gesponsert markierten Block von Ally Bank. Er beantwortete Fragen dazu, wer Ally Bank ist und ob Kunden Bargeld einzahlen können. Dazu kamen strukturierte FAQ-Daten und ein Kampagnenmarker. Die Kennzeichnung ist für die Maschine vorhanden. Ein Mensch begegnet dieser Anzeige auf der öffentlichen Seite nicht.
Mich überraschte nicht das Markdown. Mich überraschte das Geschäftsmodell, das darin steckte.
Warum ist das ein neues Internet und nicht nur ein Website-Trick?
Webserver haben ihre Antworten schon immer angepasst. Eine Seite kann Sprache, Kompression, Gerätedarstellung oder angemeldete Inhalte ändern. HTTP nennt jedes Ergebnis eine Darstellung derselben Ressource. Laut RFC 9110 soll der Vary-Header die Anfragefelder nennen, die die Auswahl der Darstellung beeinflussen können. TIME lieferte einen Vary-Header, der Accept nennt. Unsere kontrollierten Anfragen zeigen jedoch, dass auch der User-Agent das Ergebnis änderte. Der öffentliche Header verrät nicht die ganze Routing-Regel.
TIMEs Versuch überschreitet eine wichtigere Grenze. Die Darstellung ändert sich, weil der Leser eine Maschine ist. Diese Maschinenfassung hat eigene Werbeflächen, Messwerte und Fakten.
| Das bekannte Internet | Das neue Maschinen-Internet |
|---|---|
| Ein Mensch lädt eine Seite | Ein Crawler oder Agent fordert eine Darstellung an |
| Aufmerksamkeit wird in Seitenaufrufen gemessen | Aufmerksamkeit lässt sich in Abrufen, Impressionen und Token messen |
| Werbung steht neben dem Artikel | Gesponserte Fakten können direkt in der Maschinenfassung stehen |
| Eine öffentliche Seite gilt als Referenz | Eine URL kann verschiedene Formate und Inhalte liefern |
| Such-Crawler gelten als eine technische Klasse | Training, Suche und nutzerausgelöste Agenten erhalten eigene Regeln |
| Ein Klick trägt den Wert | Eine zitierte Antwort oder Empfehlung kann auch ohne Klick wertvoll sein |
Derselbe wirtschaftliche Druck steckt hinter Cloudflares Pay Per Crawl. In der privaten Beta können Verlage einen Crawler zulassen, blockieren oder mit HTTP 402 einen Preis nennen. TIME und Mobian zeigen einen anderen Weg: ausgewählte Maschinen zulassen und gesponsertes Material in deren Darstellung platzieren.
Beide Modelle weisen auf dieselbe Veränderung. Maschinenzugang wird zum Produkt und ist keine Nebenwirkung des Website-Betriebs mehr.
Wie unterscheiden sich KI-Crawler schon heute?
Die Bot-Namen klingen austauschbar. Die Betreiber beschreiben klare Unterschiede.
OpenAI dokumentiert drei getrennte Zugangswege. OAI-SearchBot versorgt die ChatGPT-Suche. GPTBot kann Material für das Modelltraining sammeln. ChatGPT-User ruft Seiten ab, wenn ein Mensch ChatGPT oder ein Custom GPT darum bittet. Website-Betreiber können damit Suche zulassen und Training ablehnen.
Anthropic dokumentiert ebenfalls drei Rollen. ClaudeBot unterstützt die Modellentwicklung. Claude-SearchBot unterstützt die Suche. Claude-User ruft eine Seite im Auftrag eines Menschen ab.
Eine robots.txt-Entscheidung ist deshalb eine Zugangsentscheidung. Wer einen Trainings-Bot blockiert, erzeugt nicht dieselbe Wirkung wie beim Blockieren eines Such-Bots. Ein gesperrter nutzerausgelöster Abruf kann verhindern, dass ein Assistent Ihre Seite genau in dem Moment liest, in dem jemand nach Ihrem Produkt fragt.
TIMEs wechselnde Antworten zeigen, warum eine feste Crawler-Checkliste schnell veraltet. Schmalbach berichtete am 5. August über Markdown von OAI-SearchBot und PerplexityBot. Unser Test mit vollständigen Kennungen erhielt am 19. August weiterhin Markdown von PerplexityBot, aber HTTP 406 von OAI-SearchBot. Eine Antwortmatrix kann sich innerhalb weniger Tage ändern. Ein verkürzter User-Agent kann erneut ein anderes Ergebnis auslösen.
Ist eine andere Seite für KI-Bots Cloaking?
Unterschiedliche Inhalte sind nicht automatisch Cloaking. Absicht und inhaltliche Gleichheit entscheiden.
Google definiert Cloaking als unterschiedliche Inhalte für Nutzer und Suchmaschinen mit dem Ziel, Rankings zu manipulieren und Menschen zu täuschen. In unserem Test erhielt Googlebot die vollständige HTML-Seite. Das getrennte Markdown ging an ausgewählte Assistenz-Agenten. Das entspricht nicht dem klassischen Muster, bei dem nur Googlebot zusätzliche Keywords sieht.
Die Vertrauensfrage bleibt trotzdem bestehen. Eine saubere Markdown-Spiegelung derselben Fakten ist eine Formatwahl. Eine Maschinenseite mit zusätzlichen kommerziellen Aussagen ist eine Inhaltswahl. Wenn ein KI-Assistent solche Aussagen übernimmt und die Sponsorenkennzeichnung in seiner Antwort verliert, ist die Offenlegungskette zwischen Verlag, Crawler und Modell gerissen.
Die sichere Regel lautet: eine Wahrheit, mehrere Formate. Überschriften dürfen klarer sein. Navigation, Skripte und visuelle Dekoration dürfen entfallen. Wichtige Fakten, Aussagen, Daten, Preise und Kennzeichnungen müssen mit der öffentlichen Seite übereinstimmen.
Warum schaltet ein Verlag Werbung auf Seiten, die Menschen nie sehen?
Weil der Assistent einen Menschen beeinflussen kann, ohne ihn an den Verlag weiterzuleiten.
Klassische Display-Werbung braucht einen menschlichen Seitenaufruf. KI-Suche liefert die vollständige Antwort oft in der eigenen Oberfläche. Das Modell ruft eine Quelle ab, entnimmt eine Passage und antwortet. Der Nutzer besucht die Seite, die seine Empfehlung geprägt hat, unter Umständen nie.
Gesponserte Maschinenfakten rücken die Anzeige näher an diesen Abruf. Der Ally-Block nutzt eine Form, die Antwortsysteme leicht verarbeiten: direkte Fragen, kurze Antworten, benannte Funktionen und FAQ-Schema. Er wurde für Extraktion gebaut.
Das bedeutet nicht, dass eine Anzeige automatisch zur Empfehlung wird. Modelle verbinden mehrere Quellen, bewerten selbst und können gesponsertes Material ignorieren. Die wichtige Verschiebung liegt früher: Die bezahlte Einheit konkurriert um Maschinenaufmerksamkeit, bevor ein Mensch das Ergebnis sieht.
Damit entsteht eine neue Audit-Frage für jede KI-Antwort: Welche Teile stammen aus redaktionellen Seiten, welche aus klar gesponserten Maschinenseiten und hat die fertige Antwort diesen Unterschied bewahrt?
Was ändert sich für GEO, wenn die Maschinenseite andere Fakten tragen kann?
Der Unterschied zwischen SEO, AEO und GEO beginnt bei Abruf und Auswahl innerhalb einer Antwort. Ich behandle GEO nicht mehr als reine Aufgabe für Inhaltsformatierung: Seiten klar schreiben, Fragen direkt beantworten und strukturierte Daten ergänzen. TIMEs Trennung zeigt, dass Distribution und Steuerung genauso wichtig werden.
Erstens gehört Crawler-Zugang in die Messung. Ein System kann die Seite nicht über eine Anfrage abrufen, die HTTP 406 erhält. Es kann trotzdem eine ältere Fassung kennen oder die Information auf einem anderen Weg erreichen. Prüfen Sie die echte Bot-Antwort und nicht nur die Browserseite und robots.txt. Daten zur KI-Sichtbarkeit werden erst durch konkrete Zitationsarbeit nützlich.
Zweitens braucht eine Marke Faktengleichheit. Enthält die Maschinenversion eine andere Produktaussage, einen anderen Preis oder eine andere Empfehlung, haben Sie zwei Wahrheitsquellen geschaffen. Das kann einen Abruf gewinnen und überall sonst Vertrauen verlieren.
Drittens erzeugt maschinenlesbare Werbung Probleme bei der Herkunft von Zitaten. Ein Modell kann einen Fakt übernehmen und den gesponserten Kontext fallen lassen. Marken und Verlage brauchen Kennzeichnungen, die eine Extraktion überstehen und nicht nur in der Quelldatei verständlich sind.
Viertens kann sich eine Bot-Regel ohne Redesign oder öffentliche Meldung ändern. Ein Marketingteam kann den Zugang zu einem Antwortsystem verlieren, während die Website für jeden Menschen perfekt aussieht.
Sollte Ihre Website 2026 Markdown an KI-Crawler liefern?
Nicht automatisch. Sauberes HTML liefert ernsthaften Crawlern bereits Überschriften, Listen, Tabellen, Links und strukturierte Daten. Eine getrennte Markdown-Version schafft eine weitere Fläche, die abweichen, Entwürfe verraten oder veraltete Aussagen tragen kann.
Nutzen Sie eine Maschinendarstellung, wenn sie ein gemessenes Problem löst: teures Rendering, blockierte Extraktion, schwere Navigation, ein bezahltes Zugangsmodell oder eine klare Verlagspartnerschaft. Erzeugen Sie sie aus derselben Quelle wie die menschliche Seite. Prüfen Sie bei jeder Veröffentlichung die inhaltliche Gleichheit.
Für die meisten Marken ist der bessere erste Schritt einfacher. Stellen Sie die direkte Antwort an den Anfang. Nutzen Sie klare Überschriften. Halten Sie wichtige Fakten in serverseitig gerendertem HTML. Ergänzen Sie Schema, das dem sichtbaren Text entspricht. Machen Sie Quellen und Autor leicht prüfbar. Testen Sie danach, was jeder Crawler tatsächlich erhält.
Welche 6 Schritte sollten Marken jetzt umsetzen?
- Ordnen Sie wichtige Crawler nach ihrem Zweck. Trennen Sie Training, Suche und nutzerausgelöste Agenten. Entscheiden Sie für jeden Zugriff einzeln.
- Rufen Sie Ihre wichtigsten Seiten mit diesen Kennungen ab. Halten Sie Statuscode, Inhaltstyp, Byte-Zahl, kanonische URL und die erste wichtige Passage fest. Wiederholen Sie den Test monatlich.
- Pflegen Sie eine Faktengrundlage. Erzeugen Sie HTML, Feeds oder Markdown aus demselben freigegebenen Inhalt. Bearbeiten Sie keine versteckte Maschinenseite von Hand.
- Prüfen Sie Aussagen und Kennzeichnungen. Preise, Benchmarks, Empfehlungen, Daten und Sponsorenhinweise müssen jede Darstellung überstehen.
- Messen Sie Maschinenaufmerksamkeit getrennt. Unterscheiden Sie Such-Bots, Trainings-Bots und nutzerausgelöste Abrufe. Eine Gesamtzahl für Bot-Traffic versteckt die Zugangsentscheidung.
- Messen Sie die Antwort und nicht nur den Crawl. Prüfen Sie, ob die Marke genannt wird, welche Quelle zitiert wird, ob die Sponsorenkennzeichnung erhalten bleibt und ob die Aussage stimmt.
Hier wird GEO zum Betriebssystem und verlässt den Bereich kleiner Texttricks. Das Team mit Verantwortung für die KI-Sichtbarkeit muss nun Inhalte, Edge-Regeln, Analyse, Markensicherheit und Messung auf Antwortniveau verbinden.
Wohin entwickelt sich das neue Internet?
Das alte Web ging von einer Seite und einem öffentlichen Publikum aus. Die nächste Version hat Menschen, Such-Crawler, Trainings-Crawler und Agenten, die dieselbe URL mit verschiedenen Rechten und einem unterschiedlichen Wert aufrufen.
TIME hat Content Negotiation nicht erfunden. Der Verlag zeigt, was passiert, wenn diese technische Funktion auf Werbung und KI-Abruf trifft. Eine Seite kann heute eine Maschinenimpression verdienen, einen Sponsor nur für Maschinen tragen und einen Menschen beeinflussen, der sie nie besucht.
Die richtige Antwort ist keine geheime Website für Bots. Sie müssen genau wissen, was jede Zielgruppe erhält, und die Wahrheit in allen Fassungen bewahren.
Eine Adresse erreicht heute viele Leser. Das eigentliche Risiko beginnt, wenn die Fassungen auseinanderlaufen und niemand mehr weiß, welche davon was gesagt hat.
