Zugang für KI-Crawler
Ob GPTBot, ClaudeBot, PerplexityBot & Co. die Seite laden dürfen – und ob sie sie zitieren dürfen.
z. B. „Darf GPTBot diese URL laden?“
Kostenlos · ohne Anmeldung
ChatGPT, Claude, Perplexity und Google AI lesen deine Seite regelmäßig – nur eben ganz anders als deine Besucher. AgentBuddy schaut mit seinen Augen drauf und sagt dir in Klartext, was gut läuft und was du leicht besser machst.
liest deine-domain.de
„Ich verstehe, worum es geht – aber für ein Zitat fehlen mir noch ein paar überprüfbare Zahlen. Fangen wir damit an?“
Was geprüft wird
Dein Buddy holt sich HTML, HTTP-Header, robots.txt, llms.txt, Sitemap und – sofern eingerichtet – Lighthouse-Daten. Die Prozentwerte sind das Gewicht im Gesamtscore. Nichts davon ist Magie, alles ist nachprüfbar.
Ob GPTBot, ClaudeBot, PerplexityBot & Co. die Seite laden dürfen – und ob sie sie zitieren dürfen.
z. B. „Darf GPTBot diese URL laden?“
Wie sauber deine Seite bei einem Agenten ankommt: Nutztext statt Ballast, klare Landmarken, keine Wand davor. Markdown-Auslieferung ist ein optionaler Bonus.
z. B. „Ist der Hauptinhalt sauber vom Rest getrennt?“
Ob klar wird, worum es geht, ob die Frage beantwortet wird und der Text sauber gegliedert ist – statt Marketingsprache und Textwüste.
z. B. „Steht die Antwort im ersten Absatz?“
Maschinenlesbare Fakten zu Marke, Seitentyp und Einordnung – hilfreich für korrekte Zitate, aber keine Voraussetzung.
z. B. „Ist eure Organisation ausgezeichnet?“
Konkrete Aussagen statt Marketingsprache, belastbare Zahlen, Primärquellen, Autor und Datum – je nach Seitentyp gewichtet.
z. B. „Stehen echte Zahlen im Text?“
Konsistenter Name, Impressum, Kontakt und Profile – woran ein Modell erkennt, dass hinter der Domain eine reale Organisation steht. Wikipedia/Wikidata sind nur Bonus.
z. B. „Gibt es sameAs-Verweise nach außen?“
Ob der Inhalt ohne JavaScript im HTML steht, schnell ausgeliefert wird und sauber ausgezeichnet ist.
z. B. „Kommt der Text ohne JavaScript an?“
Dein Weg
GEO ist kein zweites SEO: Nicht das Ranking einer Seite zählt, sondern welche Passage ein Modell als Beleg verwendet. Die Schritte bauen aufeinander auf – du musst nicht alles auf einmal machen.
Schritt 1 · Reinlassen
KI-Crawler führen kein JavaScript aus (Ausnahme: Googlebot rendert), und die meisten halten sich an die robots.txt – verlassen kann man sich darauf nicht, deshalb ruft der Check zusätzlich mit Crawler-Kennung ab. Was dort blockiert ist, rettet auch der beste Text nicht.
Schritt 2 · Verstehen
Ein Agent hat ein begrenztes Kontextfenster. Je weniger Ballast du mitschickst, desto mehr von deinem Inhalt kommt tatsächlich an.
Schritt 3 · Antworten
Modelle zerlegen Seiten in Passagen und wählen die aus, die eine Frage auch ohne Kontext beantwortet.
Schritt 4 · Belegen
Zwischen zwei gleich gut strukturierten Seiten gewinnt die, die überprüfbarer ist.
Schritt 5 · Bekannt werden
Ein Modell nennt eine Marke, wenn es sie als eigenständige Entität kennt – dieses Wissen entsteht auf fremden Seiten.
Schritt 6 · Nachsehen
Rankings helfen hier nicht weiter. Aufwand lohnt sich nur, wenn du siehst, ob sich etwas bewegt.
Häufige Fragen
Ehrlichkeit gehört dazu: Der Check misst Voraussetzungen, keine Wunder. Hier steht, wo die Grenze verläuft.
AgentBuddy ruft eine von dir angegebene URL so ab, wie es ein KI-Agent tun würde, und prüft über 50 Signale in sieben Gruppen: Zugang für KI-Crawler, Lesbarkeit für Agenten, Struktur und Antwortfähigkeit, strukturierte Daten, Belege und Zitierfähigkeit, Marke als Entität sowie Technik und Auslieferung. Daraus entsteht ein Score von 0 bis 100 und eine nach Wirkung sortierte Liste konkreter Maßnahmen.
GEO bezeichnet die Optimierung von Websites darauf, in den Antworten generativer KI-Systeme wie ChatGPT, Claude, Perplexity, Google AI Overviews oder Copilot als Quelle verwendet und genannt zu werden. Anders als bei klassischen Suchergebnissen zählt nicht die Position in einer Liste, sondern ob eine Passage der Seite in die generierte Antwort einfließt.
SEO optimiert auf das Ranking einer ganzen Seite für eine Suchanfrage. GEO optimiert auf die Verwertbarkeit einzelner Passagen als Beleg für eine Antwort. Die technische Basis ist weitgehend dieselbe – erreichbar, schnell, strukturiert. Zusätzlich zählen bei GEO das Antwortformat des Textes, die Belegdichte, die Lesbarkeit für Agenten und die Frage, ob die Marke als eigenständige Entität bekannt ist.
Die Prüfung ruft die angegebene URL sowie robots.txt, llms.txt, eine mögliche Markdown-Fassung und die Sitemap ab und wertet HTML, HTTP-Header und strukturierte Daten aus. Daraus entstehen rund 50 Einzelsignale in sieben Gruppen: Struktur und Antwortfähigkeit (22 %), Belege und Zitierfähigkeit (20 %), Zugang für KI-Crawler (18 %, inklusive eines echten Abrufs mit Crawler-Kennung), Lesbarkeit für Agenten (12 %), strukturierte Daten (10 %), Technik und Auslieferung (10 %) sowie Marke als Entität (8 %). Antwortfähigkeit und Belege machen zusammen über 40 % aus: Konkrete, überprüfbare Aussagen zählen, Marketingformeln kaum. „Teilweise erfüllt“ bringt nur einen Teil der Punkte, und schwache Bereiche begrenzen den Gesamtscore – perfekte Technik gleicht dünnen Inhalt nicht aus. Autor, Datum oder Quellen werden nach Seitentyp gewichtet. Experimentelle Zusatzstandards wie llms.txt oder Markdown sind kein Muss, geben aber die letzten Punkte. Als Richtwert: 70–79 ist gut, 80–89 sehr gut, 90+ außergewöhnlich und selten. Der Score ist ein eigenes Bewertungsmodell, keine offizielle Formel von OpenAI, Google, Anthropic oder Perplexity.
Ja. Die robots.txt sagt nur, was ein Betreiber erlauben möchte – was eine Firewall tatsächlich tut, steht dort nicht. Deshalb wird die Seite zusätzlich mit der Kennung von GPTBot und ChatGPT-User abgerufen und mit dem normalen Abruf verglichen. Kommt dabei ein 403, eine Bot-Challenge oder eine erkennbar leerere Seite zurück, ist das der wichtigste Befund des ganzen Checks: Die robots.txt lädt die Crawler ein, die Firewall wirft sie raus. Die Abrufe tragen einen zusätzlichen Header, damit im Server-Log erkennbar bleibt, dass die Anfrage von AgentBuddy kam.
Coding-Agenten wie Claude Code, Cursor oder GitHub Copilot rufen Dokumentation und Websites zunehmend als Markdown ab – typischerweise über dieselbe URL mit der Endung .md oder über den Accept-Header text/markdown. Markdown enthält keinen Navigations-, Skript- und Style-Ballast und passt besser ins begrenzte Kontextfenster. Es ist aber noch kein etablierter Standard: Die drei Prüfungen (.md, Accept-Header, Alternate-Link) zählen zusammen als Bonus von etwa vier Punkten – und nur bei sinnvoller Umsetzung. Eine gut gebaute HTML-Seite wird auch ohne Markdown-Fassung sehr gut gelesen.
Nein. Der Check misst die Voraussetzungen für Sichtbarkeit, nicht die tatsächliche Nennung. Ob eine Marke in einer Antwort auftaucht, hängt zusätzlich vom Prompt, vom Modell, vom Zeitpunkt und von Erwähnungen auf fremden Seiten ab und ist nicht reproduzierbar messbar. Für die tatsächliche Nennung solltest du ein festes Set an Prompts regelmäßig selbst durchspielen.
llms.txt ist eine Markdown-Datei im Wurzelverzeichnis der Domain, die die wichtigsten Inhalte einer Website in kompakter Form für Sprachmodelle auflistet. Sie ist kein verabschiedeter Standard und wird nicht von allen Anbietern ausgewertet. Du brauchst sie nicht: Ihr Fehlen kostet nichts, eine valide Datei (H1 und mehrere Links) bringt einen kleinen Bonus. Der Aufwand ist allerdings gering, und die Datei zwingt dazu, die eigenen Kerninhalte klar zu benennen.
Das ist eine strategische Entscheidung. Wer Inhalte vor der Nutzung im Modelltraining schützen will, kann GPTBot, ClaudeBot und CCBot sperren – reine Trainings-Kennungen wie diese zählen deshalb nicht in den Score, und die Sichtbarkeit in Antworten leidet nicht. Wer in Antworten vorkommen möchte, muss dagegen die Crawler für Suche und Live-Abruf zulassen – etwa OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und PerplexityBot. Für jeden dieser Bots eine eigene robots.txt-Regel anzulegen ist nicht nötig; entscheidend ist, dass der Bot die URL tatsächlich abrufen darf. Google ist ein Sonderfall: Für AI Overviews ist Googlebot zuständig; Google-Extended steuert ausschließlich die Nutzung in Gemini und hat keinen Einfluss auf die Suche. Eine pauschale Sperre bedeutet, in KI-Antworten nicht als Quelle zu erscheinen.
Technische Freigaben wie robots.txt oder Snippet-Direktiven wirken, sobald die Seite neu abgerufen wird – oft innerhalb weniger Tage. Inhaltliche und strukturelle Änderungen zeigen sich meist über mehrere Wochen. Erwähnungen auf fremden Seiten, die für die Erkennung als Entität nötig sind, brauchen erfahrungsgemäß Monate.
Ausschließlich öffentlich abrufbare Daten: das ausgelieferte HTML der angegebenen URL, die HTTP-Header, robots.txt, llms.txt, eine mögliche Markdown-Fassung und die Sitemap. Sind Lighthouse-Daten konfiguriert, kommen die Performance-Kennzahlen der PageSpeed-Insights-API hinzu. Es werden keine Zugangsdaten benötigt und keine geschützten Bereiche abgerufen.
Übrigens
AgentBuddy kostet nichts, braucht keine Anmeldung und bleibt auch so. Er sagt dir, was zu tun ist. Wenn ihr die Liste lieber abgebt, statt sie selbst abzuarbeiten, übernehmen wir das gerne: robots.txt, Markdown-Fassung, strukturierte Daten und Inhalte, die wirklich Antworten liefern. Genau das machen wir bei keybits.
Kein Login, kein Newsletter, keine Weitergabe deiner Daten.
Eine Adresse, 10 Sekunden, keine Anmeldung. Du bekommst einen Score, eine ehrliche Einschätzung und eine Liste, die du von oben nach unten abarbeiten kannst.