Blokkeert je website AI-zoekmachines? Zo check je je robots.txt

Elke website kan een bestand robots.txt hebben, altijd op dezelfde plek: jouwsite.nl/robots.txt. Daarin staat welke crawlers welke delen van je site mogen bezoeken. Google houdt zich eraan, en de crawlers van de grote AI-diensten ook.

Sinds AI-zoekmachines populair werden, zijn veel sites AI-crawlers gaan blokkeren. Soms bewust, soms omdat een plug-in, hostingpartij of beveiligingsdienst dat standaard deed. Het resultaat is hetzelfde: die AI-diensten kunnen je site niet lezen en dus ook niet naar je verwijzen.

Zo kijk je het na

Open jouwsite.nl/robots.txt in je browser. Zie je een blok zoals hieronder, dan is die crawler volledig geweerd:

User-agent: GPTBot
Disallow: /

Een regel 'Disallow: /' onder 'User-agent: *' geldt voor alle crawlers die geen eigen blok hebben, ook voor Google. Dat zie je vooral bij sites die nog in aanbouw waren en daarna live zijn gezet zonder dit aan te passen.

Zoeken of trainen: niet elke crawler is hetzelfde

De grote AI-bedrijven gebruiken aparte crawlers voor het trainen van hun modellen en voor het zoeken naar actuele antwoorden. Je kunt dus kiezen: wel gevonden worden in AI-antwoorden, maar je teksten niet laten gebruiken voor training.

• OAI-SearchBot: zoeken in ChatGPT. Blokkeer je deze, dan verschijn je niet als bron in ChatGPT-zoekresultaten.
• GPTBot: verzamelt tekst om modellen van OpenAI te trainen.
• Claude-SearchBot: zoeken in Claude.
• ClaudeBot: verzamelt tekst om modellen van Anthropic te trainen.
• PerplexityBot: zoeken en bronvermelding in Perplexity.
• Google-Extended: bepaalt of Google je teksten mag gebruiken voor Gemini. Dit heeft geen invloed op je plek in de gewone zoekresultaten van Google.

Een robots.txt die AI-zoeken toelaat

Wil je in AI-antwoorden verschijnen maar niet meedoen aan training, dan is dit een goede basis:

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Sitemap: https://jouwsite.nl/sitemap.xml

Wil je overal zichtbaar zijn, laat dan de twee trainingsblokken weg. Let op: sommige hostingpartijen en beveiligingsdiensten blokkeren AI-crawlers ook op een andere manier, buiten robots.txt om. Staat je robots.txt goed en word je toch niet gevonden, kijk dan ook daar.