AI-crawlers in robots.txt: toestaan of blokkeren?

Wat zijn AI-crawlers en wat regelt robots.txt?

Zoekmachines laten al jaren programma's webpagina's ophalen: crawlers. AI-bedrijven doen dat nu ook, om modellen te trainen, om een zoekindex te vullen of om een pagina te lezen terwijl iemand een vraag stelt.

Met robots.txt geef je aan welke bots welke delen van je site mogen bezoeken. Het bestand staat in de hoofdmap van je domein. Sinds 2022 ligt het protocol vast in RFC 9309 van de IETF. Bots die zich aan de afspraak houden, lezen het bestand en volgen het, maar wie dat niet doet, houd je er niet mee tegen. Beveiliging is het dus niet.

Zet je een bot op „Disallow: /”, dan weer je die bot van je hele site. Laat je niets staan, dan mag hij alles lezen. Per bot kun je een eigen regel maken. Dat heb je bij AI nodig, omdat een bedrijf als OpenAI of Anthropic meerdere bots met verschillende doelen heeft.

Waarom AI crawlers nu een keuze zijn

Veel uitgevers kozen voor blokkeren. Onderzoek van het Reuters Institute (Oxford) liet zien dat eind 2023 48 procent van de bekendste nieuwssites in tien landen de crawlers van OpenAI blokkeerde. Nederland zat niet in dat onderzoek, en het ging om nieuwsmedia en niet om lokale bedrijven.

Een installateur of kapper verdient niet aan zijn teksten. Hij verdient aan klanten, en als een assistent zijn naam noemt, levert dat iets op. Een algemene blokkade kan dat voorkomen. Het CBS meldt dat in 2025 17 procent van de bedrijven met twee of meer werknemers AI gebruikte, tegen 13 procent in 2024, dus klanten en concurrenten zijn er al mee bezig.

Je kiest daarom per bot. Wat elke bot doet, staat in de tabel hieronder. Veel bedrijven met een pakket van een hostingpartij of webbouwer weten niet eens wat er in hun robots.txt staat, terwijl dat bestand bepaalt of een assistent hun pagina's kan lezen.

Welke AI-bot doet wat?

Let op twee punten. Google-Extended is een token in robots.txt en geen aparte bot, en volgens Google raakt het de opname in Zoeken niet. Voor AI Overviews en de AI-modus gelden de gewone regels: je pagina moet geïndexeerd zijn en met een snippet kunnen verschijnen. Wil je dat beperken, dan gebruik je volgens Google snippetregels zoals nosnippet.

Perplexity zegt verder dat Perplexity-User, de bot die op verzoek van een gebruiker een pagina ophaalt, robots.txt over het algemeen negeert. OpenAI zegt iets vergelijkbaars over ChatGPT-User.

Stappenplan: robots.txt voor AI crawlers instellen

1. Open je robots.txt. Ga naar jouwdomein.nl/robots.txt en kijk wat er staat. Zie je „User-agent: *” met „Disallow: /”, dan weer je alles.
2. Bepaal je doel. Wil je genoemd worden zonder dat je teksten meetrainen, laat dan de zoekbots toe en weiger de trainingsbots.
3. Schrijf per bot een blok. Gebruik de exacte namen uit de tabel.
4. Controleer ook je hosting en firewall. Google adviseert na te gaan of ook een CDN of hostinglaag crawlen toestaat. Daar kunnen bots geweerd worden zonder dat het in je robots.txt staat.
5. Test na 24 uur. Die termijn noemt OpenAI voor OAI-SearchBot.

Een voorbeeld, voor wie zichtbaar wil zijn maar niet wil meetrainen:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Neem dit voorbeeld niet blind over. Of je training wilt weigeren, is een zakelijke keuze, en de regels verschillen per bedrijf. Google zegt verder dat het begin 2027 een gedeeld voorkeurssignaal voor AI-training (AIPREF) wil ondersteunen. Kijk dus af en toe op de officiële pagina's van elk bedrijf.

Veelgemaakte fouten

Alle bots in één keer blokkeren, bijvoorbeeld via een beveiligingsplugin, gebeurt het vaakst. Daarmee weer je ook de zoekbots en ben je onzichtbaar in de antwoorden waar je juist in wilt staan.

Sommigen denken dat GPTBot blokkeren je uit ChatGPT haalt, of dat Google-Extended weigeren je uit Google haalt. OpenAI behandelt de twee bots los, en Google-Extended raakt Zoeken niet.

Blokkeren op IP-adres werkt averechts. Anthropic waarschuwt dat de opt-out dan kan haperen, omdat de bot je robots.txt niet meer kan lezen.

Robots.txt is geen beveiliging. Wil je gegevens echt afschermen, gebruik dan inloggen of serverregels. Zie ook llms.txt, dat toegang niet regelt.

En dan de wijziging die je doorvoert en nooit meer nakijkt. Beveiligingsplugins, hostingpakketten en nieuwe websiteversies kunnen je robots.txt overschrijven. Zie je pas een paar maanden later dat de zoekbot weer geweerd wordt, dan ben je al die tijd onzichtbaar geweest.

Controleren of AI-bots bij je kunnen

Kijk eerst in je robots.txt of de namen kloppen. Eén typfout in een botnaam maakt de regel waardeloos. In je serverlogs of de statistieken van je hosting zie je daarna welke bots langskomen en of ze een foutmelding krijgen, zoals een 403.

Controleer ook of je pagina's zijn geïndexeerd. Aan een zoekbot die je niet blokkeert maar die je pagina niet kan lezen, heb je niets. Test daarna in een AI-assistent of je genoemd wordt, zoals in hoe ChatGPT bedrijven kiest.

Wat dit betekent voor jou

Voor de meeste lokale bedrijven is toestaan de goede standaard. Je wilt genoemd worden en een loodgieter of bakker heeft zelden teksten die hij tegen AI moet beschermen. Laat de zoekbots toe. Controleer of je beveiliging ze niet weert. Wil je niet dat je teksten voor training dienen, blokkeer dan alleen de trainingsbots, leg die keuze vast en bekijk hem één keer per halfjaar, want bots en regels veranderen. Wat de drie bots van Claude precies doen, staat in zichtbaar in Claude.

Conclusie

Bij AI-crawlers kies je per bot. Zoekbots bepalen of je in AI-antwoorden kunt verschijnen, trainingsbots gaan over het gebruik van je teksten. Pas robots.txt daarop aan en controleer ook je hosting. Of AI-bots nu bij jouw site kunnen, zie je met de gratis GEO-scan, en met de vermeldingscheck zie je daarna of je bedrijf genoemd wordt.

Veelgestelde vragen

Als ik GPTBot blokkeer, verdwijn ik dan uit ChatGPT?

Niet door GPTBot alleen. Volgens OpenAI gaat GPTBot over training en bepaalt OAI-SearchBot de zoekfunctie. Je kunt de ene toestaan en de andere weigeren. Blokkeer je OAI-SearchBot, dan kom je niet meer in de zoekantwoorden van ChatGPT.

Beïnvloedt Google-Extended mijn plek in Google Zoeken?

Nee. Google schrijft dat Google-Extended geen invloed heeft op opname in Google Zoeken en geen rankingsignaal is. Het regelt de training van Gemini en grounding in Gemini-apps. Voor AI Overviews gelden de gewone regels van Googlebot.

Houden AI-bots zich altijd aan robots.txt?

De bekende bedrijven zeggen van wel voor hun zoek- en trainingsbots. Bots die op verzoek van een gebruiker een pagina ophalen, zoals ChatGPT-User en Perplexity-User, kunnen robots.txt anders behandelen. En robots.txt is een afspraak, die niemand kan afdwingen.

Hoe snel werkt een aanpassing in robots.txt?

Voor OAI-SearchBot noemt OpenAI ongeveer 24 uur. Andere bedrijven geven geen vaste termijn. Kijk na een wijziging altijd even of het bestand echt bereikbaar is op jouwdomein.nl/robots.txt, want een typfout of een verkeerde map maakt de hele aanpassing nutteloos.

Is llms.txt een alternatief?

Nee. llms.txt is een voorstel om AI een samenvatting van je site aan te bieden. Toegang regelt het niet. Google zegt zelf dat je voor AI-functies geen extra bestanden nodig hebt, dus voor toegang blijft robots.txt de plek.

Bronnen

• OpenAI: Overview of OpenAI crawlers
• Google Search Central: Google's common crawlers (Google-Extended)
• Google Search Central: AI features and your website
• Perplexity: Perplexity crawlers (PerplexityBot en Perplexity-User)
• Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?
• Reuters Institute (Universiteit van Oxford): How many news websites block AI crawlers? (Fletcher, februari 2024)
• IETF: RFC 9309, Robots Exclusion Protocol (2022)