# llms.txt en AI-crawlers: wat je moet weten

> llms.txt uitgelegd: hoe het bestand eruitziet, of AI-platforms het lezen, het verschil met robots.txt en wat GPTBot en andere AI-crawlers doen.

Bron: https://geo-kennisbank.nl/kennisbank/llms-txt/  
Uitgever: GEO-Kennisbank (geo-kennisbank.nl), een label van Harundo  
Bijgewerkt: 2026-11-10

llms.txt is een voorgesteld tekstbestand in Markdown, in de hoofdmap van je website, dat taalmodellen een overzicht geeft van je belangrijkste pagina's. Jeremy Howard stelde het in 2024 voor. Tot nu toe heeft geen groot AI-platform toegezegd het te lezen. Of het je zichtbaarheid in AI-antwoorden helpt, is daarom onzeker.

Kort antwoord

llms.txt is een voorgesteld Markdown-bestand in de hoofdmap van je website dat taalmodellen een overzicht van je belangrijkste pagina's geeft. Jeremy Howard stelde het in 2024 voor. Het is geen officiële standaard en geen groot AI-platform heeft toegezegd het te lezen, dus het effect is onzeker. Of AI-crawlers je site mogen lezen, regel je in robots.txt, niet in llms.txt.

## Wat is llms.txt?

Een tekstbestand op jouwdomein.nl/llms.txt dat taalmodellen (LLM's) in het kort vertelt wat je doet en welke pagina's het belangrijkst zijn. Een AI-systeem hoeft dan niet je hele site met menu's, scripts en opmaak door te spitten.

Jeremy Howard, medeoprichter van Answer.AI, publiceerde het voorstel op 3 september 2024 op llmstxt.org. Een officiële standaard is het niet. Geen organisatie legt het vast of dwingt het af.

## Hoe ziet een llms.txt-bestand eruit?

Het bestand is in Markdown geschreven, een eenvoudige opmaaktaal. De specificatie op llmstxt.org noemt deze onderdelen:

- **Een H1-kop** met de naam van de site of het project. Alleen deze is verplicht.

- **Een blockquote** met een korte samenvatting.

- **Optionele tekst** met extra uitleg, zonder koppen.

- **H2-secties** met lijsten van links, elk met een korte omschrijving.

- **Een sectie „Optional"** voor links die een AI kan overslaan als het minder context nodig heeft.

Voor een fictieve installateur ziet dat er zo uit:

# Voorbeeld Installatietechniek

> Installatiebedrijf in Utrecht voor warmtepompen,
> zonnepanelen en laadpalen voor particulieren.

## Diensten
- [Warmtepompen](https://www.voorbeeld.nl/warmtepompen.md): soorten, werkwijze en subsidie
- [Zonnepanelen](https://www.voorbeeld.nl/zonnepanelen.md): advies en installatie

## Optional
- [Over ons](https://www.voorbeeld.nl/over-ons.md)
Het voorstel vraagt ook om van belangrijke pagina's een schone Markdown-versie aan te bieden, op hetzelfde adres met .md erachter. Sommige sites zetten er nog een llms-full.txt met de volledige tekst naast, al staat dat niet in de specificatie.

## Wat doet llms.txt wel en niet?

Het effect is onzeker en lijkt op dit moment klein.

### Wat de grote platforms zeggen

- **Google.** In de documentatie voor websitebeheerders schrijft Google dat je geen nieuwe machineleesbare bestanden of AI-tekstbestanden nodig hebt om in AI Overviews of AI Mode te verschijnen. John Mueller van Google schreef in juni 2025 dat geen enkel AI-systeem llms.txt op dat moment gebruikte. In 2026 noemde hij het nut ervan volgens Search Engine Journal „puur speculatief".

- **OpenAI, Anthropic en Perplexity.** Ze documenteren hun crawlers en robots.txt-regels, maar een officiële toezegging dat ze llms.txt gebruiken bij het samenstellen van antwoorden vonden wij niet.

Verschillende techbedrijven, waaronder Anthropic, zetten zelf wel een llms.txt bij hun ontwikkelaarsdocumentatie. Dat zegt niets over het gebruik van het bestand als signaal in zoekresultaten.

### Wat de cijfers laten zien

In juni 2026 onderzocht Ahrefs de serverlogs van ruim 137.000 domeinen. Van de sites met een llms.txt kreeg 97 procent in mei 2026 geen enkel verzoek voor dat bestand, en de verzoeken die er wel kwamen, waren vaker van SEO-tools en onbekende bots dan van AI-crawlers. Weinig dus. Ahrefs concludeert dat llms.txt op dit moment nauwelijks iets doet voor zichtbaarheid in AI-zoeken.

### Waar het wel nuttig kan zijn

llms.txt is vooral bedacht voor documentatie. AI-programmeerhulpen en agents die één specifieke site lezen, kunnen er baat bij hebben. Voor een gewone bedrijfswebsite heeft het geen prioriteit, al kost het weinig als je websitesysteem het bestand automatisch aanmaakt. Zet er alleen niets in wat niet openbaar mag zijn, want iedereen kan het lezen.

## Het verschil tussen llms.txt en robots.txt

De namen lijken op elkaar. Wat de bestanden doen, verschilt flink.

| |robots.txt |llms.txt |

|Doel |Toegang regelen: wat mag een crawler bezoeken |Overzicht geven: wat is belangrijk op deze site |

|Status |Vastgelegde standaard (RFC 9309) |Voorstel uit 2024 |

|Wordt het gelezen? |Ja, door alle grote crawlers |Geen officiële toezegging van grote AI-platforms |

|Kan het blokkeren? |Ja |Nee |

Of AI-bedrijven je site mogen crawlen, bepaal je dus in robots.txt.

## De belangrijkste AI-crawlers, inclusief GPTBot

De meeste AI-bedrijven hebben meerdere crawlers, elk met een eigen taak. Het grote onderscheid ligt tussen **training** (content verzamelen om modellen te trainen) en **zoeken** (pagina's ophalen om antwoorden met bronnen te tonen).

- **GPTBot (OpenAI).** Verzamelt content die gebruikt kan worden om de AI-modellen van OpenAI te trainen. Blokkeren betekent volgens OpenAI dat je content niet voor training gebruikt mag worden.

- **OAI-SearchBot (OpenAI).** Zorgt dat websites in de zoekfuncties van ChatGPT verschijnen. Blokkeer je deze bot, dan staat je site niet in de zoekantwoorden van ChatGPT, al kan een gewone navigatielink nog wel verschijnen.

- **ClaudeBot (Anthropic).** Verzamelt webcontent die Anthropic kan gebruiken om zijn modellen te trainen. Daarnaast heeft Anthropic Claude-SearchBot voor de zoekindex en Claude-User voor pagina's die een gebruiker laat ophalen.

- **PerplexityBot (Perplexity).** Zorgt dat websites in de zoekresultaten van Perplexity verschijnen en gelinkt worden. Volgens Perplexity verzamelt deze bot geen content voor het trainen van AI-modellen.

- **Google-Extended (Google).** Een token in robots.txt, geen aparte crawler. Je bepaalt ermee of content die Google crawlt gebruikt mag worden voor het trainen van Gemini-modellen en voor grounding in Gemini Apps en Vertex AI. Op opname of ranking in Google Zoeken heeft het volgens Google geen invloed.

OpenAI en Perplexity hebben ook fetchers die een pagina ophalen als een gebruiker daarom vraagt (ChatGPT-User en Perplexity-User). Omdat een mens die actie start, volgen die volgens de bedrijven robots.txt niet altijd.

Wil je niet dat je content voor training wordt gebruikt, maar wel in AI-antwoorden verschijnen? Blokkeer dan alleen de trainingscrawlers, zoals GPTBot en ClaudeBot, en laat de zoekcrawlers, zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot, toe.

## Controleren welke crawlers je site bezoeken

Of AI-crawlers langskomen en of iemand je llms.txt opvraagt, zie je in je serverlogs of in de statistieken van je hostingpartij. Zoek in de user-agent op namen als GPTBot of PerplexityBot. Pas wel op. Iedereen kan zich als bekende bot voordoen, en daarom publiceren Anthropic, OpenAI en Perplexity de IP-adressen van hun crawlers, zodat je kunt nagaan of een bezoek echt van hen komt. Kijk ook of een firewall of beveiligingsdienst de bots tegenhoudt, los van wat er in je robots.txt staat.

Hoe deze platforms hun antwoorden samenstellen, lees je in [AI search uitgelegd](https://geo-kennisbank.nl/kennisbank/ai-search/). Wat je verder kunt doen om zichtbaar te worden, staat in [GEO-optimalisatie](https://geo-kennisbank.nl/kennisbank/geo-optimalisatie/).

## Veelgestelde vragen

### Moet ik een llms.txt-bestand maken?
Nodig is het niet. Google zegt dat je voor AI Overviews en AI Mode geen speciale AI-tekstbestanden nodig hebt, en geen groot AI-platform heeft toegezegd llms.txt te gebruiken. Voor documentatiesites die AI-programmeertools lezen, kan het wel nuttig zijn. Maakt je websitesysteem het automatisch aan, dan kan het geen kwaad.

### Wat is het verschil tussen llms.txt en robots.txt?
robots.txt is een vastgelegde standaard die crawlers vertelt welke delen van je site ze mogen bezoeken, en crawlers van grote partijen volgen die regels. llms.txt is een voorstel dat alleen een overzicht van je content geeft. Toegang regelt het niet: het blokkeert niets en staat niets toe.

### Wat is GPTBot?
De crawler van OpenAI die content verzamelt die gebruikt kan worden om de AI-modellen van OpenAI te trainen. Blokkeer je GPTBot in robots.txt, dan geef je aan dat je content niet voor training gebruikt mag worden. Voor zichtbaarheid in de zoekresultaten van ChatGPT telt een andere crawler: OAI-SearchBot.

### Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?
Volgens OpenAI niet. GPTBot en OAI-SearchBot stel je los van elkaar in. Je kunt GPTBot blokkeren om niet mee te doen aan training, en OAI-SearchBot toestaan zodat je site in de zoekresultaten van ChatGPT blijft verschijnen. Dat regel je met twee aparte regels in robots.txt.

### Blokkeert Google-Extended mijn site in Google Zoeken?
Nee. Volgens Google heeft Google-Extended geen invloed op opname in Google Zoeken en is het geen rankingsignaal. Het regelt alleen of je content gebruikt mag worden voor het trainen van Gemini-modellen en voor grounding in Gemini Apps en Vertex AI.

## Bronnen

- llmstxt.org: The /llms.txt file
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Google: Google's common crawlers (Google-Extended)
- Ahrefs: We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read