AI-crawlers: welke bots staat u toe in robots.txt?
Kort antwoord: sta alles toe wat een bron kan noemen, beslis apart of u wilt meetrainen, en weiger wat alleen datasets verzamelt. De meeste organisaties maken die drie keuzes niet. Ze hebben óf niets geregeld, óf één brede regel die alles tegelijk dichtzet, inclusief de bots die hen in ChatGPT en Perplexity hadden kunnen laten verschijnen.
Wat is het verschil tussen een trainingsbot en een zoekbot?
De grote AI-aanbieders sturen niet één crawler op pad maar meerdere, elk met een eigen taak en een eigen naam in robots.txt. Die taken vallen in drie soorten uiteen:
- Trainen: tekst verzamelen voor een volgende modelversie. Wat hier binnenkomt, weet het model later uit zichzelf, zonder te zoeken. Maar het noemt daarbij geen bron.
- Zoeken: een index bijhouden waaruit het systeem tijdens een gesprek pagina's ophaalt. Dit is de bot waardoor u met een link in een antwoord verschijnt.
- Ophalen op verzoek: een pagina openen omdat een gebruiker daar in het gesprek om vraagt, bijvoorbeeld door een link te plakken.
| Aanbieder | Trainen | Zoeken | Op verzoek |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot |
OAI-SearchBot |
ChatGPT-User |
| Anthropic (Claude) | ClaudeBot |
Claude-SearchBot |
Claude-User |
| Perplexity | – | PerplexityBot |
Perplexity-User |
| Google (Gemini) | Google-Extended |
Googlebot |
– |
| Apple | Applebot-Extended |
Applebot |
– |
Bronnen onderaan deze pagina. Gecontroleerd in september 2026. De namen veranderen af en toe; kijk ze na voordat u iets in robots.txt zet.
Twee namen in de tabel zijn geen echte crawlers. Google-Extended en Applebot-Extended zijn alleen een naam om toestemming mee te regelen: het lezen zelf doen Googlebot en Applebot. Wie Google-Extended blokkeert, blijft dus gewoon in Google Search staan, ook in AI Overviews. Die lopen via Googlebot. Het verschil tussen die twee staat in Zichtbaar worden in Gemini.
Welke AI-crawlers staat u toe?
Het zijn drie besluiten, en ze horen los van elkaar genomen te worden.
Zoeken en ophalen: altijd toestaan
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot en Perplexity-User. Deze bots zijn de reden dat u met een link in een antwoord staat. Ze weigeren kost u zichtbaarheid en levert niets op: wat ze lezen, gebruiken ze om naar u te verwijzen.
Trainen: een eigen keuze
GPTBot, ClaudeBot, Google-Extended en Applebot-Extended. Hier weegt u twee dingen tegen elkaar af. Toestaan betekent dat een toekomstig model u kent zonder te hoeven zoeken; dat is de sterkste vorm van bekendheid. Weigeren betekent dat uw teksten niet in een model belanden dat er geen bron bij noemt. Voor een uitgever die van zijn teksten leeft, is weigeren logisch. Voor een dienstverlener die gevonden wil worden, meestal niet.
Dataverzamelaars: weigeren
CCBot (Common Crawl), Bytespider (ByteDance) en vergelijkbare bots bouwen datasets die aan derden worden geleverd. Ze geven zelf geen antwoord en noemen dus nooit een bron. Er staat voor u niets tegenover.
Deze site maakt bij punt 2 de keuze om toe te staan. Voor een bedrijf dat zichtbaarheid in AI verkoopt, is meetrainen precies de bedoeling. Het volledige beleid staat openbaar in onze eigen robots.txt, met uitleg per groep.
Wat doen de grootste Nederlandse websites?
In ons onderzoek hebben we de robots.txt van de populairste Nederlandse websites gemeten, in september 2026. Van de 142 sites waarvan het bestand binnenkwam, noemen er 91 geen enkele AI-crawler. Zij hebben het besluit dus niet genomen, maar laten het over aan de standaard.
Van de sites die wel iets regelen, blokkeren er 37 GPTBot en 24 OAI-SearchBot. Bij 13 daarvan is de training dicht en het zoeken open: zij hebben precies het onderscheid gemaakt waar deze pagina over gaat. Niet getraind worden, wel geciteerd.
Per organisatie de status van twaalf AI-crawlers, met de methode, de beperkingen en de ruwe robots.txt-bestanden om zelf na te tellen: Je robots.txt regelt misschien iets anders dan je bedoelt.
Hoe schrijft u dat in robots.txt?
Hieronder een robots.txt voor de meest gekozen variant: wel geciteerd worden, niet meetrainen. Wilt u wel meetrainen, laat dan het middelste blok weg.
# Alles wat niet apart genoemd wordt
User-agent: *
Disallow: /wp-admin/
# Zoeken en ophalen: toestaan
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /wp-admin/
# Trainen: weigeren
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
# Dataverzamelaars: weigeren
User-agent: CCBot
User-agent: Bytespider
Disallow: /Een bot zoekt de groep die het meest specifiek op zijn naam past en negeert alle andere, ook de groep met User-agent: *. Zet u ergens los User-agent: OAI-SearchBot met alleen Allow: /, dan gelden de uitsluitingen uit de algemene groep voor die bot niet meer. Daarom herhaalt elke groep hierboven de regels die hij nodig heeft, en staan de namen per besluit bij elkaar.
Waarom werkt robots.txt niet altijd?
Robots.txt is een verzoek, geen slot. Drie dingen doorkruisen het in de praktijk:
- Uw firewall of CDN beslist eerder. Blokkeert die AI-crawlers, dan maakt uw robots.txt niet meer uit: de bot komt niet eens binnen. Cloudflare doet dat sinds juli 2025 standaard bij nieuwe domeinen. Dit is de meest voorkomende oorzaak van onbedoelde onzichtbaarheid, en de minst bekende.
- Ophalen op verzoek volgt het bestand niet altijd. OpenAI en Perplexity melden allebei dat hun bots voor gebruikersverzoeken robots.txt mogelijk niet toepassen, omdat de handeling van een mens komt en niet van een crawler.
- Niet elke bot is wie hij zegt. Een naam in een verzoek is makkelijk na te maken. Wie echt iets buiten de deur wil houden, heeft een firewall nodig die op IP-adres controleert, niet alleen op naam.
Hoe controleert u wat uw site nu doet?
Open uw robots.txt
Typ uw domeinnaam met /robots.txt erachter. Zoek naar een regel User-agent: * met Disallow: /: die zet alles dicht, AI-crawlers incluis. Zoek daarna naar de namen uit de tabel hierboven.
Kijk bij uw hosting of CDN
Zoek in het beheer van uw hosting, Cloudflare of beveiligingsplugin naar instellingen met “AI”, “bots” of “crawlers” in de naam. Staat daar iets op blokkeren, dan weet u nu waarom uw robots.txt niets uithaalt.
Kijk wie er echt langskomt
In de toegangslogboeken van uw server staat per bezoek de naam van de bot. Ziet u OAI-SearchBot of PerplexityBot nooit terug, terwijl uw robots.txt ze toelaat, dan houdt iets anders ze tegen. Bij de meeste hostingpakketten kunt u die logboeken downloaden.
En llms.txt? Dat is een ander bestand met een ander doel. Het regelt geen toegang maar legt in gewone taal uit wat er over u gezegd moet worden. Het is een aanvulling op robots.txt, geen vervanging.
Bots · OpenAI. GPTBot, OAI-SearchBot en ChatGPT-User.
Does Anthropic crawl data from the web · Anthropic. ClaudeBot, Claude-SearchBot en Claude-User.
Perplexity Crawlers · Perplexity. PerplexityBot en Perplexity-User.
Google's common crawlers · Google Search Central. Wat Google-Extended wel en niet regelt.
About Applebot · Apple. Applebot en Applebot-Extended.
De AI Analyse beoordeelt naast uw zichtbaarheid ook de techniek, waaronder welke AI-crawlers er binnenkomen. De gratis AI-scan geeft in 60 seconden een eerste indruk.