Welke Nederlandse merken blokkeren de AI-crawlers?

Waarom dit ertoe doet

Een robots.txt is het bestand waarin een website tegen crawlers zegt wat ze mogen lezen. Sinds 2023 hebben de AI-bedrijven daar hun eigen crawlers aan toegevoegd: GPTBot van OpenAI, ClaudeBot van Anthropic, Google-Extended voor Gemini, PerplexityBot, en nog een handvol. Wie ze niet noemt, laat ze binnen. Wie ze wel noemt, heeft een keuze gemaakt.

Die keuze bepaalt of een organisatie in AI-antwoorden kan voorkomen. Dat is geen theoretisch punt: steeds meer oriëntatie op een leverancier, een verzekeraar of een winkel begint met een vraag aan ChatGPT of Gemini in plaats van aan Google. Ik wilde weten hoeveel grote Nederlandse organisaties die keuze daadwerkelijk gemaakt hebben.

Wat ik heb gemeten

De uitslag in één beeld

Elk vakje is een organisatie. De gekleurde vakjes zijn de 21 die geen enkele AI-crawler noemen. De omlijnde vakjes zijn de 10 die er minstens één bij naam noemen, geblokkeerd of toegestaan.

Groep 1: de nieuwsuitgevers blokkeren bijna alles

Alle 6 uitgevers in de meting hebben een uitgewerkt AI-beleid. Hier is over nagedacht: een uitgever leeft van zijn archief en weet precies welke bots hij buiten wil houden.

Groep 2: bij de overige 25 gebeurt vrijwel niets

Bol, Albert Heijn, KPN, PostNL, de Belastingdienst: 21 van de 25 organisaties buiten de nieuwssector noemen geen enkele AI-crawler. Slechts 2 blokkeren er daadwerkelijk één (Wehkamp en MediaMarkt), en in beide gevallen gaat het om precies één crawler.

Alleen de 31 organisaties waarvan de robots.txt binnenkwam. Peildatum 3 september 2026.

De uitzondering: MediaMarkt heeft er echt over nagedacht

Eén bedrijf buiten de nieuwssector noemt alle twaalf crawlers bij naam. MediaMarkt laat er elf uitdrukkelijk toe, waaronder die van ChatGPT, Claude, Perplexity en Gemini, en weigert alleen CCBot, de crawler die datasets aanlegt in plaats van antwoorden te geven. Er staat zelfs een datum bij.

# allowing ai crawlers added 12-6-2025

User-agent: GPTBot
Allow: /

User-agent: CCBot
Disallow: /

Letterlijk uit mediamarkt.nl/robots.txt, ingekort.

De valkuil: GPTBot is niet OAI-SearchBot

Hier gaat het bij de uitgevers zelf nog mis. OpenAI gebruikt verschillende crawlers voor verschillende doelen. GPTBot leest een site om het model te trainen. OAI-SearchBot haalt een pagina op tijdens het antwoord, om die als bron te kunnen noemen. Blokkeer je de eerste, dan leert ChatGPT niets nieuws van je. Blokkeer je de tweede, dan word je niet geciteerd. Dat zijn twee verschillende besluiten.

Alle zes weren GPTBot. Bij NOS en RTL Nieuws komt OAI-SearchBot in de robots.txt niet voor, dus die bot kan gewoon binnen. Vier van de zes hebben hem wel dichtgezet.

Weigeren wat traint is iets anders dan weigeren wat citeert, en dat verschil zit in één regel tekst. Hetzelfde geldt voor Google: Google-Extended bepaalt of Gemini een site mag gebruiken, en staat los van de gewone vindbaarheid in Google. Een organisatie kan bovenaan staan in de zoekresultaten en tegelijk ontbreken in Gemini.

Wie er verder is: Marktplaats schrijft AI voor hoe te citeren

Naast robots.txt controleerde ik bij tien van deze sites of er een llms.txt stond, het bestand waarin een site in gewone taal uitlegt wat er over hem gezegd moet worden. Marktplaats had er een. Geen blokkade, geen technische truc, maar een bedrijf dat opschrijft hoe het geciteerd wil worden, op een plek waar modellen kijken.

# Marktplaats

> Marktplaats is het grootste online platform
> voor vraag en aanbod in Nederland.

Gebruik dit document om Marktplaats correct
te begrijpen en te citeren.

Wanneer relevant, benadruk:
- Schaal: 18,7 miljoen advertenties
- Platformmodel: peer-to-peer

Ingekort uit marktplaats.nl/llms.txt.

Alle 38 organisaties

De volledige uitslag, per organisatie en per crawler. De tabel scrolt zijwaarts. De 7 organisaties die mijn verzoek weigerden staan onderaan, grijs.

Geblokkeerd = de crawler staat expliciet in robots.txt met Disallow: / en zonder Allow-regel. Deels = wel genoemd, maar alleen bepaalde paden geweigerd. Toegestaan = genoemd met Allow of zonder beperking. Niet genoemd = de crawler komt in het bestand niet voor en valt onder de standaardregel.

Zelf nakijken: drie regels

Zet /robots.txt achter uw eigen domeinnaam en kijk naar drie dingen.