Je robots.txt regelt misschien iets anders dan je bedoelt

Waarom ik de selectie uit handen gaf

In het eerste onderzoek koos ik zelf 38 bekende merken. Dat werkte, maar het is aanvechtbaar: als ik de deelnemers uitkies, kies ik indirect ook de uitkomst. Daarom bepaalt nu een externe bron wie meedoet.

Die bron is de Tranco-ranglijst, een openbare onderzoeksranglijst van de miljoen populairste domeinen ter wereld, samengesteld uit meerdere meetbronnen en juist bedoeld voor wetenschappelijk gebruik. Ik filterde daaruit alle .nl-domeinen, nam de bovenste 250 op populariteit, en haalde er weg wat geen organisatie met een publiek verhaal is.

De uitslag per sector

Het aandeel dat minstens één AI-crawler blokkeert, per rapportagegroep. De verschillen tussen de groepen zijn groot.

Alleen de 142 organisaties waarvan de robots.txt binnenkwam. Peildatum 7 september 2026.

De pers: 24 van de 25

Vrijwel elke nieuwssite in de selectie heeft een uitgewerkt AI-beleid. Dat is niet verrassend. Voor een uitgever is het archief het product, en over het gebruik daarvan door AI-bedrijven lopen al enkele jaren onderhandelingen en rechtszaken.

De tien nieuwssites die het meest blokkeren. De volledige lijst staat onderaan.

De wetenschap: 0 van de 20

Geen enkele universiteit of kennisinstelling in de selectie noemt ook maar één AI-crawler. Niet geblokkeerd, niet toegestaan: er staat niets over AI in het bestand.

Dat is niet omdat ze geen robots.txt hebben. Ze hebben er wel een, ze onderhouden hem, en er staan gewone regels in voor Google en voor mappen die niet gecrawld mogen worden. AI is er alleen nooit aan toegevoegd.

De kloof tussen trainen en citeren

In het eerste onderzoek zag ik bij twee uitgevers iets opmerkelijks: ze blokkeerden GPTBot maar niet OAI-SearchBot. Dat zijn twee verschillende crawlers van OpenAI. GPTBot leest een site om het model te trainen. OAI-SearchBot haalt een pagina op tijdens het antwoord, om die als bron te kunnen noemen. Wie de eerste weert, traint niet mee. Wie de tweede weert, wordt niet geciteerd.

Met 142 sites blijkt het een patroon. 37 organisaties blokkeren GPTBot, maar slechts 24 ook OAI-SearchBot. Bij 11 organisaties komt de citeerbot in de robots.txt helemaal niet voor.

Deze organisaties weren de trainingscrawler, maar de bot die ChatGPT gebruikt om bronnen aan te halen staat niet in hun robots.txt.

Dat zegt niet dat deze organisaties bewust voor deze configuratie hebben gekozen. Een robots.txt werkt met namen die je zelf bijhoudt. Wie zijn blokkeerlijst neerzette voordat OAI-SearchBot bestond, kon die naam er niet op zetten.

Er zijn 2 organisaties die het onderscheid wel met zoveel woorden maken: at5.nl en nhnieuws.nl. Dat zijn ook uitgebreide bestanden. In de robots.txt van at5.nl staan ruim veertig user-agents bij naam, van BingCopilot tot cohere-training-data-crawler. Wie AI-crawlers afzonderlijk wil behandelen, moet ze ook afzonderlijk kennen en benoemen.

Organisaties met een llms.txt

In een llms.txt schrijft een organisatie in gewone taal op wat er over haar gezegd moet worden, op een plek waar modellen kijken. Het is een toelichting en geen toegangsregel. Van de 153 organisaties heeft 13 er een.

Verschillende organisaties met een llms.txt noemen geen enkele crawler. Bij hen staat er dus een toelichting voor modellen, en geen enkele regel over de toegang zelf.

Alle 153 organisaties

De volledige uitslag, per organisatie en per crawler, op populariteit. De tabel scrolt zijwaarts. De 11 organisaties waarvan geen bestand binnenkwam staan onderaan, grijs.

Geblokkeerd = de crawler staat expliciet in robots.txt met Disallow: / en zonder Allow-regel. Deels = wel genoemd, maar alleen bepaalde paden geweigerd. Toegestaan = genoemd met Allow of zonder beperking. Niet genoemd = de crawler komt in het bestand niet voor en valt onder de standaardregel.

Wat u hiermee kunt