#############################
# Global settings
#############################

Sitemap: https://www.overheid.nl/sitemap.xml

#############################
# Google
#############################

User-agent: Googlebot
Disallow: /dienstverlening/
Disallow: /zoekresultaat/
Disallow: /resultpage/
Disallow: /berichten-over-uw-buurt/
Allow: /

User-agent: Googlebot-Image
Disallow: /dienstverlening/
Disallow: /zoekresultaat/
Disallow: /resultpage/
Disallow: /berichten-over-uw-buurt/
Allow: /

User-agent: Googlebot-Video
Disallow: /dienstverlening/
Disallow: /zoekresultaat/
Disallow: /resultpage/
Disallow: /berichten-over-uw-buurt/
Allow: /

# Google AI / data usage extensions
User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

#############################
# Bing
#############################

User-agent: Bingbot
Disallow: /dienstverlening/
Disallow: /zoekresultaat/
Disallow: /resultpage/
Disallow: /berichten-over-uw-buurt/
Crawl-delay: 10
Allow: /

#############################
# AI / LLM crawlers
#############################

# OpenAI
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

# Anthropic
User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

# Perplexity
User-agent: PerplexityBot
Disallow: /

# Apple
User-agent: Applebot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ByteDance / TikTok
User-agent: Bytespider
Disallow: /

User-agent: TikTokSpider
Disallow: /

#############################
# Sogou and variants
#############################

User-agent: Sogou web spider
Disallow: /

User-agent: Sogou inst spider
Disallow: /

User-agent: Sogou Pic Spider
Disallow: /

User-agent: Sogou spider2
Disallow: /

#############################
# Catch-all
#############################

User-agent: *
Disallow: /dienstverlening/
Disallow: /zoekresultaat/
Disallow: /resultpage/
Disallow: /berichten-over-uw-buurt/
Allow: /
