User-agent: *
Allow: /

# Sitemap
Sitemap: https://cyrillemorelplombierleport-marly.fr/sitemap-index.xml

# LLMs Documentation
# Pour les Large Language Models, consultez /llms.txt pour des informations structurées

# Interdire l'indexation des dossiers techniques et fichiers système
Disallow: /api/
Disallow: /.env
Disallow: /.htaccess
Disallow: /node_modules/
Disallow: /_astro/
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.map$

# Permettre tous les contenus publics
Allow: /services/
Allow: /zones/
Allow: /contact
Allow: /mentions-legales
Allow: /sitemap-*.xml
Allow: /robots.txt
Allow: /llms.txt
Allow: /favicon.png
Allow: /logo-cyrille-morel.png

# Crawl-delay pour respecter le serveur
Crawl-delay: 1

# Règles spécifiques pour les bots IA
User-agent: GPTBot
Allow: /
Allow: /llms.txt

User-agent: ChatGPT-User
Allow: /
Allow: /llms.txt

User-agent: CCBot
Allow: /
Allow: /llms.txt

User-agent: anthropic-ai
Allow: /
Allow: /llms.txt

User-agent: Claude-Web
Allow: /
Allow: /llms.txt