# ============================================================
# robots.txt — gmmarket.me (v3 — sitemap-index)
# ============================================================
# Changements vs v2 :
#  - Sitemap pointe sur /sitemap.xml (sitemap-index) au lieu de /sitemap.php
#    Le .htaccess rewrite /sitemap.xml → sitemap.php donc on garde des URLs
#    propres et stables côté Google. Google découvre automatiquement les
#    sous-sitemaps (sitemap-static.xml, sitemap-landings.xml,
#    sitemap-products-N.xml, sitemap-sellers.xml, sitemap-bundles.xml)
#    via le <sitemapindex>.
#  - Disallow: /cache/ ajouté (le cache disque du sitemap y est écrit ;
#    inoffensif mais on évite que Google le crawle).
# ============================================================

User-agent: *
Allow: /

# Routes système (admin, API, fichiers internes)
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/
Disallow: /cache/
Disallow: /includes/
Disallow: /core/
Disallow: /community/api/
Disallow: /community/new
Disallow: /community/search
Disallow: /community/*?sort=
Disallow: /community/*?page=
Disallow: /community/*?scope=

# Anciens paramètres de duplication (à terme à 301)
Disallow: /*?id=

# Crawl-delay pour bots qui le respectent (Bing, Yandex)
# Googlebot et Bingbot ignorent cette directive
Crawl-delay: 1

# ─── Bots SEO de scraping bloqués globalement ───
# Décide selon ta stratégie. Par défaut on bloque tout le site (pas seulement /community/).
# Si tu veux que Ahrefs/Semrush voient tes backlinks, retire ces blocs.
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SeznamBot
Disallow: /

# ─── Bots IA ───
# On les laisse passer pour visibilité dans ChatGPT, Claude, Perplexity, etc.
# Sauf zones sensibles (admin/api/community/api).
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /community/api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /community/api/

User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /community/api/

User-agent: Google-Extended
Allow: /

# ─── Sitemaps ───
# /sitemap.xml = sitemap-index. Google suit automatiquement les enfants :
#   - sitemap-static.xml
#   - sitemap-landings.xml
#   - sitemap-products-N.xml (paginé tous les 5000 produits)
#   - sitemap-sellers.xml
#   - sitemap-bundles.xml
Sitemap: https://gmmarket.me/sitemap.xml
Sitemap: https://gmmarket.me/community/sitemap.xml