######################################################################
# KargoSeç - Robots.txt (Production - FINAL)
# Encoding: UTF-8
# Update: 2026-02-28
######################################################################

User-agent: *
Allow: /

# Sitemap Index — tüm alt sitemap'leri içerir
Sitemap: https://kargosec.com/sitemap_index.xml
Sitemap: https://kargosec.com/sitemap.xml

######################################################################
# Disallowed sensitive & system areas
######################################################################
Disallow: /admin/
Disallow: /login
Disallow: /register
Disallow: /register/
Disallow: /password/
Disallow: /profile/
Disallow: /dashboard/
Disallow: /api/
Disallow: /storage/
Disallow: /.well-known/
Disallow: /vendor/

######################################################################
# Important public pages (açıkça izin ver)
######################################################################
Allow: /compare-prices
Allow: /live-tracking
Allow: /blog
Allow: /hakkimizda
Allow: /iletisim
Allow: /destek
Allow: /favicon.ico
Allow: /favicon-16x16.png
Allow: /favicon-32x32.png
Allow: /apple-touch-icon.png
Allow: /site.webmanifest
Allow: /llms.txt
Allow: /ai-sitemap.xml

######################################################################
# Major Search Engine Crawlers
######################################################################
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Baiduspider
Allow: /

######################################################################
# AI Crawlers (LLM Bots) – FULL ALLOW
######################################################################
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: OAI-ImageBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: Applebot
Allow: /

User-agent: Amazonbot
Allow: /

######################################################################
# Block bad / abusive bots
######################################################################
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

######################################################################
# END OF FILE
######################################################################