# AI全自动获客工具平台 - Robots.txt
# 网站地图位置
Sitemap: https://zgk.boyazixun.com/sitemap.xml

# 允许所有搜索引擎爬取
User-agent: *

# 允许爬取的路径
Allow: /

# 允许抓取CSS和JS
Allow: /css/
Allow: /js/
Allow: /images/

# 禁止爬取后台管理
Disallow: /admin/
Disallow: /api/
Disallow: /data/

# 禁止爬取登录和搜索页面
Disallow: /admin/login.php
Disallow: /search*

# 禁止爬取RSS订阅
Disallow: /feed*
Disallow: /rss*

# 禁止爬取重复内容
Disallow: /page*

# 特殊搜索引擎配置
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Sogou
Allow: /
Crawl-delay: 1

User-agent: 360Spider
Allow: /
Crawl-delay: 1

User-agent: Bytespider
Allow: /
Crawl-delay: 1

User-agent: Toutiao
Allow: /
Crawl-delay: 1

# AI搜索引擎配置
User-agent: GPTBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: perplexity-bot
Allow: /

# 速率限制
User-agent: *
Crawl-delay: 1