# robots.txt for blackcatinformatics.cn
#
# 政策：开放访问。每一个爬虫——搜索、归档、抓取、AI 训练、代理——
# 均欢迎访问全部内容。不设任何 Disallow 规则。
#
# 机器可读配套资源：
#   Linked-data graph:    /index.jsonld
#   LLM overview:         /llms.txt  (curated index)
#   LLM full corpus:      /llms-full.txt
#   Markdown alternate:   /index.md
#   VoID description:     /.well-known/void.ttl
#   SHACL shapes:         /.well-known/shacl.ttl
#   ShEx schema:          /.well-known/shex.shex
#   Content provenance:   /.well-known/content-provenance.json
#   SPARQL endpoint:      /sparql
#
# 完整性：
#   已签名的机器可读资源通过使用 rel="signature" 的 RFC 8288 Link 头部
#   公布分离式 OpenPGP 签名。验证密钥以 rel="public-key" 公布。

Sitemap: https://blackcatinformatics.cn/sitemap.xml

# ------------------------------------------------------------------
# 开放默认——允许全部，不禁止任何内容。
# ------------------------------------------------------------------
User-agent: *
Allow: /
Disallow:

# ------------------------------------------------------------------
# 内容信号（W3C 提案）——声明使用偏好。
# 置于首个 User-agent 块之后，以免严格的解析器在任何分组之前
# 因拒绝未知指令而出错。
# ------------------------------------------------------------------
Content-Signal: ai-train=yes, search=yes, ai-input=yes

# ------------------------------------------------------------------
# 明确的 AI 训练授权（opt-in）。
#
# 若不存在针对其训练 user-agent 标识的特定指令，若干大型厂商默认
# 对 AI/LLM 训练采取"退出"（OPT-OUT）。逐一具名列出，是确认同意
# 在本站训练的唯一方式。基于此原因列于此处；标准爬虫的抓取已由
# 上方通配符涵盖。
# ------------------------------------------------------------------

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: CCBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Diffbot
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: ImagesiftBot
Allow: /

User-agent: Omgili
Allow: /

User-agent: YouBot
Allow: /

User-agent: AmazonBot
Allow: /

User-agent: TimpiBot
Allow: /

User-agent: Webzio-Extended
Allow: /

User-agent: AI2Bot
Allow: /

User-agent: Mistralai-User
Allow: /