AIのボットを避けるためのrobots.txtの記述方法

一応備忘録として残す。

以下をrobots.txtに入れると、AIのボットのクロールを避けることができるみたい。とは言っても、robots.txtを無視するAIボットもあるらしいから、絶対とは言えないけれど。本当にAIに巡回してもらいたくないのなら、Simple Membershipプラグインか何かを使って、コンテンツをログインの壁の後ろに置くしかない。

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: AdsBot-Google
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ICC-Crawler
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-ai
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: Twitterbot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: BaiduSpider
Disallow: /

User-agent: BLEXBot
Disallow: /

User-Agent: MJ12bot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: Brave-Searchbot
Disallow: /

User-agent: Bravebot
Disallow: /

User-agent: Brave-Search-Scraper
Disallow: /