robots.txt

一応備忘録として残す。以下をrobots.txtに入れると、AIのボットのクロールを避けることができるみたい。とは言っても、robots.txtを無視するAIボットもあるらしいから、絶対とは言えないけれど。本当にAIに巡回してもらいたくない...