robots.txt

品のよいロボットからアクセスされたくないディレクトリやファイルを指定されるための仕組み。
個人的には、公開されたページは一人でも多くの人に見てもらいたいから、ロボットの訪問を断ろうと考えたこともない。
特定少数の人だけがアクセスするページは、別のアクセス認証のメカニズム
がいずれにしろ、必要だし。