robots.txt でクロールを制御したい

問い合わせページや、サイトマップなど検索にひっかかりたくない！
というとき、いくつかの方法がありますが、
今日はrobots.txtで制御することをしました。

1.robots.txt に記載する
置き場所：robots.txt はwordpressの基本ファイルが置いている階層に置きます
（wp-contentやwp-adminなどが置いてある階層）

ディレクトリ以下のページ全て
https://○○○/contact/
とあったとしたら、
Disallow: /contact/
と書きますね。

※細かい設定方法は以下のページがわかりやすかったです。ありがとうございます。
robots.txtの正しい書き方

※wordpressを使うと元々Disallow: /wp-admin/
と、管理画面は検索にひっかからないように書かれてあるのですね。

2.robots.txtのファイルをアップロードする
置き場所：robots.txt はwordpressの基本ファイルが置いている階層に置きます
（wp-contentやwp-adminなどが置いてある階層）

そして、思うようにブロックされているかは、コンソールのテストページにてテストします。
robots.txt テスター
https://www.google.com/webmasters/tools/