robots.txt でクロールを制御したいときのメモ

User-agent: *
Disallow: /wp-admin/
Disallow: */day*2022$

問い合わせページなど、検索エンジンに来ないでほしいときのメモ

問い合わせページや、サイトマップなど検索にひっかかりたくない！
というとき、いくつかの方法がありますが、
今日はrobots.txtで制御することをしました。

1.robots.txt に記載する

置き場所：robots.txt はwordpressの基本ファイルが置いている階層に置きます
（wp-contentやwp-adminなどが置いてある階層）

ディレクトリ以下のページ全て
https://○○○/contact/
とあったとしたら、
Disallow: /contact/
と書きますね。

※細かい設定方法は以下のページがわかりやすかったです。ありがとうございます。
robots.txtの正しい書き方

※wordpressを使うと元々Disallow: /wp-admin/
と、管理画面は検索にひっかからないように書かれてあるのですね。

2.robots.txtのファイルをアップロードする

置き場所：robots.txt はwordpressの基本ファイルが置いている階層に置きます
（wp-contentやwp-adminなどが置いてある階層）
そして、思うようにブロックされているかは、コンソールのテストページにてテストします。
robots.txt テスター
https://www.google.com/webmasters/tools/

ここでポイントとなったのは、
ブロックしたいページurlの最後の文字と途中の文字が＊（なんでもok）。
言い換えると、urlの末尾が固定、途中の文言が固定の場合のブロック方法。
末尾の後には＄を入れる、なんでも自由なところには＊を入れるで確かにブロックされていました。
これは、どうやってやるのだろー、と調べて自分でブロックできたとき、一人しびれました。