robots.txt(ろぼっつどっとてきすと)
検索エンジンのロボットに読んでほしくない場所を伝えるファイル
猿でもわかる例え
お店の「入ってよい場所/立入禁止」を書いた案内板
robots.txtは、サイトのルート(例:emdashbasics.com/robots.txt)に置くファイルで、検索エンジンのクローラー(自動巡回プログラム)に対して、読み込んでよい場所とダメな場所を伝える。本サイトでは管理画面(/_emdash/)へのアクセスを禁止し、サイトマップの場所も案内している。あくまで「お願い」であり、強制的にブロックする機能ではない。出典: Google Search Central(https://developers.google.com/search/docs/crawling-indexing/robots/intro)