新規記事投稿

フォロー記事投稿

記事のキャンセル

1月28日に、take-winさんは書きました。

＞みんないったい何を期待して、robots.txt　とやらを見に来るのでしょうか？
＞このファイルは何者なのですか？

検索エンジンなどのリンク先の自動収集ロボットがチェックするファイルです。

自動収集ロボットは、robots.txt を取ってきて自動収集でリンクを
たどってよいかを調べます。

robots.txt には、ある程度の取り決めがあって、この部分は自動収
集して欲しくないとかというようなことが記述できます。

もちろん、robots.txt は暗黙の了解に過ぎないので、それを参照し
ない自動収集ロボットには意味はありません。