新規記事投稿 フォロー記事投稿 記事のキャンセル
From: take-win <takewin@intiger.gr.jp>
Subject: robots.txtってなに？
Date: 1999/01/28 09:52:46

httpd-error.logを見ていると

　〜　/robots.txt

を見ようとしているところがあります。

202.229.246.154
210.154.149.68
cab.infoweb.ne.jp
bluejay.eng.pgh.lycos.com

などです。
当然、robots.txt　なんていうファイルを置いた覚えはないし
一応、 ls で調べるけどないみたいだし、
みんないったい何を期待して、robots.txt　とやらを見に来るのでしょうか？
このファイルは何者なのですか？