robots.txtの書き方
robots.txtは書き方を間違えるとロボットが全滅したりするので注意が必要。
基本の書き方は、
全ロボット、検索エンジンインデックスを拒否
User-Agent: *
Disallow: /
aiueoディレクトリのみ、全ロボットを拒否
User-Agent: *
Disallow: /aiueo/
悪ガキBaiduのみを拒否したい場合
User-Agentの部分は
User-Agent: Baiduspider
User-Agent: Baiduspider+
User-Agent: BaiduImagespider
というように記述する。
参考URL:
http://www.oratorio-tangram.com/WebSec/baiduConclusion.html
記述が終わったら、一応全滅していないか
http://www.frobee.com/robots-txt-check
で確認するとよい。
ディスカッション
コメント一覧
まだ、コメントがありません