robots.txtの書き方

robots.txtは書き方を間違えるとロボットが全滅したりするので注意が必要。

基本の書き方は、

全ロボット、検索エンジンインデックスを拒否
User-Agent: *
Disallow: /

aiueoディレクトリのみ、全ロボットを拒否
User-Agent: *
Disallow: /aiueo/

悪ガキBaiduのみを拒否したい場合
User-Agentの部分は
User-Agent: Baiduspider
User-Agent: Baiduspider+
User-Agent: BaiduImagespider
というように記述する。
参考URL:
http://www.oratorio-tangram.com/WebSec/baiduConclusion.html

記述が終わったら、一応全滅していないか
http://www.frobee.com/robots-txt-check
で確認するとよい。