robots.txtの配置場所
robots.txtを配置して対ロボット戦を行う場合、
トップディレクトリに
robots.txt
を配置すればよい。
その下のディレクトリに影響を与えたいのであれば、
User-Agent: *
Disallow: /robot_ha_kuruna/
というように書けばよい。
プログラマによるプログラマのためのサイト(20年プログラマやってきた職業軍人がお届けする戦闘指南書)
2010年4月30日
robots.txtを配置して対ロボット戦を行う場合、
トップディレクトリに
robots.txt
を配置すればよい。
その下のディレクトリに影響を与えたいのであれば、
User-Agent: *
Disallow: /robot_ha_kuruna/
というように書けばよい。
解決しなかったら検索してみるよろし。
main.cf内 inet_protocols = all となっていたら、 i ...
wgetはデフォルトではリトライの回数が20になっている。 もし何度もやるとヤバ ...
Apacheサーバの設定で文字コードが強制指定されていると、 その配下で動くサイ ...
WordPressや各種フレームワークを使用していると、.htaccessを利用 ...
Sambaのシャドウコピーについて vgscan pvcreate /dev/s ...
リモートワークを12年続けてきたITエンジニアが、メリットとデメリットを語る
私はリモートワークを12年続けています。今話題のテレワーク、在宅ワーク、リモート ...
$date = '20210208'; $data = str_split($d ...
$string = "173000"; if( intval($string) ...
.htaccessに <Files ~ "^\.ht"> deny ...
このサイトに書かれているrpmインストールで holiday_jp-go をイン ...
コマンドを繋ぐ時、 || を使うと、一つ目のコマンドが異常終了した時に二つ目が実 ...
ディスカッション
コメント一覧
まだ、コメントがありません