robots.txtの配置場所
robots.txtを配置して対ロボット戦を行う場合、
トップディレクトリに
robots.txt
を配置すればよい。
その下のディレクトリに影響を与えたいのであれば、
User-Agent: *
Disallow: /robot_ha_kuruna/
というように書けばよい。
プログラマによるプログラマのためのサイト(20年プログラマやってきた職業軍人がお届けする戦闘指南書)
2010年4月30日
robots.txtを配置して対ロボット戦を行う場合、
トップディレクトリに
robots.txt
を配置すればよい。
その下のディレクトリに影響を与えたいのであれば、
User-Agent: *
Disallow: /robot_ha_kuruna/
というように書けばよい。
解決しなかったら検索してみるよろし。
Apacheのログローテートが正常にされず、 古いログにいつまでも書き込む事態が ...
サーバにSSH等で接続出来る環境ならば、いいデバッグ方法がある。 例えばアクセス ...
WEBサーバ管理をしている人ならば誰でも訪れるSSLの更新や新規追加作業。 op ...
tar.gzはよく見かけるが、たまにtar.bz2で圧縮している人がいる。 そん ...
httpd.confや.htaccessにおいて、 mod_rewriteを利用 ...
リモートワークを12年続けてきたITエンジニアが、メリットとデメリットを語る
私はリモートワークを12年続けています。今話題のテレワーク、在宅ワーク、リモート ...
->orderByRaw("concat(year,month,day) asc ...
git config --global core.editor vi これで、. ...
root@debian-gnu-linux-10:/home/aaaaaaa# ...
==テスト環境== .envに APP_ENV=local プログラム上では i ...
WEBサイトで、更新されたファイルだけ最新を読み込ませたい時
最新を読み込ませたい時は img src="aiueo.jpg?12345" み ...
ディスカッション
コメント一覧
まだ、コメントがありません