クローラーなんて大っ嫌いだ！

某国とかのサーチエンジンのクロールが激しい事激しい事。お陰でサーバーが思考停止事態に陥りフライデーナイトにリブート依頼を出す羽目になってしまった。

愚痴らせてもらいますと3つのクローラが3秒毎にリクエストを投げてきやがりました。つまり処理に1秒以上かかるとプロセスが溜まって行く状態。勿論、普通に来訪いただいてる方や、GoogleやY！のクローラもいる状態。。。

まだまだ大赤字サービスなんで無駄なリソースはありゃしません。

といったわけでクローラを蹴る事にしました。もう来ないで下さい。

↓がhttpd.confの設定例。同じ悩みを抱えられてる方はご利用下さい。

RewriteCond %{HTTP_USER_AGENT} 迷惑なロボットのユーザーエージェント1個目 [OR] # ORでUAを繋げていきましょう。
RewriteCond %{HTTP_USER_AGENT} 迷惑なロボットのユーザーエージェント2個目
RewriteRule (.*) - [F,L]