Googlebot Mobile はスパムだとおもふ

社の人との仕事は夜勤24H勤務 + 残業で32H勤務というおもしろい時間になりました。(。A 。)
に帰りサーバーの具合を見てみると何やらすごい CPU 使用率になっている時間がありました。
CPU 使用率グラフ
ほぼ同時刻に通信量も同じような動きをしていたので、もしかしてと思い調べてみると…
案の定 Googlebot-Mobile による絨毯爆撃でした。(。A 。)
回はここ「まやろぐ」にきたようで、いつものアクセス数との差は以下のアクセス統計グラフの通り。
まやろぐ のアクセス数統計グラフ
いつもの2倍以上とか何!
Googlebot-Mobile は月に2回ほど回ってくるようなのですが、1回あたりのアクセス数・頻度が尋常ではない量のようで、低速なサーバーだとクラッシュすると思われます。
アクセス拒否してしまえば済むことなのだけど、それをするとサーチエンジンにひっかかりにくくなってしまうし、かといってサーバーの増強もちょっとためらってしまう…
ャッシュ機能などサーバーの設定をいじることである程度は対処できると思うので、暇のある時にそれで対策してみたいと思います。
以下はログファイルのうち爆撃のあった頃のログと、ここ1週間ほどのアクセス解析結果からブラウザ情報だけ抜き出したもの。

(さらに…)