はてなアンテナ

はてなアンテナでinfoseek内のページを巡回すると広告が入ってしまう件について、遅くなりましたが(infoseekの)サポートに問い合わせました。 WgetやGooglebotなんかだと広告は挿入されず、 Mozillaを名乗るもの(IEとか)だと画像の広告、それ以外のw3mなどではテキスト広告という仕掛けなんですけど、はてなの巡回ロボットがGooglebotと同じ扱いになってないのが原因です。

しかし回答がなかったのでXREAに移転しました。

移転してファイルがなくなったら、普通は404 Not Foundなんですが、ヘッダは200 OKで本文に「お探しのページは見つかりませんでした。(404 Not Found)」と書いてある。これがまたはてなアンテナに引っ掛かってます。ただし、もう更新はされないので、沈んでいくのであればそれでいいかな、と。 →XREAの初期設定も同様に302 Moved Temporarilyになっていたので修正。