【crawl-66-249-XX-XXX.googlebot.com】検索エンジンクローラー(Googlebot)からのアクセス?

私が運営してる他のWEBサイト(素材あるというフリー素材サイト)にて素材ダウンロードのアクセスが連続してるホストがあったので「これ何処だろう?」と思い、IPアドレス逆引きサービスなどを使ったり、検索したり調べてみたら、どうやらGoogleのクローラー(ボット)からのアクセスだったかもしれないことの覚書き。

アクセス情報はこんな感じでした↓
IPアドレス:66.249.73.153~66.249.73.157
crawl-66-249-73-153.googlebot.com ~ crawl-66-249-73-157.googlebot.com
接続先の国はUnited States(アメリカ)

GooglebotのIPアドレスは 66.249.XXX.XXX が多いそうでARINによると 66.249.64.0 ~ 66.249.95.255(66.249.64.0/19)は Googleが所有してるアドレスらしい。

Googlebotについての参考記事
Googlebot かどうかの確認 – Search Console ヘルプ
https://support.google.com/webmasters/answer/80553?hl=ja
Google のクローラ(ユーザー エージェント) – Search Console ヘルプ
https://support.google.com/webmasters/answer/1061943

検索エンジンのロボットとユーザーエージェント
https://memorva.jp/memo/website/search_engine_robot_agent.php
検索エンジンクローラー(bot)覚え書き – 日々修行
https://blog.goo.ne.jp/kamikami99999/e/ea5fc0bbcaa2bbeb137060dd25d88be0

なりすましも出来るのでユーザーエージェントが合ってるかGooglebotが呼び出し元であることの確認(DNSルックアップ)が必要みたいですね…。

ARIN (American Registry for Internet Numbers) は、特定地域内のIPアドレス割り当て業務や管理を行うレジストリでメキシコを除く北米と一部、カリブ海・大西洋エリア、南極大陸周辺エリアを管轄。

参照元:ARIN – Wikipedia
https://ja.wikipedia.org/wiki/ARIN

タイトルとURLをコピーしました