クローラー
検索エンジンがWebページの内容を収集するために
使用しているプログラムをクローラーといいます。
検索エンジンは、登録されたURLをもとに、
Webページ内に含まれるリンク情報をたどりながら、
WWW上のあらゆるWebページの情報を収集します。
クローラーは、Webサイト情報を収集するという、
検索エンジンにとって重要な役割を持つため、
各検索エンジンでは、利用者にとって精度の高い検索結果を提供できるよう、
情報収集のレベルで独自なクローラーを開発しています。
クローラーは独自のUAを持っています。
UAとはユーザーエイジェントです。
Google だったら、Googlebot 。
ホスト名はこちらですね。
crawl-xxx-xxx-xxx-xxx.googlebot.com
xxx-xxx-xxx-xxx はおそらく IPアドレスの数字です。
アクセス解析でこのようなホスト名からのアクセスを
確認できれば、クローラーが自分のサイト情報を収集している
と考えてよいと思います。



コメントはまだありません。