ロボット巡回解析

解析内容

ロボット型サーチエンジンは定期的に世界中のサイトを巡回してそのサイトの最新データを取得し、その結果を検索結果に反映しています。そこで、このロボットが巡回してきたのを捕捉して解析しようとするものです。
しかしこのアクセスは通常のイメージタグを使ったCGIでは取得できないため、SSIというちょっと難易度の高いテクニックを使っています。また、SSIはレンタルサーバーによっては設置できないことが多いですが、このためオプションという形にしています（別料金をとる訳ではありません）。
ロボットの巡回解析のほか、Yahooなどのディレクトリエディタのアクセス履歴などもチェックしています。解析項目は次のとおりです。

- 日ごとロボット巡回状況
ロボットのアクセス状況を日毎にグラフにしています。対象ページやロボットを絞り込むことができます。

- ページごとロボット巡回状況
ページ毎のロボットのアクセス状況をグラフにしています。対象ロボットやページを絞り込むことができます。

- ロボットごと巡回状況
ロボット毎のアクセス状況をグラフにしています。対象日やページを絞り込むことができます。

設置に際して

●この解析は、解析したいページに解析用のSSI用htmlタグを貼り付けることにより行います。ご利用のサーバーでSSIが利用でき、かつexecコマンドが利用できることが条件です。これらが利用できない場合には設置できません。
●SSIは設置が難しいので、経験のない方は関連書籍をご覧いただき十分に知識を身につけてからにして下さい。
●申し訳ございませんが、SSIに関するご質問はご遠慮下さい（SSIが動作しない原因はサーバーによってまちまちで、ご質問があっても正確にお答えすることはできません）
●この解析はシェアウエア登録後に可能になります。
●この機能はオプションですので、シェアウエア登録後に設置ができなくてもシェアウエア代金をお返しできません。
●代行設置にはこのオプションは含まれておりません。

【留意事項】

１）ロボットの巡回解析結果は、通常のアクセス解析数に加算されず他の解析項目にも反映されません。単独で解析しています。

２）解析対象ロボットについて
解析はすべてのものについて行っているわけではありません。主要なもののみです。またロボットが残すUser Agentデータに変更があった場合は捕捉できない場合があります。この場合は当社でもなるべくチェックしますが、関連情報がありましたらお知らせ下さい。

解析対象にしているロボット一覧
（）内はuseragentに含まれている文字列
Google（Googlebot）
goo（Slurp.so/Goo）
goo（mogimogi）
goo（moget）
Inktomi（Slurp/si）
Inktomi（Slurp/cat）
TOCC（Slurp-TOCC/si）
TOCC（Slurp.so/TOCC）
Infoseek（Sidewinder）
Fresheye（indexpert）
Fresheye（FreshGet）
AAA!Cafe（aruyo）
Looksmart etc.（ZyBorg）
AlltheWeb（WebCrawler）
Openfind（Openbot）
AltaVista（Scooter）
IncyWincy（NetResearchServer）
Daum（RaBot）
Yahoo! Down Site Checker（Down Site Checker）
AllAboutJapan LinkChecker（AllAboutJapan LinkChecker）
Dmoz Editor Check（refere=dmoz.org/editors/editunrev2.cgi）
Yahoo Editor for new site check（refere=surf.yahoo.co.jp/submissions）
Yahoo Editor for current site check（refere=surf.yahoo.co.jp/changes）

※
「Yahoo Editor for new site check」とは、サイトをYahooJapanへURL申請した後でサーファーが来たときのデータです。
「Yahoo Editor for current site check」とは、サイトをYahooJapanへURL変更依頼した後でサーファーが来たときのデータです。
「Dmoz Editor Check」とは、サイトをdmozにURL申請した後でエディターが参照したときのデータです。