クローキングとは？
クローキング
Webサーバに細工を施し、検索エンジンの巡回ロボットには一般の閲覧者とは異なる内容のWebページを見せること。
検索エンジンでの順位を上げるためにキーワードを不自然に多く入れるといった改変をWebページに施し、一般ユーザには見せずに検索エンジンだけに選択的に送信する手法である。多くの検索エンジンではこの手法を不当とみなし、クローキングを行なったサイトをインデックスから除外したり、順位を極端に落とすといったペナルティーを科している。検索エンジン側では巡回ロボットだけではクローキングされたか否かは分からないため、不自然に上位にリストされたサイトを人手でチェックするなどの対策を行なっている。
クローキングで調べると上の引用文のようなことがでてきます。
この文章を読む限り、クローキングってSEO的に危なくて悪いことなんだなという印象を受けます。
しかし、クローキング行為自体は推奨できない程危ないものでもありません。
検索エンジンはクローキングを認めないとしていますが、
実際に大手のサイトで使われているクローキングの技術を認めていたりしますからね。
ただし、何でもやり過ぎは禁物ですよ。
例えば、クローラーが見るページとユーザーが見るページが全く別ものだったとか。
それがOKかNGかは常識の範囲でしょう。
効果的なクローキング
効果的且つ大手サイトもやっている安全な方法でいうと、
クローラーにはパラメータを見せないということですね。
クローラーは動的URLを嫌いますので、静的URLを書くのが望ましい。
URLリライトを行って静的に見せている場合は別として、
パラメータがごちゃごちゃついたURLを載せることは避けた方がいいでしょう。
例えばどこか別ドメインのサイトに自サイトのバックリンクを設置する場合、
自分のサイトへのバックリンクが欲しいだけなので、
クローラーが来た時はトップページへのURLにして、
ユーザーが来た場合はパラメータを指定したユーザー用のページに飛ばすということです。
この程度のクローキングであれば安全ですし、且つ効果的と言えるでしょう。
そのクローキングは白ですか？黒ですか？
そのクローキング行為が白か黒かの判断材料になる記事を見つけましたので、ご紹介します。
こんなにあるクローキングの実態／許されるクローキングと許されないクローキング（前編）
こんなにあるクローキングの実態／許されるクローキングと許されないクローキング（後編）
前編ではクローキングを上手く使っているサイトの紹介。
後編ではクローキングの白黒度合いを載せておられます。
参考にして下さい。
クローキングをする方法
実際にどうやるのという疑問をお持ちの方がいらっしゃるかもしれませんので、
方法だけご紹介しておきます。
クローキングするにはまずクローラーをキャッチしないといけません。
やり方はこの連載記事の初期にも書いてありますので割愛しますが、
キャッチの方法は２種類あります。
ユーザーエージェントからクローラーをキャッチする
IPアドレスからクローラーをキャッチする
最近は、検索エンジンもクローラーのUAやIPアドレスを公開しているので、
キャッチすることが可能になっています。
どちらでキャッチしても同じことですが、
それぞれのメリットは、ユーザーエージェントでキャッチする場合、
クローラーの名前だけ気にしていればいいので、
IPアドレスでキャッチするよりも楽です。
反対にIPアドレスでキャッチする場合、
IPアドレスの帯域の変更を気にしなければいけない代わりに、
ユーザーエージェントを偽装して見に来られても絶対に見れません。
最終的には人手でチェックすることを考えると、
IPアドレスでキャッチしている場合は、一般のユーザーには絶対見れないということです。
ご紹介した記事で言うところの、黒に近いサイト以外はユーザーエージェントでの判断で十分かなと思います。
クローキングを利用する場合の注意点
隠そうと思えばどこまででも隠せます。
クローラーの動きを操作しようと思えばどこまででも操作できます。
上の引用文でもあったようにクローラーにはクローキングされていることは分かりません。
最終的には人がチェックしておかしいなと思うサイトが通報されたりするわけです。
クローラーにとっても、ユーザーにとっても、
円滑にサイトを循環させるためのクローキングであれば、現状問題はなさそうです。
クローラビリティ、ユーザビリティを守った上でクローキングという便利な技術を利用しましょう。
