クローキングとは、検索エンジンとユーザーに異なる内容のページを表示することです。かつては検索順位を上げるSEO対策として利用されたこともありましたが、現在ではGoogleのスパムポリシーに違反する行為として禁じられています。

一方で、表示内容を切り替える仕組みは、クローキング以外にも数多く存在します。問題となるポイントを正しく理解しておかないと、正当な表示制御と誤解・混同してしまう可能性があるでしょう。

この記事では、クローキングの仕組みやGoogleによる定義、スパムとなる理由をわかりやすく解説します。適切なSEO対策を行う上で役立つ情報をまとめていますので、Web担当者の方はぜひ参考にしてください。

クローキングとは？

クローキングの語源は、「cloak（マント、覆い隠す）」に由来します。検索エンジンとユーザーに異なる内容を表示し、一方に別の情報を見せることから、このような名称が付けられました。

ここでは、クローキングの仕組みやGoogleによる定義、SEO対策で使われていた理由について解説します。

クローキングの仕組み　

クローキングは、アクセスしてきた相手を判別し、それぞれに異なるページを表示する仕組みです。サーバーは、アクセス元の情報（ユーザーエージェントやIPアドレスなど）をもとに、検索エンジンのクローラーか一般ユーザーかを判断し、表示内容を切り替えます。

代表例として、検索エンジンには「人気の旅行先」や「おすすめの観光スポット」などの情報ページを表示し、一般ユーザーにはまったく関係のない商品の販売ページを表示するといったケースがあります。これには、需要が多く評価されやすい「旅行情報」で検索エンジンから高評価を得て、その順位のまま「商品ページ」に誘導しようとする意図があります。

Googleが提示するクローキングの定義

Googleは、クローキングを「検索エンジンとユーザーで異なるコンテンツやURLを表示する行為」と定義しています。具体例としては、次のような表示制御があります。

クローキングの例	内容
異なるコンテンツを表示する	検索エンジンには「人気の旅行先」を紹介する記事を表示し、一般ユーザーには商品の販売ページを表示する。
ダイレクト先を変える	検索エンジンには通常のページをクロールさせ、一般ユーザーは別のURLへ自動転送する。
ページの公開状態を変える	検索エンジンには通常どおりページを公開し、一般ユーザーには「404 Not Found」や「アクセス禁止」を表示する。

一方で、すべての表示制御がクローキングになるわけではありません。デバイスや地域、言語に応じた表示の変更など、検索エンジンとユーザーに同じ内容を提供することを目的とした表示制御は、クローキングには該当しません。

正当な表示制御の例	内容
デバイスによるページの振り分け	スマートフォンとパソコンで、同じ内容を見やすいレイアウトに変えて表示する。
地域・言語によるコンテンツの切り替え	アクセス元の国や言語設定に応じて、同じ内容を現地の言語や通貨で表示する。
ユーザーごとのパーソナライゼーション	ログイン状況や閲覧履歴に応じて、おすすめ商品やレイアウトを変えて表示する。

まとめると、Googleが定義するクローキングとは、検索エンジンとユーザーで見せる内容を意図的に変え、評価を操作しようとする行為です。正当な表示制御と混同しないよう注意しましょう。

Googleがクローキングをスパムと見なす理由

Googleがクローキングをスパム行為として警戒するのには、次のような理由があります。

スパムになる理由	内容
検索順位の不正操作	検索エンジンにだけ最適化した内容を表示し、本来とは異なるページを上位表示させる恐れがある
ユーザー体験の低下	検索結果からアクセスしたページが期待した内容と異なるため、満足度が低下する
検索結果の質低下	検索結果が実際のページ内容を反映しなくなり、検索品質が低下する。

こうした問題はいずれも、Google検索の信頼性を損なうものです。そのため、Googleは基本原則として検索エンジン・ユーザーのどちらがアクセスしても、サイトが同じ情報を表示することを推奨しています。

過去にSEO対策として使われた理由

クローキングによる偽装行為は、ペナルティを受ける可能性が高く、利用するメリットはほとんどありません。一方で、過去においては、検索エンジンの評価を高めつつ、ユーザー向けの表示を維持するSEO対策として活用された時期もありました。

かつての検索エンジンは現在ほど精密ではなく、特定のキーワードを多く含むページが上位表示されやすい傾向がありました。しかし、このようなページを無理に作成しようとすると、ユーザーにとって読みにくいコンテンツになってしまいます。そのため「検索エンジンにはキーワードを詰め込んだページを表示し、ユーザーには読みやすい通常のページを表示する」といった目的でクローキングが活用されていたのです。

しかし、現在では検索エンジンの性能や検出精度が大幅に向上しています。よりユーザーの検索意図やページの内容を正確に評価できるようになり、クローキングは有効な手法ではなくなりました。現在ではペナルティのリスクが高く、避けるべき手法となっています。

ハッキングで意図せずクローキングになるケース

対策としては使われなくなった一方で、意図せずサイトがクローキング状態になるケースもあります。その代表例が、ハッキングです。

Webサイトがハッキングされると、攻撃者によってクローラー以外のアクセスを別ページへリダイレクトするよう改竄されることがあります。このようなケースでは多くの場合、検索結果だけを見ると変化はなく、サイトをクリックした一般ユーザーだけが不正サイトへ誘導される仕組みになっています。そのため、サイト運営者が異変に気付きにくく、長期間にわたって被害を受けることがあります。

ハッキングなどの運営側が意図しないケースでも、ペナルティを受ける可能性があるのは変わりません。自サイトを維持するためにも、攻撃者によるクローキングには注意しましょう。

クローキングになっていないか確認する方法

リスクを早期発見し、検索順位の低下やペナルティを防ぐためにも、定期的にサイトの状態を確認することが大切です。

ここでは、初心者でも手軽に行えるクローキングの確認方法を紹介します。

検索結果とページの内容を見比べる

検索エンジンで対象ページを検索し、検索結果のタイトルや説明文と、実際に表示されるページの内容を確認します。検索結果では通常の記事タイトルが表示されているにもかかわらず、クリックすると商品ページや別サイトへ転送される場合は、ハッキングや設定ミスが疑われます。

表示された自分のサイトをクリックするだけなので、最も手軽な確認方法です。ただし、検索結果の情報とページ内容が異なるだけでは、必ずしもクローキングとは限りません。ページの更新直後や検索結果の反映遅れによって違いが生じることもあるため、気になる場合はブラウザの拡張機能やGoogle Search ConsoleのURL検査ツールも併用して確認しましょう。

ブラウザの拡張機能を使う

ブラウザにユーザーエージェントを変更できる拡張機能をインストールし、一般ユーザーと検索エンジンのクローラー、それぞれの表示内容を比較します。表示されるページや内容に大きな違いがある場合は、クローキングが行われている可能性があります。

拡張機能の利用は、検索結果とページを見比べる方法よりも詳しく確認できるのが特徴です。たとえば、Chrome拡張機能の「User-Agent Switcher」を利用すると、ユーザーエージェントを切り替えてページの表示内容を比較できます。ただし、拡張機能で再現できるのはユーザーエージェントの変更のみで、Googlebotとまったく同じ環境を再現できるわけではありません。そのため、状況に応じてGoogle Search ConsoleのURL検査ツールと使い分ける必要があるでしょう。

URL検査ツールで確認する

Google Search Consoleにログインし、確認したい自サイトのURLを入力します。URL検査ツールでインデックス状況や取得したページ情報を確認し、「公開URLをテスト」を実行すると、Googlebotが取得したページの状態を確認できます。

Googlebotが実際に取得した情報をもとに確認できるため、クローキングの有無を調査する際に役立ちます。また、検索結果とページの内容を見比べたり、ブラウザの拡張機能で確認したりして異常が見つかった場合は、URL検査ツールも活用することで、より正確な状況の把握が可能です。

まとめ

検索エンジンの進歩により、クローキングがSEO対策として用いることはほとんどなくなりました。しかし、ハッキングなどの違法行為では、今なお悪用されている手口の一つです。サイト運営に携わるならリスクの早期発見・対処のために、身につけておきたい知識といえます。

クローキングへの理解を深め、SEO対策の実践に役立てましょう。