A サイトマップ は、ウェブサイト上のページ、ビデオ、画像、その他のファイルや、それらの間の関係に関する情報を提供するファイルです。検索エンジンは グーグル はこのファイルを使用して、ウェブサイトをより効率的にクロールします。サイトマップは、検索エンジンがサイト上のどのページやファイルが最も重要であるかを理解するのに役立ち、ページが更新された時期や代替言語バージョンがあるかどうかなどの追加情報を提供します。

サイトマップでは、動画、画像、ニュース記事など、さまざまなタイプのコンテンツの詳細を提供できます。例えば

• 動画サイトマップ には、ビデオの長さ、視聴率、視聴者層などの情報が含まれます。
• 画像サイトマップ は、ウェブページ内の画像の場所を指定することができます。
• ニュースサイトマップ は、記事の見出しとその発行日を示すことができます。

サイトマップは必要ですか？

サイトマップは、サイトが適切な内部リンクで適切に構造化され、必要なページがすべてナビゲーションリンク（メニューなど）からアクセスできる場合でも、重要な役割を果たします。サイトマップは、大規模で複雑なウェブサイトや、リッチメディア（動画や画像）、ニュースなどの特定のコンテンツを含むウェブサイトに特に有効です。

次のような場合は、サイトマップの使用を検討する必要があります：

• ウェブサイトが大きい:大規模なウェブサイトでは、標準的なナビゲーションでは簡単にアクセスできないページがあります。必要なページがすべてリンクされていることを保証するのは難しく、検索エンジンがいくつかのページを見逃す可能性が高くなります。
• ウェブサイトが新しく、外部リンクが不足しています。:Googleのような検索エンジンは、主に他のウェブサイトからのリンクをたどって新しいコンテンツを発見します。あなたのサイトが新しく、バックリンクが少ない場合、サイトマップを送信しない限り、Googlebotはすべてのコンテンツを見つけられないかもしれません。
• ウェブサイトにリッチメディアやニュースコンテンツが含まれている場合:サイトに動画や画像、ニュース記事がたくさんある場合、サイトマップは Google がこれらのメディアファイルを見つけ、インデックス化するのに役立ちます。たとえば、動画の視聴時間や視聴者などのメタデータを動画サイトマップに含めることで、Google がこのコンテンツを理解しやすくなります。

一方、次のような場合はサイトマップは必要ないかもしれません：

• ウェブサイトが小さい:ウェブサイトのページ数が500ページ未満で、これらのページがすべて内部でうまくリンクされている場合、Googleはサイトマップなしですべての重要なページを見つける可能性が高いです。
• あなたのウェブサイトには包括的な内部リンクがあります。:重要なページがすべて内部リンクから簡単にアクセスできるようになっていれば、サイトマップを用意しなくてもGooglebotはそのページを発見することができます。
• メディアやニュース記事が少ない:インデックスが必要な動画、画像、ニュース記事があまりない場合は、サイトマップは必要ないかもしれません。

Googlebotがあなたのサイトを巡回する方法

GooglebotはGoogleのウェブクローラーの名前で、ウェブ上のコンテンツを発見し、インデックスを作成する役割を担っています。2つのバージョンがあります：

• グーグルボット モバイル:モバイル版のウェブサイトをクロールするために、モバイルユーザーをシミュレートします。
• グーグルボットデスクトップ:デスクトップユーザーをシミュレートし、デスクトップ版のウェブサイトをクロールします。

どちらのタイプのGooglebotも、robots.txtファイルでは同じルールに従います。しかし、Googleは主に モバイルファーストインデックスほとんどのクロールはモバイル版によって行われます。つまり、ウェブサイトのモバイルパフォーマンスと構造は、Googleがコンテンツをどのようにインデックスするかにおいて重要な役割を果たします。

Googlebotは、平均して数秒に1回のペースでウェブサイトをクロールします。この頻度は、サイトの規模や新しいコンテンツの量によって異なります。Googleは分散コンピューティングを採用しており、複数のクローラーが異なるIPアドレスから同時に動作します。これにより、パフォーマンスが向上し、Googlebotがリクエストでサーバーに過負荷をかけることがなくなります。

クロールを最適化するために、Googlebotは HTTP/2 に対応している場合は、サーバーとクローラーの両方の負荷が軽減されます。ただし、HTTP/1.1よりもHTTP/2を使用した方がランキング上有利ということはありません。を返すことで、HTTP/2経由でのGooglebotのクロールをブロックできます。 421 HTTPステータスコード クロールが試みられたとき。

Googlebotのクロール頻度と制限の管理

Googlebotは、サーバーに負荷がかからないように、ほとんどのウェブサイトのクロール速度を自動的に管理します。ただし、Googlebotのリクエストにサーバーが追いつかない場合は Googleサーチコンソール でクロール速度を落とします。

Googlebotは、最初のクロールまでクロールするようにプログラムされています。 15MB HTMLまたはサポートされているテキストベースのファイルのこのサイズ制限に達すると、Googlebotはファイルのクロールを停止し、最初の15MBのみがインデックスの対象となります。注意すべき点は、この制限は圧縮されていないデータに適用されるということです。したがって、ページが巨大な場合は、重要なコンテンツがすべて最初の15MB以内に収まるようにファイルを最適化するとよいでしょう。

Googlebotが特定のページをクロールしないようにする方法

Googlebotがサイトの特定のページをクロールしないようにするには、いくつかの方法があります：

• robots.txtの使用:robots.txtファイルにルールを指定することで、Googlebotが特定のページをクロールできないようにすることができます。
• noindexディレクティブを使用します。.このディレクティブは、特定のページがクロールされてもGoogleの検索結果に表示されないようにします。
• パスワードによる保護:これらのページをパスワードで保護することは、クローラーとユーザーの両方が特定のコンテンツにアクセスするのをブロックするための効果的なソリューションです。

Googlebotの身元確認

他のクローラーはGooglebotになりすますことができるため、Googlebotからのリクエストであると主張するリクエストの真偽を確認することが不可欠です。Googleからのリクエストを確認する最善の方法は リクエストのIPアドレス の公式リストと照合してください。 グーグルボットIPアドレス.

結論 サイトマップはウェブサイトに必要ですか？

結論として、サイトマップがなくてもGoogleはあなたのウェブサイトを発見し、クロールすることができますが、サイトマップを使用することが非常に有益な状況もあります。大規模なウェブサイトや新しいウェブサイト、リッチメディアコンテンツを持つウェブサイトにとって、サイトマップはGoogleのような検索エンジンがより効率的にコンテンツを発見し、優先順位をつけるための貴重なツールです。詳細なサイトマップを提供することで、最も重要なページが確実にインデックスされ、検索結果に表示されるようになり、検索順位が向上する可能性があります。