A サイトマップ は、ウェブサイト上のページ、ビデオ、画像、その他のファイルや、それらの間の関係に関する情報を提供するファイルです。検索エンジンは グーグル はこのファイルを使用して、ウェブサイトをより効率的にクロールします。サイトマップは、検索エンジンがサイト上のどのページやファイルが最も重要であるかを理解するのに役立ち、ページが更新された時期や代替言語バージョンがあるかどうかなどの追加情報を提供します。
サイトマップでは、動画、画像、ニュース記事など、さまざまなタイプのコンテンツの詳細を提供できます。例えば
- 動画サイトマップ には、ビデオの長さ、視聴率、視聴者層などの情報が含まれます。
- 画像サイトマップ は、ウェブページ内の画像の場所を指定することができます。
- ニュースサイトマップ は、記事の見出しとその発行日を示すことができます。
サイトマップは必要ですか？
サイトマップは、サイトが適切な内部リンクで適切に構造化され、必要なページがすべてナビゲーションリンク（メニューなど）からアクセスできる場合でも、重要な役割を果たします。サイトマップは、大規模で複雑なウェブサイトや、リッチメディア（動画や画像）、ニュースなどの特定のコンテンツを含むウェブサイトに特に有効です。
次のような場合は、サイトマップの使用を検討する必要があります：
- ウェブサイトが大きい:大規模なウェブサイトでは、標準的なナビゲーションでは簡単にアクセスできないページがあります。必要なページがすべてリンクされていることを保証するのは難しく、検索エンジンがいくつかのページを見逃す可能性が高くなります。
- ウェブサイトが新しく、外部リンクが不足しています。:Googleのような検索エンジンは、主に他のウェブサイトからのリンクをたどって新しいコンテンツを発見します。あなたのサイトが新しく、バックリンクが少ない場合、サイトマップを送信しない限り、Googlebotはすべてのコンテンツを見つけられないかもしれません。
- ウェブサイトにリッチメディアやニュースコンテンツが含まれている場合:サイトに動画や画像、ニュース記事がたくさんある場合、サイトマップは Google がこれらのメディアファイルを見つけ、インデックス化するのに役立ちます。たとえば、動画の視聴時間や視聴者などのメタデータを動画サイトマップに含めることで、Google がこのコンテンツを理解しやすくなります。
一方、次のような場合はサイトマップは必要ないかもしれません：
- ウェブサイトが小さい:ウェブサイトのページ数が500ページ未満で、これらのページがすべて内部でうまくリンクされている場合、Googleはサイトマップなしですべての重要なページを見つける可能性が高いです。
- あなたのウェブサイトには包括的な内部リンクがあります。:重要なページがすべて内部リンクから簡単にアクセスできるようになっていれば、サイトマップを用意しなくてもGooglebotはそのページを発見することができます。
- メディアやニュース記事が少ない:インデックスが必要な動画、画像、ニュース記事があまりない場合は、サイトマップは必要ないかもしれません。
Googlebotがあなたのサイトを巡回する方法
Googlebot is the name of Google’s web crawler, responsible for discovering and indexing content on the web. There are two versions:
- グーグルボット モバイル:モバイル版のウェブサイトをクロールするために、モバイルユーザーをシミュレートします。
- グーグルボットデスクトップ:デスクトップユーザーをシミュレートし、デスクトップ版のウェブサイトをクロールします。
どちらのタイプのGooglebotも、robots.txtファイルでは同じルールに従います。しかし、Googleは主に モバイルファーストインデックス, most crawls are done by the mobile version. This means that your website’s mobile performance and structure play a crucial role in how Google indexes your content.
Googlebot crawls websites at an average pace of once every few seconds. This frequency can vary depending on your site’s size and the amount of new content. Google uses distributed computing, with multiple crawlers working simultaneously from different IP addresses. This helps improve performance and ensures that Googlebot doesn’t overload your servers with requests.
クロールを最適化するために、Googlebotは HTTP/2 に対応している場合は、サーバーとクローラーの両方の負荷が軽減されます。ただし、HTTP/1.1よりもHTTP/2を使用した方がランキング上有利ということはありません。を返すことで、HTTP/2経由でのGooglebotのクロールをブロックできます。 421 HTTPステータスコード クロールが試みられたとき。
Managing Googlebot’s Crawl Frequency and Limits
Googlebotは、サーバーに負荷がかからないように、ほとんどのウェブサイトのクロール速度を自動的に管理します。ただし、Googlebotのリクエストにサーバーが追いつかない場合は Googleサーチコンソール でクロール速度を落とします。
Googlebotは、最初のクロールまでクロールするようにプログラムされています。 15MB HTMLまたはサポートされているテキストベースのファイルのこのサイズ制限に達すると、Googlebotはファイルのクロールを停止し、最初の15MBのみがインデックスの対象となります。注意すべき点は、この制限は圧縮されていないデータに適用されるということです。したがって、ページが巨大な場合は、重要なコンテンツがすべて最初の15MB以内に収まるようにファイルを最適化するとよいでしょう。
Googlebotが特定のページをクロールしないようにする方法
Googlebotがサイトの特定のページをクロールしないようにするには、いくつかの方法があります：
- robots.txtの使用:robots.txtファイルにルールを指定することで、Googlebotが特定のページをクロールできないようにすることができます。
- noindexディレクティブを使用します。.このディレクティブは、特定のページがクロールされてもGoogleの検索結果に表示されないようにします。
- パスワードによる保護:これらのページをパスワードで保護することは、クローラーとユーザーの両方が特定のコンテンツにアクセスするのをブロックするための効果的なソリューションです。
Verifying Googlebot’s Identity
It’s essential to verify the authenticity of requests claiming to be from Googlebot because other crawlers can spoof Googlebot’s identity. The best way to confirm a request from Google is to check the request’s IP address and verify it against Google’s official list of グーグルボットIPアドレス.
結論 サイトマップはウェブサイトに必要ですか？
In conclusion, while Google can often find and crawl your website without a sitemap, there are situations where using a sitemap is highly beneficial. For large or new websites or those with rich media content, a sitemap is a valuable tool that helps search engines like Google discover and prioritize your content more efficiently. By providing a detailed sitemap, you ensure that your most important pages are indexed and visible in search results, potentially improving your website’s performance in search rankings.