A sitemap ist eine Datei, in der Sie Informationen über die Seiten, Videos, Bilder und andere Dateien auf Ihrer Website und die Beziehungen zwischen ihnen bereitstellen. Suchmaschinen wie Google verwenden diese Datei, um Ihre Website effizienter zu crawlen. Sitemaps helfen Suchmaschinen zu verstehen, welche Seiten oder Dateien auf Ihrer Website am wichtigsten sind und liefern zusätzliche Details, z.B. wann eine Seite aktualisiert wurde oder ob es alternative Sprachversionen gibt.
In einer Sitemap können Sie Details zu verschiedenen Arten von Inhalten angeben, darunter Videos, Bilder und Nachrichtenartikel. Zum Beispiel:
- Video-Sitemaps können Informationen wie Videolänge, Bewertungen und die Zielgruppe enthalten.
- Bild-Sitemaps können Sie die Position der Bilder auf Ihrer Webseite festlegen.
- Nachrichten-Sitemaps können Sie Überschriften von Artikeln und deren Veröffentlichungsdatum angeben.
Brauchen Sie eine Sitemap?
Eine Sitemap kann auch dann eine wichtige Rolle spielen, wenn Ihre Website gut strukturiert ist und über eine angemessene interne Verlinkung verfügt, bei der alle notwendigen Seiten über Navigationslinks (z. B. Menüs) erreichbar sind. Sie ist besonders vorteilhaft für große, komplexe Websites oder solche mit besonderen Inhalten wie Rich Media (Videos und Bilder) oder Nachrichten.
Sie sollten die Verwendung einer Sitemap in Betracht ziehen, wenn:
- Ihre Website ist groß: Große Websites können Seiten enthalten, die über die Standardnavigation nicht leicht zugänglich sind. Es kann schwierig sein, sicherzustellen, dass alle notwendigen Seiten verlinkt sind, was die Wahrscheinlichkeit erhöht, dass Suchmaschinen einige Seiten übersehen.
- Ihre Website ist neu und hat keine externen Links: Suchmaschinen wie Google entdecken neue Inhalte in erster Linie durch die Verfolgung von Links von anderen Websites. Wenn Ihre Website neu ist und nicht viele Backlinks hat, findet Googlebot möglicherweise nicht alle Ihre Inhalte, es sei denn, Sie reichen eine Sitemap ein.
- Ihre Website enthält Rich Media oder Nachrichteninhalte: Wenn Ihre Website viele Videos, Bilder oder Nachrichtenartikel enthält, kann eine Sitemap Google helfen, diese Mediendateien zu finden und zu indizieren. Zum Beispiel können Video-Metadaten wie Dauer und Publikum in eine Video-Sitemap aufgenommen werden, damit Google diese Inhalte besser verstehen kann.
Andererseits brauchen Sie vielleicht keine Sitemap, wenn:
- Ihre Website ist klein: Wenn Ihre Website weniger als 500 Seiten umfasst und diese Seiten alle intern gut verlinkt sind, wird Google wahrscheinlich alle wichtigen Seiten ohne Sitemap finden.
- Ihre Website hat eine umfassende interne Verlinkung: Wenn alle Ihre wichtigen Seiten über interne Links leicht zu erreichen sind, kann Googlebot sie auch ohne eine Sitemap finden.
- Sie haben nur wenige Medien oder Nachrichtenartikel: Eine Sitemap ist möglicherweise nicht notwendig, wenn Sie nicht viele Videos, Bilder oder Nachrichtenartikel haben, die indiziert werden müssen.
Wie Googlebot Ihre Website durchkämmt
Googlebot is the name of Google’s web crawler, responsible for discovering and indexing content on the web. There are two versions:
- Googlebot Mobile: Simuliert einen mobilen Benutzer, um die mobile Version von Websites zu crawlen.
- Googlebot Desktop: Simuliert einen Desktop-Benutzer, um Desktop-Versionen von Websites zu crawlen.
Beide Googlebot-Typen befolgen die gleichen Regeln in Ihrer robots.txt-Datei. Da Google jedoch hauptsächlich die Mobile-First-Indizierung, most crawls are done by the mobile version. This means that your website’s mobile performance and structure play a crucial role in how Google indexes your content.
Googlebot crawls websites at an average pace of once every few seconds. This frequency can vary depending on your site’s size and the amount of new content. Google uses distributed computing, with multiple crawlers working simultaneously from different IP addresses. This helps improve performance and ensures that Googlebot doesn’t overload your servers with requests.
Um das Crawling zu optimieren, kann Googlebot HTTP/2 wenn Ihre Website dies unterstützt, was die Belastung sowohl Ihres Servers als auch des Crawlers verringert. Die Verwendung von HTTP/2 bietet jedoch keinen Ranking-Vorteil gegenüber HTTP/1.1. Sie können Googlebot vom Crawling über HTTP/2 abhalten, indem Sie ein 421 HTTP-Statuscode wenn ein Kriechversuch unternommen wird.
Managing Googlebot’s Crawl Frequency and Limits
Googlebot steuert seine Crawling-Rate für die meisten Websites automatisch, um eine Überlastung Ihres Servers zu vermeiden. Wenn Ihr Server jedoch nicht mit den Anfragen von Googlebot Schritt halten kann, können Sie Google Suchkonsole um die Kriechgeschwindigkeit zu reduzieren.
Googlebot ist so programmiert, dass er bis zum ersten 15MB einer HTML- oder unterstützten textbasierten Datei. Nach Erreichen dieses Größenlimits hört Googlebot auf, die Datei zu crawlen, und nur die ersten 15 MB werden für die Indizierung berücksichtigt. Es ist wichtig zu wissen, dass dieses Limit für unkomprimierte Daten gilt. Wenn Ihre Seiten also sehr groß sind, sollten Sie Ihre Dateien optimieren, um sicherzustellen, dass alle wichtigen Inhalte innerhalb der ersten 15 MB liegen.
Googlebot vom Crawlen bestimmter Seiten abhalten
Wenn Sie verhindern möchten, dass der Googlebot bestimmte Seiten Ihrer Website crawlt, gibt es einige Möglichkeiten:
- Verwenden Sie robots.txt: Durch die Festlegung von Regeln in der Datei robots.txt können Sie verhindern, dass der Googlebot bestimmte Seiten crawlt.
- Verwenden Sie die Direktive noindex. Diese Richtlinie sorgt dafür, dass bestimmte Seiten nicht in den Suchergebnissen von Google erscheinen, selbst wenn sie gecrawlt werden.
- Verwenden Sie einen Passwortschutz: Der Passwortschutz dieser Seiten ist eine effektive Lösung, um sowohl Crawlern als auch Benutzern den Zugriff auf bestimmte Inhalte zu verwehren.
Verifying Googlebot’s Identity
It’s essential to verify the authenticity of requests claiming to be from Googlebot because other crawlers can spoof Googlebot’s identity. The best way to confirm a request from Google is to check the request’s IP address and verify it against Google’s official list of Googlebot IP-Adressen.
Fazit: Ist eine Sitemap für Ihre Website notwendig?
In conclusion, while Google can often find and crawl your website without a sitemap, there are situations where using a sitemap is highly beneficial. For large or new websites or those with rich media content, a sitemap is a valuable tool that helps search engines like Google discover and prioritize your content more efficiently. By providing a detailed sitemap, you ensure that your most important pages are indexed and visible in search results, potentially improving your website’s performance in search rankings.