A sitemap ist eine Datei, in der Sie Informationen über die Seiten, Videos, Bilder und andere Dateien auf Ihrer Website und die Beziehungen zwischen ihnen bereitstellen. Suchmaschinen wie Google verwenden diese Datei, um Ihre Website effizienter zu crawlen. Sitemaps helfen Suchmaschinen zu verstehen, welche Seiten oder Dateien auf Ihrer Website am wichtigsten sind und liefern zusätzliche Details, z.B. wann eine Seite aktualisiert wurde oder ob es alternative Sprachversionen gibt.

In einer Sitemap können Sie Details zu verschiedenen Arten von Inhalten angeben, darunter Videos, Bilder und Nachrichtenartikel. Zum Beispiel:

• Video-Sitemaps können Informationen wie Videolänge, Bewertungen und die Zielgruppe enthalten.
• Bild-Sitemaps können Sie die Position der Bilder auf Ihrer Webseite festlegen.
• Nachrichten-Sitemaps können Sie Überschriften von Artikeln und deren Veröffentlichungsdatum angeben.

Brauchen Sie eine Sitemap?

Eine Sitemap kann auch dann eine wichtige Rolle spielen, wenn Ihre Website gut strukturiert ist und über eine angemessene interne Verlinkung verfügt, bei der alle notwendigen Seiten über Navigationslinks (z. B. Menüs) erreichbar sind. Sie ist besonders vorteilhaft für große, komplexe Websites oder solche mit besonderen Inhalten wie Rich Media (Videos und Bilder) oder Nachrichten.

Sie sollten die Verwendung einer Sitemap in Betracht ziehen, wenn:

• Ihre Website ist groß: Große Websites können Seiten enthalten, die über die Standardnavigation nicht leicht zugänglich sind. Es kann schwierig sein, sicherzustellen, dass alle notwendigen Seiten verlinkt sind, was die Wahrscheinlichkeit erhöht, dass Suchmaschinen einige Seiten übersehen.
• Ihre Website ist neu und hat keine externen Links: Suchmaschinen wie Google entdecken neue Inhalte in erster Linie durch die Verfolgung von Links von anderen Websites. Wenn Ihre Website neu ist und nicht viele Backlinks hat, findet Googlebot möglicherweise nicht alle Ihre Inhalte, es sei denn, Sie reichen eine Sitemap ein.
• Ihre Website enthält Rich Media oder Nachrichteninhalte: Wenn Ihre Website viele Videos, Bilder oder Nachrichtenartikel enthält, kann eine Sitemap Google helfen, diese Mediendateien zu finden und zu indizieren. Zum Beispiel können Video-Metadaten wie Dauer und Publikum in eine Video-Sitemap aufgenommen werden, damit Google diese Inhalte besser verstehen kann.

Andererseits brauchen Sie vielleicht keine Sitemap, wenn:

• Ihre Website ist klein: Wenn Ihre Website weniger als 500 Seiten umfasst und diese Seiten alle intern gut verlinkt sind, wird Google wahrscheinlich alle wichtigen Seiten ohne Sitemap finden.
• Ihre Website hat eine umfassende interne Verlinkung: Wenn alle Ihre wichtigen Seiten über interne Links leicht zu erreichen sind, kann Googlebot sie auch ohne eine Sitemap finden.
• Sie haben nur wenige Medien oder Nachrichtenartikel: Eine Sitemap ist möglicherweise nicht notwendig, wenn Sie nicht viele Videos, Bilder oder Nachrichtenartikel haben, die indiziert werden müssen.

Wie Googlebot Ihre Website durchkämmt

Googlebot ist der Name des Web-Crawlers von Google, der für das Auffinden und Indizieren von Inhalten im Web verantwortlich ist. Es gibt zwei Versionen:

• Googlebot Mobile: Simuliert einen mobilen Benutzer, um die mobile Version von Websites zu crawlen.
• Googlebot Desktop: Simuliert einen Desktop-Benutzer, um Desktop-Versionen von Websites zu crawlen.

Beide Googlebot-Typen befolgen die gleichen Regeln in Ihrer robots.txt-Datei. Da Google jedoch hauptsächlich die Mobile-First-Indizierungwerden die meisten Crawls von der mobilen Version durchgeführt. Das bedeutet, dass die mobile Leistung und Struktur Ihrer Website eine entscheidende Rolle dabei spielt, wie Google Ihre Inhalte indiziert.

Der Googlebot crawlt Websites im Durchschnitt alle paar Sekunden. Diese Frequenz kann je nach Größe Ihrer Website und der Menge an neuen Inhalten variieren. Google verwendet eine verteilte Datenverarbeitung, bei der mehrere Crawler gleichzeitig von verschiedenen IP-Adressen aus arbeiten. Dies trägt zur Verbesserung der Leistung bei und stellt sicher, dass Googlebot Ihre Server nicht mit Anfragen überlastet.

Um das Crawling zu optimieren, kann Googlebot HTTP/2 wenn Ihre Website dies unterstützt, was die Belastung sowohl Ihres Servers als auch des Crawlers verringert. Die Verwendung von HTTP/2 bietet jedoch keinen Ranking-Vorteil gegenüber HTTP/1.1. Sie können Googlebot vom Crawling über HTTP/2 abhalten, indem Sie ein 421 HTTP-Statuscode wenn ein Kriechversuch unternommen wird.

Verwalten der Crawl-Häufigkeit und -Grenzen von Googlebot

Googlebot steuert seine Crawling-Rate für die meisten Websites automatisch, um eine Überlastung Ihres Servers zu vermeiden. Wenn Ihr Server jedoch nicht mit den Anfragen von Googlebot Schritt halten kann, können Sie Google Suchkonsole um die Kriechgeschwindigkeit zu reduzieren.

Googlebot ist so programmiert, dass er bis zum ersten 15MB einer HTML- oder unterstützten textbasierten Datei. Nach Erreichen dieses Größenlimits hört Googlebot auf, die Datei zu crawlen, und nur die ersten 15 MB werden für die Indizierung berücksichtigt. Es ist wichtig zu wissen, dass dieses Limit für unkomprimierte Daten gilt. Wenn Ihre Seiten also sehr groß sind, sollten Sie Ihre Dateien optimieren, um sicherzustellen, dass alle wichtigen Inhalte innerhalb der ersten 15 MB liegen.

Googlebot vom Crawlen bestimmter Seiten abhalten

Wenn Sie verhindern möchten, dass der Googlebot bestimmte Seiten Ihrer Website crawlt, gibt es einige Möglichkeiten:

• Verwenden Sie robots.txt: Durch die Festlegung von Regeln in der Datei robots.txt können Sie verhindern, dass der Googlebot bestimmte Seiten crawlt.
• Verwenden Sie die Direktive noindex. Diese Richtlinie sorgt dafür, dass bestimmte Seiten nicht in den Suchergebnissen von Google erscheinen, selbst wenn sie gecrawlt werden.
• Verwenden Sie einen Passwortschutz: Der Passwortschutz dieser Seiten ist eine effektive Lösung, um sowohl Crawlern als auch Benutzern den Zugriff auf bestimmte Inhalte zu verwehren.

Überprüfen der Identität von Googlebot

Es ist wichtig, die Echtheit von Anfragen zu überprüfen, die behaupten, von Googlebot zu stammen, da andere Crawler die Identität von Googlebot fälschen können. Der beste Weg, eine Anfrage von Google zu bestätigen, ist die Überprüfung des die IP-Adresse der Anfrage und überprüfen Sie sie anhand der offiziellen Google-Liste der Googlebot IP-Adressen.

Fazit: Ist eine Sitemap für Ihre Website notwendig?

Zusammenfassend lässt sich sagen, dass Google Ihre Website zwar oft auch ohne eine Sitemap finden und crawlen kann, dass es aber Situationen gibt, in denen die Verwendung einer Sitemap sehr vorteilhaft ist. Für große oder neue Websites oder solche mit umfangreichen Medieninhalten ist eine Sitemap ein wertvolles Instrument, das Suchmaschinen wie Google hilft, Ihre Inhalte effizienter zu finden und zu priorisieren. Durch die Bereitstellung einer detaillierten Sitemap stellen Sie sicher, dass Ihre wichtigsten Seiten indiziert und in den Suchergebnissen sichtbar sind, was die Leistung Ihrer Website in den Suchergebnissen verbessern kann.