Ein E-Commerce-Website fügt in wenigen Wochen hundert Produktseiten hinzu. Drei Monate später erscheinen immer noch die Hälfte dieser Seiten nicht bei Google. Die interne Verlinkung reicht nicht aus, um ihre Sichtbarkeit zu gewährleisten, und das Crawlen der Bots übersieht die tiefsten URLs. Genau das ist die Art von Situation, in der eine Sitemap-Seite den Unterschied macht.
Sitemap und Crawl-Budget: Ressourcenverschwendung reduzieren
Die Crawling-Bots haben eine begrenzte Zeit, um jede Website zu durchsuchen. Auf einer umfangreichen Website verbringen sie einen Teil dieser Zeit damit, bereits bekannte Seiten erneut zu besuchen oder interne Links in Schleifen zu folgen. Eine gut strukturierte Sitemap lenkt das Crawlen auf die wichtigen URLs, anstatt die Bots zufällig Ihre Struktur entdecken zu lassen.
Es ist oft zu beobachten, dass neue oder wenig verlinkte Seiten wochenlang unsichtbar bleiben. Indem man diese URLs explizit in einer XML-Sitemap auflistet, signalisiert man den Suchmaschinen ihre Existenz sofort nach der Veröffentlichung. Google Search Central betont: Die Sitemap hilft bei der Entdeckung von URLs, nicht direkt bei der Indizierung oder dem Ranking.
Das ist eine Nuance, die viele Leitfäden übersehen. Das Einreichen einer URL in einer Sitemap garantiert nicht, dass sie gecrawlt oder indiziert wird. Im Gegenteil, sie nicht zu deklarieren bedeutet, ausschließlich auf die interne Verlinkung zu setzen, damit ein Bot sie findet, was auf einer Website mit geringer Autorität Monate dauern kann. Um zu sehen, wie dieses Prinzip in der Praxis umgesetzt wird, veranschaulicht die Sitemap-Seite von Info Manager eine lesbare Struktur, die diese Entdeckung erleichtert.
Google Search Console und Sitemap: Ein untergenutztes Diagnosewerkzeug
Viele Webmaster betrachten die Sitemap als eine Datei, die einmal generiert, Google übermittelt und dann vergessen wird. Das verpasst die technische Dashboard-Funktion.
Wenn man eine Sitemap in der Google Search Console einreicht, erhält man einen Bericht, der die Anzahl der eingereichten URLs, die tatsächlich indizierten URLs und die Gründe für die Nicht-Indizierung detailliert. Dieser Bericht ermöglicht es, konkrete Probleme schnell zu identifizieren:
- Seiten, die durch die Datei robots.txt blockiert sind, obwohl sie für Suchmaschinen zugänglich sein sollten
- URLs, die einen 404-Fehler oder eine Schleifenweiterleitung zurückgeben, die Crawling-Ressourcen unnötig verbrauchen
- Seiten, die als “Entdeckt, derzeit nicht indiziert” markiert sind, was bedeutet, dass Google sie kennt, aber nicht für prioritär hält
Den Unterschied zwischen der Anzahl der eingereichten URLs und der Anzahl der indizierten URLs zu vergleichen, gibt eine direkte Messung der technischen Gesundheit der Website. Eine erhebliche Diskrepanz weist auf ein Problem mit der Inhaltsqualität, Duplizierung oder technischer Konfiguration hin.
Aktualisierungsfrequenz der Sitemap
Eine veraltete Sitemap verliert ihre Nützlichkeit. Wenn regelmäßig Inhalte hinzugefügt werden, zeigt das lastmod-Tag in der XML-Datei den Bots das Datum der letzten Änderung jeder Seite an. Die Bots können dann die kürzlich geänderten URLs priorisieren.
Die Rückmeldungen zu diesem Punkt variieren: Einige SEO-Experten stellen fest, dass Google das lastmod-Tag manchmal ignoriert, wenn es nicht zuverlässig ist. Die beste Praxis bleibt, dieses Datum nur zu aktualisieren, wenn sich der Inhalt tatsächlich geändert hat.
XML-Sitemap und HTML-Sitemap: Zwei Dateien, zwei Zielgruppen
Die beiden Formate werden oft verwechselt, obwohl sie unterschiedlichen Bedürfnissen dienen. Die XML-Sitemap richtet sich an die Bots der Suchmaschinen, während die HTML-Sitemap eine Navigationsseite für menschliche Besucher ist.
Die XML-Datei enthält eine strukturierte Liste von URLs mit Metadaten (Änderungsdatum, Aktualisierungsfrequenz, relative Priorität). Sie befindet sich im Root-Verzeichnis der Website und wird über die Google Search Console eingereicht. Kein Besucher konsultiert sie direkt.
Die HTML-Sitemap hingegen hat die Form einer klassischen Webseite mit Links, die nach Kategorien organisiert sind. Auf einer Website mit einer komplexen Struktur (mehr als drei Ebenen tief) bietet diese Seite eine Abkürzung zu schwer zugänglichen Abschnitten von der Hauptnavigation aus.
Wann die HTML-Sitemap echten Wert bringt
Auf einer kleinen Vitrinen-Website mit fünf Seiten bringt eine HTML-Sitemap nichts. Der Nutzen zeigt sich, wenn die Architektur über das hinausgeht, was das Hauptmenü vernünftigerweise anzeigen kann:
- Websites mit Dutzenden von Kategorien und Unterkategorien von Produkten
- Redaktionelle Portale mit Archiven, die nur über die interne Suche zugänglich sind
- Mehrsprachige Websites, deren Sprachversionen nicht alle über die Kopfzeile verlinkt sind
Für mehrsprachige Websites kann die XML-Sitemap auch die hreflang-Tags integrieren, was es ermöglicht, den Suchmaschinen die Übereinstimmungen zwischen den Sprachversionen einer Seite zu signalisieren. Das ist ein selten behandelter Aspekt, der jedoch Probleme mit doppeltem Inhalt zwischen Sprachen vermeidet.
Verwaiste Seiten und Sitemap: Aufholen, was die interne Verlinkung vergisst
Eine verwaiste Seite ist eine URL, die von keiner anderen Seite der Website verlinkt ist. Ohne einen internen Link, der auf sie verweist, haben die Bots keinen Weg, sie zu finden. Die XML-Sitemap wird dann zum einzigen Entdeckungsweg.
Verwaiste Seiten treten oft nach einem Redesign auf, wenn URLs sich ändern, ohne dass alle internen Links aktualisiert werden. Sie können auch das Ergebnis eines CMS sein, das dynamische Seiten generiert, ohne sie automatisch in die Navigation zu integrieren.
Diese Seiten zu identifizieren erfordert einen Abgleich zwischen der eingereichten Sitemap und einem Crawl der Website. Wenn eine URL in der Sitemap aufgeführt ist, aber bei keinem internen Link während des Crawls gefunden wird, ist sie verwaist. Die Sitemap ersetzt nicht eine solide interne Verlinkung, aber sie dient als Sicherheitsnetz, damit diese Seiten nicht vollständig aus dem Radar der Suchmaschinen verschwinden.
Das Problem an der Quelle zu beheben, bleibt die Priorität: Relevante interne Links zu diesen Seiten hinzufügen. Die Sitemap dient als vorübergehende Lösung, nicht als dauerhafter Ersatz für eine gut durchdachte Architektur.
Die Sitemap-Seite, ob XML oder HTML, ist kein technisches Accessoire, das man auf einer SEO-Liste abhakt. Sie ist ein Steuerungsinstrument, das die Schwächen Ihrer Website aufzeigt und die Berücksichtigung Ihrer Inhalte durch die Suchmaschinen beschleunigt. Eine regelmäßig aktualisierte und über die Search Console genutzte Sitemap gibt mehr Informationen über die Gesundheit einer Website als die meisten oberflächlichen Audits.