Een e-commerce site voegt in enkele weken tijd honderden productpagina’s toe. Drie maanden later verschijnen de helft van deze pagina’s nog steeds niet in Google. De interne linkstructuur is niet voldoende om hun zichtbaarheid te waarborgen, en de crawl van de robots mist de diepere URL’s. Dit is precies het soort situatie waarin een sitemap pagina het verschil kan maken.
Sitemap en crawl budget: verspilling van middelen verminderen
De crawlers hebben een beperkte tijd om elke site te doorlopen. Op een grote site besteden ze een deel van die tijd aan het opnieuw bezoeken van al bekende pagina’s of het volgen van interne links in een lus. Een goed gestructureerde sitemap leidt de crawl naar de belangrijke URL’s, in plaats van de robots willekeurig uw boomstructuur te laten ontdekken.
Het is vaak te zien dat recente of weinig gelinkte pagina’s wekenlang onzichtbaar blijven. Door deze URL’s expliciet in een XML sitemap bestand op te sommen, geven we de zoekmachines een signaal van hun bestaan zodra ze gepubliceerd worden. Google Search Central verduidelijkt het: de sitemap helpt bij het ontdekken van URL’s, maar niet direct bij de indexering of ranking.
Dit is een nuance die veel gidsen vergeten. Het indienen van een URL in een sitemap garandeert niet dat deze gecrawld of geïndexeerd zal worden. Aan de andere kant, als u deze niet opgeeft, vertrouwt u uitsluitend op de interne linkstructuur om een robot deze te laten vinden, wat maanden kan duren op een site met een lage autoriteit. Om te zien hoe dit principe in de praktijk werkt, illustreert de sitemap pagina van Info Manager een leesbare structuur die deze ontdekking vergemakkelijkt.
Google Search Console en sitemap: een onderbenut diagnostisch hulpmiddel
Veel webmasters beschouwen de sitemap als een bestand dat je één keer genereert, indient bij Google en vervolgens vergeet. Dit negeert zijn rol als technisch dashboard.
Wanneer je een sitemap indient in Google Search Console, krijg je toegang tot een rapport dat het aantal ingediende URL’s, het aantal daadwerkelijk geïndexeerde URL’s en de redenen voor niet-indexering gedetailleerd weergeeft. Dit rapport maakt het mogelijk om snel concrete problemen te identificeren:
- Pagina’s geblokkeerd door het robots.txt bestand terwijl ze toegankelijk zouden moeten zijn voor zoekmachines
- URL’s die een 404 fout of een lusredirect geven, die crawl verbruiken zonder resultaat
- Pagina’s gemarkeerd als “Ontdekt, momenteel niet geïndexeerd”, wat aangeeft dat Google ze kent maar ze niet prioritair acht
Het vergelijken van het aantal ingediende URL’s en het aantal geïndexeerde URL’s geeft een directe maatstaf voor de technische gezondheid van de site. Een groot verschil wijst op een probleem met de kwaliteit van de inhoud, duplicatie of technische configuratie.
Frequentie van het bijwerken van de sitemap
Een verouderde sitemap verliest zijn nut. Als je regelmatig inhoud toevoegt, geeft de lastmod tag in het XML bestand de crawlers de datum van de laatste wijziging van elke pagina aan. De crawlers kunnen dan prioriteit geven aan recent gewijzigde URL’s.
De meningen hierover verschillen: sommige SEO-experts merken op dat Google de lastmod tag soms negeert wanneer deze niet betrouwbaar is. De beste praktijk blijft om deze datum alleen bij te werken wanneer de inhoud daadwerkelijk is veranderd.
Sitemap XML en sitemap HTML: twee bestanden, twee doelgroepen
De twee formaten worden vaak door elkaar gehaald, terwijl ze voldoen aan verschillende behoeften. De XML sitemap is gericht op de crawlers van zoekmachines, terwijl de HTML sitemap een navigatiepagina is voor menselijke bezoekers.
Het XML bestand bevat een gestructureerde lijst van URL’s met metadata (datum van wijziging, frequentie van bijwerking, relatieve prioriteit). Het wordt geplaatst in de root van de site en ingediend via Google Search Console. Geen enkele bezoeker raadpleegt het direct.
De HTML sitemap daarentegen, heeft de vorm van een klassieke webpagina met links georganiseerd per categorie. Op een site met een complexe boomstructuur (meer dan drie niveaus diep), biedt deze pagina een snelkoppeling naar moeilijk toegankelijke secties vanuit de hoofd navigatie.
Wanneer de HTML sitemap echte waarde toevoegt
Op een kleine vitrine site van vijf pagina’s voegt een HTML sitemap niets toe. De waarde komt naar voren wanneer de architectuur verder gaat dan wat het hoofdmenu redelijkerwijs kan weergeven:
- Sites met tientallen productcategorieën en subcategorieën
- Redactionele portalen met archieven die alleen toegankelijk zijn via de interne zoekfunctie
- Meertalige sites waarvan de taalkundige versies niet allemaal vanuit de header zijn gelinkt
Voor meertalige sites kan de XML sitemap ook de hreflang tags bevatten, wat het mogelijk maakt om de zoekmachines te signaleren welke overeenkomsten er zijn tussen de taalkundige versies van dezelfde pagina. Dit is een zelden behandeld aspect, maar het voorkomt problemen met dubbele inhoud tussen talen.
Weespagina’s en sitemap: inhalen wat de interne linkstructuur vergeet
Een weespagina is een URL die door geen enkele andere pagina van de site is gelinkt. Zonder interne link die naar haar wijst, hebben de crawlers geen pad om haar te vinden. De XML sitemap wordt dan het enige kanaal voor ontdekking.
Weespagina’s verschijnen vaak na een herontwerp, wanneer URL’s veranderen zonder dat alle interne links zijn bijgewerkt. Ze kunnen ook voortkomen uit een CMS dat dynamische pagina’s genereert zonder deze automatisch in de navigatie op te nemen.
Het identificeren van deze pagina’s vereist een vergelijking tussen de ingediende sitemap en een crawl van de site. Als een URL in de sitemap staat maar niet door een interne link wordt gevonden tijdens de crawl, is het een weespagina. De sitemap vervangt geen solide interne linkstructuur, maar fungeert als een vangnet zodat deze pagina’s niet volledig van de radar van zoekmachines verdwijnen.
Het probleem bij de bron corrigeren blijft de prioriteit: voeg relevante interne links naar deze pagina’s toe. De sitemap dient als een tijdelijke oplossing, geen permanente vervanging voor een goed doordachte architectuur.
De sitemap pagina, of deze nu XML of HTML is, is geen technische accessoire dat je afvinkt op een SEO-lijst. Het is een stuurinstrument dat de zwaktes van uw site onthult en de opname van uw inhoud door zoekmachines versnelt. Een up-to-date en via Search Console gebruikte sitemap biedt meer informatie over de gezondheid van een site dan de meeste oppervlakkige audits.