Crawlbudget optimaliseren: diagnose, keuzes en hertest

Wanneer verdient crawlbudget aandacht?

Google onderscheidt crawlcapaciteit en crawlvraag. Capaciteit houdt verband met wat de server aankan; de vraag gaat over welke informatie de crawler wil ophalen. Een server kan ruimte hebben terwijl Google toch weinig behoefte ziet om extra URL’s te bezoeken.

Googles crawlbudgetgids richt zich vooral op zeer grote of snel veranderende sites en situaties waarin veel URL’s wel zijn ontdekt maar nog niet geïndexeerd. De genoemde aantallen zijn grove indicaties, geen harde grenzen. Tienduizend pagina’s betekent niet automatisch een probleem; voor een kleine, regelmatig bezochte site ligt de prioriteit vaak elders.

Maak de vraag concreet: “Worden nieuwe productpagina’s laat ontdekt?” is bruikbaarder dan “Hoe vergroten we ons budget?”. Een eenmaal gecrawlde pagina kan om andere redenen buiten de index blijven. Diagnoseer daarom niet uitsluitend op één melding.

Van signaal naar diagnose

Het Crawlstatistieken-rapport laat onder meer verzoeken, responstijden en antwoordtypen zien. Combineer dat met URL-inspectie, indexeringsgegevens en beschikbare serverlogs. Het rapport is geen volledige lijst van alle crawls; voorbeeld-URL’s vormen geen volledige inventaris.

Dit is ons voorgestelde onderzoeksmodel, geen verplichte Google-scorekaart. Leg per bevinding een URL, datum, bewijsstuk en eigenaar vast. Ontbrekende logtoegang betekent ontbrekend bewijs, niet een geslaagde controle.

Crawlen, indexeren of consolideren?

Deze maatregelen beantwoorden verschillende vragen. Kies eerst het gewenste gedrag, pas daarna een instelling aan.

1. Moet Google de inhoud kunnen ophalen? Robots.txt gaat over crawltoegang. Een blokkade is geen betrouwbare manier om een bestaande URL uit zoekresultaten te verwijderen en beschermt geen privégegevens.
2. Mag toegankelijke inhoud in de index? Gebruik waar passend noindex. Google moet de pagina kunnen crawlen om die regel te zien. Blokkeer dus niet tegelijk de toegang wanneer de verwerking van noindex nodig is.
3. Zijn meerdere URL’s inhoudelijk gelijkwaardig? Kies een voorkeurs-URL en maak canonical, interne links en sitemap consistent. Een canonical is een signaal, geen opdracht die Google altijd volgt.

Zie de afzonderlijke documentatie over robots.txt, noindex en canonicalisatie. Noindex is geen middel om crawlverzoeken te besparen: de regel moet immers eerst worden opgehaald.

Een sitemap helpt gewenste URL’s aanbieden, maar dwingt geen crawling of indexering af. Google negeert de velden priority en changefreq; een hogere priority is dus geen crawlbudgetknop. Gebruik echte, relevante wijzigingsdatums voor lastmod. Zie Googles sitemaprichtlijnen.

Voorbeeld: filter-URL’s onderzoeken

Voorbeelddata: fictieve webshop, geen klantresultaat. De categorie /stoelen heeft sorteringen en kleurfilters. Een developer ziet veel URL-combinaties. Dat bewijst nog niet dat iedere variant moet verdwijnen.

Google beschrijft voor facetten verschillende routes, afhankelijk van de vraag of filter-URL’s voor indexering bedoeld zijn. Combineer filters niet onbeperkt zonder duidelijke regels. Een kleurcategorie met zelfstandige waarde vraagt een andere afweging dan een andere sortering van dezelfde selectie.

Verberg vervolgproducten niet uitsluitend achter een knop of scrollactie. Geef paginareeksen waar nodig eigen URL’s en gewone links. Google klikt niet zoals een bezoeker op “meer laden”. Bekijk de richtlijnen voor paginering; maak geen enkele lange pagina als algemene SEO-oplossing.

Uitvoering en hertest

Werk één afgebakend patroon uit voordat je sitebrede regels wijzigt. Noteer beginsituatie, wijzigingsdatum, acceptatiecriteria en verantwoordelijke. Controleer daarna niet alleen het aantal verzoeken, maar ook de bereikbaarheid van belangrijke inhoud, foutmeldingen en ontdekking van nieuwe pagina’s.

Spreek een evaluatieperiode af die past bij publicatieritme en beschikbare data. Een daling van ongewenste verzoeken kan nuttig zijn, maar is geen bewijs van meer omzet. Veranderingen in crawling, indexering, zoekverkeer en aanvragen blijven afzonderlijke waarnemingen. Een snellere server alleen garandeert geen hogere crawlactiviteit of betere positie.

Veelgestelde vragen