Hvad betyder Crawl-budget?

Crawl-budget er en betegnelse, man bruger inden for SEO til at beskrive, hvor ofte og hvor grundigt en søgemaskine – typisk Google – gennemsøger en hjemmeside. Når en søgemaskines crawler (som  også nogle gange kaldes for en ’bot’ eller en ’spider’) besøger dit website, har den et vist ressourceloft: Den kan kun bruge en bestemt mængde tid og serverkapacitet på at gennemgå dine sider. Det loft kalder man for crawl-budget.

Med andre ord er det et “budget”, som Google tildeler din hjemmeside i form af opmærksomhed. Jo bedre struktureret og teknisk sundt dit site er, desto mere effektivt kan dit crawl-budget udnyttes. Omvendt kan spildte ressourcer på irrelevante eller teknisk problematiske sider betyde, at vigtigere sider bliver overset eller opdateres sjældnere i Googles indeks.

Når det kommer til at bestemme crawl-budgettet, er der særligt to faktorer, der er værd at bemærke, nemlig:

1. Crawl rate limit
   Google ønsker ikke at overbelaste din server, så den justerer automatisk, hvor hurtigt og hvor ofte den sender forespørgsler til dit website. Hvis serveren reagerer hurtigt og stabilt, kan crawl-hastigheden skrues op. Hvis serveren er langsom eller returnerer fejl, vil Google skrue ned.
2. Crawl demand
   Ud over kapaciteten ser Google også på, hvor interessant dit indhold er. Hvis siderne på dit site ofte bliver opdateret, tilføjer nyt indhold eller tiltrækker mange brugere, vil der være større “efterspørgsel” efter at crawle dem. Omvendt vil gamle, irrelevante eller sjældent besøgte sider ikke have samme prioritet.

Kombinationen af tekniske forhold og efterspørgsel afgør dermed, hvor meget crawl-budget du reelt har med at gøre, og hvor stor en del af din hjemmeside søgemaskinen når at indeksere. 

Lad os for eksempel sige, at Google crawler din forside, og at den er teknisk tung og har en del fejl. Det kan betyde, at Google bruger så meget af crawl-budgettet dér, at eksempelvis dit blogunivers ikke bliver prioriteret og derfor ikke bliver crawlet og indekseret. Og er det ikke i indekset, kan det heller ikke rangeres i søgeresultaterne.

For mindre websites med et par hundrede sider er crawl-budget sjældent en bekymring – Google kan hurtigt crawle og indeksere alt indhold. Men for større websites, for eksempel webshops med tusindvis af produktkategorier og -varianter, kan det have stor betydning, hvilke sider der bliver prioriteret.

Hvis dit crawl-budget bruges på sider med tekniske fejl eller sider med dubleret eller tyndt indhold, kan det betyde, at de vigtigste landingssider ikke bliver crawlet så ofte, som de burde. Det kan i sidste ende påvirke synligheden i søgeresultaterne.

Der er flere tiltag, som kan hjælpe med at sikre, at Googles ressourcer bruges fornuftigt. Lad os liste dem for dig:

• Teknisk sundhed: Sørg for, at dit website er hurtigt, stabilt og uden mange serverfejl. Et teknisk velfungerende site giver Google lyst til at crawle mere.
• Indekseringskontrol: Brug værktøjer som robots.txt korrekt, så søgemaskinerne ikke spilder tid på sider, der ikke skal i indeks.
• Fjern dubletter: Undgå, at den samme side eksisterer i mange URL-varianter. Det kan for eksempel ske i webshops, hvor filtreringer genererer unødigt mange sider.
• Opdater vigtigt indhold: Hold dine vigtigste sider friske med relevant og ajourført indhold – det signalerer til Google, at de er værd at crawle oftere.

Sitemap: Sørg for at have et opdateret XML-sitemap, der hjælper søgemaskinen med at finde de sider, der skal prioriteres.

Det kan være fristende at se crawl-budget som en KPI, man kan optimere direkte, men i praksis er det et teknisk begreb, der mest bliver kritisk for meget store websites. For de fleste danske virksomheder med almindelige websites er det vigtigere at fokusere på klassisk SEO som for eksempel kvalitetsindhold.

Alligevel er det et nyttigt begreb at kende, fordi det gør dig opmærksom på, at søgemaskiner arbejder med ressourcer – og at det er dit ansvar at hjælpe dem med at bruge disse ressourcer bedst muligt på dit website.