Crawl betyder det samme som en scanning af en hjemmeside. Det kan være en scanning, der foretages af en søgemaskine, algoritme eller software for at hente oplysninger om sidens forskellige URL’er. Begrebet er særligt brugt om Googles scanning af hjemmesider, når der for eksempel søges i søgemaskinen.
Et crawl er eksempelvis den aktivitet som Google og andre søgemaskiner foretager sig, hver gang en hjemmeside skal indekseres. Det er en nødvendighed for, at Google kan vurdere hvilke hjemmesider, der skal have de forskellige organiske placeringer. Crawl er derfor en vigtig del af SEO, da det er på baggrund af denne scanning, at Google ser det arbejde, du har lagt i dine SEO-tiltag.
Et crawl kan gøres enten ved manuel crawling, hvor brugeren klikker sig gennem hver enkelt side på hjemmesiden. Eller ved automatisk crawling, hvor en software besøger alle hjemmesidens URL’er uden menneskelig overvågning. Dette er bl.a., hvad Google gør brug af.
Google bruger crawl til at sikre, at de sider, som de indekserer i SERP, er det bedste og mest præcise for brugerens søgning.
Du har også mulighed for at crawle din egen hjemmeside. Det kan der være mange grunde til at gøre. Her får du nemlig et indblik i, hvad Google ser, når de foretager et crawl af din hjemmeside. Du får bl.a. indblik i 404-fejl, samt andre ting som kan optimeres for at opnå en højere placering i Google.
