,

Hva er crawlers og hvordan fungerer en søkerobot?

5 lekeroboter står på rekke og rad

Hvis du har opprettet en ny side på hjemmesiden din, og lurer på hvordan Google finner den, kalles det for “”crawlers”” eller “”crawler spiders””. Det er metoden Google bruker for å finne nye og oppdaterte sider.

Googles forretningside er å levere de mest relevante resultatene basert på brukernes søkeatferd. En del av denne prosessen er å katalogisere sider og legge dem til i Googles indeks, det vil si å vise dem offentlig som et søkeresultat. Google bruker automatiserte programmer kalt crawlers for å oppdage og skanne internett for å finne nye sider. Når søkemotorroboten (eller crawler-spiders) finner en ny side, følger den linkene på den siden for å finne andre sider. På denne måten bygger den en liste over sider som skal crawles. Slik katalogiserer søkeboten hjemmesiden din.

Crawl skaper et relevant søkeresultat

Denne prosessen er en viktig del av Googles arbeid, ettersom det gjør at verdens største søkemotor kan oppdage og indeksere nytt innhold, som deretter blir tilgjengelig for brukerne via søkeresultatet. Under prosessen bygges det opp et kart som lar roboten forstå forholdet mellom de ulike sidene, og vurdere hvilken side som er viktigst. Resultatet blir et søkeresultat som hele tiden holdes oppdatert og relevant. Så det er veldig viktig for søkemotoroptimaliseringen din å gjøre det enklere for søkebotene å forstå hjemmesiden din. Dette gjøres blant annet ved hjelp av en sitemap.