Robots.txt
Robots.txt er en standardfil, som webmasters bruger til at instruere crawlere omkring indeksering af deres hjemmesider. En robots.txt-fil er nyttig til at forhindre søgemaskiner i at indeksere specifikke områder af et websted. Det kan være på grund af private oplysninger, midlertidige filer, dubletter eller andet indhold, der måske ikke behøver at være tilgængeligt via søgemaskiner.
BEMÆRK: Dette forhindrer ikke søgemaskinerne i at crawle siderne, men fortæller dem blot at dette ikke anbefales
Hvordan fungerer Robots.txt?
Robots.txt-filen placeres i rodmappen på dit website. Når en søgemaskine besøger dit websted, ser de efter denne fil som noget at det første. Hvis den findes, gennemgår crawlerene indholdet af filen for at få instruktioner om, hvilke sider og mapper de har lov til at crawle og indeksere. De fleste crawlere respekterer filens instruktioner ved kun at tilgå og indeksere de områder, der er tilladt.
Betydning af Robots.txt
Jeg er sikker på, at du nu måske tænker, “Hvorfor er det så vigtigt, at nogle sider på mit websted ikke bliver indekseret?” De fleste hjemmesider har sider, der ikke bidrager med nogen værdi til søgemaskinernes brugere. Derudover kan visse sider indeholde kritiske oplysninger, som du ikke vil have, skal være offentligt tilgængelige. Ved at tage fuld kontrol over, hvad der bliver indekseret og hvad der ikke gør, kan du optimere din søgemaskineindeksering og bedre styre din webtrafik.
Sider som ikke ønskes indekseret bør forsynes med noindex
Hvilke værktøj benyttes til seo? – Nogle af de mest kendte er:
Screaming Frog
SEMRUSH
AHREFS
Fandt du hvad du søgte?
Var det ikke lige denne information du manglede eller har du bare behov for at vide yderligere omkring SEO, så smid mig en mail.