Google opdaterer robots.txt politikken
Google ignorerer fremadrettet ikke-understøttede felter. Det betyder at Google begrænser sin support til kun fire felter i robots.txt og præciserer sin holdning til ikke-understøttede direktiver.
Fokus:
- Google understøtter kun fire specifikke felter i robots.txt.
- Ikke-understøttede direktiver i robots.txt vil blive ignoreret.
- Overvej at gennemgå dine robots.txt filer efter denne opdatering.
I seneste opdatering af Search Central-dokumentation har Google præciseret emnet omkring, ikke-understøttede felter i robots.txt-filer.
Uddrag af opdatering:
Google har udtalt, at deres crawlere ikke understøtter felter, som ikke er angivet i deres robots.txt-dokumentation.
Denne præcisering er en del af Googles bestræbelser på at give tydelig vejledning til hjemmesideejere og udviklere.
Google siger:
“Vi får nogle gange spørgsmål om felter, der ikke er eksplicit anført som understøttet, og vi vil gerne gøre det klart, at de ikke er det.”
Denne opdatering præciserer forvirringen så det er tydeligt, hvad der understøttes af Google crawlere.
Hvad betyder det så?
- Brug kun understøttede felter: Anvend kun de felter, der er eksplicit nævnt i Googles dokumentation.
- Gennemgå eksisterende robots.txt filer: Revider nuværende robots.txt filer for at sikre, at de ikke indeholder ikke-understøttede direktiver.
- Forstå begrænsningerne: Googles crawlere genkender muligvis ikke visse tredjeparts- eller brugerdefinerede direktiver.
Understøttede felter:
Ifølge den opdaterede dokumentation understøtter Google officielt følgende felter i robots.txt-filer:
- user-agent
- allow
- disallow
- sitemap
Bemærk nedenstående som ofte benyttes:
Selvom det ikke er eksplicit nævnt, indikerer denne præcisering, at Google ikke understøtter ofte brugte direktiver som “crawl-delay,” selvom andre søgemaskiner muligvis genkender dem.
Det er også værd at bemærke, at Google udfaser support for direktivet “noarchive.”
Hvad så nu?
Denne opdatering er en påmindelse om vigtigheden af at følge de officielle retningslinjer og bedste praksis.
Det understreger behovet for at anvende dokumenterede funktioner fremfor at antage, at ikke-dokumenterede direktiver er understøttet.
Se Googles officielle Search dokumentation for mere detaljeret information om implementering af robots.txt og bedste praksis.
BEMÆRK: Denne artikel er autogenereret
Hvilke værktøj benyttes til seo? – Nogle af de mest kendte er:
Screaming Frog
SEMRUSH
AHREFS
Fandt du hvad du søgte?
Var det ikke lige denne information du manglede eller har du bare behov for at vide yderligere omkring SEO, så smid mig en mail.