Arbetar du med sökmotoroptimering och webbutveckling behöver du ibland hindra sökspindlar från att indexera visst material. Här kan du använda dig av Meta Robots som är ett protokoll skapat för att instruera sökmotorspindlar om just detta.
Taggar för Google
- NOINDEX – Förhindrar att sidan inkluderas i Googles sökindex.
- NOFOLLOW – Hindrar Googlebot från att följa länkar på sidan. Notera att detta skiljer sig från en enskild länks nofollow-tagg.
- NOARCHIVE – En cachad kopia av sidan kommer ej att vara tillgänglig i sökresultaten.
- NOSNIPPET – Förhindrar att en sidbeskrivning dyker upp i sökresultaten, och förhindrar samtidigt att sidan cachas.
Andra Meta Robots-taggar
- INDEX – Instruerar sökmotorerna om att indexera sidan. Det här är egentligen helt överflödigt eftersom en sida per automatik indexeras när ingen tagg angetts.
- NOIMAGEINDEX – Hindrar sökmotorer från att crawla bilder på sidan. Om bilderna länkats från en annan sida kan de dock fortfarande komma att indexeras. Här fungerar det bättre att använda X-Robots-Tag HTTP header.
- NONE – En sammanskrivning av noindex OCH nofollow. Sidan indexeras inte, och inga länkar följs.
- FOLLOW –Beordrar sökmotorns robot att följa länkarna på hemsidan, oavsett om de kan indexeras eller ej.
- NOCACHE – Det här är samma sak som noarchive men används enbart av Bing.
- NOODP och NOYDIR – Noodp hindrar sökmotorer från att använda den beskrivning som finns av sidan i DMOZ i sökresultaten. Noydir gör detsamma fast för Yahoo Directory. Egentligen finns det oftast ingen anledning att använda dessa, och jag antar att anledningen till att du faktiskt ser dem är för att de används i Yoast för WordPress. Få svenska sajter finns nuförtiden med i DMOZ; och nästan inga alls i Yahoo Directory.
Här är en tabell som visar vilka sökrobotar som stödjer vilka kommandon:
Anpassa taggar efter olika sökrobotar
När dina instruktioner gäller alla sökmotorer kan du ändra metanamnet till ”ROBOTS”. För att enbart beordra Googlebot kan du ändra metanamnet till ”GOOGLEBOT”. För att ge olika sökmotorer olika instruktioner (dvs. om du vill hindra en sökmotor från att indexera din sida men inte en annan), använd den specifika metataggen för varje sökmotor istället för en generell dito:
<meta name=”GOOGLEBOT” content=”NOINDEX”>
<meta name=”SLURP” content=”NOINDEX”>
Bokstäver och mellanslag
Googlebot förstår både gemener och versaler. Därför kommer varje metatagg att tolkas precis som den är skriven:
<meta name=”ROBOTS” content=”NOODP”>
<meta name=”robots” content=”noodp”>
När du specificerar taggar sätter du kommatecken mellan varje tagg. Mellanslag eller ej har ingen betydelse. Följande rader betyder således samma sak:
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>
Bing förstår taggar skrivna utan kommatecken vilket däremot inte Google gör. Eftersom vi mestadels jobbar med Google rekommenderas därför att alltid använda kommatecken.
<META NAME=”ROBOTS” CONTENT=”NOINDEX NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
