De metatag Robots in een pagina bevat aanwijzingen voor Google (en andere zoekmachines). Hij wordt vooral gebruikt om Google duidelijk te maken dat een pagina niet geïndexeerd mag worden (NOINDEX). Ook kun je aangeven dat de links op een pagina niet gevolgd mogen worden (NOFOLLOW).
Komt Google de metatag Robots twee maal tegen in een pagina, dan neemt Google de instructies van de meest strenge variant over.
De HTML code voor deze tag is:
<head><meta name="ROBOTS" CONTENT="NOINDEX,NOFOLLOW" /></head>
De metatag Robots kan de volgende waarden bevatten:
- INDEX – Deze pagina indexeren. Deze instructie is eigenlijk overbodig, omdat Google dit al automatisch doet.
- NOINDEX – Deze pagina niet indexeren.
- NOFOLLOW – De links op deze pagina niet volgen.
- NOARCHIVE – Geen kopie van de pagina in de cache van de zoekmachine opnemen.
- NOSNIPPET – Geen omschrijving (snippet) tonen in de zoekresultaten.
- NOODP – Geen omschrijving (snippet) overnemen uit de DMOZ directory.
- NONE – Staat gelijk aan de combinatie NOINDEX, NOFOLLOW.
Instructies voor zoekmachines kunnen ook via een robots.txt bestand doorgegeven worden.
Let op: een pagina met een NOINDEX parameter moet wel toegankelijk zijn voor Google, zodat Google de parameter kan zien. Controleer in robots.txt of Google toegang heeft tot deze pagina’s.
