Het is mogelijk een zoekrobot instructies te geven wat ze met je pagina moeten doen. Deze instructies zijn vooral zinvol als je pagina's niet in de index wilt hebben. De instructies kunnen op twee manieren doorgegeven worden: via een metatag Robots op de pagina zelf of via een Robots.txt bestand op je server. Lees meer over metatag Robots en Robots.txt.

Veel websites bevatten dubbele inhoud ('duplicate content'). Dat betekent dat meerdere pagina's (vrijwel) dezelfde inhoud hebben, bijvoorbeeld omdat dezelfde pagina via verschillende URL's is op te vragen. Zoekmachines zien de pagina's met dubbele inhoud als kopieën. Ze nemen liefst maar één van die kopieën op in de index en negeren de rest. Er zijn verschillende methoden om de zoekmachine een handje te helpen bij het indexeren van dubbele inhoud.

URL-parameters zijn vaak de oorzaak van dubbele inhoud. Lees hoe dit komt en hoe je in de Google Webmaster Tools problemen met URL-parameters oplost.

Websites die Flash of AJAX technologie gebruiken, zijn lastiger te indexeren voor zoekmachines. Lees waar je rekening mee moet houden als je Flash gebruikt in je website. En lees op welke manier je een op AJAX gebaseerde website indexeerbaar kunt maken.

Informatie in grootschalige databases is soms lastig te vinden voor zoekmachines. Dit komt omdat de informatie niet kant en klaar op een pagina staat, maar pas uit de database wordt opgevraagd als een bezoeker een zoekopdracht geeft. Toch kun je ook deze informatie uit databases vindbaar maken voor zoekmachines.

Met behulp van standaarden als RDFa, Microformats of Microdata, kun je de betekenis van elementen in een pagina markeren. Dit worden ook wel gestructureerde gegevens genoemd. Je kunt bijvoorbeeld het adres van je bedrijf markeren of de datum van een evenement. Zoekmachines herkennen de speciale markeringen en gebruiken deze om aanvullende informatie in zoekresultaten te tonen (zogenaamde rich snippets). Lees welke gestructureerde gegevens zoekmachines op dit moment ondersteunen.

Er zijn een paar variabelen, die veel invloed hebben op de frequentie waarmee Google je site bezoekt. Dat zijn met name de PageRank en de wijzigingshistorie. Pagina's met een hoge PageRank of pagina's die vaak wijzigen worden vaker bezocht. Lees meer over de bezoekfrequentie van de zoekrobot.

Wat kun je doen om je pagina's in je site toegankelijker te maken voor een zoekmachine? Bijvoorbeeld door een overzichtelijke navigatie, links naar belangrijke pagina's vanaf de homepage of de opname van een sitemap. Lees meer hierover in de pagina interne linkstructuur. Daarnaast speelt ook het ontwerp van je pagina een rol. Een heldere paginaopbouw helpt zoekmachines om belangrijke informatie te scheiden van minder belangrijke informatie. En last but not least: nette en overzichtelijke code maakt je site beter toegankelijk voor zoekmachines. Programmeren conform webrichtlijnen biedt de beste waarborgen dat een zoekmachine je site eenvoudige kan indexeren.

Komen je pagina's niet in de index, terwijl je er alles aan hebt gedaan om de indexeerbaarheid van je site te optimaliseren? Dan is mogelijk de kwaliteit van je pagina's onvoldoende in de ogen van de zoekmachine. Bijvoorbeeld als pagina's te weinig inhoud bevatten of overgeoptimaliseerd zijn. Lees wat de zoekmachine ziet als lage kwaliteit inhoud.

Een enkele keer kan ook de capaciteit van je webserver invloed hebben op de indexatie. Als je site op een gedeelde webserver staat, die te weinig capaciteit heeft, kan dit tot gevolg hebben dat de zoekmachine minder pagina's indexeert. Lees meer over de invloed van de maximale serverbelasting.