Googlebot is de naam van Google’s zoekrobot (ook wel webcrawler of spider genoemd). Een zoekrobot is een computerprogramma waarmee webpagina’s worden bezocht en geanalyseerd. Dit wordt ook wel crawlen genoemd.
In werkelijkheid heeft Google niet één zoekrobot, maar zijn er meerdere gespecialiseerde zoekrobots:
- Googlebot: crawlt pagina’s voor Google Zoeken op computers en smartphones.
- Googlebot-News: crawlt pagina’s voor Google News.
- Googlebot-Image: crawlt afbeeldingen voor Google Afbeeldingen.
- Googlebot-Video: crawlt video’s.
- Mediapartners-Google: crawlt pagina’s, die AdSense advertenties tonen.
- Adsbot-Google: crawlt pagina’s waar naar verwezen wordt in AdWords advertenties.
- AdsBot-Google-Mobile-Apps: crawlt bronnen voor mobiele apps.
Instructies voor zoekrobots
In het robots.txt bestand op een webserver kunnen instructies voor zoekrobots worden opgenomen. Lees op crawlers van Google (Google Support) hoe dit moet.
