Soms bevat een website een oneindig aantal pagina’s. Bijvoorbeeld bij een online kalender, waarbij elke maand linkt naar een vorige en naar een volgende maand. De kalender loopt dan eeuwig door en het aantal pagina’s is oneindig. Ook bij het gebruik van filters (facetnavigatie) in een site kan een vrijwel oneindig aantal pagina’s ontstaan.
Voor Google kan het lastig zijn een website met een oneindig aantal pagina’s efficiënt te indexeren. Het crawl budget wordt mogelijk aan de minder belangrijke kalenderpagina’s besteed.
Gelukkig zijn er oplossingen voor dit probleem, bijvoorbeeld:
- Toon in de kalender allen een link naar een volgende of vorige maand als deze maand ook echt kalender-items heeft.
- Neem in alle kalenderpagina’s een canonical link op, die verwijst naar de startpagina van de kalender. Google toont dan alleen deze startpagina als zoekresultaat.
- Voeg een nofollow attribuut toe aan de links naar vorige en volgende kalenderpagina’s. Google slaat de links dan over.
- Een andere optie is in het robots.txt bestand aan te geven welke pagina’s Google mag bezoeken en daarbij de kalenderpagina’s uit te sluiten.
Zie ook Google Support: Extreem groot aantal URL’s gevonden.
