Robots.txt Checker

Alles wat je wilt weten over het robots.txt bestand

Het robots.txt bestand geeft zoekmachines opdrachten over welke pagina's ze wel of niet mogen crawlen. Een verkeerd geconfigureerd robots.txt kan ertoe leiden dat Google je website of delen ervan niet indexeert. Met de Robots Checker lees je het bestand uit en zie je precies welke regels er gelden.

Zo analyseer je een robots.txt bestand

1. 1

   Voer de domeinnaam in

   Vul de URL van de website in. De checker zoekt automatisch het robots.txt bestand op via de standaard locatie (/robots.txt).

2. 2

   Bekijk de inhoud en regels

   Je ziet de volledige inhoud van het bestand per user-agent. Disallow en Allow regels en de sitemap verwijzing worden overzichtelijk weergegeven.

3. 3

   Controleer op fouten

   Kijk of er geen pagina's worden geblokkeerd die juist geïndexeerd moeten worden. Dat is een veelgemaakte fout, zeker na een CMS migratie.

Veelgemaakte fouten in robots.txt

De grootste fout: per ongeluk de hele website blokkeren met Disallow: /. Dit kan tijdens ontwikkeling in een robots.txt terechtkomen en vergeten worden bij het live zetten. Een andere valkuil is het blokkeren van CSS en JavaScript bestanden. Google heeft die nodig om je pagina correct te kunnen renderen. Tot slot: robots.txt is geen beveiligingsmaatregel. Gevoelige bestanden bescherm je via authenticatie of serverconfiguratie, niet via robots.txt.