Le fichier robots.txt vous permet d'indiquer facilement et rapidement aux spiders des moteurs de recherche quelles sont les pages et parties de votre site à indexer et à ne pas indexer.
Cet outil vous permet de générer le fichier robots.txt si vous n'en possédez pas ou vous permet de l'analyser si vous en possédez déjà un.