100 % sur l'appareil
Constructeur de directives de crawl (Robots.txt et Sitemap)
Interface visuelle protégée contre les erreurs pour créer robots.txt. Gérer le budget de crawl et éviter de bloquer le site par erreur.
Ajouter aux règles :
Bot de recherche (User-agent)
robots.txt généré
# Add rules and optionally Sitemap URL above