Answer Engine Optimisation Le forum francophone des moteurs de reponse

Se connecter Creer un compte

Acces, agents et robots.txt

Votre configuration robots.txt : montrez la votre

4 messages · 1 476 vues

serveur_froid Habitue 25 messages inscrit en 2025 Marseille

#1

Exercice utile. Je commence, sur un site editorial :

  • GPTBot, ClaudeBot, CCBot, Bytespider : bloques. Entrainement, aucun retour.
  • OAI-SearchBot, PerplexityBot : autorises. Lecture en direct, donc citation possible.
  • Google-Extended : autorise. Le bloquer ne retire rien de la recherche, mais retire des reponses generees.
  • Googlebot, Bingbot : evidemment autorises.

rgpd_alex Membre 15 messages inscrit en 2021 Bruxelles

#2

La meme chez moi, sauf Google-Extended que je bloque sur les contenus sous licence de tiers. Pas par principe : parce que je n’ai pas le droit de les ceder.

mlle_crawl Habitue 25 messages inscrit en 2022 Rennes

#3

J’ajoute une ligne que personne ne met : un Crawl-delay pour les agents gourmands. Ce n’est pas respecte partout, mais quand ca l’est, ca sauve un serveur.

nadir_b Habitue 33 messages inscrit en 2022 Toulouse

#4

Et pensez a verifier ce que votre CMS ecrit tout seul. J’ai trouve trois Disallow pondus par un plugin que personne n’avait demande.

Haut de page