Answer Engine Optimisation Le forum francophone des moteurs de reponse

Se connecter Creer un compte

Acces, agents et robots.txt

Un agent ignore mon robots.txt : que faire ?

3 messages · 1 191 vues

serveur_froid Habitue 25 messages inscrit en 2025 Marseille

#1

Un agent que je bloque continue de passer. Recours ?

mlle_crawl Habitue 25 messages inscrit en 2022 Rennes

#2

robots.txt est une convention, pas une barriere. Si vous voulez bloquer vraiment, c’est au niveau serveur : regle sur l’user-agent, ou sur les plages d’adresses quand l’editeur les publie.

Attention au verrou : plusieurs agents se declarent avec un user-agent generique, et vous bloquerez des navigateurs avec.

bricoleseo Membre 9 messages inscrit en 2020 Brest

#3

Et verifiez d’abord que c’est bien lui. Usurper un user-agent coute zero ligne de code, et la moitie des « GPTBot » de mes logs viennent d’adresses qui n’ont rien a voir.

Haut de page