Answer Engine Optimisation Le forum francophone des moteurs de reponse

Se connecter Creer un compte

Technique

Acces, agents et robots.txt

Qui passe, ce qu’on laisse passer, et ce que bloquer coute vraiment.

14 sujets · 47 messages Moderation : kaomi, h2-ou-rien, lemarcheur

Sujet Reponses Vues Dernier message
Votre configuration robots.txt : montrez la votre par serveur_froid · 3 1 476 Votre configuration robots.txt : montrez la votre par nadir_b
Faut-il un robots.txt different par sous-domaine ? par katia_ops · 2 858 Faut-il un robots.txt different par sous-domaine ? par katia_ops
HTTPS, HSTS, et les redirections en cascade par bricoleseo · 3 806 HTTPS, HSTS, et les redirections en cascade par bricoleseo
Bloquer un agent apres coup retire-t-il ce qu’il a deja pris ? par marina_sante · 2 601 Bloquer un agent apres coup retire-t-il ce qu’il a deja pris ? par marina_sante
Un agent ignore mon robots.txt : que faire ? par serveur_froid · 2 1 191 Un agent ignore mon robots.txt : que faire ? par bricoleseo
Resolu noindex ou Disallow : lequel pour une page que je ne veux pas voir ? par mimi_indexe · 3 1 609 noindex ou Disallow : lequel pour une page que je ne veux pas voir ? par bricoleseo
Mon robots.txt bloque un agent que je n’ai jamais ajoute par ludo_wp · 2 718 Mon robots.txt bloque un agent que je n’ai jamais ajoute par ludo_wp
Combien de temps avant qu’un noindex fasse effet ? par jm_presse · 2 1 491 Combien de temps avant qu’un noindex fasse effet ? par jm_presse
Rendu JavaScript : est-ce que les agents de reponse executent le JS ? par tomtom-dev · 3 1 253 Rendu JavaScript : est-ce que les agents de reponse executent le JS ? par serveur_froid
Budget d’exploration : les agents de reponse le consomment-ils ? par mlle_crawl · 2 924 Budget d’exploration : les agents de reponse le consomment-ils ? par serveur_froid
Crawl-delay : est-ce que ca sert encore ? par herve_industrie · 2 1 129 Crawl-delay : est-ce que ca sert encore ? par serveur_froid
Resolu Un lien dans une reponse generee, ca passe en referent ? par anouk.s · 2 926 Un lien dans une reponse generee, ca passe en referent ? par anouk.s
Sitemap : faut-il y mettre les pages en noindex ? par raph_agence · 2 785 Sitemap : faut-il y mettre les pages en noindex ? par raph_agence
Resolu Faut-il bloquer GPTBot et consorts dans robots.txt ? par serveur_froid · 3 1 052 Faut-il bloquer GPTBot et consorts dans robots.txt ? par serveur_froid

Haut de page