Robots vérifiés : les robots utiles passent, une fois leur identité confirmée
Moteurs de recherche, supervision, aperçus de liens, prestataires de paiement : votre site a besoin de ces robots. Klacos vérifie auprès de leur éditeur qu’ils sont bien ce qu’ils annoncent, les laisse passer, et traite en usurpateurs ceux qui empruntent leur nom.
Le nom d’un robot ne prouve rien
Chaque robot annonce son nom dans ses requêtes, et n’importe qui peut écrire « Googlebot » à cet endroit. Un aspirateur de contenus qui se présente ainsi espère passer partout où le vrai passe. Bloquer sur le nom écarte le vrai moteur avec le faux ; laisser passer sur le nom ouvre la porte à quiconque l’emprunte.
L’erreur coûte cher dans les deux sens. Un vrai moteur bloqué, et vos pages sortent des résultats de recherche. Un webhook de paiement refusé, et une commande ne se confirme pas. Une sonde de supervision arrêtée, et l’on vous réveille pour une panne qui n’existe pas. À l’inverse, un faux Googlebot laissé passer aspire votre site avec un laissez-passer. Le fichier robots.txt n’y change rien : c’est une demande adressée aux robots polis, pas une barrière.
Ce que vous devriez attendre : qu’un robot soit vérifié auprès de son éditeur avant d’être cru, que l’imposteur soit traité comme tel, et que les robots utiles passent sans que vous ayez à maintenir la moindre liste.
Les robots utiles reconnus, sans liste à tenir
Vérifiés à la source
Imposteurs repérés
Rangés par catégorie
Une politique par catégorie
Hors de votre audience
Visibles dans la console
Rien à recopier
Un garde-fou
Du nom annoncé au robot vérifié
Il annonce son nom
Le robot se présente comme un moteur de recherche, un outil de supervision ou le robot d’un service connu.
Klacos vérifie
La vérification se fait auprès de l’éditeur, avec ce qu’il publie lui-même sur ses robots. Un client qui ne vient pas de chez lui est traité en usurpateur et ne profite d’aucun accès accordé au vrai.
Il rejoint sa catégorie
Moteur de recherche, supervision, aperçu de liens, prestataire de paiement : la politique de sa catégorie s’applique.
Vous voyez ce qu’il a fait
La console montre, catégorie par catégorie, ce que ces robots ont demandé.
Un robot dont l’éditeur ne publie rien n’est ni cru ni condamné : il reste un inconnu, jugé sur sa visite comme n’importe quel visiteur. Les robots vérifiés font partie de la protection de votre site, aux côtés de la gestion des robots qui juge tous les autres.
Une politique pour chaque catégorie de robots
Pour chaque catégorie, vous choisissez de laisser passer, d’observer, de ralentir ou de bloquer, site par site. Les réglages proposés laissent passer les moteurs de recherche, la supervision, les aperçus de liens, les lecteurs de flux, les outils d’accessibilité et de traduction, et les proxys d’entreprise, derrière lesquels se trouvent des humains. Les prestataires de paiement passent sur les chemins que vous déclarez.
Les robots d’IA sont observés par défaut : c’est un choix éditorial, et le contrôle des robots d’IA vous le laisse. Bloquer un moteur de recherche reste possible, avec un avertissement, parce que c’est presque toujours une erreur.
Hors de votre audience, mais toujours en vue
Un robot vérifié ne compte pas dans votre audience sans cookie : vos visiteurs restent des humains. Il reste visible dans l’espace Trafic, qui donne la part des humains, des robots, des robots vérifiés et des visiteurs encore inconnus, et ce que chaque catégorie a demandé.
Vous voyez ainsi ce que demande votre supervision, et combien de pages les moteurs de recherche parcourent chaque jour.
Questions sur les robots vérifiés
Googlebot risque-t-il d’être bloqué ?
Non. Il est vérifié, puis il passe. Le bloquer demanderait un choix explicite de votre part, signalé par un avertissement.
Faut-il tenir une liste d’adresses à jour ?
Non. Les listes que publient les éditeurs changent souvent : elles sont suivies pour vous.
Un faux Googlebot est-il bloqué ?
Il est traité en usurpateur : il ne profite d’aucun accès accordé au vrai moteur, et la suite dépend de sa visite et de vos réglages.
Et un robot que personne ne connaît ?
Il n’est ni cru ni condamné. Il reste un inconnu, jugé sur sa visite comme n’importe quel visiteur.
Mon outil de supervision et mon prestataire de paiement passent-ils ?
Oui, leurs catégories passent par défaut. Pour un outil qui vous est propre, une autorisation dans vos règles d’accès suffit.
Voyez quels robots parcourent votre site, et lesquels mentent sur leur nom
Demandez un accès anticipé : votre site commence en observation, et la console sépare les robots vérifiés de ceux qui empruntent un nom connu. Ou parlons des robots que vous voyez passer.