Exploration technique
Contrôle des codes HTTP, redirections, liens internes, directives d’indexation, URL canoniques, sitemap et robots.txt.
Crawler officiel de SEO Insight
SEOInsightBot
SEOInsightBot est le robot d’exploration de SEO Insight, notre logiciel d’analyse SEO. Il parcourt les sites autorisés afin d’identifier les obstacles techniques, comprendre leur structure et produire des recommandations d’optimisation.
Identification du crawler
Chaque requête automatisée s’identifie dans l’en-tête HTTP User-Agent. Cette signature permet aux administrateurs de reconnaître et de gérer explicitement le robot.
SEOInsightBot/1.0 (+https://lfinfo.be/bot)Ce que le bot analyse
SEO Insight utilise cette exploration pour dresser un inventaire fidèle du site et transformer les observations techniques en actions classées par priorité.
Analyse des pages
Lecture des titres, descriptions, niveaux de titres, contenus, données structurées, liens et attributs utiles aux moteurs de recherche.
Performance et qualité
Inventaire des ressources et détection des éléments susceptibles d’affecter le chargement, l’accessibilité ou l’expérience utilisateur.
Rapports SEO Insight
Les résultats sont regroupés dans SEO Insight afin de produire des constats, des priorités et des recommandations directement exploitables.
Exploration responsable
- SEOInsightBot accède uniquement aux ressources publiques disponibles sans authentification.
- Le crawler consulte et respecte les règles publiées dans robots.txt pour son user-agent.
- La fréquence d’exploration est limitée et adaptée aux réponses du serveur afin d’éviter une charge excessive.
- Les réponses d’erreur, limitations et indisponibilités temporaires sont prises en compte sans tentative de contournement.
- Le bot n’envoie pas de formulaires, ne crée pas de compte et n’essaie pas d’accéder à des espaces privés.
- Les données collectées servent à l’analyse technique et SEO demandée dans la plateforme SEO Insight.
Données observées
Le bot enregistre les informations nécessaires au rapport : URL, statut HTTP, en-têtes techniques, contenu HTML public, liens, métadonnées et caractéristiques des ressources chargées. Il peut également enregistrer la date, la durée et le résultat de chaque requête.
SEOInsightBot n’a pas pour objectif de collecter des données personnelles. Si une donnée personnelle est publiée dans une page analysée, elle peut néanmoins apparaître dans le contenu technique traité, comme elle apparaîtrait à tout visiteur de cette page.
Autoriser ou bloquer SEOInsightBot
Un administrateur peut gérer l’accès du crawler avec les règles standard de son fichier robots.txt. L’exemple suivant bloque l’ensemble du site pour SEOInsightBot sans modifier les règles appliquées aux autres robots.
User-agent: SEOInsightBot
Disallow: /Pour autoriser l’exploration complète, utilisez Allow: / ou ne définissez aucune règle spécifique si les règles générales autorisent déjà le crawl.
Une question sur une exploration ?
Indiquez le domaine concerné, la date approximative et, si possible, un extrait des journaux contenant le user-agent. Nous pourrons vérifier la demande et vous aider à ajuster les règles d’accès.