Définition: Robots.txt or Robots Exclusion Protocol

Un fichier texte utilisé pour guider la façon dont un moteur de recherche peut et ne peut pas analyser un site Web. Il peut être avantageux pour une entreprise de se cacher des pages web avec un contenu similaire de sorte que ces pages ne seront pas indexés par un moteur de recherche. Le fichier robots.txt d'un site Web peut être trouvé en entrant robots.txt à la fin de l'URL.