Le jeton user-agent est utilisé dans la ligne User-agent: du fichier robots.txt pour correspondre à un type de robot d'exploration lors de l'écriture des règles d'exploration pour votre site. Comme indiqué dans le tableau, certains robots utilisent plusieurs jetons. Un seul jeton de robot …
