PluXml.org

Blog ou CMS à l'Xml

Robots.txt(Edit)

Le fichier robots.txt est un fichier que l'on crée et que l'on met à la racine de son site afin de "communiquer" avec les robots indexeurs de contenu (Google, Bing, etc...). Il permet de spécifier certaines choses :

  • quelles parties du site doivent être indexées, ou au contraire ne doivent pas apparaître dans les moteurs de recherches
  • quels sont les moteurs de recherches autorisés ou non autorisés à référencer le site
  • déclarer son sitemap

Notez que les instructions qui se trouvent dans le robots.txt n'ont rien d'obligatoires pour les moteurs de recherches, et que ce fichier est public et lisible par tous. Il ne faut donc pas s'en servir pour cacher du contenu.

Déclarer son sitemap(Edit)

Pour que les moteurs de recherches prennent en compte votre Sitemap, il faut leur indiquer où il se trouve. Voici un exemple simple de fichier robots.txt :

User-agent: *
Disallow:

Sitemap: http://www.example.org/sitemap.php

Cet exemple autorise tous les robots à indexer toutes les pages de votre site, et il déclare l'emplacement du fichier Sitemap.