Robots.txt

Les robots sont des logiciels des moteurs de recherche qui scannent de façon automatique les sites web afin de les référencer. Par défaut, les robots considèrent qu’ils ont le droit de référencer tout le site. Si vous ne voulez pas, ou si vous voulez donner des informations complémentaires au robot, vous devez créér un fichier, nommé robots.txt que vous placerez à la racine de votre site.

Dedans vous pouvez indiquer plein de choses, comme notamment (voici le fichier robots.txt d’optimisaweb.com)

Sitemap: http://www.optimisaweb.com/rss-optimisaweb.xml (adresse url de votre sitemap)

User-agent: * Signifie que tous les robots de tous les moteurs de recherche sont autorisés à référencer le site

Disallow: /Archives/ Indique les fichiers à ne pas référencer. Cela peut indiquer aussi aux concurrents quels dossiers sont sensibles sur le site. Cela étant, des protections sur les fichiers sensibles ou tout simplement ne pas mettre en ligne les fichiers qu’on ne désire pas communiquer (données financières, confidentielles…) suffiront à éviter les indiscrétions.