|
|
Ecrit par Martin KURT le 13-06-2009
Robots
Les robots sont des logiciels des moteurs de recherche qui scannent de façon automatique les sites web afin de les référencer. Par défaut, les robots considèrent qu'ils ont le droit de référencer tout le site. Si vous ne voulez pas, ou si vous voulez donner des informations complémentaires au robot, vous devez créér un fichier, nommé
Dedans vous pouvez indiquer plein de choses, comme notamment (voici le fichier robots.txt d'optimisaweb.com)
Sitemap: http://www.optimisaweb.com/rss-optimisaweb.xml (adresse url de votre sitemap)
User-agent: * Signifie que tous les robots de tous les moteurs de recherche sont autorisés à référencer le site
Disallow: /Archives/ Indique les fichiers à ne pas référencer. Cela peut indiquer aussi aux concurrents quels dossiers sont sensibles sur le site. Cela étant, des protections sur les fichiers sensibles ou tout simplement ne pas mettre en ligne les fichiers qu'on ne désire pas communiquer (données financières, confidentielles...) suffiront à éviter les indiscrétions.
Illustration de Wikipedia
Si vous avez des questions, n'hésitez pas à me contacter. Bonne journée
Besoin d'un référencement? Optimisaweb vous recommande Atout Referencement, qui a une expérience de plus de 3 ans dans le domaine du référencement..
