Comment éviter que les robots indexent vos frames, scripts,...

Tout Webmaster n'a qu'un seul but dans la vie : que le maximum de personnes visitent son site. Pour cela, il faut être référencé par un maximum de site de recherche. Mais cela ne suffit pas, il faut également éviter que des pages inutiles viennent encombrer la réponse du robot.

Par exemple, il est inutile et même néfaste que toutes les frames soient indexées par les robots. En suivant un tel pointeur, on ne voit pas vraiment ce que vous avez concocté.

Il est possible de sélectionner les pages que les robots n'indexeront pas par l'intermédiaire d'un fichier texte, nommé 'robot.txt', que vous placez au sommet de la hiérarchie de vos dossiers, sur votre site.

Vous trouverez tous les renseignements concernant la syntaxe de ce fichier à l'URL suivante :
http://www.robotstxt.org/wc/exclusion-admin.html.