En el codigo fuente de tu web puedes poner la etiqueta META con Atributos para
darle informacion a los Robots sobre el indexado, puedes ponerlas de esta forma
para todos los robots ( o Spiders) que lo soporten:
o bien especificar para cada robot un atributo distinto de esta forma:
(Google)