En el codigo fuente de tu web puedes poner la etiqueta META con Atributos para darle informacion a los Robots sobre el indexado, puedes ponerlas de esta forma para todos los robots ( o Spiders) que lo soporten:  

  o bien especificar para cada robot un atributo distinto de esta forma:  

Read MoreView 3 Comments