En el codigo fuente de tu web puedes poner la etiqueta META con Atributos para darle informacion a los Robots sobre el indexado, puedes ponerlas de esta forma para todos los robots ( o Spiders) que lo soporten: <meta name="robots" content="noodp,noydir"/> o