Saiu no Official Google Webmaster Central Blog um artigo intitulado como Using the robots meta tag falando a respeito da utilização da meta tag robots e como o Googlebot a interpreta. Vale a leitura.
Para aqueles que não dominam o inglês, vou simplificar o artigo linkado acima em alguns exemplos. Uma meta tag do tipo robot é criado da seguinte maneira:
<meta name="robots" content="Veja Valores abaixo" />
- NOINDEX – previne a página de ser indexada pelo Googlebot*;
- NOFOLLOW – previne o Googlebot de indexar qualquer link contigo na página;
- NOARCHIVE – previne que uma cópia da página seja disponibilizada no resultado da busca;
- NOSNIPPET – previne a descrição da página no resultado da busca bem como o cache dela;
- NOODP – bloqueia a descrição da página utilizada no resultado da busca no Open Directory Project;
- NONE – o mesmo que “NOINDEX, NOFOLLOW”.