Garantir que os buscadores irão indexar o seu site com seus robôs é uma tarefas das mais difíceis. Você deve estudar o máximo possível das técnicas de SEO e trabalhar duro para que suas páginas apareçam nas buscas e isso gere tráfego no seu site.

Porém, não é tudo que está no seu site que deve ser indexado pelo Google, e você pode proibir que certas páginas não sejam indexadas.

Cada mecanismo de busca tem os chamados “robots”, “spiders” ou ”crawlers”, que são algoritmmos projetados para varrer as páginas da Internet e indexar o conteúdo para que apareça nas pesquisas realizadas.

Para evitar que estes robôs de busca indexem tudo que está no seu site, você pode criar um arquivo chamada robots.txt, e coloca-lo na pasta raiz do seu site. Em outras palavras, este arquivo indica o que os robôs de buscas NÃO devem indexar.

Por exemplo: neste site, o robots.txt está no seguinte endereço: http://www.palpitedigital.com.br/robots.txt

Para evitar que informações desnecessárias sejam indexadas, você pode bloquear alguns diretórios do WordPress.

Coloque as seguintes linhas no seu arquivo robots.txt.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

Com as linhas acimas, você evitará que os diretórios listados sejam indexados pelos mecanismos de busca. Isto fará com que a indexação do seu site tenha melhor qualidade, focando apenas nos artigos e páginas, ao invés de pegar qualquer arquivo “solto” que estivesse nestes diretórios.

Fonte: WebBrander