Robots.txt no WordPress – Controle a indexação.

Escrito na categoria "Dicas de informática e internet" por Alex Benfica.

Garantir que os buscadores irão indexar o seu site com seus robôs é uma tarefas das mais difíceis. Você deve estudar o máximo possível das técnicas de SEO e trabalhar duro para que suas páginas apareçam nas buscas e isso gere tráfego no seu site.

Porém, não é tudo que está no seu site que deve ser indexado pelo Google, e você pode proibir que certas páginas não sejam indexadas.

Controle da indexação no WordPress

Cada mecanismo de busca tem os chamados “robots”, “spiders” ou “crawlers”, que são algoritmmos projetados para varrer as páginas da Internet e indexar o conteúdo para que apareça nas pesquisas realizadas.

Para evitar que estes robôs de busca indexem tudo que está no seu site, você pode criar um arquivo chamada robots.txt, e coloca-lo na pasta raiz do seu site. Em outras palavras, este arquivo indica o que os robôs de buscas NÃO devem indexar.

Otimização para indexadores através do robots.txt

Através do robots.txt no WordPress, você poderá orientar os indexadores para o que deve e não deve ser indexado do seu site no WP. (Foto: ethicalweb.blogspot.com)

Por exemplo: neste site, o robots.txt está no seguinte endereço: http://www.palpitedigital.com.br/robots.txt

Para evitar que informações desnecessárias sejam indexadas, você pode bloquear alguns diretórios do WordPress.

Coloque as seguintes linhas no seu arquivo robots.txt.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

Com as linhas acimas, você evitará que os diretórios listados sejam indexados pelos mecanismos de busca. Isto fará com que a indexação do seu site tenha melhor qualidade, focando apenas nos artigos e páginas, ao invés de pegar qualquer arquivo “solto” que estivesse nestes diretórios.

Fonte: WebBrander

Sobre o autor

Profissional de TI com mais de 20 anos de experiência na indústria. Bacharel em Matemática Computacional, sempre aprendendo sobre tecnologia, jogos, desenvolvimento de software e automação. É criador do site Palpite Digital onde compartilha conhecimentos desde 2007!

Veja a biografia completa

Veja também