28/02/2011

Erros na Indexação do Blog - Restringido por robots.txt

Já publicamos muitas dicas sobre como fazer seu blog aparecer nos resultados do Google e outros sites de busca usando os sitemaps da central de webmasters do próprio Google:

Ferramentas para Webmasters - Sitemaps
Indexar todas as paginas no Google - Sitemaps

E também outras técnicas que ajudam a otimizar seu blog e conseguir mais visitas:
Personalizar e Otimizar Título do Blog - Aparecer no Google
Aparecer na Pesquisa de imagens Google
Usar Melhor as Redes Sociais da Internet - Mídias Sociais

Mas sempre sobram algumas duvidas e uma delas é sobre os Erros de rastreamento (Problemas que o Google encontrou ao rastrear o seu site), ou seja, problemas para indexar as paginas do seu blog. O principal deles é Restringido por robots.txt que vamos falar mais adiante.

erro de sitemaps - indexar paginas
Os outros erros você pode tentar verificar, pois geralmente são paginas inacessíveis ou não encontradas, quer dizer alguma url errada, então se for possível corrija essas falhas o que nem sempre é possível, por exemplo, no caso de comentários ou postagens excluídas.

Agora quando as paginas Restringidas por robots.txt não tem o que fazer, pois isso é um arquivo padrão do blogger ele está no endereço: http://seublog.blogspot.com/robots.txt. Na verdade isso impede a indexação de paginas como as dos marcadores evitando o conteúdo duplicado no seu blog.

Por exemplo, faço uma postagem sobre um seriado de televisão e coloco os marcadores: serie de TV, suspense, download e assistir online.
Se não fosse esse arquivo o Google iria rastrear 5 vezes a mesma coisa no meu blog: a pagina da postagem e os 4 marcadores, passando a idéia que publiquei 5 vezes a mesma coisa no meu blog parecendo conteúdo duplicado e certamente os mecanismos de busca não gostam disso.

Por esse motivo não precisa se preocupar com esse erro de indexação do seu blog, pois na verdade ele ajuda seu blog, mas certamente deve explorar a pagina da central para webmasters e fazer uma analise das informações certamente achará coisas úteis para melhorar seu blog.
Related Posts with Thumbnails

24 comentários:

  1. eu já tinha visto isso, mas não sabia como resolver... obrigado pela informaçao

    ResponderExcluir
  2. Fabino, help me, please!!!
    O que acontece no meu blog, aonde tenho links como o de seu blog aparece SAPOS!!! Dá pra vc dar uma olha, por favor?!
    grata,
    Cristina

    ResponderExcluir
  3. o imageshack está bloqueando imagens... infelizmente não tem o que fazer, só hospedar as imagens em outro lugar

    ResponderExcluir
  4. Olá

    Recentemente eu customizei um layout, e no blog emn questão não mostra o titulo do post mais recente, no IE. Tem algo a ver com isso?

    Obrigada

    ResponderExcluir
  5. o titulo não aparecer pode ser alguma falha do template, as vezes ficou algum erro de código que só faz diferença em um navegador... seria bom tentar desfazer ou resolver o problema

    ResponderExcluir
  6. Pow, esses erros de rastreamento eram uma pulga atrás da orelha "Pow, o que é que estou fazendo errado/".
    Este artigo me tirou um peso das costas!

    ResponderExcluir
  7. olá Igor,
    Então Categorias também tem que ter o disallow no robots.txt?

    ResponderExcluir
  8. isso mesmo as categorias estão incluidas neste bloqueio de rastreamento

    ResponderExcluir
  9. Muito agradecida por essa explicação. Eu andava à procura, foi assim que vim aqui ter. Acho que até já li outras coisas neste blogue mas não me recordo de agradecer o esclarecimento alguma vez...

    ResponderExcluir
  10. Roberto, tem como fazer com que os marcadores do Blog sejam rastreados?

    ResponderExcluir
  11. não podemos editar o arquivo robots.txt, portanto não vai indexar a pagina dos marcadores

    ResponderExcluir
  12. tipo o meu caso google webtools mostra que tenho titulos duplicado indexado gostari de saber apos eu alterar titulo quanto tempo google demora para reendexar?
    porque faz ja 2 semana e nada ta na mesma
    uso blogspot me ajuda vlw

    ResponderExcluir
  13. em 2 semanas já era para ter atualizado, mas se já modificou é só aguardar

    ResponderExcluir
  14. cara n mudo nada enviei sitemaps no google webtools mais n muda nada fica o mesmo titulo o que eu faço por favor esta dizendo que esta com conteudo duplicado o "titulo" faz mais de 1 mes


    obs quando eu crio um novo post indexa rapido no mesmo dia

    ResponderExcluir
  15. nem todos os erros de titulos duplicados é possivel resolver

    outra coisa é que seu computador pode estar usando o historico de internet

    ResponderExcluir
  16. e como faço pra arrumar pagina com erro 404 tipo link sem conteudo?

    exemplo www.meudominio.com.br/joto.html
    www.meudominio.com.br/joto/feed.html < sem conteudo como faço para arrumar ou remover para não ser penalizado pelo google?

    ResponderExcluir
  17. Tou com esse erro no meu blog e ainda não achei a solução, e o pior que tou ganhando pouco no adsense, tem páginas que eu nunca postei no meu blog quem poder me ajudar estarei muito grato.

    http://technologydown.blogspot.com.br/robots.txt

    ResponderExcluir
  18. mas esse código do arquivo robots.txt está certo

    ResponderExcluir
  19. Estou com problemas de indexação das páginas no google. O blog: www.sestr.com.br era bem posicionado no google há uns quatro dias todas as postagens sumiram, apenas algumas estão aparecendo agora.

    Está aparecendo o seguinte erro nas ferramentas para webmasters:

    Linha 8: Sitemap: http://www.sestr.com.br/feeds/posts/default?orderby=UPDATED
    Foi detectada uma referência de sitemap válida


    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://www.sestr.com.br/feeds/posts/default?orderby=UPDATED

    O que eu posso fazer para corrigir o erro?

    ResponderExcluir
    Respostas
    1. durante essa semana eu estava pesquisando isso mas por enquanto não achei uma resposta....

      esotu pensando em fazer alguns testes mas não tenho como dar uma opinião sobre o assunto ainda, porém pretendo fazer um post em breve sobre o assunto.

      Excluir
  20. tipo me ajuda por favor
    como bloqueio isso
    tipo toda url que começar com ?page=

    teria que botar regra no bloquear no robots.txt?
    teria botar assim? Disallow: /?page=

    ou teria que tambem botar no head template tipo nofollow /?page= se sim como faz?

    ResponderExcluir
    Respostas
    1. pode usar do que jeito que falou, mas tenha a certeza das paginas que vai desabilitar...

      o nofollow é usado somente em links

      Excluir