Se quiser saber mais sobre isso, veja aqui:
http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

Se reportar, eles saem do Google.

Grande abraço,

Acho que não entendi muito bem seu comentário, mas vamos ver. Primeiro, em sua nota, você falou sobre uma forma possível de identificar a visita do Googlebot, que acho responder adequadamente à sua pergunta no final do post, não?

Sobre os erros: praticamente não tenho experiência com mudanças de sites em relação aos web crawlers. Fiz algo nesta linha quando mudei o Hypercast para o endereço que está atualmente. Antes de começar, fiz uma pesquisa onde conclui que o erro 301 redirecionaria inclusive os bots, e foi realmente o que ocorreu, de acordo com minhas análises dos http referers dos acessos dos bots nos logs do meu web server. Então creio que funciona e de forma confiável.

Quanto à pergunta final, como mencionei anteriormente você mesmo a respondeu. Desculpe se interpretei errado. Para redirecionar apenas os visitantes, creio que basta identificar uma visita de bot. Se não for, retorna-se um erro 301 ou 302. Existem várias formas de identificar o bot. Uma delas você já citou, que é conseguir alguma informação adicional através do DNS reverso, mas esta forma é passível de erros, assim como as outras. Também é possível identificar o bot através do user agent ou de informações no http referer.

Também é possível verificar isso através de padrões nos logs de acesso. Os bots realizam visitas muito rápidas, e sempre fazem requisição do robots.txt. Falando nele, sugiro que você dê uma lida sobre as possibilidades do robots.txt. Pode ser que nele esteja a resolução do seu problema. Obrigado!

Obrigado pelo link!
Nesse ínterim eu Googei e achei um site bem legal que simula várias spiders… e estou sugerindo seu link: http://www.smart-it-consulting.com/internet/google/googlebot-spoofer/index.htm

Nota: Uma opção também é usar o comando que mostra o host a partir do ip do visitante, ou seja, o DNS reverso, e se “google” estiver contido no host… bem, ai é uma “google visit”. Outra coisa interessante que eu li é que vc pode até redirect para outra página desde que vc produza um erro HTTP 302 (redirect temporário) e não um 301. Porém não sei se é confiável.

Vc tem experiência nisso ? Existe como fazer um redirect para visitas que não sejam do Googlebot sem que o Googlebot perceba ?

att

Ricardo

Obrigado pelo comentário, mas eu não entendi sobre estes “três resultados” que você mencionou. Poderia explicar um pouco melhor?

O nome da técnica é Cloaking.

É considerada Black Hat SEO e cabível de punição.

Não vale o esforço.

Se este três resultados forem denunciados, adeus site do Google.

Grande abraço,