Robô da auditoria
ValorDigital-GEO-Audit, o robô da auditoria GEO
Se você viu este nome nos registros do seu servidor, alguém pediu uma auditoria GEO de uma página do seu site. Aqui está o que o robô faz, o que guardamos e como bloqueá-lo.
Como ele se identifica
Todas as requisições do robô usam este user-agent:
ValorDigital-GEO-Audit/2.0 (+https://geo.valor.digital/robo)
No robots.txt, o nome a usar é ValorDigital-GEO-Audit.
Quando ele visita um site
Só quando alguém pede, em geo.valor.digital, a auditoria de um endereço do site. Não fazemos varreduras periódicas nem visitamos sites por conta própria. Se o mesmo endereço foi auditado nos últimos 15 minutos, mostramos o resultado que já existe e o robô não volta ao site.
O que ele busca
Em cada auditoria, o robô lê primeiro o robots.txt. Depois busca:
- a página enviada e a página inicial do site;
- a versão http:// da página inicial, só para ver se ela redireciona para https://;
- o sitemap indicado no robots.txt ou, se não houver, /sitemap.xml e /sitemap_index.xml;
- até 3 outras páginas do mesmo site, tiradas do sitemap ou dos links da página inicial, e só se o robots.txt permitir;
- o arquivo /llms.txt e a página inicial pedida em Markdown, para a parte informativa sobre agentes;
- a página inicial com o user-agent de um navegador comum e com os user-agents GPTBot, OAI-SearchBot, ClaudeBot e PerplexityBot, para saber se o servidor, o firewall ou a CDN bloqueia esses robôs.
No total são cerca de 15 requisições por auditoria, nunca mais de 20, contando redirecionamentos. A auditoria para depois de 60 segundos, cada resposta é lida até 3 MB e o robô segue no máximo 5 redirecionamentos. Ele nunca acessa endereços de rede interna ou privada.
O robô só faz leituras (GET). Ele não executa JavaScript, não envia formulários, não usa cookies e não faz login.
O que guardamos
Guardamos o resultado da análise, o mesmo conteúdo que aparece no link do resultado: notas, evidências, dados técnicos das páginas (status, tempo de resposta, tamanho, título) e um trecho de até 700 caracteres do texto da página auditada. Não guardamos o HTML das páginas. Resultados sem pedido de relatório por e-mail são apagados depois de 180 dias.
Como bloquear
Há três caminhos. Qualquer um deles basta.
No robots.txt
Se o robots.txt bloquear a página enviada para o nosso robô, a auditoria para logo depois de ler o arquivo e nada mais é buscado.
User-agent: ValorDigital-GEO-Audit Disallow: /
Regras para todos os robôs (User-agent: *) não impedem a leitura da página que alguém pediu para auditar, do mesmo jeito que uma prévia de link, mas valem para as outras páginas que o robô escolheria. Para bloquear tudo, use o nome do nosso robô.
No servidor, firewall ou CDN
Recuse as requisições com o user-agent ValorDigital-GEO-Audit, por exemplo com resposta 403. No nginx:
if ($http_user_agent ~* "ValorDigital-GEO-Audit") {
return 403;
}
Por e-mail
Escreva para contato@valor.digital informando o domínio. Colocamos o domínio, com os subdomínios, numa lista de exclusão, e a ferramenta deixa de aceitar auditorias dele.
Dúvidas
Escreva para contato@valor.digital. A auditoria é uma ferramenta gratuita da Valor Digital, casa de software em Itapema (SC).