Configurar o arquivo robots.txt e o acesso dos rastreadores de IA

O que esta ajuda online cobre :
Esta ajuda online explica como configurar o acesso dos rastreadores para mecanismos de busca e assistentes de IA no seu PWA. Conheça as 4 predefinições disponíveis no seu back-office, a comparação entre SEO tradicional e rastreadores de IA, o procedimento de configuração passo a passo e a lista completa de rastreadores suportados.
Antes de começar :

• Certifique-se de que o seu PWA tenha sido publicado pelo menos uma vez em Publicar > PWA > Publicar .
• Verifique em Publicar > PWA > SEO :: Parâmetros gerais que a opção Autorize a indexação através do search engine está ativada.

Resultado esperado :
O seu arquivo robots.txt é gerado automaticamente com diretivas de indexação adaptadas aos seus objetivos de visibilidade e preferências de proteção de conteúdo para modelos de IA.

A GoodBarber permite que você controle com precisão como os mecanismos de busca e assistentes de IA acessam o seu Progressive Web App (PWA). O sistema classifica as solicitações dos rastreadores em 4 categorias distintas :

• Mecanismos de busca : O Google, o Bing e outros motores de busca que listam seu site em seus resultados.
• Respostas de IA : O ChatGPT, Claude ou Perplexity quando eles citarem seu site em suas respostas.
• Treinamento de IA : Rastreadores que coletam seu conteúdo para treinar modelos de IA.
• Acesso sob demanda : Quando um usuário pede a um assistente de IA para abrir e ler uma página específica do seu site.

Para simplificar a configuração, 4 predefinições estão disponíveis no modo Guiado :

 

Predefinição	Mecanismos de busca tradicionais (Google, Bing)	Respostas de IA (ChatGPT, Claude, Perplexity etc.)	Treinamento de IA	Objetivo recomendado
Visibilidade máxima	✅ Permitido	✅ Permitido	✅ Permitido	Maximizar o alcance em todos os mecanismos de busca e plataformas de IA.
Sem treinamento de IA	✅ Permitido	✅ Permitido	🚫 Bloqueado	Ser citado por assistentes de IA e receber tráfego sem ceder seus dados de treinamento.
Apenas SEO tradicional	✅ Permitido	🚫 Bloqueado	🚫 Bloqueado	Preservar o SEO tradicional do Google/Bing solicitando que os rastreadores de IA não acessem o seu site.
Privacidade rigorosa	🚫 Bloqueado	🚫 Bloqueado	🚫 Bloqueado	Solicitar que os rastreadores não indexem nem explorem o site (aplicações internas ou ambientes de teste).

Qual é a diferença entre "Visibilidade máxima" e "Sem treinamento de IA"?
- Citações de IA em tempo real (Respostas de IA): Um assistente de IA (como o ChatGPT) consulta seu PWA ao vivo para responder a um usuário, citando seu site e enviando tráfego para o seu App.
- Treinamento de modelos de IA (Treinamento de IA): Os rastreadores coletam seu conteúdo para treinar futuros modelos de IA, sem gerar visitas diretas ao seu site.
Qual escolher?

• Escolha Visibilidade máxima para exposição completa em todos os mecanismos de busca e plataformas de IA.
• Escolha Sem treinamento de IA para receber tráfego de assistentes de IA e proibir que eles usem seu conteúdo para treinar modelos.

Qual é a diferença entre "SEO tradicional" e "Assistentes de IA"?
- SEO tradicional (Google, Bing): Os usuários pesquisam usando palavras-chave. A predefinição Apenas SEO tradicional mantém seu posicionamento e indexação no Google 100% ativos e inalterados.
- Assistentes de IA (ChatGPT, Claude, etc.): Os usuários fazem perguntas a IAs conversacionais. A predefinição Apenas SEO tradicional bloqueia esses assistentes de IA para que não leiam nem citem o seu App.

Se o seu projeto exigir regras de exploração personalizadas ou diretivas específicas, você pode alterar o editor para o modo Manual :

1. Alterne o botão no canto superior direito para Manual.
2. Edite o conteúdo bruto do arquivo robots.txt diretamente no campo de texto.
3. Clique em Salvar.

Aviso : O modo Manual é destinado a usuários avançados, desenvolvedores e especialistas em SEO familiarizados com a sintaxis do robots.txt. No modo Manual, o gerenciamento automático de predefinições da GoodBarber é desativado. Um erro de sintaxe ou uma diretiva incorreta pode prejudicar seriamente a indexação do seu App ou tornar seu site invisível para os mecanismos de busca. Em caso de dúvida, volte para o modo Guiado, que garante uma configuração segura e ideal.

Abaixo está a lista detalhada de User-Agents identificados e gerenciados pelas predefinições da GoodBarber, categorizados por provedor :

• Google : Googlebot, Google-Extended
• Microsoft : Bingbot
• DuckDuckGo : DuckDuckBot
• Yandex : YandexBot
• Apple : Applebot, Applebot-Extended
• OpenAI : GPTBot, OAI-SearchBot, ChatGPT-User
• Anthropic : ClaudeBot, Claude-SearchBot, Claude-User
• Perplexity : PerplexityBot, Perplexity-User
• Common Crawl : CCBot
• ByteDance : Bytespider
• Meta : Meta-ExternalAgent
• Amazon : Amazonbot
• Cohere : cohere-ai
• Diffbot : Diffbot
• Mistral : MistralAI-User