GPTBot, ChatGPT-User e OAI-SearchBot: qual robô bloquear

É comum abrir o robots.txt de um site e achar uma de duas situações: nenhuma linha sobre robôs de IA, ou um bloqueio em massa copiado de algum lugar. As duas escondem a mesma coisa: ninguém decidiu nada.

A OpenAI tem três agentes com nome próprio, e cada um responde a uma pergunta diferente. Tratar os três como um só é o erro mais comum.

O que cada um faz

• ChatGPT-User busca uma página na hora em que alguém pede algo ao ChatGPT. É leitura sob demanda, na conversa.
• OAI-SearchBot monta o índice que a busca do ChatGPT consulta. Sem ele, o site não aparece como resultado nessa busca.
• GPTBot coleta conteúdo que pode entrar no treino dos modelos futuros.

Como o robots.txt decide

Duas regras do próprio padrão explicam quase todo arquivo que parece estranho. A primeira: um grupo com o nome do robô vence o grupo geral, o User-agent: *, mesmo que o geral seja mais restritivo. A segunda: sem arquivo nenhum, tudo está liberado.

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

E existe um terceiro estado, que é o que mais aparece: o arquivo existe e não fala do robô. Aí quem decide é o grupo geral, ou, sem ele, o próprio robô. Não é bloqueio e não é escolha.

O que o robots.txt não garante

O arquivo é uma declaração. Robô que ignora robots.txt existe, e firewall ou proteção contra robôs na hospedagem pode barrar um agente que o arquivo libera. Por isso a leitura honesta diz o que o site declara, e não o que o robô fez.