O robô Briefenta-AI

Quem é

O Briefenta AI monta, para cada cliente, um resumo das notícias de um assunto e o publica no perfil dele. Para isso, nossos servidores leem os sites e os feeds que o próprio cliente cadastrou como fontes. Toda requisição sai com este User-Agent:

Briefenta-AI/1.0 (+https://briefenta-ai.com/robo)

O que ele lê

• os feeds RSS ou Atom que o cliente cadastrou;
• a página de um site cadastrado como fonte, e as páginas das notícias que ela lista, para ler a data, o título e o resumo de cada uma;
• quando a página cadastrada não traz a lista de notícias, o sitemap do seu site — o que o seu robots.txt declara na linha Sitemap: ou, sem ela, /sitemap.xml, e só se for do mesmo domínio —, para achar as páginas recentes da mesma seção;
• quando o cliente pede ajuda para achar o feed de um site, a página inicial e os endereços em que os sites costumam publicá-lo (/feed, /rss…);
• o seu robots.txt, antes de qualquer página do seu site.

O que ele faz com isso

O título, o resumo, a data e o endereço de cada notícia vão para um modelo de inteligência artificial, que escolhe as mais relevantes para o assunto do cliente e escreve um texto sobre elas, citando a fonte. A leitura acontece quando o cliente gera um post, quando confere as fontes dele e no dia e hora que ele agendou — tipicamente uma vez por semana por assunto.

O que ele não faz

• não treina modelo de inteligência artificial nenhum com o seu conteúdo, nem entrega o seu conteúdo para que alguém treine;
• não monta índice de busca, arquivo nem cópia do seu site: guarda por até 30 dias, em memória, só a data, o título e o resumo de cada notícia que abriu, para não abrir a mesma página duas vezes;
• não sai lendo a internet: lê o site que o cliente cadastrou e, só quando ele pede sugestões, procura um feed em outros endereços do mesmo domínio (a seção de notícias num subdomínio, por exemplo);
• não preenche formulários, não faz login e não executa JavaScript;
• não faz mais de 6 pedidos ao mesmo tempo ao seu site (as conexões já abertas e ociosas podem ser mais), e para por um tempo quando o seu site responde 429.

Como ele respeita o seu robots.txt

O Briefenta-AI lê o seu robots.txt antes de qualquer página e o guarda por até 24 horas. Um redirecionamento é conferido também: se o endereço pedido leva a um caminho que o arquivo proíbe, ou a outro site, o arquivo daquele destino vale antes da página. Ele segue as regras do grupo que o nomeia e, sem esse grupo, as do grupo User-agent: *, com os curingas * e $ da RFC 9309. Se o seu arquivo não existe, ele entende que tudo é permitido; se o seu servidor responde com erro ao pedido do arquivo e não há uma cópia recente dele, o robô não lê o site naquela vez. Um arquivo com regras demais para conferir um endereço a tempo (dezenas de milhares) também faz a página não ser lida.

O Briefenta-AI age a pedido de uma pessoa, como Claude-User, ChatGPT-User, Perplexity-User. Por isso, se o seu arquivo proíbe um desses agentes pelo nome, ele também não lê a página. Um arquivo que exclui só robôs de treino ou de busca (GPTBot, ClaudeBot, CCBot e afins) não o impede: nesse caso o cliente vê um aviso de que o seu site não quer robôs de inteligência artificial.

Se o seu arquivo declara Crawl-delay para ele (ou para *), ele espera esse intervalo entre uma página e outra, até 10 segundos.

Como bloqueá-lo

Para que ele não leia nada do seu site, acrescente ao seu robots.txt:

User-agent: Briefenta-AI
Disallow: /

Para bloquear só uma parte, use o caminho dela no Disallow. A mudança vale em até 24 horas. O cliente que cadastrou o seu site vê a fonte como bloqueada, com a regra do seu arquivo como motivo, e deixa de receber notícias dela.

Uma exceção, por enquanto: o feed RSS que um cliente cadastrou continua sendo lido mesmo quando o seu robots.txt o proíbe — o cliente vê um aviso com a sua regra. Estamos medindo quantos feeds isso afeta antes de estender o bloqueio a eles. Se quiser que o seu feed deixe de ser lido agora, escreva para o contato abaixo.

Contato

Dúvidas, ou algo que o robô fez e não deveria: [email protected]. Veja também a nossa Política de Privacidade.