llms.txt e ai-dataset.json: Governança de dados para IA em sites jornalísticos

A expansão das buscas generativas, dos assistentes de inteligência artificial e dos agentes automatizados criou uma nova discussão para sites jornalísticos: como permitir que conteúdos sejam encontrados, citados e utilizados por sistemas de IA sem perder o controle editorial, a atribuição e a capacidade de gerar audiência?

Nesse cenário, arquivos como llms.txt e endpoints personalizados como ai-dataset.json começaram a aparecer em projetos de SEO e governança digital.

No entanto, é necessário separar três conceitos diferentes:

1. Recursos oficialmente reconhecidos pelos buscadores e plataformas de IA.

2. Propostas abertas que ainda estão em processo de adoção.

3. Estruturas personalizadas que podem ser úteis em projetos específicos, mas não são padrões universais.

O llms.txt pertence atualmente à segunda categoria. Já o ai-dataset.json, quando criado de forma personalizada, pertence à terceira.

Nenhum dos dois substitui o SEO técnico tradicional, o robots.txt, os sitemaps XML, os dados estruturados ou as políticas editoriais do site.

O que é o llms.txt

O llms.txt é uma proposta aberta para disponibilizar, na raiz de um domínio, uma seleção organizada de conteúdos que possam ser facilmente interpretados por sistemas baseados em grandes modelos de linguagem.

O arquivo normalmente fica disponível em:

https://exemplo.com/llms.txt

https://exemplo.com/llms.txt

https://exemplo.com/llms.txt

A proposta original utiliza Markdown e recomenda uma estrutura com:

• Um título principal.

• Uma descrição resumida do site.

• Informações contextuais.

• Seções temáticas.

• Links para páginas importantes.

• Descrições curtas sobre cada recurso listado.

Um exemplo simplificado seria:

# Nome do veículo

> Descrição breve sobre o veículo, sua área de atuação e sua linha editorial.

## Sobre

- [Quem somos](https://exemplo.com/quem-somos): informações institucionais e editoriais.
- [Política editorial](https://exemplo.com/politica-editorial): princípios de produção, revisão e publicação.

## Reportagens

- [Investigações](https://exemplo.com/investigacoes): reportagens investigativas publicadas pelo veículo.
- [Direitos humanos](https://exemplo.com/direitos-humanos): conteúdos relacionados a direitos humanos.

## Autores

- [Equipe editorial](https://exemplo.com/autores): perfis dos jornalistas e colaboradores.

## Dados e projetos especiais

- [Bases de dados](https://exemplo.com/dados)

# Nome do veículo

> Descrição breve sobre o veículo, sua área de atuação e sua linha editorial.

## Sobre

- [Quem somos](https://exemplo.com/quem-somos): informações institucionais e editoriais.
- [Política editorial](https://exemplo.com/politica-editorial): princípios de produção, revisão e publicação.

## Reportagens

- [Investigações](https://exemplo.com/investigacoes): reportagens investigativas publicadas pelo veículo.
- [Direitos humanos](https://exemplo.com/direitos-humanos): conteúdos relacionados a direitos humanos.

## Autores

- [Equipe editorial](https://exemplo.com/autores): perfis dos jornalistas e colaboradores.

## Dados e projetos especiais

- [Bases de dados](https://exemplo.com/dados)

# Nome do veículo

> Descrição breve sobre o veículo, sua área de atuação e sua linha editorial.

## Sobre

- [Quem somos](https://exemplo.com/quem-somos): informações institucionais e editoriais.
- [Política editorial](https://exemplo.com/politica-editorial): princípios de produção, revisão e publicação.

## Reportagens

- [Investigações](https://exemplo.com/investigacoes): reportagens investigativas publicadas pelo veículo.
- [Direitos humanos](https://exemplo.com/direitos-humanos): conteúdos relacionados a direitos humanos.

## Autores

- [Equipe editorial](https://exemplo.com/autores): perfis dos jornalistas e colaboradores.

## Dados e projetos especiais

- [Bases de dados](https://exemplo.com/dados)

O objetivo é oferecer uma visão curada do site, destacando quais páginas representam melhor sua identidade, seus temas, seus autores e seus conteúdos mais importantes.

A proposta pode ser consultada em:

https://llmstxt.org/

O llms.txt não é um robots.txt para IA

O llms.txt não deve ser descrito como um mecanismo de bloqueio ou autorização de crawlers.

Ele não possui, por padrão, autoridade para determinar:

• Quais agentes podem acessar o site.

• Quais conteúdos podem ser utilizados em treinamento.

• Quais páginas podem aparecer em respostas de IA.

• Quais modelos devem respeitar uma licença.

• Quais conteúdos podem ser copiados ou reproduzidos.

O controle de acesso automatizado continua sendo feito principalmente pelo arquivo robots.txt, por regras de firewall, CDN, autenticação, cabeçalhos HTTP e políticas contratuais.

Diretivas como estas pertencem ao robots.txt:

User-agent: GPTBot
Disallow:

User-agent: GPTBot
Disallow:

User-agent: GPTBot
Disallow:

Já o llms.txt funciona como um índice editorial em Markdown. Ele pode ajudar sistemas que decidam consultá-lo, mas não substitui os mecanismos de controle de rastreamento.

O Google utiliza llms.txt?

O Google informa que não é necessário criar arquivos especiais para aparecer no AI Overviews ou no AI Mode.

Segundo a documentação do Google Search Central, as práticas tradicionais de SEO continuam válidas para os recursos generativos da busca. Para uma página aparecer como fonte, ela precisa estar indexada e apta a ser exibida nos resultados tradicionais com um snippet.

O Google também afirma que não é necessário criar:

• Arquivos de texto específicos para IA.

• Novos arquivos legíveis por máquina.

• Marcações exclusivas para AI Overviews.

• Tipos especiais de dados estruturados para IA.

Portanto, o llms.txt não deve ser apresentado como requisito do Google, fator de ranking ou condição para aparecer em respostas generativas.

As prioridades para o Google continuam sendo:

• Rastreamento permitido pelo robots.txt.

• Páginas acessíveis ao Googlebot.

• Conteúdo importante disponível em HTML.

• Indexação correta.

• Canonicalização consistente.

• Links internos.

• Conteúdo útil, original e confiável.

• Dados estruturados correspondentes ao conteúdo visível.

• Boa experiência de página.

• Imagens e vídeos de qualidade quando relevantes.

Documentação oficial:

https://developers.google.com/search/docs/appearance/ai-features

https://developers.google.com/search/docs/fundamentals/ai-optimization-guide

O llms.txt pode ter utilidade mesmo sem ser usado pelo Google?

Sim, desde que seja tratado como uma iniciativa complementar e experimental.

Um veículo jornalístico pode utilizar o arquivo para:

• Apresentar sua identidade editorial.

• Destacar reportagens de referência.

• Organizar páginas de autores.

• Indicar políticas de correção e transparência.

• Reunir projetos de dados.

• Apontar conteúdos institucionais.

• Oferecer uma seleção curada de páginas para agentes e ferramentas.

• Criar uma camada legível por máquina sem alterar a arquitetura principal do site.

O custo de implementação pode ser baixo, especialmente quando o arquivo é gerado automaticamente pelo CMS.

No entanto, sua criação não garante:

• Mais tráfego orgânico.

• Melhor posicionamento no Google.

• Citações no ChatGPT, Claude ou Gemini.

• Respeito automático a licenças.

• Bloqueio de treinamento.

• Indexação por mecanismos de IA.

Por isso, o resultado deve ser monitorado por logs do servidor, ferramentas de analytics e análise de referências recebidas.

Como controlar crawlers da OpenAI

A OpenAI documenta agentes diferentes para finalidades distintas.

OAI-SearchBot

O OAI-SearchBot está relacionado à descoberta de conteúdos que podem aparecer nos resultados de busca do ChatGPT.

Um site que deseja permitir esse rastreamento pode utilizar:

User-agent: OAI-SearchBot
Allow:

User-agent: OAI-SearchBot
Allow:

User-agent: OAI-SearchBot
Allow:

GPTBot

O GPTBot está relacionado à coleta de conteúdos que podem contribuir para o desenvolvimento e treinamento dos modelos da OpenAI.

Para bloquear esse agente:

User-agent: GPTBot
Disallow:

User-agent: GPTBot
Disallow:

User-agent: GPTBot
Disallow:

ChatGPT-User

O ChatGPT-User pode aparecer quando um usuário solicita que o ChatGPT acesse uma página específica.

Como esse acesso é iniciado por uma ação do usuário, seu comportamento pode ser diferente do rastreamento automatizado tradicional.

É possível permitir a busca do ChatGPT e, ao mesmo tempo, bloquear o crawler associado ao treinamento:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow:

Documentação oficial:

https://developers.openai.com/api/docs/bots

A separação entre busca e treinamento é particularmente relevante para veículos jornalísticos que desejam ser encontrados e citados, mas não querem liberar indiscriminadamente seus conteúdos para treinamento.

Como controlar crawlers da Anthropic

A Anthropic também documenta agentes com funções diferentes.

Claude-SearchBot

O Claude-SearchBot está relacionado à descoberta e recuperação de conteúdos para recursos de busca do Claude.

ClaudeBot

O ClaudeBot está relacionado à coleta de conteúdos que podem ser utilizados no desenvolvimento e treinamento dos modelos.

Claude-User

O Claude-User representa determinados acessos iniciados por usuários do Claude.

Um exemplo de configuração seria:

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow:

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow:

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow:

A Anthropic informa que o bloqueio do Claude-SearchBot pode limitar a possibilidade de o conteúdo aparecer em determinados resultados de busca ou respostas do Claude.

Documentação oficial:

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Essa configuração deve refletir uma decisão editorial e jurídica sobre descoberta, citação, treinamento e uso do conteúdo.

Googlebot e Google-Extended possuem funções diferentes

Também é necessário diferenciar o Googlebot do Google-Extended.

O Googlebot é responsável pelo rastreamento relacionado ao Google Search. Esse rastreamento sustenta tanto os resultados tradicionais quanto recursos como AI Overviews e AI Mode.

O Google-Extended é um token de controle utilizado para gerenciar determinados usos do conteúdo em sistemas Gemini e outros produtos de inteligência artificial do Google.

É possível permitir o Googlebot e bloquear o Google-Extended:

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow:

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow:

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow:

O bloqueio do Google-Extended não remove o site do Google Search e não deve ser tratado como bloqueio do AI Overviews dentro da busca.

Para controlar o uso do conteúdo no Google Search, continuam válidos mecanismos como:

• robots.txt para Googlebot.

• noindex.

• nosnippet.

• max-snippet.

• data-nosnippet.

• X-Robots-Tag.

A definição sobre Google-Extended deve fazer parte da política de governança de conteúdo do veículo.

O que é um ai-dataset.json

O nome ai-dataset.json tem sido utilizado em alguns projetos para descrever um endpoint personalizado que organiza informações de um site em formato JSON.

Esse arquivo pode incluir:

• Nome do veículo.

• Descrição institucional.

• Idiomas.

• Regiões de cobertura.

• Temas editoriais.

• Tipos de conteúdo.

• Autores.

• URLs canônicas.

• Datas de publicação.

• Licenças.

• Identificadores.

• Endereços de feeds e sitemaps.

Um exemplo simplificado:

{
  "organization": {
    "name": "Nome do veículo",
    "url": "https://exemplo.com",
    "language": ["pt-BR"],
    "geographicCoverage": ["Brasil"]
  },
  "editorialTopics": [
    "direitos humanos",
    "política",
    "economia",
    "meio ambiente"
  ],
  "contentTypes": [
    "reportagens",
    "investigações",
    "artigos",
    "bases de dados"
  ],
  "resources": {
    "sitemap": "https://exemplo.com/sitemap_index.xml",
    "newsSitemap": "https://exemplo.com/news-sitemap.xml",
    "rss": "https://exemplo.com/feed/",
    "llms": "https://exemplo.com/llms.txt"
  }
}

{
  "organization": {
    "name": "Nome do veículo",
    "url": "https://exemplo.com",
    "language": ["pt-BR"],
    "geographicCoverage": ["Brasil"]
  },
  "editorialTopics": [
    "direitos humanos",
    "política",
    "economia",
    "meio ambiente"
  ],
  "contentTypes": [
    "reportagens",
    "investigações",
    "artigos",
    "bases de dados"
  ],
  "resources": {
    "sitemap": "https://exemplo.com/sitemap_index.xml",
    "newsSitemap": "https://exemplo.com/news-sitemap.xml",
    "rss": "https://exemplo.com/feed/",
    "llms": "https://exemplo.com/llms.txt"
  }
}

{
  "organization": {
    "name": "Nome do veículo",
    "url": "https://exemplo.com",
    "language": ["pt-BR"],
    "geographicCoverage": ["Brasil"]
  },
  "editorialTopics": [
    "direitos humanos",
    "política",
    "economia",
    "meio ambiente"
  ],
  "contentTypes": [
    "reportagens",
    "investigações",
    "artigos",
    "bases de dados"
  ],
  "resources": {
    "sitemap": "https://exemplo.com/sitemap_index.xml",
    "newsSitemap": "https://exemplo.com/news-sitemap.xml",
    "rss": "https://exemplo.com/feed/",
    "llms": "https://exemplo.com/llms.txt"
  }
}

Esse tipo de endpoint pode ser útil em uma arquitetura própria, em integrações com agentes, em sistemas internos ou em projetos que tenham um consumidor definido.

No entanto, o ai-dataset.json não é atualmente um padrão oficial do Google, OpenAI, Anthropic, IETF, W3C ou Schema.org.

Ele também não deve ser apresentado como um sitemap universal para IA.

ai-dataset.json não é o mesmo que Dataset Schema

O Google possui suporte oficial para o tipo Dataset do Schema.org.

Esse recurso é indicado para conjuntos reais de dados, como:

• Planilhas.

• Arquivos CSV.

• Bases estatísticas.

• Dados de pesquisas.

• Dados científicos.

• Levantamentos sociais.

• Coleções de documentos estruturados.

Um site jornalístico poderia utilizar Dataset em projetos como:

• Base de feminicídios.

• Levantamento de violência política.

• Dados de eleições.

• Monitoramento ambiental.

• Pesquisa sobre desigualdade salarial.

• Dados de financiamento eleitoral.

• Base de processos judiciais.

• Série histórica de indicadores sociais.

Nesse caso, o ideal é criar uma página canônica que descreva o conjunto de dados e implementar JSON-LD com propriedades como:

• name.

• description.

• creator.

• license.

• datePublished.

• dateModified.

• distribution.

• spatialCoverage.

• temporalCoverage.

Um arquivo personalizado com informações institucionais não se torna automaticamente um Dataset reconhecido pelo Google.

O papel dos dados estruturados no jornalismo

Para sites jornalísticos, os dados estruturados implementados diretamente nas páginas possuem valor mais consolidado do que endpoints personalizados.

Os principais tipos são:

NewsArticle

Pode ser utilizado em notícias e reportagens.

Propriedades importantes incluem:

• headline.

• image.

• datePublished.

• dateModified.

• author.

• publisher.

• mainEntityOfPage.

Organization

Ajuda a descrever o veículo responsável pela publicação.

Pode incluir:

• Nome oficial.

• URL.

• Logotipo.

• Perfis sociais.

• Fundadores.

• Localização.

• Informações de contato.

Person e ProfilePage

Podem estruturar as páginas dos jornalistas, colunistas e colaboradores.

Uma página de autor bem construída pode apresentar:

• Nome completo.

• Biografia.

• Áreas de especialização.

• Cargo.

• Foto.

• Perfis profissionais.

• Reportagens publicadas.

• Informações de contato.

• Política de correções.

BreadcrumbList

Ajuda a representar a hierarquia editorial e a posição da matéria dentro do site.

Esses dados devem ser inseridos nas páginas correspondentes e refletir o conteúdo que o usuário realmente consegue visualizar.

O que um site jornalístico deve priorizar

Antes de criar arquivos experimentais, um portal de notícias deve garantir que sua estrutura principal esteja funcionando corretamente.

Prioridade 1: rastreamento e indexação

• Verificar bloqueios no robots.txt.

• Identificar respostas 403 e 5xx.

• Corrigir páginas inacessíveis ao Googlebot.

• Revisar regras de CDN e firewall.

• Monitorar erros no Search Console.

• Remover URLs inválidas dos sitemaps.

Prioridade 2: canonicalização

• Utilizar canonical autorreferente nas páginas principais.

• Consolidar versões duplicadas.

• Tratar parâmetros de URL.

• Corrigir links internos que apontam para redirecionamentos.

• Manter URLs canônicas nos sitemaps.

Prioridade 3: dados estruturados

• Implementar NewsArticle.

• Implementar Organization.

• Estruturar autores com Person e ProfilePage.

• Implementar BreadcrumbList.

• Validar os dados no Rich Results Test.

Prioridade 4: autoridade editorial

• Criar páginas completas de autores.

• Publicar política editorial.

• Publicar política de correções.

• Informar fontes e metodologia.

• Exibir datas de publicação e atualização.

• Diferenciar notícia, opinião, análise e conteúdo patrocinado.

Prioridade 5: arquitetura de conteúdo

• Criar categorias coerentes.

• Trabalhar clusters temáticos.

• Melhorar links internos.

• Criar páginas de referência.

• Atualizar matérias importantes.

• Consolidar conteúdos duplicados.

Prioridade 6: governança para IA

• Definir quais crawlers podem acessar o site.

• Separar busca, agentes e treinamento.

• Configurar OpenAI, Anthropic e Google-Extended.

• Analisar políticas de licenciamento.

• Monitorar logs.

• Testar llms.txt como recurso complementar.

• Criar endpoints personalizados apenas quando houver finalidade clara.

Como implementar llms.txt em sites jornalísticos

O arquivo deve ser enxuto, curado e fácil de manter.

Uma estrutura recomendada pode incluir:

# Nome do veículo

> Veículo jornalístico independente especializado em política, direitos humanos e temas sociais.

Informações institucionais, editoriais e conteúdos de referência publicados pelo veículo.

## Institucional

- [Sobre o veículo](https://exemplo.com/sobre): história, missão e estrutura.
- [Política editorial](https://exemplo.com/politica-editorial): princípios e critérios editoriais.
- [Política de correções](https://exemplo.com/correcoes): processo de revisão e correção.
- [Equipe](https://exemplo.com/equipe): jornalistas, editores e colaboradores.

## Cobertura editorial

- [Política](https://exemplo.com/politica): reportagens e análises políticas.
- [Direitos humanos](https://exemplo.com/direitos-humanos): investigações e conteúdos sobre direitos humanos.
- [Meio ambiente](https://exemplo.com/meio-ambiente): cobertura ambiental.

## Projetos especiais

- [Investigações](https://exemplo.com/investigacoes): principais projetos investigativos.
- [Bases de dados](https://exemplo.com/dados): pesquisas e conjuntos de dados públicos.

## Feeds e índices

- [Sitemap](https://exemplo.com/sitemap_index.xml): índice XML do site.
- [Google News Sitemap](https://exemplo.com/news-sitemap.xml): conteúdos jornalísticos recentes.
- [RSS](https://exemplo.com/feed/)

# Nome do veículo

> Veículo jornalístico independente especializado em política, direitos humanos e temas sociais.

Informações institucionais, editoriais e conteúdos de referência publicados pelo veículo.

## Institucional

- [Sobre o veículo](https://exemplo.com/sobre): história, missão e estrutura.
- [Política editorial](https://exemplo.com/politica-editorial): princípios e critérios editoriais.
- [Política de correções](https://exemplo.com/correcoes): processo de revisão e correção.
- [Equipe](https://exemplo.com/equipe): jornalistas, editores e colaboradores.

## Cobertura editorial

- [Política](https://exemplo.com/politica): reportagens e análises políticas.
- [Direitos humanos](https://exemplo.com/direitos-humanos): investigações e conteúdos sobre direitos humanos.
- [Meio ambiente](https://exemplo.com/meio-ambiente): cobertura ambiental.

## Projetos especiais

- [Investigações](https://exemplo.com/investigacoes): principais projetos investigativos.
- [Bases de dados](https://exemplo.com/dados): pesquisas e conjuntos de dados públicos.

## Feeds e índices

- [Sitemap](https://exemplo.com/sitemap_index.xml): índice XML do site.
- [Google News Sitemap](https://exemplo.com/news-sitemap.xml): conteúdos jornalísticos recentes.
- [RSS](https://exemplo.com/feed/)

# Nome do veículo

> Veículo jornalístico independente especializado em política, direitos humanos e temas sociais.

Informações institucionais, editoriais e conteúdos de referência publicados pelo veículo.

## Institucional

- [Sobre o veículo](https://exemplo.com/sobre): história, missão e estrutura.
- [Política editorial](https://exemplo.com/politica-editorial): princípios e critérios editoriais.
- [Política de correções](https://exemplo.com/correcoes): processo de revisão e correção.
- [Equipe](https://exemplo.com/equipe): jornalistas, editores e colaboradores.

## Cobertura editorial

- [Política](https://exemplo.com/politica): reportagens e análises políticas.
- [Direitos humanos](https://exemplo.com/direitos-humanos): investigações e conteúdos sobre direitos humanos.
- [Meio ambiente](https://exemplo.com/meio-ambiente): cobertura ambiental.

## Projetos especiais

- [Investigações](https://exemplo.com/investigacoes): principais projetos investigativos.
- [Bases de dados](https://exemplo.com/dados): pesquisas e conjuntos de dados públicos.

## Feeds e índices

- [Sitemap](https://exemplo.com/sitemap_index.xml): índice XML do site.
- [Google News Sitemap](https://exemplo.com/news-sitemap.xml): conteúdos jornalísticos recentes.
- [RSS](https://exemplo.com/feed/)

Não é necessário copiar todas as URLs do site. O valor do arquivo está na curadoria, não no volume.

Como utilizar um ai-dataset.json com responsabilidade

Um endpoint JSON personalizado pode ser considerado quando houver:

• Integração com um agente próprio.

• API editorial.

• Projeto de pesquisa.

• Ferramenta de busca interna.

• Sistema de recomendação.

• Dataset público.

• Necessidade de interoperabilidade.

• Processo automatizado de atualização.

Para evitar interpretações incorretas, o arquivo deve declarar seu propósito:

{
  "name": "Índice editorial do Nome do Veículo",
  "description": "Endpoint personalizado para organização interna e integrações autorizadas. Não representa um padrão universal de rastreamento ou treinamento de IA.",
  "version": "1.0",
  "updatedAt": "2026-07-16"
}

{
  "name": "Índice editorial do Nome do Veículo",
  "description": "Endpoint personalizado para organização interna e integrações autorizadas. Não representa um padrão universal de rastreamento ou treinamento de IA.",
  "version": "1.0",
  "updatedAt": "2026-07-16"
}

{
  "name": "Índice editorial do Nome do Veículo",
  "description": "Endpoint personalizado para organização interna e integrações autorizadas. Não representa um padrão universal de rastreamento ou treinamento de IA.",
  "version": "1.0",
  "updatedAt": "2026-07-16"
}

Também é importante definir:

• Frequência de atualização.

• Responsável técnico.

• Política de licença.

• Campos obrigatórios.

• Tratamento de conteúdo removido.

• Tratamento de correções.

• Identificadores persistentes.

• Relação com as URLs canônicas.

Criar um arquivo sem consumidor, manutenção ou finalidade definida pode apenas aumentar a complexidade técnica do projeto.

Benefícios potenciais para veículos jornalísticos

Quando implementados corretamente e com expectativas realistas, esses recursos podem contribuir para:

• Organização da identidade editorial.

• Documentação da política de IA do veículo.

• Separação entre rastreamento para busca e coleta para treinamento.

• Maior clareza sobre páginas prioritárias.

• Preparação para integrações futuras.

• Padronização de metadados internos.

• Apoio a agentes e ferramentas próprias.

• Monitoramento mais estruturado dos acessos automatizados.

Esses benefícios estão mais relacionados à governança, interoperabilidade e preparação técnica do que a ganhos diretos e comprovados de ranking.

Limitações que precisam ser consideradas

Os principais limites são:

• O llms.txt ainda não é um padrão obrigatório.

• Não existe garantia de que um agente consulte o arquivo.

• O arquivo não bloqueia crawlers.

• O arquivo não substitui licenças ou contratos.

• O ai-dataset.json não possui formato universal.

• Sistemas de IA podem utilizar outros métodos de descoberta.

• A manutenção manual pode gerar informações desatualizadas.

• A implementação não garante citações ou tráfego.

• A mensuração ainda é limitada.

• Regras declaradas podem não ser respeitadas por todos os agentes.

Por isso, qualquer implementação deve ser acompanhada por monitoramento e revisão periódica.

Como medir resultados

A avaliação não deve se limitar à existência dos arquivos.

É recomendável acompanhar:

• Requisições ao /llms.txt.

• Requisições ao /ai-dataset.json.

• User-agents nos logs do servidor.

• Acessos do OAI-SearchBot.

• Acessos do GPTBot.

• Acessos do Claude-SearchBot.

• Acessos do ClaudeBot.

• Acessos do Google-Extended.

• Tráfego de referência vindo do ChatGPT, Claude, Perplexity e outros serviços.

• Citações da marca e das reportagens em respostas de IA.

• Páginas mais acessadas por agentes automatizados.

• Conversões e engajamento do tráfego recebido.

É importante diferenciar rastreamento, citação e visita real de usuário. Uma requisição de crawler não representa necessariamente audiência ou resultado editorial.

Conclusão

O llms.txt é uma proposta interessante para organizar e apresentar conteúdos importantes de um site a sistemas baseados em linguagem.

Ele pode ser implementado como experimento de baixo custo, especialmente por veículos que desejam documentar sua identidade editorial e preparar uma camada de descoberta complementar.

No entanto, o arquivo não substitui o robots.txt, não controla treinamento, não é requisito do Google e não garante presença em respostas de inteligência artificial.

O ai-dataset.json, por sua vez, pode ser útil como endpoint personalizado em projetos que tenham finalidade, consumidor e processo de manutenção definidos. Ele não deve ser apresentado como padrão oficial ou sitemap universal para IA.

Para sites jornalísticos, a estratégia mais sólida continua sendo combinar:

• SEO técnico.

• Indexação correta.

• Canonicalização.

• Sitemaps.

• Dados estruturados.

• Autoria transparente.

• Arquitetura editorial.

• Conteúdo original.

• Controle de crawlers.

• Política de licenciamento.

• Monitoramento de acessos automatizados.

• Experimentos documentados com novas tecnologias.

A preparação para a busca generativa não exige abandonar os fundamentos do SEO. Ela exige ampliar a governança sobre como o conteúdo é rastreado, interpretado, citado e utilizado por diferentes plataformas.

Fontes oficiais e referências

Google Search Central: recursos de IA e seu website

https://developers.google.com/search/docs/appearance/ai-features

Google Search Central: otimização para recursos generativos

https://developers.google.com/search/docs/fundamentals/ai-optimization-guide

OpenAI: documentação oficial dos crawlers

https://developers.openai.com/api/docs/bots

Anthropic: documentação sobre ClaudeBot, Claude-User e Claude-SearchBot

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Proposta do llms.txt

https://llmstxt.org/

Cloudflare: controles e opções para tráfego de IA

https://blog.cloudflare.com/content-independence-day-ai-options/