Análises de IA apontam possíveis sinais de uso da tecnologia em relatório da PF

Um relatório de inteligência da Polícia Federal (PF), utilizado pelo ministro Alexandre de Moraes, do Supremo Tribunal Federal (STF), no Inquérito das Fake News, apresenta características que foram associadas ao uso de inteligência artificial (IA) por dois dos quatro modelos submetidos a uma análise independente.

ChatGPT e Claude apontaram padrões de linguagem e estrutura que, segundo suas avaliações, são compatíveis com textos produzidos, organizados ou revisados com auxílio de IA. As ferramentas estimaram, respectivamente, 75% e 73% de probabilidade de participação da tecnologia na elaboração do documento.

Os resultados, contudo, não foram unânimes. O Gemini calculou uma probabilidade de apenas 5%, enquanto o Grok chegou a 15%. A diferença entre as avaliações chega a 70 pontos porcentuais e impede que os testes sejam tratados como confirmação do uso de IA no relatório.

Repetição de estruturas chama atenção

Os quatro modelos receberam exatamente o mesmo relatório e o mesmo comando de análise. O prompt utilizado foi elaborado pelo professor Marcelo Sabbatini, da Universidade Federal de Pernambuco, para identificar características aparentes associadas a textos produzidos por inteligência artificial.

Entre os critérios avaliados estavam a repetição de palavras e estruturas sintáticas, a regularidade do estilo, construções semelhantes a modelos predefinidos, naturalidade do discurso, contextualização e qualidade dos exemplos.

ChatGPT e Claude destacaram principalmente a repetição de uma estrutura ao longo do documento. O relatório apresenta, em diferentes trechos, uma sequência composta por fatos, avaliação, grau de confiança, hipóteses alternativas, riscos e recomendações.

Expressões como “Avalia-se que”, “Registre-se” e “Grau de confiança” também aparecem de forma recorrente.

Os modelos identificaram ainda frases construídas segundo padrões de oposição, como “não é X, mas Y”, além de trechos que explicam os limites das próprias conclusões.

Conteúdo específico reduz força da hipótese

Apesar dos padrões identificados, o próprio conteúdo do relatório apresenta elementos que dificultam classificá-lo simplesmente como um texto genérico produzido por IA.

O documento contém datas, números de procedimentos, referências legais, valores, nomes e menções a outros documentos. Para ChatGPT e Claude, esse nível de especificidade pesa contra a hipótese de uma produção integralmente automatizada.

A possibilidade considerada pelos modelos, portanto, é que uma ferramenta de IA possa ter sido utilizada eventualmente para organizar, redigir ou revisar informações previamente fornecidas por uma pessoa, e não necessariamente para produzir todo o conteúdo do relatório.

Gemini e Grok chegam a outra conclusão

Gemini e Grok interpretaram os mesmos padrões de maneira diferente. Para as duas ferramentas, a regularidade encontrada pode ser explicada pela própria natureza técnica e institucional de um relatório de inteligência policial.

O Gemini classificou como “Muito baixa / improvável” a possibilidade de geração por IA e atribuiu índice de 5%. O modelo considerou a densidade das informações específicas, a metodologia analítica e a padronização do documento como fatores relevantes.

O Grok estimou a possibilidade em 15% e avaliou que a repetição de expressões como “Grau de confiança” e “Avaliação”, assim como das classificações “[D]”, “[R]” e “[A]”, poderia cumprir uma função metodológica.

Teste não comprova autoria ou uso de IA

O professor Marcelo Sabbatini, responsável pelo prompt utilizado na análise, recomenda cautela na interpretação dos resultados. Segundo ele, a ferramenta não deve ser utilizada como prova definitiva de autoria.

Ao apresentar o método, em março de 2025, Sabbatini afirmou: “Em hipótese nenhuma assuma que é um veredito inquestionável e objetivo”.

Dessa forma, os testes realizados apontam indícios e padrões textuais, mas não comprovam que inteligência artificial tenha sido empregada na elaboração do relatório da PF. A divergência entre os quatro modelos reforça a necessidade de considerar outras evidências antes de estabelecer qualquer conclusão sobre a origem ou o processo de produção do documento.