Uso indiscriminado de IA para redação científica preocupa pesquisadores

O uso da inteligência artificial dos chamados grandes modelos de linguagem (LLMs), com ChatGPT e Gemini, para escrever trabalhos científicos continua se disseminando e preocupa pesquisadores.

Muitos periódicos acadêmicos importantes já possuem política que restringe total ou parcialmente o uso desses chatbots, mas dois terços das publicações ainda não possuem regras para tal, indica um levantamento recente feito pela Universidade McMaster, de Ontario (Canadá).

O trabalho, liderado pelo cientista Daivat Bhavsar, inquiriu mais de 162 publishers da Associação Internacional de Editoras Científicas, Técnicas e Médicas (STM), e apenas 56 delas já tinham no meio do ano passado diretrizes específicas para uso de IA. Destas, apenas quatro implementaram política de tolerância zero. Outras aceitavam uso para correção gramatical ou de estilo, mas exigiam que os artigos incluíssem um aviso.

Investigando esse ambiente ainda sem regras universais para IA, uma outra pesquisa recente indica que os LLMs foram usados em pelo menos 12% dos artigos acadêmicos publicados em revistas indexadas, aqueles que contam oficialmente como produção científica. A estimativa foi feita pelo pesquisador Andrew Gray, do University College de Londres, varrendo uma série estudos do mundo todo na base de dados Dimensions.

"Até 12% dos artigos acadêmicos publicados em 2024 têm sinais de uso de LLMs, indicados pelo uso desproporcionalmente comum de palavras distintas, tomadas com marcadores do texto" escreveu o pesquisador em um artigo preliminar na plataforma Arxiv. "Em uma estimativa conservadora, pelo menos 10% dos artigos podem ter sido editados, traduzidos ou parcialmente gerados por LLMs".

Gray não foi o único a tentar fazer essa medição. Outros pesquisadores obtiveram estimativas com números entre 8% e 16%.

LLMs x outras IAs

O uso da inteligência artificial, de modo geral, é aceito em pesquisa, mas é preciso diferenciar o emprego de LLMs do de outras tecnologias. É aceitável um cientista criar um sistema de IA para previsão meteorológica, por exemplo, e descrevê-lo em um estudo mostrando qual foi seu desempenho.

O receio de pesquisadores com o uso do LLM é que esta não é uma ferramenta criada para construir raciocínio ou fazer análise. O ChatGPT é, desde sua origem, uma espécie de versão ultra-sofisticada da antiga ferramenta de "autocompletar" dos editores de texto. É extremamente fácil de usar, mas tudo o que escreve é por previsão estatística.

O uso das LLMs preocupa também porque tem sido feito de maneira não transparente. A maioria dos papers etiquetados na pesquisa de Gray como "suspeitos" de usar IA não alertavam o leitor para uso de LLMs, mesmo em algumas publicações que já o exigem.

Nos bastidores da ciência

Pela praticidade de uso e por possibilitar acelerar algumas etapas do trabalho, os chatbots modernos vêm sendo usados não só para escrever artigos, mas em outras etapas do processo de produção científica. É comum seu uso na submissão de projetos de pesquisa e nos pareceres de revisão por pares (peer review), em que cientistas são consultados anonimamente para avaliar o trabalho de outros.

No Brasil, agências de fomento à ciência já adotam uma política rígida para restringir as LLMs nesses processos.

— Quando nós avaliamos um projeto de pesquisa, a gente precisa identificar a capacidade crítica do estudante ou do pesquisador que está fazendo uma proposta.Se ele usa o chatbot como um instrumento de escritor ou de autor, ele está fazendo completamente errado — diz o neurocientista Esper Cavalheiro, assessor da diretoria científica da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp). — Se ele delega o trabalho à LLM, ele não está colocando ali aquilo que o diferencia dos demais e que faz dele merecedor de um financiamento, de uma bolsa ou da publicação de um paper.

Zona cinzenta

Como tudo em ética, porém, existe uma área cinzenta para uso da IA em redação científica. Diretrizes da Fapesp e outras agências de fomento aceitam o uso de chatbots para correção de gramática e estilo, mas alertam que o autor precisa ser atento, porque nem sempre as LLMs distinguem de maneira clara o que alterar forma ou conteúdo.

Softwares para detectar uso de LLM em textos têm sido usados por alguns periódicos e por alguns pareceristas, às vezes sem o autor do estudo avaliado saber. Esses programas, como aquele no estudo de Gray, funcionam analisando o estilo de inglês do texto do trabalho. Um artigo pode cair na "malha fina" dessas ferramentas mesmo tendo usado IA apenas para depurar a linguagem.

É difícil saber qual de infiltração que chatbots estão tendo na literatura científica hoje, mas um sinal de que a IA está sendo usada para muito mais do que faxina verbal é de que as chamadas "alucinações" (informações fantasiosas que as LLMs ocasionalmente fornecem como resultado), estão entrando nos estudos. As referências bibliográficas no fim dos artigos são o objeto preferido de piração dos robôs, que citam alguns estudos que nunca foram feitos.

Citações inventadas

Um teste feito por um grupo de pesquisa da Universidade de Washington mostrou que entre 78% e 90% das pesquisas de literatura feitas com o ChatGPT retornam ao menos uma citação fabricadas, e quase sempre retornam citações irrelevantes.

Essa equipe, liderada pela cientista Akari Asai, está trabalhando agora num sistema de IA específico para a tarefa, ciente de que o trabalho de pesquisa bibliográfica é um dos que mais consomem tempo na rotina acadêmica. Em artigo na Nature, ela demonstrou como construiu seu modelo, o OpenScholar, e como ele foi capaz de fazer bibliografias com qualidade equiparável à de um humano, partindo de perguntas científicas.

Esse tipo de aprimoramento, que tem ocorrido rapidamente desde que o ChatGPT desencadeou uma explosão tecnológica de modelos de linguagem em 2022, requer que cientistas repensem a todo momento suas políticas para uso da IA e suas implicações éticas.

Fato consumado

Para o cientista da computação Virgílio Almeida, professor da UFMG e coordenador do grupo de trabalho de IA na Academia Brasileira de Ciências (ABC), a entra da IA na produção científica é um fato consumado. Cabe agora aos pesquisadores tentar extrair o lado positivo dela.

— Eu vejo muitos alunos de graduação e de pós fazendo uso das LLMs, alguns de maneira positiva, outros nem tanto — afirma. — Eu acho que existem inúmeras possibilidades de ampliar a produção científica, sobretudo com ajuda no campo da linguagem, mas é preciso seguir regras e é preciso ter transparência.

Almeida defende que instituições ampliem seus programas de alfabetização tecnológicas, para que acadêmicos entendam melhor como a IA funciona e como pode (ou não) ser usada. Isso é importante, diz também em áreas de humanas e biológicas, onde nem sempre os professores têm familiaridade com computação.

Cavalheiro, da Fapesp, afirma que é preciso um esforço na academia para convencer jovens cientistas de áreas mais técnicas que o trabalho de redação não é uma mera burocracia que precisa ser cumprida para apresentação de números nos artigos. Dessa perspectiva, delegar trabalho a robôs perde o sentido, mesmo quando estes são bem sucedidos.

— Eu sempre aprendi que o cientista deve saber traduzir em palavras tudo aquilo que ele faz. Ele publica um artigo para que alguém entenda completamente o que ele fez e continue a partir dali o trabalho dele — diz. — A ciência só ganha se aquele que fez algo pela primeira vez consegue traduzir a sua realização para outro, de forma adequada. Não são números, não são gráficos, não são tabelas. Trata-se de saber dizer, saber contar o que foi feito.