O revisor de IA da Sakana pega a maioria dos erros plantados em artigos, e bem menos os reais
Em artigos que de fato foram retirados, a detecção caiu para 16% a 26%. O benchmark é um piso, não um problema resolvido.
Por A redação, Reportagem · · 1 min de leitura
Tags: revisão por pares · sakana ai · pesquisa · ciência
- A notícia
- Em artigos que de fato foram retirados, a detecção caiu para 16% a 26%.
- Por que importa
- O benchmark é um piso, não um problema resolvido.
- O que está confirmado
- A fotografia foi gerada para esta matéria.
Ligado a uma fonte nomeada. Não marcado como verificado. arXiv listing (cs.CL)
A notícia
Pesquisadores da Sakana AI publicaram no arXiv o artigo Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review. Ele apresenta um Contradiction Benchmark de 1.164 variantes de artigos, construído pela inserção de contradições lógicas em 257 artigos reais de conferências, e um sistema Multi-Layered Review de três agentes que lê apêndices e trabalhos relacionados antes de escrever uma revisão.
Por que importa
A ciência está afogada em submissões, inclusive enxurradas de artigos gerados por IA. Uma checagem de erros barata e confiável mudaria a escala da revisão por pares, mas só se funcionar em erros reais.
Os detalhes
Com quatro revisões, o sistema pegou 73,4% das contradições na afirmação principal, contra 14,8% da melhor baseline anterior, a cerca de US$ 0,50 por revisão, relatam os autores.
Em artigos reais que foram retirados, a taxa de detecção caiu para 16% a 26%, conforme o rigor com que as correspondências foram pontuadas. Os resultados são dos próprios autores e não foram replicados de forma independente.
O que não conseguimos checar
- Ele próprio ainda não passou por revisão por pares.
- Contradições sintéticas podem ser mais fáceis de detectar do que erros reais.
Fontes
A fotografia foi gerada para esta matéria. Ela não mostra as pessoas citadas no texto.