El revisor de IA de Sakana detecta la mayoría de los errores plantados en los artículos, y muchos menos de los reales
En artículos que de verdad se retiraron, la detección bajó a entre el 16 y el 26 por ciento. La prueba de referencia es un suelo, no un problema resuelto.
Por La redacción, Noticias · · 1 min de lectura
Etiquetas: revisión por pares · Sakana AI · investigación · ciencia
- La noticia
- En artículos que de verdad se retiraron, la detección bajó a entre el 16 y el 26 por ciento.
- Por qué importa
- La prueba de referencia es un suelo, no un problema resuelto.
- Qué está confirmado
- La fotografía está generada para esta historia.
Ligado a una fuente nombrada. No marcado como verificado. arXiv listing (cs.CL)
La noticia
Investigadores de Sakana AI publicaron en arXiv «Más allá de la imitación: un marco y una prueba de referencia para la revisión por pares asistida por modelos de lenguaje» (Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review). Presenta el Contradiction Benchmark, con 1.164 variantes de artículos, construido al insertar contradicciones lógicas en 257 artículos reales de congresos, y un sistema de tres agentes y de varias capas, el Multi-Layered Review, que lee los apéndices y el trabajo relacionado antes de redactar una revisión.
Por qué importa
La ciencia se ahoga en envíos, incluidos aluviones de artículos generados por IA. Comprobar errores de forma barata y fiable cambiaría cómo crece la revisión por pares, pero solo si funciona con los errores de verdad.
Los detalles
Con cuatro revisiones, el sistema detectó el 73,4 por ciento de las contradicciones de la afirmación principal, frente al 14,8 por ciento de la mejor línea de base anterior, a unos 0,50 dólares por revisión, informan los autores.
En artículos reales que se retiraron, la tasa de detección bajó a entre el 16 y el 26 por ciento, según lo estricto del criterio con que se puntuaban las coincidencias. Los resultados son de los propios autores y no se han replicado de forma independiente.
Lo que no pudimos comprobar
- El propio trabajo todavía no ha pasado la revisión por pares.
- Las contradicciones sintéticas pueden ser más fáciles de ver que los errores reales.
Fuentes
La fotografía está generada para esta historia. No muestra a las personas nombradas en ella.