Un arreglo para el problema de strawberry: adaptar los LLM para que lean las letras
Pregunta a muchos chatbots cuántas erres hay en strawberry y dicen que dos. La razón son los tokens.
Por La redacción, Noticias · · 1 min de lectura
Etiquetas: modelos de lenguaje · tokenización · investigación · Nature
- La noticia
- Pregunta a muchos chatbots cuántas erres hay en strawberry y dicen que dos.
- Por qué importa
- La razón son los tokens.
- Qué está confirmado
- La fotografía está generada para esta historia.
Ligado a una fuente nombrada. No marcado como verificado. Nature News and Views: Retrofitted LLM can count the letter i's in artificial intelligence
La noticia
Un artículo en Nature de Minixhofer y sus colegas presenta una técnica llamada byteification, que adapta modelos de lenguaje grandes ya existentes y basados en tokens para que operen a nivel de byte, y así accedan a los caracteres individuales. Los autores muestran que los modelos adaptados logran un rendimiento competitivo y conservan la capacidad de leer caracteres individuales, según un texto acompañante de News and Views publicado el 7 de octubre.
Por qué importa
La ceguera ante los caracteres provoca errores de ortografía, de código, de nombres y en lenguas de morfología rica. Adaptar los modelos que ya existen es mucho más barato que entrenar otros nuevos a nivel de byte.
Los detalles
La mayoría de los LLM codifican el texto como tokens que representan secuencias de letras, así que no pueden ver los bytes que forman cada palabra. Por eso muchos modelos dicen que strawberry contiene dos erres en lugar de tres, explican Zhao Zhang y Yingfei Xiong, autores del News and Views.
La byteification convierte un modelo ya entrenado en lugar de empezar de cero, lo que importa por el coste del preentrenamiento.
Lo que no pudimos comprobar
- Leímos el resumen de News and Views, no el artículo completo.
- Las comparaciones de rendimiento dependen de las pruebas de referencia que eligieron los autores.
Fuentes
La fotografía está generada para esta historia. No muestra a las personas nombradas en ella.