Um conserto para o problema do strawberry: adaptar LLMs para ler letras
Pergunte a muitos chatbots quantos r há em strawberry e eles dizem dois. A razão são os tokens.
Por A redação, Reportagem · · 1 min de leitura
Tags: modelos de linguagem · tokenização · pesquisa · nature
- A notícia
- Pergunte a muitos chatbots quantos r há em strawberry e eles dizem dois.
- Por que importa
- A razão são os tokens.
- O que está confirmado
- A fotografia foi gerada para esta matéria.
Ligado a uma fonte nomeada. Não marcado como verificado. Nature News and Views: Retrofitted LLM can count the letter i's in artificial intelligence
A notícia
Um artigo na Nature, de Minixhofer e colegas, descreve uma técnica chamada byteification que adapta modelos de linguagem grandes já existentes, baseados em tokens, para operar no nível do byte, dando a eles acesso a caracteres individuais. Os autores mostram que modelos byteificados alcançam desempenho competitivo e preservam a capacidade de ler caracteres individuais, segundo um texto acompanhante da seção News and Views publicado em 7 de outubro.
Por que importa
A cegueira a caracteres causa erros de ortografia, código, nomes e línguas de morfologia rica. Adaptar modelos existentes é muito mais barato do que treinar novos modelos no nível do byte.
Os detalhes
A maioria dos LLMs codifica o texto como tokens que representam sequências de letras, então não consegue ver os bytes que formam cada palavra. É por isso que muitos modelos dizem que strawberry contém dois r, e não três, explicam os autores do News and Views, Zhao Zhang e Yingfei Xiong.
A byteification converte um modelo já treinado em vez de começar do zero, o que importa diante do custo do pré-treino.
O que não conseguimos checar
- Lemos o resumo do News and Views, não o artigo completo.
- As comparações de desempenho dependem de benchmarks escolhidos pelos autores.
Fontes
A fotografia foi gerada para esta matéria. Ela não mostra as pessoas citadas no texto.