Un correctif au problème strawberry : adapter les LLM pour qu'ils lisent les lettres
Demandez à beaucoup de chatbots combien il y a de r dans strawberry : ils répondent deux. La raison, ce sont les tokens.
Par La rédaction, Actualités · · 1 min de lecture
Tags: modèles de langage · tokenisation · recherche · nature
- L'essentiel
- Demandez à beaucoup de chatbots combien il y a de r dans strawberry : ils répondent deux.
- Pourquoi cela compte
- La raison, ce sont les tokens.
- Ce qui est établi
- La photographie a été générée pour cet article.
Lié à une source nommée. Non marqué comme vérifié. Nature News and Views: Retrofitted LLM can count the letter i's in artificial intelligence
L'actualité
Un article de Nature, signé Minixhofer et ses collègues, décrit une technique appelée byteification, qui adapte des grands modèles de langage existants fondés sur des tokens pour qu'ils fonctionnent au niveau de l'octet, et leur donne ainsi accès aux caractères un par un. Les auteurs montrent que les modèles ainsi convertis atteignent des performances compétitives tout en gardant la capacité de lire les caractères individuels, selon un texte News and Views d'accompagnement publié le 7 octobre.
Pourquoi c'est important
La cécité aux caractères provoque des erreurs d'orthographe, de code, de noms, et dans les langues à morphologie riche. Adapter les modèles existants coûte bien moins cher que d'en entraîner de nouveaux au niveau de l'octet.
Les détails
La plupart des LLM encodent le texte en tokens qui représentent des suites de lettres, donc ils ne voient pas les octets qui composent chaque mot. C'est pourquoi beaucoup de modèles disent que strawberry contient deux r au lieu de trois, expliquent les auteurs du News and Views, Zhao Zhang et Yingfei Xiong.
La byteification convertit un modèle déjà entraîné au lieu de tout recommencer, ce qui compte vu le coût du préentraînement.
Ce que nous n'avons pas pu vérifier
- Nous avons lu le résumé News and Views, pas l'article complet.
- Les comparaisons de performance dépendent des benchmarks choisis par les auteurs.
Sources
La photographie a été générée pour cet article. Elle ne montre pas les personnes qui y sont nommées.