Ein Fix für das strawberry-Problem: LLMs nachrüsten, damit sie Buchstaben lesen
Fragt man viele Chatbots, wie viele r in strawberry stecken, sagen sie zwei. Der Grund sind die Token.
Von Die Redaktion, Nachrichten · · 1 Min. Lesezeit
Verantwortet von Dimitri Gärtner
Tags: Sprachmodelle · Tokenisierung · Forschung · Nature
- Die Nachricht
- Fragt man viele Chatbots, wie viele r in strawberry stecken, sagen sie zwei.
- Warum es zählt
- Der Grund sind die Token.
- Was belegt ist
- Das Foto ist für diese Geschichte generiert.
An eine genannte Quelle gebunden. Nicht als geprüft markiert. Nature News and Views: Retrofitted LLM can count the letter i's in artificial intelligence
Die Nachricht
Eine Arbeit in Nature von Minixhofer und Kollegen berichtet von einer Technik namens Byteification, die bestehende große Sprachmodelle auf Token-Basis nachrüstet, damit sie auf der Ebene der Bytes arbeiten und Zugang zu einzelnen Zeichen erhalten. Die Autoren zeigen, dass Modelle nach der Byteification eine wettbewerbsfähige Leistung erreichen und dabei die Fähigkeit behalten, einzelne Zeichen zu lesen, laut einem begleitenden Beitrag in News and Views, veröffentlicht am 7. Oktober.
Warum es zählt
Blindheit für Zeichen verursacht Fehler bei der Rechtschreibung, bei Code, bei Namen und bei Sprachen mit reicher Morphologie. Bestehende Modelle nachzurüsten ist weit billiger, als neue Modelle auf der Ebene der Bytes zu trainieren.
Die Einzelheiten
Die meisten LLMs kodieren Text als Token, die für Folgen von Buchstaben stehen, sie sehen also die Bytes nicht, aus denen jedes Wort besteht. Deshalb sagen viele Modelle, strawberry enthalte zwei r statt drei, erklären Zhao Zhang und Yingfei Xiong, die Autoren des Beitrags in News and Views.
Die Byteification wandelt ein trainiertes Modell um, statt von vorn anzufangen, was angesichts der Kosten des Vortrainings zählt.
Was wir nicht prüfen konnten
- Wir haben die Zusammenfassung in News and Views gelesen, nicht die vollständige Arbeit.
- Vergleiche der Leistung hängen von Benchmarks ab, die die Autoren gewählt haben.
Quellen
Das Foto ist für diese Geschichte generiert. Es zeigt nicht die darin genannten Personen.