Made with AI
ストロベリー問題の修正：LLMを後付けで、文字が読めるようにする
多くのチャットボットに、strawberryのなかのrはいくつかと尋ねると、2つと答える。理由はトークンだ。
筆者 編集部, ニュース · · 1分で読める
タグ: 言語モデル · トークン化 · 研究 · Nature
- このニュース
- 多くのチャットボットに、strawberryのなかのrはいくつかと尋ねると、2つと答える。理由はトークンだ。
- なぜ重要か
- バイト化についてのNatureの論文は、既存のトークン方式の言語モデルをバイト単位で動くように変換でき、文字を数えられ、競争力も保てることを示している。
- 確認できたこと
- 写真はこの記事のために生成したものです。本文で名の挙がる人物は写っていません。
名前のある出典に紐づく。検証済みとは記していない。 Nature News and Views: Retrofitted LLM can count the letter i's in artificial intelligence
ニュース
Minixhofer らによる Nature の論文は、バイト化（byteification）と呼ぶ手法を報告している。既存のトークン方式の大規模言語モデルを後付けでバイト単位に動くようにし、個々の文字へアクセスできるようにする。著者らは、バイト化したモデルが個々の文字を読む能力を保ちつつ、競争力のある性能を達成することを示した、と 10月7日に公開された付随の News and Views は述べている。
なぜ重要か
文字が見えないことは、綴り、コード、名前、形態が豊かな言語で誤りを起こす。既存のモデルを後付けする方が、新しいバイト単位のモデルを学習するよりはるかに安い。
詳細
ほとんどの LLM は、文字の並びを表すトークンとしてテキストを符号化するので、各単語を構成するバイトを見ることができない。だから多くのモデルは、strawberry に含まれる r は 3 つではなく 2 つだと言う、と News and Views の著者 Zhao Zhang と Yingfei Xiong は説明している。
バイト化は、最初からやり直すのではなく、学習済みのモデルを変換する。事前学習の費用を考えれば、それは重要だ。
確認できなかったこと
- 私たちは News and Views の要約を読んだのであり、論文の全文ではない。
- 性能の比較は、著者らが選んだベンチマークに依存する。