शब्दावली

Token

ये परिभाषाएँ अंग्रेज़ी में हैं।

A chunk of text a model reads or writes. A token is not the same thing as a word.