Token
الرمز (Token)
Definition
The basic unit of text a language model reads and writes — a word, part of a word or a character.
التعريف (بالعربية)
أصغر وحدة نصية يعالجها النموذج اللغوي، وقد تكون كلمة أو جزءاً من كلمة أو حرفاً.
Try this prompt
Roughly how many tokens is this text, and will it fit in one message?