Токен
Кусочек текста, которым считает нейросеть: слово или часть слова. По токенам считают длину запроса и ответа, а иногда и цену.
Пример
Длинное слово может занять несколько токенов.
Кусочек текста, которым считает нейросеть: слово или часть слова. По токенам считают длину запроса и ответа, а иногда и цену.
Длинное слово может занять несколько токенов.