Токен

Минимальная единица текста для нейросети: часть слова, слово или знак препинания.

AI считает цену и объём работы в токенах. Один токен примерно равен 0.75 слова на английском или 0.3–0.5 иероглифа/русской буквы.

Категория: технология