Что нужно знать?

Рассмотрим такие понятия как токены и генерации, которые нам понадобятся при работе.

Токен — это единица измерения, которую использует для подсчета стоимости чат. Он отличается тем, что учитывает не слова и не символы, а лексемы. Количество лексем в слове рассчитывается алгоритмами нейросети, исходя из различных параметров и его нельзя точно высчитать.

Генерация — это один запрос к модели. Причем запрос должен быть успешным. Т.е. мы посылаем запрос и нейросеть дает нам ответ - это одного запроса.Чтобы проще было вести учет, мы используем в обработке генерации, которые состоят из токенов и которые учитываются при работе с чатом.