Токен

Если без шуток

Токен — это минимальная единица текста, которую обрабатывает языковая модель. В зависимости от алгоритма токенизации, токеном может быть как целое слово, так и его часть, символ или даже пробел. Это базовый строительный блок, на основе которого ИИ вычисляет вероятности появления следующего элемента в последовательности.