Модель получает текст, считает вероятности следующего токена, выбирает один (самый вероятный или другой, в зависимости от параметра «температура»), дописывает его и повторяет процесс — так ответ рождается токен за токеном. Например, после фразы «Кошка села на ___» модель присваивает вероятности: «коврик» 42%, «диван» 27%, «стул» 18%, «окно» 8%, «телефон» 5% — и выбирает «коврик».