Процесс состоит из пяти ключевых этапов:

  1. Токенизация — строка текста превращается в последовательность целых чисел (ID токенов) из словаря модели (от 50 000 до 256 000 элементов).
  2. Эмбеддинги — каждому ID ставится в соответствие вектор длиной в hidden size (например, 4096 чисел), семантически близкие токены получают похожие векторы.
  3. Позиционное кодирование — к эмбеддингу прибавляется информация о позиции токена, чтобы модель различала порядок слов (RoPE — современный стандарт).
  4. Слои внимания и FFN — токены обмениваются информацией через механизм self-attention; многослойная сеть прямого распространения хранит «знания».
  5. Предсказание следующего токена — итоговый вектор преобразуется в логиты, затем через Softmax — в распределение вероятностей; выбирается один токен, приписывается к контексту, цикл повторяется.