Параметры — это внутренние числовые настройки (веса), формируемые при обучении; это миллиарды «регуляторов», определяющих важность связей между словами, предложениями и идеями. У GPT-2 было 1,5 млрд параметров, у LLaMA 3.1 — до 405 млрд, у GPT-4, по оценкам, около 1,8 трлн параметров. Количество параметров перестало быть главным показателем качества — на практике важнее качество данных, архитектура, методы дообучения и алгоритмы оптимизации.