По словам профессора, галлюцинация — не инженерный артефакт и не дефект архитектуры трансформеров: механизм attention неизбежно содержит появление галлюцинаций; существуют статистические ограничения, которые не преодолеет ни одна текущая архитектура, масштаб или оптимизация. Математическое обоснование: множество всех функций из целых чисел в целые континуально, множество вычислимых функций счётно — LLM реализуют только вычислимые функции, поэтому не могут точно отобразить всю область задач. Теорема: для любого вычислительно перечислимого множества всегда найдётся такая входная последовательность, на которой LLM неизбежно ошибётся.