Логотип сайта | Тимофей Ермолаев - Автор блога, директор по информационным технологиям.

Суббота, 5 сентября
Москва

Навигация

Читать 12 минут

Статьи

Необходима консультация?

Ермолаев Тимофей | CIO

05.09.2026

© Copyright 2016 - 2026• Тимофей Ермолаев — личный блог Директора по ИТ | CIO • Все права защищены • Разработано самостоятельно (затрачено три бутерброда)

Галлюцинации нейросетей: почему LLM выдумывают факты

Опубликовано: 04.08.2026
Просмотров: 127
Обновлено: 18.08.2026
Галлюцинации нейросетей: фрагментированное лицо LLM и вымышленные источники в ответах модели
Тимофей ЕрмолаевДиректор по ИТ (CIO)
Более 10 лет сфере управления ИТ и автоматизации бизнеса в капиталоемких отраслях (энергетика, строительство, производство). Понятным языком рассказываю бизнесу, как приземлить хайп вокруг LLM и нейросетей на реальные процессы бэк-офиса.

TL;DR​​ Галлюцинация большой языковой модели (LLM) — это правдоподобный, но неверный, выдуманный или не подтверждённый исходным контекстом ответ. Она возникает не потому, что нейросеть «видит» несуществующее или намеренно обманывает: модель генерирует вероятное продолжение текста и не имеет встроенной гарантии истинности каждого утверждения. Поэтому уверенный тон, ссылка или точная цифра сами по себе ничего не доказывают. Ни хороший промпт, ни подключение внешних источников через RAG не устраняют риск полностью.

Что называют галлюцинацией LLM

Галлюцинация большой языковой модели (LLM) — это утверждение или элемент ответа, который выглядит уместно и убедительно, но противоречит проверяемым фактам, не соответствует исходному контексту либо не имеет заявленного подтверждения.

Галлюцинацией может быть не только полностью выдуманная история, но и неверная дата, приписанная другому человеку цитата, несуществующая научная статья или вывод, которого нет в предоставленном документе.

В исследованиях генерации естественного языка этим термином обозначают широкий круг правдоподобных, но неподтверждённых или несогласованных с источником результатов.

Галлюцинация, фактическая ошибка и устаревшие данные

Не каждый неверный ответ возникает одинаково. Для проверки полезно различать как минимум четыре ситуации.

Тип проблемы Что произошло Пример
Галлюцинация Модель добавила неподтверждённую деталь или выдумала источник Указала статью и DOI, которых не существует
Фактическая ошибка Утверждение можно проверить, и оно не соответствует действительности Перепутала год события или имя автора
Противоречие контексту Ответ расходится с предоставленным текстом, таблицей или инструкцией В отчёте указано 18%, а модель написала 28%
Устаревшие данные Информация могла быть верной раньше, но перестала соответствовать текущему состоянию Названа прежняя цена, должность или версия продукта

Границы между этими категориями могут пересекаться. Например, выдуманная дата одновременно является галлюцинацией и фактической ошибкой. Однако различие помогает понять, что именно проверять: внешний мир, исходный материал или актуальность сведений.

В научной литературе для этого также используют понятия factuality и faithfulness. Factuality​​​ показывает, соответствует ли утверждение известным фактам, а faithfulness​​ — следует ли ответ предоставленному источнику. Модель может написать общеизвестный и достоверный факт, которого не было в исходном документе: такой фрагмент будет фактически верным, но не вполне верным источнику. Возможна и обратная ситуация — модель точно перескажет документ, содержащий ошибочные данные. Исследования абстрактивной суммаризации показывают, что связный и грамматически правильный текст сам по себе не гарантирует соответствия исходному материалу.

Почему термин условный

Слово «галлюцинация» — удобная метафора, это не описание человеческого психического или зрительного опыта. У языковой модели нет восприятия реальности в человеческом смысле: она создаёт последовательность текста и может сформировать утверждение, для которого нет достаточного основания. Поэтому выражения «нейросеть увидела» или «решила обмануть» не объясняют механизм и могут вводить в заблуждение.

На практике лучше называть конкретный дефект: вымышленный источник, неподтверждённое утверждение, противоречие документу, неверное число или устаревшая информация. Такие формулировки сразу подсказывают способ проверки и не позволяют принять уверенный стиль ответа за доказательство его достоверности.

Почему нейросеть выдаёт правдоподобную неправду

Прежде всего потому, что базовая задача языковой модели — продолжать текст наиболее вероятным образом, а не независимо сверять каждое утверждение с реальностью. Риск ошибки возрастает, когда в обучающих данных есть пробелы или противоречия, запрос допускает разные толкования, необходимая информация не помещается в доступный контекст либо способ генерации допускает более вариативные продолжения. Поэтому связность, конкретность и уверенный тон ответа показывают, насколько текст похож на подходящее продолжение, но не доказывают его истинность.

Вероятность следующего токена — не вероятность истинности

LLM создаёт ответ последовательно, по одному токену — слову, части слова, знаку препинания или другому фрагменту текста. На каждом шаге модель оценивает, какие токены вероятнее всего продолжат уже имеющуюся последовательность. Во время предварительного обучения она таким образом усваивает грамматику, стили, связи между понятиями и значительный объём сведений, встречавшихся в текстовых данных. Однако вероятность следующего токена не равна вероятности того, что выраженное всей фразой утверждение истинно.

Например, после слов «исследование было опубликовано в журнале» закономерным продолжением будут название издания, год и авторов. Модель способна построить библиографически убедительную запись, даже если у неё недостаточно оснований для точного ответа. Каждый фрагмент такой записи может хорошо сочетаться с предыдущими, но вся ссылка при этом окажется вымышленной.

Подробнее этот механизм раскрывает материал о том, как LLM работают с токенами.

Данные и параметры не являются базой фактов

После обучения модель не превращается в справочник, где каждому факту соответствует отдельная карточка с автором, датой и первоисточником. Закономерности из обучающих данных кодируются в параметрах нейросети и используются совместно при построении ответа. Поэтому LLM обычно не может показать, из какого именно документа она «взяла» конкретное утверждение, если к ней отдельно не подключён поиск или другой источник контекста.

Сами обучающие данные также неоднородны: в них могут встречаться ошибки, устаревшие сведения, противоречащие друг другу версии событий и темы, представленные слишком малым числом примеров. На этапе генерации модель может объединить похожие элементы — например, реального автора, существующий журнал и характерный формат DOI — в комбинацию, которой никогда не существовало. Научные обзоры относят качество данных, способы обучения и особенности применения усвоенных знаний к нескольким группам причин галлюцинаций.

Условный пример. Пользователь просит назвать исследование о редком эффекте и привести DOI. Модель отвечает: «Иванов А. А., Петров Б. В. Название работы. Journal of Applied AI, 2022, DOI: 10.1234/jaai.2022.1847». Название, журнал и идентификатор выглядят правдоподобно, но при проверке может оказаться, что такой публикации нет. До открытия записи в базе издателя или библиографическом индексе эту ссылку нельзя считать подтверждением.

Общая роль параметров и архитектуры подробнее рассматривается в материалах «что такое трансформер» и «как обучают LLM».

Контекст, декодирование и температура

На ответ влияет не только то, чему модель научилась раньше, но и информация, доступная ей в текущем запросе. Контекстное окно имеет ограниченный размер. Если нужный фрагмент документа не был передан, оказался обрезан или затерялся среди большого количества текста, модель может опереться на общие закономерности и заполнить пробел вероятным предположением. Неоднозначный запрос действует похожим образом: когда пользователь не уточняет период, регион, версию продукта или требуемый источник, LLM вынуждена выбирать одно из возможных толкований.

Декодирование определяет, как из распределения вероятностей выбирается очередной токен. Температура и другие настройки могут менять разнообразие генерации, однако они не добавляют отдельной проверки фактов. Низкая температура обычно делает ответы менее вариативными, но способна столь же стабильно воспроизводить одно и то же неверное продолжение. Более высокая вариативность, в свою очередь, расширяет набор возможных формулировок и может увеличить вероятность неподтверждённых деталей. В исследованиях причины галлюцинаций на этапе вывода связывают не с одной настройкой, а с сочетанием декодирования, представления знаний и использования контекста.

Ограничения объёма и использования переданного текста подробнее объясняет материал «Что такое контекстное окно модели».

Почему модель не всегда признается в незнании

Отказ от ответа возможен, особенно если модель специально настроена признавать нехватку данных. Но исследования указывают на проблему стимулов: во многих тестах правильная догадка приносит балл, неверный ответ и признание незнания оцениваются одинаково либо отказ не получает положительной оценки. В такой системе угадывающая модель может формально показать более высокий результат, чем осторожная модель, которая чаще воздерживается от неподтверждённых ответов. Авторы работы Why Language Models Hallucinate рассматривают это как одну из причин, по которой галлюцинации сохраняются после базового обучения.

Это не означает, что каждый вымышленный факт вызван определённым тестом или что модель сознательно выбирает ложь. Речь идёт о статистически сформированном поведении: система обучена давать полезное и завершённое продолжение, а отсутствие надёжных сведений не всегда автоматически останавливает генерацию. Поэтому фразы «точно», «согласно исследованию» или «официальные данные показывают» следует воспринимать как части сгенерированного текста, а не как измерение уверенности или доказательство наличия источника.

Модель выбирает вероятное продолжение текста без обязательной отдельной проверки факта. Источник или принцип оригинальности: оригинальная редакционная схема по материалам Huang et al. и Kalai et al.

Один и тот же механизм может приводить к разным дефектам: неверному факту, противоречию исходному документу, фиктивной ссылке или логически несогласованному выводу. Способ проверки зависит от того, какой именно тип ошибки появился в ответе.

Какие бывают галлюцинации

Галлюцинации LLM удобно разделять по тому, с чем именно расходится ответ: с проверяемыми фактами, переданным контекстом, реальным содержанием источника, собственной логикой или входными данными другого типа — изображением, кодом, таблицей. Такая классификация полезнее общего вывода «нейросеть ошиблась», потому что для каждого типа требуется свой способ проверки. При этом границы не всегда строгие: одна вымышленная ссылка может одновременно содержать неверные факты, ложную атрибуцию и логически неподтверждённый вывод. В научных обзорах используются разные таксономии, поэтому ниже приведена практическая редакционная классификация на основе работ Ji et al., Huang et al. и Maynez et al..

Пять видов ошибок LLM и способы их проверки

Все примеры в таблице условные.

Вид Как выглядит ошибка Как проверить Column 4
Фактическая Утверждение противоречит проверяемым сведениям о внешнем мире Модель указывает неверную дату события или приписывает изобретение другому человеку Сверить с первичным, официальным или авторитетным независимым источником
Контекстная Ответ не следует предоставленному документу или добавляет отсутствующие в нём детали В отчёте указано снижение на 8%, а модель пишет о росте на 18% Сопоставить каждый тезис с конкретным фрагментом исходного материала
Цитатная или ссылочная Модель выдумывает публикацию, DOI, автора, цитату либо неверно передаёт содержание реального источника Ссылка существует, но статья не подтверждает соседний вывод Открыть источник, проверить реквизиты и найти подтверждающий фрагмент внутри него
Логическая или вычислительная Вывод не следует из предпосылок, части ответа противоречат друг другу или расчёт выполнен неверно В таблице расходы выше доходов, но итогом названа прибыль Повторить рассуждение по шагам, независимо пересчитать значения
Мультимодальная или кодовая Модель неверно описывает изображение, таблицу, аудио либо придумывает поведение программы В коде используется несуществующий метод библиотеки Проверить исходный объект, документацию и результат фактического выполнения

Фактические

Фактическая галлюцинация возникает, когда утверждение можно сопоставить с внешней реальностью и обнаружить несоответствие. Это может быть неверное имя, дата, характеристика продукта, историческое событие или научный результат.

Отдельная проблема — это устаревшие сведения. Они могли быть верными на момент публикации источника или обучения модели, но больше не соответствуют текущей версии продукта, должности человека или законодательству. Поэтому при проверке важны не только содержание, но и дата, регион и версия объекта.

Контекстные

Контекстная галлюцинация — это противоречие переданному источнику или добавление деталей, которых в нём нет. Она особенно заметна при пересказе документов, протоколов, исследований и таблиц.

Добавленный факт может случайно оказаться верным во внешнем мире, но ответ всё равно нельзя считать строго основанным на предоставленном материале. Здесь проявляется различие между factuality и faithfulness: фактической достоверностью утверждения и его соответствием конкретному источнику.

Цитаты и ссылки

Вымышленная ссылка выглядит особенно убедительно, поскольку содержит точное название, фамилии авторов, год, журнал или DOI. Возможен и менее заметный вариант: публикация существует, но её содержание не подтверждает приписанный ей тезис.

Поэтому недостаточно убедиться, что URL открывается. Нужно проверить название работы, авторов, дату, издателя и сам подтверждающий фрагмент. Цитату следует искать в первоисточнике дословно, а не доверять её оформлению в ответе модели.

Логические и вычислительные

Ответ может состоять из правдоподобных отдельных фраз, но содержать внутреннее противоречие. Модель способна поменять условие задачи в процессе рассуждения, сделать вывод, не следующий из аргументов, или ошибиться в арифметике.

Проверять такие ответы нужно не повторной просьбой «подумай внимательнее», а независимым воспроизведением расчёта: зафиксировать исходные данные, формулу, промежуточные шаги и итог. Для числовых задач надёжнее использовать калькулятор, таблицу или исполняемый код.

Мультимодальные галлюцинации и ошибки в коде

Мультимодальная модель может сообщить, что на изображении присутствует объект, которого там нет, неверно прочитать подпись диаграммы или связать элементы схемы неподтверждённым образом. Проверка требует обращения к самому изображению и, при необходимости, к исходным данным визуализации.

При генерации кода аналогичная проблема проявляется в несуществующих функциях, параметрах и библиотеках либо в уверенном описании результата без запуска программы. Код следует сверять с официальной документацией, выполнять в контролируемой среде и проверять тестами. Связный синтаксис ещё не означает, что программа существует, запускается и решает поставленную задачу.

Как выглядит галлюцинация модели на практике

Типичные признаки галлюцинации — несуществующий источник, перепутанные даты и участники, уверенное заполнение пробелов, цитата, которой нет в указанном документе, или вывод, не следующий из исходных данных.

Ошибку часто трудно заметить по стилю: ответ может быть грамматически безупречным, подробным и снабжённым правдоподобными реквизитами. Поэтому проверять нужно не уверенность формулировки, каждое значимое утверждение и его основание. Все примеры ниже условные, но позволяют разобраться в процессе.

Выдуманный судебный прецедент

Пользователь просит привести судебную практику по конкретному спору. Модель называет дело, номер производства, дату решения и формулирует правовую позицию суда. Запись выглядит убедительно, но дела с таким номером не существует либо реальное решение касается другой ситуации.

Как проверить: найти дело самостоятельно в официальной картотеке или базе судебных актов; сопоставить суд, номер, дату и участников; открыть полный текст решения и убедиться, что нужный вывод действительно содержится в мотивировочной части. Пересказ модели нельзя использовать как замену первичному документу.

Фиктивная научная работа

В ответ на просьбу подтвердить тезис исследованием LLM указывает авторов, название статьи, журнал и DOI. При проверке DOI не открывается, ведёт к другой публикации или вообще не зарегистрирован. Возможен и более сложный случай: статья существует, но исследует другую тему и не подтверждает приведённый вывод.

Как проверить: искать работу по DOI, точному названию и фамилиям авторов в базе издателя или научном индексе. Затем необходимо прочитать хотя бы аннотацию, методику и результаты, а не ограничиваться совпадением заголовка.

Проверка названия работы, автора, DOI и содержания источника. Источник или принцип оригинальности: оригинальный условный пример; не использовать реквизиты реальной публикации.

Устаревшая характеристика продукта

Пользователь спрашивает о цене, доступности функции или системных требованиях сервиса. Модель приводит сведения, которые относились к прежнему тарифу или версии продукта, но формулирует их как актуальные. Причиной может быть не только галлюцинация, но и устаревшая источниковая база.

Как проверить: открыть текущую официальную документацию, страницу тарифов или журнал изменений; уточнить дату публикации, регион, версию и тип подписки. Даже реальная старая ссылка не подтверждает текущее состояние продукта.

Вывод, не следующий из данных

Модель анализирует таблицу: выручка выросла с 10 до 11 млн рублей, а расходы — с 8 до 10,5 млн. Несмотря на снижение прибыли с 2 до 0,5 млн рублей, ответ сообщает, что финансовый результат «существенно улучшился», опираясь только на рост выручки.

Как проверить: отделить исходные значения от интерпретации, независимо пересчитать показатели и проверить логическую связь между ними. В данном примере рост выручки действительно произошёл, но вывод об улучшении результата не подтверждается прибылью.

Нужно понимать

Во всех четырёх случаях повторная просьба «проверь себя» может помочь заметить несогласованность, но не заменяет независимую проверку. Надёжность определяется тем, удалось ли найти первичный источник, воспроизвести расчёт или сопоставить ответ с исходным материалом, а не тем, насколько уверенно модель повторила свой вывод.

Чем опасны галлюцинации

Опасность галлюцинации определяется не только тем, как часто модель ошибается. Важнее последствия конкретной ошибки и то, насколько легко пользователь способен обнаружить её до того, как ответ повлияет на публикацию, решение или автоматическое действие. Очевидная нелепость обычно менее рискованна, чем небольшая, правдоподобно оформленная неточность в критически важном фрагменте.

Матрица риска галлюцинаций LLM

Насколько легко заметить ошибку Невысокая цена ошибки Высокая цена ошибки
Легко Неудачная формулировка, заметная ошибка в общеизвестном факте Неверная сумма, дата или параметр, которые обнаруживаются при обязательной проверке
Трудно Правдоподобная, но неподтверждённая деталь в черновике Ошибочная медицинская информация, вымышленный судебный прецедент, уязвимый код или неверное правило автоматического решения

Медицина и здоровье

В медицинском контексте опасны как добавленные сведения, так и пропуски. Ошибка при пересказе консультации может исказить зафиксированные факты, добавить вводящую в заблуждение деталь или исключить клинически значимую информацию.

Исследование генерации медицинских записей показывает, что оценивать нужно не только количество галлюцинаций, но и возможные последствия каждой ошибки: авторы отдельно отмечали случаи, способные повлиять на диагноз или дальнейшие действия, и привлекали врачей к проверке ответов. Поэтому общий результат модели на тесте не заменяет оценку её работы в конкретной медицинской задаче.

Право и финансы

В праве модель может придумать дело, неверно передать позицию суда или сослаться на документ, который не подтверждает тезис. Специализированный поиск не устраняет проблему автоматически: в пререгистрированном исследовании коммерческих legal-RAG-систем доля ответов с галлюцинациями составляла от 17 до 33% в зависимости от инструмента. Эти значения относятся к конкретным продуктам, вопросам и методике исследования, а не ко всем юридическим ИИ-системам. В финансовой задаче аналогичный по последствиям дефект возникает, когда неверное исходное значение, условие или расчёт меняет итоговый вывод.

Образование, редактура и маркетинг

В учебном или редакционном материале одна выдуманная ссылка может попасть в библиографию, затем — в другие публикации, презентации и методические материалы. В маркетинге неподтверждённые цифры, характеристики продукта или цитаты способны привести к вводящему в заблуждение сообщению и репутационным потерям.

Проблему усиливает форма ответа. В системной карте GPT-4 отдельно отмечен риск убедительного текста, который лишь незаметно отклоняется от истины. Там же указывается, что более связный вывод может восприниматься как более правдоподобный и убедительный. Иными словами, улучшение качества формулировок не обязательно означает такое же улучшение фактической точности.

Код и автоматизированные решения

Ошибка в коде может оставаться незаметной, пока программа не столкнётся с редким входным случаем, не нарушит безопасность или не выполнит неверное действие. Риск возрастает, когда сгенерированный код, классификация или рекомендация передаются в рабочий процесс без тестов и человеческого контроля. OpenAI указывала среди ограничений GPT-4 возможность создавать скомпрометированный или уязвимый код; связный синтаксис сам по себе не подтверждает корректность и безопасность программы.

Чем выше цена ошибки и сложнее её обнаружение, тем меньше оснований воспринимать ответ LLM как готовый результат. В критичных сценариях он остаётся черновиком или вспомогательным материалом, а ответственность за использование вывода не переносится на модель.

Что делать, если ответ модели вызывает сомнения

Уверенный тон ничего не говорит о достоверности ответа. Если модель приводит число, дату, цитату, название исследования или ссылку, воспринимайте это как утверждение, которое ещё предстоит подтвердить. Для начала выберите самый важный тезис и найдите его первоисточник независимо от нейросети.

Отдельно проверяйте, действительно ли модель получила доступ к файлу, сайту или корпоративной системе. Если доступ не подтверждён, дальнейший анализ может оказаться убедительным пересказом контекста чата, а не работой с исходными данными. Именно такая ситуация произошла в примере ниже.

Полный порядок проверки источников, цифр и цитат разобран в статье «Фактчекинг генераций: пошаговый гайд».

Личный опыт: как Google Bard убедил нас, что анализирует таблицу

Изображение в стиле картины «Слепые ведут слепых» Брейгеля: уверенный робот ведет цепочку серьезных бизнесменов со смартфонами в руках прямо в канаву, символизируя слепую веру в ответы ИИ.

В мае 2023 года на конференции Google I/O компания анонсировала будущую интеграцию Bard с Google Docs, Drive и Gmail. Полноценные расширения Bard для работы с сервисами Google появились 19 сентября 2023 года. Но тогда мы восприняли анонс как уже доступную возможность — и решили сразу проверить её в работе.

В тот момент наша команда проводила ИТ-аудит энергостроительного холдинга. Через Google Формы мы собрали требования примерно от 50 сотрудников — около 300 записей с пожеланиями к будущему корпоративному порталу. Ручная обработка такого массива занимала много времени и создавала риск неправильной интерпретации ответов.

Мы передали Bard ссылку на таблицу и задали прямой вопрос:

Видишь таблицу? Понимаешь её структуру и можешь проанализировать данные?

Bard уверенно ответил, что видит столбцы, понимает структуру документа и готов приступить к подготовке итогового отчёта. Эксперимент мы проводили не в новом диалоге: в истории чата уже упоминались отдельные заголовки, термины и детали из предыдущей работы с требованиями.

Следующие сутки команда провела в плотном диалоге с Bard. Мы просили модель группировать требования, искать повторяющиеся проблемы, предлагать способы оптимизации процессов и формировать рекомендации. Ответы модели выглядели весьма убедительно: Bard выдавал структурированные выводы, планы распределения задач и даже предложения по реорганизации отдельных сервисов холдинга.

На тот момент это производило сильное впечатление. Казалось, что перед нами аналитик, который за несколько секунд обрабатывает массив информации и замечает закономерности, на поиск которых у человека ушли бы часы.

Проблема обнаружилась, когда мы решили проверить одну конкретную цифру из подготовленного анализа. В исходной таблице её не оказалось.

Мы начали сверять остальные утверждения и выяснили, что в нашем сеансе Bard не получил содержимое таблицы по внешней ссылке. Модель строила правдоподобный анализ на основании информации, которую мы сами упоминали в предыдущих сообщениях. Она не анализировала документ, а виртуозно продолжала контекст разговора, выдавая сгенерированные выводы за результаты работы с файлом.

Это была галлюцинация возможностей: модель уверенно утверждала, что видит источник, к которому фактически не получила доступа.

Параметр Что произошло
Период Май 2023 года
Задача Анализ требований к корпоративному порталу
Масштаб Около 50 сотрудников и 300 записей с требованиями
Гипотеза Bard способен прочитать Google-таблицу по ссылке
Проверка Сверка конкретной цифры с исходной таблицей
Результат Цифра отсутствовала, а содержимое файла не было получено
Последствие Потерян рабочий день и возник риск включить выдуманные выводы в отчёт
Выводы Перед анализом проверять, действительно ли модель получила доступ к источнику

Из этого случая я вынес два правила.

  • Первое: уверенный тон модели ничего не доказывает. Если ответ касается фактов, цифр, документов или технических возможностей системы, его необходимо проверять.
  • Второе — уже из области управления людьми: на масштаб совершаемой глупости не влияют ни серьёзность выражения лиц, ни благородство намерений, ни количество участников.

Не верьте языковой модели на слово, когда спрашиваете, умеет ли она работать с конкретным файлом, сайтом или корпоративной системой. LLM обучена давать полезный и связный ответ, поэтому может подтвердить наличие функции, которой в действительности нет или к которой она не получила доступ.

Перед полноценным анализом проведите три простых теста:

  1. Попросите модель дословно процитировать выбранную строку документа.
  2. Попросите назвать точное значение из конкретной ячейки.
  3. Попросите посчитать количество заполненных строк в определённом столбце.

Если хотя бы одна проверка не проходит, прекращайте анализ. Сначала подтвердите доступ модели к источнику, затем обезличьте корпоративные данные и только после этого переходите к содержательной работе.

Как уменьшить вероятность галлюцинаций

Вероятность галлюцинаций снижают точная постановка задачи, достаточный и проверяемый контекст, разрешение модели отказаться от ответа, подключение внешних источников и обязательная проверка результата. Надёжнее всего работает не один приём, а несколько уровней защиты: сначала ограничить генерацию, затем дать модели инструменты и в конце независимо проверить значимые утверждения. Ни промпт, ни RAG, ни fine-tuning не гарантируют нулевую ошибку; исследования рекомендуют комбинировать методы в едином процессе.

Метод Что улучшает Чего не решает
Точный промпт Уменьшает неоднозначность и лишние допущения Не добавляет модели отсутствующих знаний
Ограничение контекстом Повышает соответствие переданному документу Не исключает неверное чтение и смешение фрагментов
Разметка фактов и предположений Делает ответ удобнее для аудита Не доказывает, что помеченный «факт» верен
Поиск, RAG и другие инструменты Дают внешние данные и актуальные источники Могут вернуть нерелевантный или устаревший материал
Fine-tuning и human feedback Меняют поведение, формат и склонность к отказу Не превращают модель в безошибочную базу знаний
Проверка после генерации Обнаруживает часть фактических и логических ошибок Требует времени, источников и компетентного проверяющего

Лучше сформулировать задачу

Чем точнее запрос, тем меньше модели приходится самостоятельно заполнять пробелы. Укажите предмет вопроса, период, регион, версию продукта, допустимые источники и формат результата. Для сложной задачи полезно задать критерий полноты: какие именно поля, расчёты или выводы должны появиться в ответе.

Отдельно разрешите модели не угадывать: «Если данных недостаточно, напиши, чего именно не хватает» или «Не делай вывод, который нельзя подтвердить указанным источником». В исследовании влияния промптов ясность оценивалась по наличию роли, формата, временных ограничений, политики источников и правила отказа. При этом даже структурированный запрос не устраняет внутренние ограничения модели.

Практические принципы постановки задач подробнее раскрывает материал «как составлять промпты».

Ограничить ответ данным контекстом

При пересказе документа прямо укажите: использовать только предоставленный текст, не дополнять его общими знаниями и отмечать отсутствующую информацию. Для проверяемости можно потребовать ссылку на страницу, раздел или подтверждающий фрагмент рядом с каждым существенным тезисом.

Такое ограничение уменьшает число произвольных дополнений, но не гарантирует точный пересказ. Модель может неверно связать два абзаца, перепутать показатели или сослаться на фрагмент, который не подтверждает вывод. Поэтому соответствие источнику всё равно нужно проверять по оригиналу.

Просить отделять факт от предположения

Запрашивайте формат ответа, в виде явных категорий: «подтверждено источником», «вывод из данных» и «не проверено». Для каждого вывода попросите показать основание, а для неподтверждённого утверждения не подбирать правдоподобную ссылку, а оставить пометку о нехватке данных.

Эта разметка делает неопределённость заметной, но остаётся только способом организации текста. Модель способна ошибочно назвать предположение фактом или привести ссылку, которая существует, но не поддерживает тезис. Поэтому метку, поставленную самой моделью, нельзя считать независимой оценкой достоверности.

Инструменты и retrieval

Поиск, базы данных, калькуляторы, выполнение кода и retrieval (извлечение внешних материалов) уменьшают зависимость от знаний, сохранённых в параметрах модели. RAG добавляет найденные документы в контекст, а последующий поиск позволяет проверить и исправить уже созданный ответ. Научный обзор Huang et al. выделяет одноразовый, итеративный и post-hoc retrieval как способы связать генерацию с внешними данными.

Инструмент полезен только настолько, насколько качественны его входные данные и настройка. Поиск может пропустить нужный документ, выбрать нерелевантный источник или смешать конфликтующие версии, а генератор, неправильно истолковать найденное. Поэтому наличие поиска или RAG не отменяет проверку итогового ответа.

Fine-tuning и human feedback

Fine-tuning — дополнительное обучение модели на примерах, может улучшить следование инструкциям, владение отраслевой терминологией, требуемый формат и поведение при нехватке данных. Обратная связь от людей (human feedback) помогает настроить ответы в соответствии с заданными предпочтениями. Однако эти методы меняют вероятностное поведение модели, а не создают автоматическую проверку каждого факта; ошибки возможны и после настройки.

Подробнее границы метода рассматривает материал «fine-tuning языковой модели».

Проверка после генерации

Последний барьер — независимая валидация. Разделите ответ на отдельные тезисы, откройте первичные источники, повторите расчёты и перепроверьте текущие сведения. В задачах с высокой ценой ошибки результат должен оценивать специалист соответствующей области.

Дополнительным сигналом может служить сравнение нескольких генераций. Метод SelfCheckGPT исходит из того, что ответы о хорошо усвоенном факте чаще согласуются, а при галлюцинации могут расходиться или противоречить друг другу. Но согласованность не доказывает истинность: модель способна несколько раз воспроизвести одну и ту же ошибку. Поэтому самопроверку следует использовать для поиска подозрительных мест, а не как замену внешнему подтверждению.

Как RAG помогает и почему не всегда

RAG снижает риск галлюцинаций, потому что перед генерацией система находит внешние документы и добавляет их в контекст модели. Это позволяет опираться на актуальную или специализированную базу, а не только на закономерности, усвоенные при обучении. Однако RAG не проверяет истинность ответа автоматически: поиск может вернуть неподходящие материалы, база, содержать ошибки, а модель, неверно истолковать даже правильно найденный фрагмент. Поэтому retrieval-augmented generation следует считать способом привязать ответ к источникам, а не гарантией его достоверности.

Поиск → контекст → генерация

Retrieval-Augmented Generation (RAG) — генерация с дополнением найденными данными. В упрощённом виде процесс состоит из трёх этапов:

  1. Поиск (Retrieval-Augmented): поисковый компонент получает запрос и выбирает релевантные документы или фрагменты из подключённой базы.
  2. Контекст: найденные материалы вместе с исходным вопросом передаются языковой модели.
  3. Генерация (Generation): модель формирует ответ, используя как полученный контекст, так и закономерности, сохранённые в её параметрах.

В исходной работе Патрика Льюиса и соавторов, RAG сочетал параметрическую память языковой модели с непараметрической памятью в виде поискового индекса. На исследованных авторами задачах такая система генерировала более достоверный текст, чем сравниваемая модель без RAG. Этот результат показывает пользу подхода в конкретных экспериментах, но не означает, что любой современный RAG всегда точнее обычной LLM.

Привязку ответа к переданным материалам часто называют обоснованием внешними данными (grounding). Grounding повышает проверяемость только тогда, когда система показывает источники, а сформулированные тезисы действительно следуют из их содержания.

Поиск документов, добавление контекста и генерация ответа с возможными точками ошибки. Источник или принцип оригинальности: оригинальная редакционная схема по Lewis et al., 2020; графику исследования не копировать.

Ошибки в поиске и индексировании

RAG не сможет использовать документ, которого нет в базе, который неверно проиндексирован или не был найден по конкретному запросу. Обзор Zhang и Zhang (2025) разделяет причины ошибок между этапами retrieval и generation: дефект на любом из них способен привести к неподтверждённому ответу.

Точка сбоя Что может произойти Возможный результат
База знаний Документ отсутствует, устарел или содержит ошибку Модель получает неполные либо неверные сведения
Разбиение и индексирование Связанные части текста оказались в разных фрагментах В контекст попадает вывод без условий или оговорок
Поиск и ранжирование Система выбрала похожий, но нерелевантный документ Ответ относится к другой версии, региону или ситуации
Формирование контекста Передано слишком много фрагментов или конфликтующие версии Модель смешивает источники и выбирает неподтверждённую трактовку

Особенно сложны запросы с неоднозначными названиями, редкой терминологией и зависимостью от даты. Если пользователь не указал версию продукта или юрисдикцию, поиск может технически найти релевантный текст, который неприменим к задаче.

Модель не следует источнику

Даже корректно найденный документ не заставляет модель строго ему следовать. LLM может проигнорировать важную оговорку, объединить положения из разных источников, продолжить ошибочную предпосылку пользователя или поставить ссылку рядом с тезисом, которого в документе нет.

Это подтверждает пререгистрированное исследование коммерческих юридических RAG-инструментов: специализированный поиск уменьшал число галлюцинаций по сравнению с проверенной авторами универсальной моделью, но не устранял их. В рамках конкретного набора юридических вопросов исследованные системы галлюцинировали в 17–33% ответов. Эти показатели нельзя переносить на все RAG-системы, однако они демонстрируют принципиальное различие между наличием авторитетной базы и верным использованием найденных материалов.

Как комплексно оценивать RAG

Проверка RAG должна отвечать на два разных вопроса.

Качество дополнения поиском (Retrieval-Augmented): найден ли нужный документ, актуальна ли его версия, присутствует ли в выбранном фрагменте информация, необходимая для ответа?

Качество генерации (Generation): следует ли каждый тезис из переданного контекста, правильно ли переданы условия и ограничения, ведут ли цитаты к подтверждающим фрагментам, отказалась ли модель отвечать при недостатке данных?

Такое разделение помогает найти причину ошибки. Если нужный источник не попал в контекст, проблема находится в базе или поиске. Если источник найден, но ответ ему противоречит, проверять нужно генерацию, атрибуцию и правила отказа. Подробнее устройство технологии рассматривает материал «что такое RAG (Retrieval-Augmented Generation)».

Можно ли сравнить, какая модель галлюцинирует меньше

Сравнить склонность языковых моделей к галлюцинациям можно только в рамках конкретной задачи, языка, версии модели и методики оценки. Универсального процента, который показывал бы, какая LLM «ошибается реже вообще», не существует: одна модель может лучше отвечать на общеобразовательные вопросы, но хуже пересказывать документы, работать с русским языком или использовать найденные источники. Поэтому рейтинг без описания условий теста почти ничего не говорит о надёжности модели в реальном сценарии.

Для оценки используются разные тесты (бенчмарки) — стандартизированные наборы заданий и метрики. Например, TruthfulQA проверяет, воспроизводит ли модель распространённые заблуждения при ответах на специально подобранные вопросы. FActScore предназначен для оценки длинных ответов: текст разбивается на отдельные фактические утверждения, после чего проверяется, насколько каждое из них подтверждается выбранной базой знаний.

Эти методы измеряют разные свойства. Высокий результат в TruthfulQA не гарантирует точного пересказа пользовательского документа, а FActScore зависит от того, какая база выбрана источником истины и насколько корректно ответ разделён на атомарные факты. Для медицины, права, программирования и других областей нужны отдельные доменные тесты с участием профильных специалистов.

При сравнении необходимо фиксировать как минимум:

  • точную версию модели и дату тестирования;
  • язык и тип заданий;
  • системный промпт и доступные инструменты;
  • наличие поиска или RAG;
  • параметры декодирования;
  • правила подсчёта ошибок и отказов;
  • способ проверки источников.

Нельзя корректно сопоставлять цифры из разных исследований, если в них различаются вопросы, метрики или критерии галлюцинации. Даже результаты одной модели со временем могут измениться после обновления.

Поэтому практический выбор лучше строить не на общем рейтинге, а на собственном контрольном наборе типичных задач: дать нескольким моделям одинаковые запросы, проверить ответы по одной методике и отдельно оценить фактическую точность, соответствие источнику и способность признавать нехватку данных. Подробнее такой подход раскрывает материал «сравнение языковых моделей».

Ответы на вопросы

Может ли RAG полностью решить проблему галлюцинаций?2026-08-04T12:17:28+03:00

Нет. RAG предоставляет модели найденные документы, благодаря чему ответ можно связать с внешними и более актуальными данными. Но база может быть неполной или устаревшей, поиск — выбрать неподходящий фрагмент, а модель — неверно интерпретировать источник либо добавить не подтверждённый им вывод.

Поэтому в RAG-системе необходимо отдельно оценивать качество поиска и соответствие сгенерированного ответа найденным материалам.

Стоит ли доверять ссылкам, которые приводит нейросеть?2026-08-04T12:17:46+03:00

Только после проверки. Нужно открыть ссылку, сверить название, автора, дату и другие реквизиты, а затем найти в источнике конкретный фрагмент, подтверждающий тезис.

Рабочий URL или существующий DOI ещё не доказывают релевантность публикации. Источник может относиться к другой теме, версии продукта, юрисдикции или периоду. Для решений с высокой ценой ошибки существенный вывод следует дополнительно сверить с независимым авторитетным источником.

Галлюцинация нейросети — это ложь?2026-08-04T12:16:20+03:00

Нет. Ложь предполагает намерение ввести человека в заблуждение, а у языковой модели нет человеческих намерений, убеждений или понимания истинности сказанного. LLM генерирует статистически вероятное продолжение текста и может создать неверное утверждение, когда ей не хватает данных, контекст неоднозначен или правдоподобная формулировка получает высокую вероятность. Поэтому точнее говорить о галлюцинации, фактической ошибке или неподтверждённом ответе, а не о сознательном обмане.

Всегда ли уверенный ответ неверен?2026-08-04T12:16:42+03:00

Нет. Уверенный стиль сам по себе не доказывает ни ошибку, ни достоверность. Модель может правильно ответить без оговорок, но с той же убедительностью привести вымышленную ссылку, перепутать дату или сделать вывод, которого нет в источнике.

Фразы «точно известно», «исследования доказали» или «официальные данные показывают» являются частью сгенерированного текста, а не надёжным показателем внутренней уверенности модели. Оценивать нужно проверяемость утверждений, а не тон ответа.

Убирает ли температура 0 галлюцинации?2026-08-05T10:51:50+03:00

Нет. Низкая температура уменьшает вариативность генерации и делает выбор токенов более предсказуемым, но не добавляет отдельной проверки фактов. Если наиболее вероятное продолжение содержит ошибку, модель может воспроизводить его последовательно и уверенно.

Настройки декодирования влияют на форму и разнообразие ответа, однако не превращают вероятность следующего токена в вероятность истинности всего утверждения. Это ограничение рассматривается в научном обзоре причин и методов снижения галлюцинаций LLM. (arxiv.org)

Вывод

Ответ LLM лучше воспринимать не как готовое знание, а как черновик, который требует проверки соразмерно цене возможной ошибки. Для бытовой формулировки иногда достаточно здравого смысла, но для публикации, медицинского, юридического, финансового или технического решения нужны первичные источники, независимая сверка и, при необходимости, оценка профильного специалиста. Уверенный тон, рабочая ссылка, подключённый RAG или низкая температура не заменяют доказательства: модель всё ещё может неверно истолковать контекст, устаревшие данные или найденный документ.

Практическое правило простое: отделяйте факты от предположений, проверяйте числа, даты, имена, цитаты и источники, а неподтверждённое удаляйте или явно помечайте. Чем серьёзнее последствия решения и труднее заметить неточность, тем строже должна быть проверка. Механизм генерации подробнее раскрывает материал «Что такое большие языковые модели», а воспроизводимую процедуру проверки — «фактчекинг: пошаговый гайд».