Фактчекинг ответов нейросети: как проверить факты и источники

TL;DR​​​​​​​​ Нейросеть может уверенно назвать дату, привести цифру или сослаться на исследование и всё же ошибиться. Рабочая ссылка сама по себе ничего не доказывает. Откройте источник и проверьте, есть ли в нём указанный факт.

Чтобы проверить ответ, выпишите важные утверждения. Для каждого найдите первоисточник: исходный отчёт, исследование, официальный документ или инструкцию к продукту. Проверьте дату и прочитайте нужный фрагмент целиком. После этого факт можно оставить, уточнить или удалить. Если ошибка может повлиять на деньги, здоровье, юридические последствия или безопасность, вывод должен проверить профильный специалист.

В этой статье мы проверяем достоверность фактов и источников, а не пытаемся определить, написал ли текст человек или нейросеть. Если нужен базовый контекст, сначала прочитайте, что такое LLM. Причины подобных ошибок разобраны отдельно в статье про галлюцинации нейросетей.

Фактчекинг ответа нейросети проверяет каждое фактическое утверждение по внешним доказательствам. Убедительность текста сама по себе ничего не подтверждает. Даже связный ответ нужно разделить на отдельные тезисы: кто, что, когда, сколько, при каких условиях и на основании какого источника.

Схема проверки проста:

тезис → подходящий первоисточник → подтверждающий фрагмент → статус

Такое разложение ответа на отдельные факты используется, в частности, в методике FActScore. Риск появления правдоподобного, но ложного содержания рассматривается в рекомендациях NIST AI 600-1.

Существование ссылки доказывает лишь то, что страница существует. Оно не подтверждает, что источник поддерживает вывод нейросети. Поэтому проверять нужно каждое конкретное утверждение, а не ответ или абзац целиком. Базовый принцип работы моделей разобран отдельно в материале «Галлюцинации нейросетей: почему LLM выдумывают факты».

Проверять все ответы нейросети с одинаковой глубиной не нужно. Объём проверки зависит от цены ошибки, дальнейшего использования текста и обратимости решения.

В NIST AI 600-1 риск рассматривается как сочетание вероятности события и тяжести его последствий. Ресурсы на управление риском предлагается распределять с учётом вероятности и серьёзности вреда. Поэтому ответы, влияющие на значимые решения, требуют особенно тщательной проверки, даже если звучат уверенно.

Безобидный черновик переходит в среднюю категорию, как только его публикуют, отправляют клиенту или используют для обоснования решения. Чем труднее исправить последствия, тем глубже должна быть проверка.

За 10 минут можно провести первичный фактчекинг: выделить важные утверждения, найти первоисточник и решить, можно ли использовать ответ дальше. Такая проверка не заменит полный разбор исследования, закона или медицинской рекомендации. Зато она помогает обнаружить выдуманные ссылки, искажённые цифры и выводы без доказательств.

Возьмём для теста тезис: «Согласно отчёту компании N, автоматизация поддержки сократила среднее время ответа клиентам на 30% в 2024 году».

Не проверяйте всё предложение сразу. Сначала установите, существует ли отчёт, выпустила ли его компания N и относится ли он к 2024 году. Затем выясните, измерялось ли среднее время ответа, действительно ли оно сократилось на 30% и связывает ли источник этот результат с автоматизацией. Такое разложение на отдельные факты близко к подходу FActScore.

Для каждого тезиса нужен подходящий источник. В этом примере подойдёт оригинальный отчёт компании, приложение с описанием методики или официальная публикация результатов. Пересказ в блоге и ответ другой нейросети первоисточниками не являются.

Не ограничивайтесь ссылкой модели и текстом поискового сниппета. Ищите название отчёта, компанию, год и ключевой показатель по отдельности. При латеральном поиске сведения об источнике проверяют в других вкладках, а цепочку цитирования прослеживают до исходного документа. Такой подход рекомендуют Google Search и методика SIFT.

Откройте документ и найдите таблицу, график или абзац с нужным показателем. Проверьте, говорится ли там о сокращении среднего времени ответа на 30%. Возможно, источник сообщает о другом результате, например о росте доли обращений, обработанных автоматически.

Уточните период измерения, регион, подразделение, выборку, единицы и базу сравнения. Результат одного отдела за квартал нельзя без оговорок переносить на всю компанию или рынок.

Для публикации, коммерческого решения или обобщения желательно второе независимое доказательство. Несколько сайтов, перепечатавших один пресс-релиз, всё равно считаются одним источником.

Присвойте тезису статус: подтверждён, частично подтверждён, не подтверждён, опровергнут или требует экспертизы. Теперь можно оставить формулировку, уточнить её, удалить, заменить проверенным фактом или передать профильному специалисту.

Источник можно использовать как доказательство после четырёх проверок. Сначала убедитесь, что он существует и правильно идентифицирован. Затем оцените его тип, найдите подтверждающий фрагмент и проверьте, подходит ли вывод для нужного контекста. Если доказательств несколько, выясните, действительно ли они независимы. Одной репутации сайта недостаточно.

Сверьте автора, название, дату, издателя, URL или DOI​. Для научной работы метаданные Crossref помогают проверить регистрацию публикации и узнать, как её следует цитировать.

При этом DOI подтверждает библиографическую запись, но не истинность пересказа нейросети. Для проверки вывода нужно открыть саму работу. Crossref хранит метаданные, переданные участниками сервиса, и не проверяет содержание полного текста исследования.

Выясните, кто создал данные или установил правило. Для статистики это обычно владелец набора данных или официальный отчёт. Научный вывод проверяют по оригинальной статье, закон по действующему нормативному тексту, сведения о продукте по документации разработчика.

Новость или публикация в блоге может привести к первоисточнику, но не всегда заменяет его. При работе с незнакомой страницей отдельно изучите её происхождение и поищите независимое освещение.

Найдите абзац, таблицу, график или пункт документа с нужной информацией. Источник может быть посвящён той же теме, но не подтверждать заявленный тезис.

Сверьте выборку, период, регион, ограничения и силу вывода. Корреляцию нельзя выдавать за причинность, а результат одной группы распространять на всех. Стандарт IFCN также требует показывать подтверждающие и опровергающие доказательства, чтобы читатель мог воспроизвести проверку.

Проследите цепочку ссылок до первоначального источника утверждения. Пять публикаций, пересказавших один пресс-релиз, остаются одним подтверждением. Метод SIFT рекомендует возвращаться к исходному контексту утверждений, цитат и других материалов.

Живой URL не равен доказательству. Ссылка может открываться, но вести на другой документ, устаревшую редакцию или страницу без нужного вывода. Проверяйте связь между тезисом и доказательством, а не доступность адреса.

Единого надёжного сайта для фактчекинга не существует. Источник нужно выбирать под конкретный тезис. Статистику проверяют по исходным данным и методике, научный вывод по самой работе, цитату по первичной записи, правило по действующему официальному тексту. Для характеристики продукта нужна документация, соответствующая версии, региону и тарифу.

Сначала выясните, что именно измерялось. Важны период, регион, выборка, единица измерения и база сравнения. Формулировка «показатель вырос на 30%» неполна, пока не указано исходное значение, срок и способ расчёта.

Найдите исходный отчёт, таблицу или набор данных, затем изучите методику. Не путайте проценты с процентными пунктами. Рост доли с 20 до 30% составляет 10 процентных пунктов и 50% относительно исходного значения. Если расчёт простой, желательно повторить его самостоятельно.

Проверьте автора, название, журнал, год и DOI через Crossref или сайт издателя. После этого откройте публикацию и сопоставьте тезис нейросети с результатами исследования.

Существующий DOI подтверждает регистрацию библиографической записи, но не правильность пересказа. Работа может относиться к другой выборке, содержать более осторожный вывод или прямо указывать ограничения, которые нейросеть пропустила. Одного заголовка поэтому недостаточно. Нужно проверить как минимум аннотацию, методику, результаты и ограничения.

Найдите первичную запись: видео, аудио, стенограмму, интервью, выступление или оригинальный текст. Сверьте точную формулировку, автора и дату. Обязательно прочитайте, что сказано до и после цитаты.

Даже дословную фразу можно передать неверно, если вырвать её из контекста, отнести чужую позицию к автору или не заметить иронию. Цитату в переводе желательно сопоставить с оригиналом.

Используйте официальный текст документа, а не статью с его пересказом. Проверьте юрисдикцию, дату вступления в силу, действующую редакцию, исключения и переходные положения. Нейросеть может смешать нормы разных стран или сослаться на уже отменённую редакцию.

При высокой цене ошибки итоговую интерпретацию должен подтвердить профильный специалист. Например, это необходимо при работе с договором, налоговым расчётом или вопросом безопасности.

Откройте официальную документацию или страницу продукта. Зафиксируйте версию, тариф, регион и дату проверки. Функция, доступная в корпоративном тарифе или тестовой сборке, может отсутствовать в базовом плане или российской версии сервиса.

Да, но только как помощника на подготовительных этапах. Нейросеть может разобрать ответ на отдельные тезисы, выделить недостающие сведения и подготовить вопросы для проверки. Однако повторный ответ модели не становится независимым доказательством. Финальный статус тезиса должен опираться на открытый первоисточник, а при высокой цене ошибки ещё и на заключение профильного специалиста.

Метод Chain-of-Verification предлагает сначала сформировать ответ, затем составить проверочные вопросы и пересмотреть черновик. Такая самопроверка может обнаружить часть несостыковок, но остаётся внутренней процедурой модели. Внешний фактчекинг она не заменяет.

То же относится к промпт-инжинирингу и RAG-системам. Они могут снизить риск ошибки, но проверять источник всё равно придётся.

Безопасный промпт:

Разбей ответ ниже на отдельные проверяемые тезисы. Для каждого укажи, какой тип первоисточника нужен, каких реквизитов не хватает и что именно необходимо найти в документе. Не выноси вердикт о достоверности и не придумывай ссылки.

Другой человек должен понимать, как вы пришли к результату фактчекинга, и иметь возможность повторить проверку. Поэтому пометок «источник найден» или «похоже на правду» недостаточно. Запишите сам тезис, подходящее доказательство, точное место в документе, контекст, итоговый статус и следующее действие.

Используйте пять статусов: подтверждён, частично подтверждён, не подтверждён, опровергнут и нужна экспертиза. Статус показывает, насколько хорошо найденное доказательство поддерживает тезис. Действие определяет следующий шаг: оставить тезис, сузить формулировку, удалить её или передать специалисту.

Отсутствие подтверждения ещё не доказывает, что утверждение ложно. Оно означает лишь, что тезис в текущем виде нельзя выдавать за установленный факт. Что делать дальше, зависит от качества найденных доказательств и цены ошибки.

• Удалите тезис, если он несущественен, а надёжного источника найти не удалось.
• Замените его проверенным фактом, который подтверждает подходящий первоисточник.
• Сузьте формулировку и прямо обозначьте неопределённость: «по данным одного исследования», «источник не подтверждает причинную связь», «актуальность сведений не установлена».
• Передайте вопрос профильному специалисту, если ошибка может повлиять на здоровье, право, финансы, безопасность или важное деловое решение.

Если источники противоречат друг другу, зафиксируйте обе позиции, даты публикаций, версии документов и возможную причину расхождения. Оценивайте их по заранее выбранному правилу, а не по тому, какой вариант удобнее.

Ответ нейросети служит отправной точкой для проверки, а не готовым доказательством. Уверенный тон, точная цифра, DOI или работающая ссылка сами по себе не подтверждают утверждение.

Рабочая последовательность такова: выделить отдельный тезис → определить нужный тип первоисточника → найти подтверждающий фрагмент → проверить дату, версию и применимость → присвоить статус → выбрать действие. Она позволяет не только обнаружить ошибку, но и показать другому человеку, почему информацию можно или нельзя использовать.

Глубина проверки зависит от цены ошибки. Для внутреннего черновика достаточно проверить ключевые факты. Перед публикацией нужно сверить все существенные цифры, даты, цитаты и ссылки. В медицине, праве, финансах и безопасности финальный вывод должен подтвердить профильный специалист.

Неподтверждённый тезис следует удалить, уточнить, заменить проверенным фактом или прямо обозначить неопределённость.