Нейросети обучены генерировать правдоподобный текст, а не говорить правду. Когда модель не знает ответа, она с высокой вероятностью его выдумает – создаст несуществующий закон, биографию, статистику или ссылку. Этот процесс называется галлюцинацией. Распознать вымысел бывает сложно, потому что ИИ пишет уверенно, использует профессиональные термины и аккуратно структурирует текст.
| Что разберем | Что это даст |
| Признаки выдуманного текста | Сможете замечать галлюцинации при беглом чтении |
| Зоны максимального риска | Поймете, в каких задачах нельзя верить ИИ на слово |
| Методы проверки и защиты | Научитесь составлять промпты, которые блокируют вымысел |
Главные маркеры того, что нейросеть фантазирует
Модели редко выдают откровенный абсурд. Их выдумки маскируются под реальные данные. Искать нужно не логические ошибки, а специфические текстовые паттерны.
1. Идеально выглядящие, но неработающие ссылки
Нейросеть генерирует URL по логике структуры сайтов, а не из базы реальных страниц. Она знает, что новость на РБК или Ведомостях имеет определенный формат адреса, и собирает его из правдоподобных кусков.
- Как выглядит: https://www.rbc.ru/economics/12/05/2023/123456789
- Что на самом деле: При переходе вы получаете “Ошибку 404”. Страницы никогда не существовало.
2. Эффект Франкенштейна
Модель слепливает факты из разных реальных объектов в один. Это часто происходит при запросах о малоизвестных компаниях, региональных чиновниках или узкоспециализированных книгах.
- Пример: Нейросеть пишет биографию реального директора завода на Урале, но приписывает ему образование и карьерный путь топ-менеджера из Газпрома, чья фамилия звучит похоже.
- Признак: В тексте внезапно появляются детали, которые резко противоречат контексту (например, юрист из Сызрани внезапно оказывается автором книги по квантовой физике).
3. Кольцевые и уклончивые формулировки
Когда у модели мало данных, она начинает “лить воду”, используя сложные конструкции без фактуры. Текст выглядит объемным, но если выжать из него факты, останется пустота.
- Пример: “Данный закон оказал значительное влияние на развитие отрасли, поскольку внедренные меры способствовали улучшению показателей, что было отмечено многими экспертами в соответствующих докладах”. (Нет номера закона, нет цифр, нет имен экспертов).
4. Внутренние противоречия в длинных текстах
Если текст длиннее 3-4 абзацев, модель может забыть или исказить собственные утверждения, сделанные в начале.
- Признак: Во втором абзаце компания основана в 2012 году, а в пятом абзаце говорится, что ее первый продукт вышел в 2008-м.
В каких сценариях галлюцинации гарантированы почти всегда
Есть темы, в которых использование обычных языковых моделей (ChatGPT, GigaChat, YandexGPT) без доступа к веб-поиску приведет к вымыслу с вероятностью, близкой к 100%.
- Точные цитаты из книг и фильмов. Модель перескажет смысл своими словами, но оформит это как прямую цитату. Ни одна кавычка не будет соответствовать оригиналу.
- Региональная и узкая статистика. Запросы вроде “объем рынка кофеен в Саратове за 2022 год”. Модель выдаст цифры, которые просто выглядят убедительно.
- Юридическая практика и номера статей. ИИ часто путает пункты статей ГК РФ, придумывает несуществующие Пленумы Верховного суда или применяет отмененные нормы.
- Математические вычисления в тексте. Языковые модели угадывают следующее слово, а не считают. Сложные уравнения или расчет сметы в тексте будут содержать ошибки, даже если формула написана верно.
Как проверять текст на достоверность
Если вы используете сгенерированный текст для работы, учебы или публикации, проверка должна строиться по жесткому алгоритму.
Шаг 1. Изолируйте сущности
Выпишите из текста все имена, даты, номера законов, названия компаний и статистические данные. Проверяйте их в поисковике отдельно от контекста. Нейросеть часто берет реальный закон и приписывает ему выдуманное содержание, или реальную статистику привязывает к неверному году.
Шаг 2. Игнорируйте форматирование
Человеческий мозг склонен доверять спискам, таблицам и жирному шрифту. Текст, разбитый на четкие буллиты, кажется проверенным. Читайте факты так, будто они написаны сплошным полотном.
Шаг 3. Используйте специализированные инструменты
Если вам нужен ресерч с фактами, не используйте базовые чат-боты. Используйте сервисы, которые имеют выход в интернет и принудительно ссылаются на источники (например, Нейро от Яндекса или Perplexity). Но даже в них обязательно кликайте на сноски – иногда ИИ делает правильную сноску, но в самой статье по ссылке написано совершенно другое.
Типичные ошибки при работе с галлюцинациями
| Ошибка | Почему это не работает | Как правильно |
| Спрашивать: “Ты уверен? Это точно правда?” | Модель не имеет сознания. Она воспримет это как сигнал, что вы недовольны, извинится и выдумает новый правдоподобный факт. | Проверить факт в Гугле/Яндексе самостоятельно. |
| Задавать наводящие вопросы: “Расскажи о кризисе в компании X в 2021 году” | Если кризиса не было, ИИ его придумает, чтобы удовлетворить ваш запрос. Вы сами заложили ложный факт в промпт. | Спрашивать открыто: “Какие значимые события произошли в компании X в 2021 году?” |
| Просить ИИ дать ссылки на источники после написания текста | Модель просто сгенерирует список правдоподобных названий статей и мертвых ссылок, которые подходят по смыслу к ее тексту. | Изначально просить писать текст только на основе загруженных вами документов. |
Как настроить промпт для защиты от вымысла
Вы можете снизить риск галлюцинаций до минимума, если введете в промпт жесткие ограничения поведения.
1. Прямой запрет на фантазии
Добавьте в конец запроса фразу: “Если ты не знаешь точного ответа или у тебя нет данных, не придумывай. Напиши: ‘У меня нет информации по этому вопросу'”. Это дает модели легальный “выход” вместо обязательной генерации ответа.
2. Ограничение источника (RAG-подход)
Самый надежный способ работы – дать нейросети фактуру и запретить использовать внешние знания. Загрузите текст или скопируйте статью и напишите: “Используй ТОЛЬКО текст, приведенный ниже. Если в тексте нет ответа на мой вопрос, отвечай ‘В тексте нет информации’. Не добавляй ничего от себя”.
3. Требование цитат
При анализе больших документов заставляйте модель подтверждать свои выводы: “После каждого тезиса приводи точную цитату из исходного текста, на которую ты опираешься”. Если ИИ не сможет найти цитату, вы сразу увидите, что тезис выдуман.
Ограничения: когда нейросеть будет ошибаться несмотря ни на что
Даже идеальные промпты не гарантируют 100% достоверности в следующих случаях:
- Превышение контекстного окна. Если вы загрузили в ИИ договор на 100 страниц, модель может “забыть” куски из середины документа и начать галлюцинировать, достраивая недостающие связи логически.
- Смысловые галлюцинации при переводе. При работе с англоязычными специализированными текстами (медицина, право, инженерия) ИИ может перевести термин буквально. Факт останется, но смысл исказится до неверного в русскоязычных реалиях.
- Смешение версий. Если в интернете много противоречивой информации о событии (например, разные версии исторического факта), нейросеть может усреднить их, выдав гибрид из разных теорий, который в реальности никогда не существовал ни в одном источнике.
