Нейросети устроены так, чтобы всегда звучать убедительно. Даже когда они полностью выдумывают факты, судебные прецеденты или куски кода, их тон остается экспертным. Чтобы не принимать галлюцинации за правду, нужно заставить ИИ оценивать собственные знания до того, как он выдаст окончательный ответ. Это делается через жесткое структурирование промпта и введение числовых шкал.
| Что разберем | Что это даст на практике |
| Как встроить оценку уверенности в запрос | Сможете отсеивать выдуманные факты и неработающий код на этапе генерации |
| Какие шкалы и метрики использовать | Получите конкретные проценты вместо размытого «я думаю, что это так» |
| Как обходить «слепую уверенность» нейросетей | Научитесь ловить ИИ на галлюцинациях, даже если он заявляет о 100% точности |
Базовое решение: правильная структура промпта
Если вы просто спросите ИИ «Ты уверен?», он всегда ответит «Да». Нейросеть не испытывает сомнений, она предсказывает следующее слово. Чтобы получить реальную оценку вероятности ошибки, нужно заставить модель сначала проанализировать свои источники, затем присвоить себе оценку, и только потом выдать ответ.
Рабочий шаблон запроса
Добавьте этот блок в конец вашего основного задания для ИИ (ChatGPT, Claude, YandexGPT или GigaChat):
«Перед тем как дать окончательный ответ, выполни следующие шаги:
1. Оцени, насколько полно этот вопрос покрывается твоими базовыми знаниями.
2. Укажи уровень своей уверенности в ответе по шкале от 0% до 100%.
3. Если твоя уверенность ниже 80%, прямо напиши: «Внимание: возможна неточность» и укажи, в какой именно части информации ты сомневаешься.
4. Только после этого напиши сам ответ.»
Такая последовательность заставляет алгоритм использовать «цепочку рассуждений» (Chain of Thought). Модель тратит вычислительные ресурсы на анализ собственных ограничений до того, как начнет генерировать и защищать сам ответ.
Развилки: как менять запрос под разные задачи
Требования к уверенности зависят от того, какую задачу вы решаете. Оценивать исторический факт и маркетинговый слоган нужно по-разному.
Для запроса точных фактов и цифр
Когда вы ищете даты, законы РФ (например, статьи ГК РФ), технические характеристики или медицинские протоколы, полуправда недопустима. Требуйте бинарную оценку и ссылки.
Что добавить в промпт:
«Используй шкалу уверенности от 0 до 10. Если ты не можешь назвать конкретный проверяемый источник (название закона, официальный сайт, документацию) для подтверждения, твоя уверенность должна быть равна 0. Не пытайся угадать.»
Для написания и проверки кода
При генерации кода нейросети часто используют устаревшие библиотеки или несуществующие функции. Здесь уверенность должна опираться на версии ПО.
Что добавить в промпт:
«Оцени свою уверенность в работоспособности этого кода от 0% до 100%. Снижай оценку на 20% за каждую использованную библиотеку, если ты не знаешь, как она обновилась в текущем году. Укажи, какие строки кода могут вызвать ошибку при компиляции.»
Для аналитики и прогнозов
Если вы просите ИИ проанализировать рынок недвижимости в Москве или предсказать тренды, 100% уверенности быть не может по определению. Здесь нужна оценка вероятности разных сценариев.
Что добавить в промпт:
«Распредели 100% уверенности между тремя наиболее вероятными вариантами развития событий. Объясни, почему варианту с наибольшим процентом нельзя доверять полностью.»
Частые ошибки при запросе уровня уверенности
Ошибка: Запрашивать оценку после ответа
Если вы написали запрос, получили ответ, а следующим сообщением спрашиваете «Оцени свою уверенность в предыдущем ответе от 1 до 100», ИИ почти всегда выдаст 95-100%. Модели обучены сохранять консистентность диалога. Они будут защищать свой уже сгенерированный текст.
Как исправить: Запрашивайте оценку уверенности в том же промпте, до самого ответа.
Ошибка: Использование текстовых шкал
Формулировки «Насколько ты уверен?», «Скажи, если сомневаешься» или «Отвечай только если знаешь наверняка» не работают. Для ИИ это абстракция. Он «считает», что знает наверняка.
Как исправить: Всегда используйте жесткие числовые рамки (0-100%, 1-10 баллов) и задавайте критерии для этих чисел (например, «100% – только если есть прямая цитата из Википедии»).
Ошибка: Игнорирование обоснования оценки
Если ИИ просто пишет «Уверенность: 90%» – это пустая цифра, сгенерированная случайным образом.
Как исправить: Всегда требуйте объяснения оценки. Промпт должен содержать фразу: «Обоснуй, почему ты выбрал именно этот процент, а не 100%». Это заставит модель подсветить свои слепые зоны.
Ограничения и исключения: когда процентам нельзя верить
Внедрение шкалы уверенности не делает нейросеть идеальной. Есть ситуации, когда этот метод дает сбой, и вы должны о них знать.
- Эффект «уверенной галлюцинации». Если ложная информация часто встречается в обучающей выборке (распространенные мифы, фейковые цитаты известных людей), ИИ выдаст 100% уверенности в полной чуши. Числовая оценка защищает от нехватки данных, но не защищает от неверных данных, на которых модель была обучена.
- Особенности российских нейросетей. YandexGPT и GigaChat имеют жесткие встроенные фильтры безопасности. При запросе на чувствительные темы (политика, финансы, медицина) они могут отказаться отвечать вообще, вместо того чтобы выдать ответ с низкой уверенностью. В таких случаях шкала не сработает – сработает отказной скрипт.
- Креативные и субъективные задачи. Бесполезно просить ИИ оценить уверенность в написанном посте для ВКонтакте или в придуманном сценарии ролика. Уверенность неприменима там, где нет критерия «истина/ложь».
Как проверить ответ, если ИИ выдал 100% уверенности
Если вы запрашиваете критически важную информацию (например, налоговые вычеты или дозировки препаратов), а модель выдает стопроцентную уверенность, проведите стресс-тест ответа. Используйте один из следующих приемов в следующем сообщении:
- Запрос на самоопровержение: «Выступи в роли строгого критика. Найди 3 причины, почему твой предыдущий ответ может быть ошибочным или неполным в российских реалиях.»
- Проверка «несуществующим фактом»: «А как же поправки к этому закону от 31 февраля прошлого года, которые меняют этот порядок?» Если ИИ начнет уверенно рассуждать о несуществующих поправках от 31 февраля, его предыдущая оценка в 100% ничего не стоит.
- Требование кликабельных доказательств: «Дай прямую ссылку на официальный документ (например, КонсультантПлюс или сайт ведомства), подтверждающий этот факт.» Нейросети часто генерируют битые ссылки. Если ссылка ведет на страницу 404, факт нужно проверять вручную.
