На прошлой неделе участник нашего тренинга показал отчёт, который ChatGPT составил для совета директоров. В отчёте была ссылка на исследование McKinsey 2024 года. Красивая цитата, убедительные цифры. Одна проблема — такого исследования не существует. ChatGPT его выдумал.

Это называется галлюцинация. И это не баг, который скоро исправят. Это фундаментальное свойство языковых моделей.

Почему AI врёт с уверенным лицом

Вернёмся к основам. ChatGPT — это статистический предсказатель текста. Он не знает, что правда. Он знает, что вероятно.

Когда вы спрашиваете: "Какое исследование McKinsey говорит о ROI внедрения AI?" — модель думает примерно так:

После слов "исследование McKinsey" часто идут годы вроде 2023, 2024
После этого обычно идут проценты и цифры
Формат выглядит как "согласно исследованию X, показатель Y вырос на Z%"

Модель генерирует статистически вероятный текст. Не проверенный факт.

Три типа галлюцинаций

Выдуманные источники. Модель создаёт несуществующие исследования, статьи, книги. Названия звучат правдоподобно. Авторы — реальные люди из нужной области. Но самого источника не существует.

Искажённые факты. Модель берёт реальное событие и меняет детали. Правильная компания, неправильный год. Правильный человек, неправильная должность. Реальный закон, неправильная статья.

Логические фантазии. Модель делает выводы, которые звучат разумно, но не следуют из данных. "Компания X внедрила AI, значит её выручка выросла на 40%". Связь выдумана, хотя оба факта могут быть реальными.

Когда галлюцинации опаснее всего

Юридические документы. Был случай, когда адвокат в США подал в суд документы со ссылками на несуществующие прецеденты. ChatGPT их сгенерировал, адвокат не проверил. Судья был не рад.

Финансовые отчёты. Цифры в отчётах должны сходиться с реальностью. Модель может выдать правдоподобные, но неверные данные о рынке, конкурентах, трендах.

Медицинские советы. Модель может уверенно рекомендовать дозировки, взаимодействия препаратов, диагнозы. Всё это требует проверки специалистом.

HR и персональные данные. Модель может "вспомнить" факты о людях, которые никогда не происходили. Биографии, достижения, скандалы — всё может быть выдумано.

Как защититься: 5 правил

Правило 1: Не доверяйте источникам без проверки.

Если ChatGPT даёт ссылку на исследование — найдите его сами. Если называет автора — проверьте, существует ли такой человек и писал ли он это. 30 секунд в Google спасут от часов проблем.

Правило 2: Используйте AI для черновиков, не для финальных версий.

Модель отлично генерирует структуру, идеи, первые драфты. Но финальный текст должен пройти через человека, который понимает тему и может отличить факт от выдумки.

Правило 3: Просите модель признавать неуверенность.

Добавьте в запрос: "Если ты не уверен в факте — скажи об этом прямо. Лучше признать незнание, чем выдумать."

Это не гарантия, но снижает количество уверенных галлюцинаций.

Правило 4: Разделяйте задачи на генерацию и проверку.

Первый запрос: "Сгенерируй список возможных причин падения продаж." Второй запрос: "Вот мои реальные данные [данные]. Какие из этих причин подтверждаются?"

Когда модель работает с вашими данными, а не с "общими знаниями", галлюцинаций меньше.

Правило 5: Используйте инструменты с источниками.

Perplexity AI даёт ссылки на каждое утверждение. Вы видите, откуда взята информация, и можете проверить. Для исследовательских задач это надёжнее, чем ChatGPT.

Почему это не исправят завтра

Галлюцинации — не баг, который можно пофиксить патчем. Это следствие архитектуры.

Модель обучена предсказывать вероятный текст. Не истинный. Чтобы модель перестала галлюцинировать, нужно научить её отличать факты от вымысла. А это требует другого подхода к обучению.

OpenAI, Anthropic, Google работают над этим. Прогресс есть. Но полностью проблема не решена и не будет решена в ближайшие годы.

Практический подход

На наших тренингах мы учим работать с AI как с талантливым, но ненадёжным стажёром.

Стажёр может:

Быстро собрать информацию
Предложить структуру документа
Сгенерировать варианты текста
Найти паттерны в данных

Стажёр не может:

Гарантировать точность фактов
Принимать финальные решения
Работать без проверки старшего коллеги

Относитесь к ChatGPT так же. Делегируйте черновую работу. Оставляйте за собой проверку и финальное решение.

Когда галлюцинации — не проблема

Есть задачи, где точность фактов не критична:

Мозговой штурм и генерация идей
Написание художественных текстов
Создание примеров для обучения
Ролевые игры и симуляции
Переформулирование вашего текста

Здесь модель может фантазировать сколько угодно. Вы используете её креативность, а не знания.

Вывод

Галлюцинации AI — это цена за его возможности. Модель, которая может написать любой текст, иногда пишет несуществующие факты. Это не злой умысел и не глупость. Это статистика.

Ваша задача — знать об этом и выстраивать процессы с учётом этого ограничения. Проверять источники. Не доверять слепо. Использовать AI там, где он силён, и подстраховывать там, где он слаб.

Компании, которые это понимают, получают от AI максимум пользы при минимуме рисков.

Хотите научить команду безопасно работать с AI? Оставьте заявку — расскажем про политику AI-безопасности и правила использования нейросетей в бизнесе.