изображение: AI
Галлюцинации ИИ перестали быть технической погрешностью и превратились в источник судебных исков и многомиллионных репутационных потерь. IT-World объясняет, почему штрафы за ошибки нейросетей теперь сопоставимы с процентами от выручки, и разбирает стратегии защиты — от простых фильтров до архитектуры «доверенного ИИ» с полной интерпретируемостью ответов.
Галлюцинации ИИ — не просто баг в коде. Это реальные деньги, судебные иски и головная боль для топ-менеджмента и, если честно, это уже не про эксперименты «поигрались с нейросетью и забыли». Я вижу три типа сценариев, с которыми компании уже начинают заходить в споры и к регуляторам — где-то это досудебные претензии, где-то полноценные процессы.
Первый сценарий — когда чат-бот обещает функцию, которой в продукте нет. Типичный пример: ИИ-ассистент описал услугу возврата товара, которую компания не предоставляет. Клиент требует исполнения, начинается судебная тяжба. По моим наблюдениям, такие иски растут — компании начинают сталкиваться с претензиями объемом от сотен тысяч до миллионов рублей.
Второй — интерпретация договора. Чат-бот по-своему «понимает» условия, выдает клиенту сроки и скидки, которых в оригинале нет. Это прямая потеря маржи. Вижу компании, которые после таких случаев меняют архитектуру обслуживания.
Третий — самый опасный. ИИ решает оспорить претензию клиента, вместо того чтобы ее эскалировать на человека. Отправляется письмо с аргументами, которые противоречат позиции компании. Клиент жалуется регулятору. Проверка. Бумаги, встречи, репутационный ущерб.
Вот только один момент: это не проблема именитой LLM или очередной open-source-модельки. Дело в архитектуре. Когда ИИ работает в режиме черного ящика, без контроля входов-выходов — каждый диалог несет риск.
Содержание:
Почему это опаснее, чем казалось несколько лет назад
Помню, в начале 2020-х многие думали: «Ну, выпустим чат-бот, люди привыкнут, простят ошибки». Наивно, прямо скажу. Ситуация изменилась кардинально.
Во-первых, появились прецеденты. В США судьи выносят решения по галлюцинациям ИИ — это документируется в судебной практике. У нас в России регуляторы не спят. Роспотребнадзор уже получает жалобы на ИИ-ботов и интересуется, как компании контролируют выходы систем. Особенно в критичных сегментах.
Во-вторых, меняется логика штрафов. Сейчас штрафы за нарушения при обработке персональных данных (в том числе когда в контуре задействованы ИИ-системы) уже достигают 1–3% годовой выручки — это не гипотеза, это действующее законодательство. В ЕС по AI Act установлены штрафы до 7% глобальной выручки за критичные нарушения. Эта логика уже работает.
В-третьих, масштаб. Три года назад ИИ-ассистентами пользовались единицы. Сейчас они массово внедряются в финтех, e-commerce, B2B-сервисы. Когда на систему каждый день заходят десятки тысяч клиентов, вероятность ошибки, которая доходит до конфликта, резко возрастает вместе с количеством диалогов.
Стратегии управления риском: от фильтров к настоящей архитектуре
Я наблюдал за компаниями, которые пробовали разные подходы, и вот несколько примеров. Кто заработает на дефиците памяти и кто за него заплатит Россия и Индия готовятся к масштабному партнерству в ИТ-сфере Maibenben: «Сначала исключи поражение — потом жди шанса на победу бренда»
Жесткие фильтры: просто и быстро, но неполно
Например, на выходе из модели стоит система фильтров. Если ответ содержит определенные опасные паттерны — система его блокирует. На практике фильтры ловят только то, что вы заранее знаете. Это хороший первый уровень защиты — по моим оценкам, может предотвратить 40–60% типовых ошибок. Но если модель выдаст новый, неожиданный способ ошибиться — фильтр пройдет мимо. Напротив, слишком жесткие фильтры убивают полезность. Клиент вместо ответа получает заглушку. Не работает.
Такой подход может сработать в финансовых услугах, государственных контрактах — там, где диапазон правильных ответов можно точно определить заранее. В одном из наших проектов для телекома, где через месяц половина ответов бота превращалась в «извините, не могу ответить на этот вопрос». Формально безопасно, но по факту убили сервис.
Постаудит диалогов: затратно, но надежно
Принцип, где каждый диалог записывается, потом выборка проходит проверку. По моему опыту, когда компании внедряют 100%-ный аудит критичных диалогов (например, всех разговоров о кредитных предложениях или правах на возврат), они видят результаты. Модель начинает ошибаться реже, потому что ошибки фиксируются и идут в переобучение. Но если аудит только фиксирует ошибки, но не переобучается, — это просто расход денег.
Стоимость? По рынку — от 300 тыс. до 2 млн рублей в месяц в зависимости от объема диалогов и требований к скорости проверки. ROI рассчитать сложно, потому что вы экономите на исках, которые не произойдут. Но логика простая: один серьезный судебный спор легко выходит в коридор 1–5 млн рублей с учетом юристов и косвенных потерь. Если аудит предотвращает одно такое дело в год — окупается.
Человеческий буфер в критичных точках: золотая середина
Пожалуй, оптимальный сценарий, потому что балансирует скорость и надежность. ИИ отвечает на простые вопросы сам, но если диалог касается изменения условий договора, компенсаций, эскалации претензии или конфиденциальной информации — система передает его человеку. Читайте также
Maibenben: «Сначала исключи поражение — потом жди шанса на победу бренда» Стратегия китайской компании Maibenben отличается от многих других. Это одна из тех компаний, которая с нуля создала B2B-линейку ноутбуков, постепенно расширяя свое влияние с СМБ-рынка на корпоративный. Важность российского рынка для компании подчеркивает посещение Москвы резидентом группы компаний ZIMAI Ван Дакэ (Wang Dake). IT-World удалось задать несколько вопросов ему, а также Николаю Шмыкову, директору по развитию корпоративного бизнеса, и Алексею Осипову, директору по развитию бизнеса Maibenben в России и странах СНГ.
По моим наблюдениям, компании с такой схемой обслуживают 80–90% запросов полностью через ИИ (за секунды), а критичные 10–20% поступают к специалистам. Качество критичных диалогов при этом близко к 100%, потому что человек видит контекст и может исправить. Стоимость ниже, чем полный аудит. Требует правильной архитектуры маршрутизации, но это решаемо.
Архитектура доверенного ИИ: долгосрочная ставка
В суверенной архитектуре это еще критичнее. Когда у вас свой стек — от ОС и инфраструктуры до ИИ-модели и базы знаний — вы можете реально зашить интерпретируемость, версионирование и аудит в саму платформу, а не просить черный ящик за рубежом «вести себя хорошо». Именно ради этого мы строим суверенный ИИ-контур: чтобы риск был управляем, а не размазан по чужой юрисдикции. Это уже не про фильтры и буферы. Это про то, как вы строите систему с самого начала.
Но в разных бизнесах разные подходы.
Что происходит сейчас в регуляторной среде
Роспотребнадзор стал получать жалобы на чат-ботов, и компании начинают менять процессы. Нормативная база вокруг ИИ в России в процессе формирования: приняты первые поправки, обсуждаются специальные режимы, регуляторы уже смотрят на практику применения. Это не апокалипсис и не спешка. Это естественный процесс: технология развивается, регуляторы ловят. Правильная архитектура — это не о том, чтобы ждать штрафов. Это о том, чтобы построить систему, которая работает честно с первого дня.
Отдельный вопрос, который мне регулярно задают на встречах: «А кто в итоге отвечает — вендор ИИ, интегратор или мы как заказчик?». Пока российская практика идет по простому пути: отвечает тот, кто взаимодействует с клиентом и заключает договор. То есть бизнес, который вывел ИИ-ассистента на витрину. Поэтому разговоры в стиле «нам так настроил подрядчик» для суда обычно малоинтересны — ответственность не делегируется вместе с моделью.
Не экспериментируйте с рисками. Если ИИ-система работает с клиентом, контролируйте выходы. Без этого очень легко оказаться в ситуации, когда юристы тушат то, что архитекторы даже не видели на дашбордах. Выбирайте стратегию в зависимости от критичности — от простых фильтров до полной архитектуры доверия.
Те, кто сейчас строит правильную ИИ-архитектуру, сэкономят на судебных спорах и получат конкурентное преимущество, когда регуляторы начнут требовать сертификацию. А это произойдет в ближайшие два-три года. Я не гадаю — вижу это в запросах регуляторов, в письмах от регуляторов, в повестке совещаний.
Журнал IT Manager
Станислав ЕжовДиректор по ИИ ПАО «Группа Астра», архитектор суверенного ИИ-контураИнформационная безопасностьИскусственный интеллект (ИИ, AI)Управление рисками (Risk management)