Отредактировано и проверено фактами
Коротко
ChatGPT потенциально уязвимый благодаря тренировочным данным.
По мнению исследователей, всего за 60 долларов в США мы могли бы отравить 0.01% наборов данных LAION-400 или COYO-700 в 2022 году.
Технология ChatGPT становится все более популярной, но в последнее время исследование предполагает, что эта технология может быть уязвима из-за используемых ею обучающих данных. По мере того как модели становятся все более сложными, а наборы данных становятся все более и более сложными, злоумышленники могут использовать эту уязвимость, чтобы манипулировать наборами данных и заставить модели машинного обучения давать неточные результаты.
Отредактировано и проверено фактами
| Рекомендуется: ChatGPT (AI) прогнозирует, что 10 самых многообещающих акций превзойдут ведущие мировые фонды в 2023 году |
Основная проблема заключается в том, что базы данных чат-ботов часто представляют собой «условно проверенные» наборы данных, а это означает, что существует определенный уровень доверия к данным без тщательной проверки. Другими словами, эти наборы данных часто могут иметь основные проблемы, которые не были учтены. Хотя проверка наборов данных часто не выполняется из-за их большого размера, существует вероятность того, что злоумышленники смогут манипулировать этими данными.
Фактически, исследователи предположили, что к 2022 году злоумышленники могут потратить около 60 долларов на отравление 0.01% наборов данных LAION-400 или COYO-700. Хотя это звучит не так уж и много, злоумышленники могут использовать эти отравленные данные для собственной выгоды, если их не остановить. Вредоносные данные могут в конечном итоге утечка в большие наборы данных, ухудшая качество данных и приводя к ненадежным моделям машинного обучения.
Необходимо принять меры для защиты баз данных от вредоносных данных. Объединение нескольких источников данных должно стать стандартом для чат-бота. наборы данных для обучения чтобы данные были надежными и точными. Кроме того, компаниям следует экспериментировать с наборами данных, чтобы убедиться, что они не уязвимы для злоумышленников.
Чат-боты с искусственным интеллектом с вредоносным кодом могут быть уязвимы для взлома
Угроза вредоносного кода в чат-ботах может быть весьма серьезной; вредоносный код может использоваться для кражи пользовательских данных, обеспечения злонамеренного доступа к серверам и осуществления вредоносных действий, таких как отмывание денег или эксфильтрации данных. Если чат-бот с искусственным интеллектом обучается на данных с вредоносными вставками, он может неосознанно внедрять вредоносный код в свои ответы и неосознанно использоваться в качестве инструмента для злонамеренной выгоды.
Злоумышленники могут воспользоваться этой уязвимостью, преднамеренно или непреднамеренно внедрив вредоносный код в данные обучения. Кроме того, поскольку чат-боты ИИ учатся на данных, которые им представлены, это также может привести к тому, что они будут обучаться неверным ответам или даже злонамеренному поведению.
Еще одна опасность, с которой могут столкнуться чат-боты с искусственным интеллектом, — это «переоснащение». Это когда модели прогнозирования слишком тщательно обучаются на данных, которые им были предоставлены, что приводит к плохим прогнозам при представлении новых данных. Это может быть особой проблемой, поскольку AI чатботы обученные работе с вредоносным кодом потенциально могут стать более эффективными при внедрении вредоносного кода в свои ответы по мере того, как они лучше ознакомятся с данными.
Очень важно знать о рисках и принимать меры предосторожности, чтобы гарантировать данные обучения, используемые для обучения. ChatGPT является безопасным и надежным, чтобы предотвратить эти потенциальные недостатки. Исходные данные, используемые для обучения, также должны храниться раздельно и уникально; продвижение «вредоносных вставок» не должно конфликтовать с другими источниками или пересекаться с ними. Его следует изучить и сравнить с другими доменами, если возможен «захват» нескольких подтвержденных доменов для проверки данных.
Технология чат-ботов обещает изменить то, как люди ведут человеческие обсуждения. Но прежде чем он сможет полностью реализовать свой потенциал, его необходимо улучшить и защитить. Наборы данных для чат-ботов должны быть тщательно проверены и подготовлены для защиты от злоумышленников. Делая это, мы можем гарантировать, что мы полностью используем потенциал технологии и продолжаем продвигать рамки искусственного интеллекта.
Подробнее об ИИ: