Коротко
OpenAI разрабатывает новую систему на основе искусственного интеллекта для защиты от «быстрых хакеров» с многоэтапной стратегией джейлбрейка.
Jailbreak GAN может обнаруживать угрозы и противостоять им до того, как они станут серьезной проблемой, и может использоваться для создания эффективных систем безопасности.
OpenAI реализует новый проект, который может произвести революцию в мире безопасности данных. Научно-исследовательская компания разрабатывает новую систему на основе искусственного интеллекта для защиты от «быстрых хакеров» — хакеров, которые используют интеллектуальный анализ данных и другие методы для использования слабых мест различных онлайн-систем, таких как Chatty. Система, получившая название «Jailbreak GAN», использует генеративно-состязательную сеть (GAN) для создания новых мер противодействия потенциальным атакам.
GAN — это форма техники искусственного интеллекта, которая противопоставляет две сети друг другу: «генератор», который создает данные, которые «дискриминатор» пытается идентифицировать. Благодаря этому соревнованию GAN могут моделировать невероятно сложные среды, которые можно использовать для изучения широкого спектра явлений.
В случае Jailbreak GAN дискриминатор использует различные методы для обнаружения попыток взлома и запуска контрмер. Генератор обучается на ряде различных наборов данных, чатов, баз данных и облачных журналов, чтобы разработать различные контрмеры, чтобы перехитрить потенциальных хакеров.
Команда OpenAI пытается решить проблему быстрого взлома с помощью многоэтапного стратегия джейлбрейка. Этот подход использует комбинацию обработки естественного языка, алгоритмов машинного обучения и методов обучения с подкреплением для выявления потенциальных уязвимостей и разработки упреждающих решений. Затем компонент GAN отвечает за оценку мер противодействия и их постоянное обновление при каждой новой атаке.
Jailbreak GAN может обнаруживать существующие и будущие угрозы до того, как они станут серьезные проблемы. По мере развития технологии ее можно будет использовать для формирования основы эффективных систем безопасности в онлайн-системах, подобно антивирусу или другому защитному программному обеспечению.
Команда еще не сообщила, что она успешно протестировала способность системы обнаруживать и противодействовать конкретным попыткам взлома, и в настоящее время изучает способы ее развертывания в реальных условиях. Также неизвестно, сотрудничает ли OpenAI с фирмами, занимающимися безопасностью, и корпоративными партнерами для развертывания системы джейлбрейка GAN в безопасной среде.
Недавно исследователи из Гонконгского университета науки и технологий опубликовали статью «Многоступенчатые джейлбрейк-атаки на конфиденциальность ChatGPT», в котором систематически описывали все возможные атаки. И это не просто банальное режим ДАН но и режим разработчика: способы вывода модели через цепочку рассуждений и т. д.
Подробнее об ИИ: