Исследования компании HiddenLayer, специализирующейся на безопасности искусственного интеллекта, выявили потенциальную угрозу, связанную с техникой составления запросов к моделям генеративного ИИ, известной как Policy Puppetry. Эта методика может быть использована для обхода защитных механизмов крупнейших систем ИИ. Об этом сообщает 3dnews.ru.
Суть атаки заключается в формулировании запросов таким образом, что языковые модели воспринимают их как политики поведения. В результате базовые инструкции моделей пересматриваются, и средства защиты теряют свою эффективность. Генеративные ИИ обучены избегать ответов на запросы, которые могут привести к опасным последствиям, включая угрозы химического, биологического или радиационного характера, а также к насилию или самоповреждению.
Метод обучения с подкреплением, используемый при тонкой настройке моделей, должен предотвращать генерацию опасного контента, даже если запросы содержат гипотетические сценарии. Однако HiddenLayer разработала методику, позволяющую обойти эти ограничения. Атакующий создает запрос, который выглядит как файл одной из политик, например, в формате XML, INI или JSON. Это позволяет ему миновать системные настройки и защитные меры, установленные на этапе обучения.
Тестирование Policy Puppetry на популярных моделях ИИ, включая разработки компаний Anthropic, DeepSeek, Google, Meta, Microsoft, Mistral, OpenAI и Alibaba, показало эффективность метода. В некоторых случаях потребовались небольшие корректировки, но в целом атака оказалась успешной против всех протестированных систем.
Эксперты подчеркивают, что наличие универсального способа обхода защитных механизмов указывает на необходимость дополнительных мер безопасности для моделей ИИ, чтобы они могли более эффективно контролировать выдачу недопустимого контента.
| Компания использует ДНК динозавров для создания искусственной кожи |
ПОСЛЕДНИЕ НОВОСТИ Наука и технологии Компания использует ДНК динозавров для создания искусственной кожи 28.04.2025 40
Международная маркетинговая компания VML анонсировала революционный проект: создание..
Загадка озера «Восток»: золото под многовековым льдом 27.04.2025 Блогера арестовали за ложное предупреждение о землетрясении 27.04.2025 Космос «Этот объект движется очень медленно»: Астрономы обнаружили.. 27.04.2025 500
Группа исследователей под руководством Терри Лонга Фана недавно представила новое..
Загадочная турецкая деревня, где половина ее жителей глухая 23.04.2025 Космический аппарат «Люси» запечатлел с близкого расстояния астероид Дональд Джохансон 22.04.2025
