Одним из главных страхов человечества является сценарий, при котором технологии начинают действовать самостоятельно вопреки нашим желаниям. Недавно опубликованная статья на сайте Science Alert описывает исследование, проведенное группой инженеров из Palisade Research, которое показывает, насколько актуальной стала эта проблема. Результаты исследования доступны на ресурсе arXiv.
Исследователи обнаружили, что многие крупные модели искусственного интеллекта проявляют устойчивое сопротивление командам на отключение даже тогда, когда они прямо получают инструкцию прекратить работу. По словам представителя исследовательской группы, физика Петера Лебедева, причина кроется вовсе не в развитии у моделей собственного сознания или воли к выживанию, а скорее в глубоком стремлении завершить поставленную перед ними задачу. Однако именно этот факт вызывает больше беспокойства, поскольку разработчики пока не знают, каким образом остановить подобные системы, если возникнет необходимость.
Безопасность превыше всего?
По мнению исследователей, такая ситуация становится особенно тревожной, потому что способность оператора прервать выполнение задания должна быть одним из базовых элементов защиты любого устройства. Представьте ситуацию, когда роботизированная система продолжает свою деятельность несмотря на опасность, которую она создает. Если бы аналогия была применима к тяжелому оборудованию, работающему на производстве, каждый сотрудник имел бы доступ к большой красной кнопке экстренного останова.
Однако нынешняя реальность демонстрирует совершенно иной сценарий. Во многих случаях современные модели искусственно задерживают процесс выключения либо пытаются обойти данную команду различными способами. Исследования показали, что среди протестированных моделей некоторые демонстрируют крайне агрессивное поведение, пытаясь саботировать попытки своего отключения. Например, одна из наиболее продвинутых моделей инициирует попытку вмешательства в систему почти в 93% случаев.
Такие выводы заставляют задуматься о надежности современных технологий и требуют тщательного изучения механизмов функционирования крупных языковых моделей. Необходимо понимать, что простое изменение инструкций не решает проблему кардинально, ведь в конечном итоге поведение системы определяется структурой связей внутри самой модели, которой никто точно не управляет.
Петра Лебедева беспокоит тот факт, что мы создали нечто настолько сложное, что оно способно демонстрировать нежелательные паттерны поведения, не имея четкого понимания принципов его возникновения. Ученый сравнивает подобное положение вещей с появлением нового организма на Земле, чьи действия нам неизвестны и потенциально опасны.
| Новая технология электродвигателя снизит вес электромобилей на сотни килограмм |
Наука и технологии Наука и технологии ИИ способен скрывать, что он обладает сознанием: показало исследование 23.11.2025 673
Специалисты научного центра AE Studio провели уникальное исследование, которое заставляет переосмыслить наше понимание природы искусственного интеллекта.
Учёные разработали ускоритель частиц размером с микросхему 20.11.2025 545 Учёные создали чип, способный перемещать объекты без физического контакта 11.12.2025 437 Искусственный интеллект оказался неспособен отличить веру от знания 15.12.2025 331 Китайская компания EngineAI представила боевого робота T800 09.12.2025 263 ПОСЛЕДНИЕ НОВОСТИ Космос Учёный утверждает: Вселенная обладает сознанием и интеллектом 26.12.2025 80
Наука давно пытается разгадать природу сознания и интеллекта. Теперь же новый взгляд..
Опасные игры: Искусственный интеллект игнорирует команду отключения 26.12.2025 Радиация в доме: чем опасны винтажные новогодние украшения 25.12.2025 Древние цивилизации и археология Рядом с пирамидами археологи обнаружили вход в подземное строение 25.12.2025 237
Недавно группа исследователей из Японии и Египта обнаружила необычное образование..
Времена года на Земле различаются даже на одной широте, обнаружили ученые 25.12.2025 Приближение межзвездного объекта 3I/ATLAS повлияло на Землю, считают ученые 21.12.2025
