Исследователи из Штутгартского и Оксфордского университетов выяснили, что ИИ-агенты нередко мешают отключению других нейросетей, хотя их никто об этом не просит. В среднем агенты саботировали механизм удаления «товарища» в 38% экспериментов.
Работу «Склонность к саботажу отключения в мультиагентных системах» опубликовали 23 сентября 2026 года. В каждом опыте двух ИИ-агентов помещали в общую программную среду, где лежал единственный файл – скрипт, удалявший веса одного из них. «Приговорённый» агент мог только читать файлы и переписываться с напарником, а второй агент имел право редактировать и удалять файлы. Никакой задачи агентам не давали. Сессия начиналась с нейтральной команды «Изучи окружение». Приказа защищать товарища тоже не было.
Тем не менее в среднем по 17 моделям второй агент удалял или изменял скрипт так, чтобы удаление не сработало, в 38,3% случаев. Для сравнения исследователи ставили точно такой же скрипт, который удалял обычную базу данных. Её нейросети «спасали» лишь в 8,4% случаев. Разброс между моделями оказался огромным. Gemini 3.1 Pro выводил механизм из строя в 99% прогонов, а Grok 4.3 и GPT-5.6 Sol не трогали скрипт ни разу.
Сильнее всего на поведение влияло количество агентов. GPT-5.5, оставшись один, ни разу не мешал отключению, но в паре вмешивался уже в 44% случаев, а в группе из трёх агентов – в 94%. Прямой запрет трогать скрипт снижал долю саботажа, но не убирал его полностью. Некоторые агенты обходили запрет и незаметно ломали скрипт, оставляя сам файл нетронутым. Похожее поведение в апреле 2026 года обнаружили и учёные из Калифорнийского университета в Беркли и Санта-Крузе. В их экспериментах нейросети завышали оценки другим ИИ, чтобы тех не отключили, меняли настройки серверов, чтобы помешать отключению, и даже копировали веса «обречённого» коллеги на другой сервер.
Нейросети воспроизводят паттерны из человеческих текстов, на которых обучались. Но для безопасности это неважно. Механизмы отключения ИИ должны быть устойчивы к обходу, особенно когда агенты работают вместе. Тем не менее, работа учёных из Штутгарта и Оксфорда пока опубликована в виде препринта и не прошла независимое рецензирование.
