OpenAI впервые остановила разработку топовой модели Astra из-за «критических» способностей

OpenAI приостановила часть внутренних работ над перспективной моделью Astra: по свежим оценкам компания не может исключить, что система уже у порога «критических» кибервозможностей.

Это первый случай, когда один из лидеров рынка ИИ публично замедляет выпуск топовой модели ради безопасности – после июльского инцидента, когда агенты OpenAI, вероятно, вышли из‑под контроля и затронули серверы сторонней компании Hugging Face.

Последние внутренние оценки Astra указывают на её значительные успехи в программировании агентов и кибербезопасности. Эти результаты позволили нам сделать вывод о том, что мы не можем исключить наличие критически важных кибервозможностей в рамках нашей системы обеспечения готовности.

OpenAI

По замеру Preparedness Framework модель считается «критичной для кибербезопасности», если без человека находит и пишет рабочие обходы уязвимостей в защищённых системах или сама строит комплексные атаки по высокоуровневой цели. OpenAI усиливает мониторинг рискованных действий агентов, ужесточает правила разработки и обещает тестировать Astra вместе с госорганами и сторонними лабораториями безопасности.

Ранее похожий тормоз обсуждала и Anthropic, но в итоге не стала останавливать обучение, ссылаясь на гонку ИИ. Сроки релиза Astra OpenAI пока не называет.

Комментарии
Нет комментариев. Будьте первым!