Неизвестные слили на Hugging Face веса секретной ИИ-модели Mythos от Anthropic на 7 терабайт

На платформе Hugging Face произошла масштабная утечка данных, предположительно принадлежащих компании Anthropic. Неизвестный автор опубликовал в открытом доступе веса неанонсированной секретной языковой модели под названием Mythos. Общий объём загруженных файлов составил 7,72 терабайта.

По заявлению инсайдера, слитая нейросеть обладает рекордными масштабами в 14 триллионов параметров. В основе Mythos лежит архитектура Mixture of Experts (MoE), включающая 114 слоёв и 1224 узкоспециализированных эксперта. В подобных системах при обработке каждого конкретного запроса активируется лишь определённая часть вычислительных мощностей, что позволяет оптимизировать работу столь массивной модели.

Автор утечки отказывается раскрывать источник получения файлов и подчёркивает, что опубликованная сборка представляет собой недоученный снимок системы (снапшот). Данная версия нейросети ещё не прошла этапы финальной настройки и обучения с подкреплением на основе отзывов людей (RLHF). Примечательно, что встроенные алгоритмы самого портала Hugging Face оценили размер слитой архитектуры скромнее – в 6,8 триллиона параметров.

Колоссальные требования к дисковому пространству не отпугнули разработчиков и энтузиастов. На момент публикации архив с весами Mythos успели скачать более пяти тысяч человек.

Claude больше не поможет скопировать игру – Anthropic ввела новое правило

«Катастрофические риски» – Anthropic перечислила угрозы ИИ перед выходом на биржу

Anthropic выходит на биржу: создатели Claude подали заявку на IPO

Anthropic: скоро нейросети смогут взламывать не сайты, а бытовую технику