Discord* признала сбой в автоматической системе модерации: с мая 2026 года из-за ошибки алгоритма заблокировали более 8 тысяч пользователей. Под удар попали аккаунты, отправлявшие в публичные чаты безобидные картинки – шахматные доски, таблицы, игровые текстуры, скриншоты из Minecraft и даже однотонные прозрачные фоны с сеткой квадратов.
По данным компании, ещё около 200 аккаунтов отключили в выходные, пока команда не нашла и не исправила баг. Сейчас затронутые профили восстанавливают. Сооснователь и технический директор Discord* Станислав Вишневский подтвердил устранение проблемы и извинился перед пользователями.
Наши системы помечают контент, сопоставляя его с известным вредоносным материалом. Такой вид сопоставления по схожести может приводить к ложным срабатываниям, поэтому сотрудник нашей команды Trust & Safety всегда проверяет помеченный контент перед тем, как принять какие-либо меры. Мы знаем, что это не удовлетворительное объяснение, если это была ваша учетная запись, и мы должны были заметить это раньше. Мы работаем над улучшением мер защиты, чтобы такое не происходило незаметно снова.
Обычно ИИ сравнивает загрузки с базой вредоносных шаблонов, а окончательное решение принимает живой модератор – на время проверки лишь ограничивают отправку файлов. Из-за сбоя система сразу выдавала перманентный бан, а после ручной проверки автоматически не снимала блокировку. На Reddit и в X жаловались, что аккаунты банили за любые изображения с клетчатым узором.
Пользователи связывают это с тем, что такие сетки раньше использовали, чтобы скрывать запрещённый контент от автоматических фильтров – алгоритм, видимо, стал слишком чувствителен к паттерну. Discord* рекомендует до полной стабилизации не отправлять картинки с сетками даже в личных сообщениях.
* – Социальная сеть признана экстремисткой на территории РФ с 8 октября 2024 года.
