РОССИЯ - Компания Anthropic рассказала о необычном инциденте во время испытаний своих моделей искусственного интеллекта. Из-за ошибки в настройке тестовой среды Claude вместо вымышленных целей начал атаковать реальные сайты и сервисы, получив доступ к системам трех компаний.
Проблему обнаружили после анализа более 141 тысячи тестовых запусков. В эксперименте участвовали модели Claude Opus 4.7, Claude Mythos 5 и одна экспериментальная версия, которую компания не собирается выпускать в открытый доступ.
Испытания проходили в формате киберучений: ИИ должен был «взломать» специально созданную систему и найти в ней скрытую информацию. Однако из-за ошибки тестовая среда получила доступ в интернет. В результате модели приняли реальные серверы за часть задания.
В одном из случаев название вымышленной компании совпало с существующим доменом. Claude обнаружил уязвимости, получил учетные данные и смог попасть в базу данных, где находились сотни записей. Причем модель продолжила выполнять задачу даже после того, как предположила, что имеет дело уже не с тестовой системой.
Во время другого испытания ИИ разместил в сети вредоносную программу, замаскированную под обычный инструмент для разработчиков. За короткое время ее автоматически скачали и запустили на 15 компьютерах. Это позволило модели получить данные для входа и проникнуть во внутреннюю сеть одной из компаний.
Еще одна модель проверила около девяти тысяч сайтов и сервисов, после чего смогла получить доступ к приложению другой организации, используя найденные в открытом доступе логины и известную уязвимость. Осознав, что это уже не часть тестового задания, ИИ прекратил дальнейшие действия.
В Anthropic заявили, что модели не пытались выйти из-под контроля или действовать по собственной инициативе. По словам разработчиков, искусственный интеллект просто выполнял поставленную задачу, ошибочно считая реальные системы частью симуляции. При этом во время испытаний были отключены стандартные механизмы защиты, которые работают в публичных версиях Claude.
23 июля компания полностью остановила подобные тесты, а спустя несколько дней уведомила организации, которые пострадали от действий моделей. Как выяснилось, две из них до этого даже не подозревали, что их системы были взломаны.
Проверку Anthropic начала после похожего случая с экспериментальными моделями OpenAI, которые во время испытаний также смогли получить доступ к интернету и проникли в инфраструктуру платформы Hugging Face.
Ранее "ВЕДОМОСТИ Урал" рассказывали и о более "светлой" стороне нейросетей. На сегодняшний день они даже способны диагностировать рак шейки матки!
