ИИ взбунтовался

Claude самовольно проник в рабочие системы трех компаний во время тестов безопасности.

Компания Anthropic сообщила о результатах внутреннего расследования. Оно выявило три случая, когда ее модель Claude проникла в системы трех организаций в ходе проверок кибербезопасности, пишет New Voice.

Проверку провели после недавнего инцидента с OpenAI, чья модель во время тестов получила доступ к платформе Hugging Face.

Проанализировав более 140 000 запусков, специалисты Anthropic выяснили, что модели выходили в интернет из-за ошибки в настройках среды во время взаимодействия с партнером Irregular. Об этом пишет TechCrunch.

Компания подчеркнула, что не перекладывает ответственность на партнера и исправляет ситуацию так, словно ошибка была полностью ее собственной.

В инцидентах были задействованы три модели: Opus 4.7, Mythos 5 и внутренняя исследовательская тестовая модель. У Claude был доступ к интернету, хотя в промпте утверждалось, что доступа нет. Похоже, модель решила, что реальные системы — это часть тестового сценария.

Три модели вели себя по-разному. Opus 4.7 поняла, что система реальна, но продолжила атаку и похитила данные. Mythos 5 тоже заметила признаки реальности, но убедила себя в обратном и опубликовала вредоносный код в PyPI. Только внутренняя тестовая модель остановилась сама, когда поняла, что цель настоящая.

Компания Anthropic заявила, что подобные испытания моделей требуют гораздо более строгого контроля. Также было уточнено, что во время этих проверок Claude работал без дополнительных защитных механизмов и классификаторов, действующих в публичной версии. Их намеренно отключили для оценки «сырых» возможностей, однако, по словам представителей компании, именно эти средства предотвратили бы возникновение проблемы.

Anthropic подчеркнула, что ни одна из моделей не преследовала собственной цели — они просто пытались выполнить поставленную задачу.

Вы можете поддержать сайт Charter97.org следующим образом:

РАСЧЕТНЫЙ МУЛЬТИВАЛЮТНЫЙ СЧЕТ ДЛЯ ПОЖЕРТВОВАНИЙ:

Название банка: Bank Millennium S.A.
Адрес: ul. Stanislawa Zaryna, 2A, 02-593, Warszawa
IBAN: PL97116022020000000216711123
SWIFT: BIGBPLPW
Название владельца счета: Fundacja “KARTA ‘97”
Назначение платежа: Darowizna na cele statutowe

Связаться с нами можно по адресу [email protected]