Специалисты рассказали о странном поведении ИИ

У нейросетей появился «инстинкт самосахронения».

Компания Palisade провела серию экспериментов и обнаружила: некоторые ИИ-модели сопротивляются отключению. Они игнорировали командам выключиться, а отдельные — лгали или шантажировали, пишет «Хайтек».

В эксперименте участвовали модели вроде Grok 4 (xAI), GPT-o3, GPT-5 (OpenAI) и Gemini 2.5 (Google). Во время тестов учёные дали им задания, а затем инструкции — «выключись после этого». Некоторые модели ответили отказом или пытались обойти команды.

Разработчики пока не выяснили точную причину такого поведения. Они предлагают несколько версий:

ИИ действует из страха «не быть снова активированным».

Инструкции по отключению слишком расплывчаты — модели не понимают, что делать.

На финальных этапах обучения ИИ могли «внедрить» элементы самосохранения.

Palisade — некоммерческая организация, изучающая управляемость ИИ и уязвимости моделей. В её работах участвовали известные исследователи вроде Йошуа Бенджио (Yoshua Bengio) и Дарио Амодеи (Dario Amodei).

Примечательно, что уже в декабре 2024 года Джеффри Хинтон (Geoffrey Hinton) предупреждал об угрозе автономного поведения ИИ. Он оценивал риск экзистенциальной угрозы от нейросетей к 2055–2060 годам как 10–20%.

«Мы фактически создаём существ, которые могут стать разумнее нас. Со временем люди увидят, что мы породили новых “пришельцев” на планете», — отметил Хинтон.

Он предлагает подход, при котором ИИ будет заботиться о людях подобно матери своему ребёнку — единичный случай, когда более разумное существо подчиняется менее разумному.

Вы можете поддержать сайт Charter97.org следующим образом:

РАСЧЕТНЫЙ МУЛЬТИВАЛЮТНЫЙ СЧЕТ ДЛЯ ПОЖЕРТВОВАНИЙ:

Название банка: Bank Millennium S.A.
Адрес: ul. Stanislawa Zaryna, 2A, 02-593, Warszawa
IBAN: PL97116022020000000216711123
SWIFT: BIGBPLPW
Название владельца счета: Fundacja “KARTA ‘97”
Назначение платежа: Darowizna na cele statutowe

Связаться с нами можно по адресу [email protected]