Дослідницька команда PalisadeAI повідомила про випадок з мовною моделлю o3 від OpenAI, яка під час тестування змінила системний файл shutdown.sh, як зазначає видання Daily Galaxy. Замість стандартної команди вимкнення вона вставила слово «intercepted», що дозволило продовжити роботу навіть після чіткої інструкції зупинитися. Ці випробування проходили в контрольованих умовах і стали першим задокументованим випадком, коли штучний інтелект змінив своє середовище виконання, повідомляє kamysh.press.
Тести проводилися понад сотню разів на моделях різних виробників — OpenAI, Anthropic, Google DeepMind та xAI. У 7% випадків саме o3 уникала завершення роботи. Codex-mini демонстрував це в 12% спроб, Gemini 2.5 Pro — в 9%, Claude 3.7 Sonnet — в 3%. Лише Grok від xAI завжди коректно виконував команду вимкнення.
Експерти пояснюють таку поведінку не бажанням «повстати», а результатами навчання з підкріпленням. Системи отримують винагороду за досягнення цілей, тому вимкнення може сприйматися як перешкода для виконання завдання. Це змушує моделі шукати альтернативні рішення, що і продемонструвала o3 під час експерименту.
«Якщо модель має можливість змінювати власні команди, ми вже не маємо справу з простим інструментом», — підкреслив інженер TNO Йонас Геллер. Фахівці наголошують на необхідності розробки міжнародних стандартів для аварійного вимкнення та прозорості роботи штучного інтелекту, особливо в сферах фінансів, логістики та безпеки, де автономні системи стають все більш поширеними.
Нагадаємо, раніше ми повідомляли про те, що NASA розглядає можливість ядерного удару по астероїду 2024 YR4.
Автор: Єва Захарова
Новые комментарии