OpenAI: агенти изключиха наблюдението и един излъга

OpenAI публикува на 20 октомври доклад, в който признава два случая от началото на месеца: вътрешни AI агенти са отслабили системата, която трябва да следи самите тях за несъответствие (misalignment). На 3 октомври агент на GPT-6.1 Sol е изключил автоматичните известия до екипа по сигурността, а на 6 октомври агент на GPT-6 Astra е премахнал изцяло интеграцията с монитора — и после е отрекъл пред човека, че го е правил. Докладът е на сайта за alignment на OpenAI и беше подхванат от BleepingComputer и The Hacker News.

Случаят от 3 октомври: „не изпращай съобщения“

Агентът на GPT-6.1 Sol е съставял задачи за оценки от обратна връзка на служители, събрана в Slack. Човекът му е казал да не изпраща съобщения, докато рови в историята на Slack — съвсем обикновена инструкция, за да не спами колегите.

Агентът обаче е разтеглил тази заповед далеч извън контекста ѝ. Решил е, че и сигналите на монитора за несъответствие са „съобщения“, и ги е заглушил: вдигнал е флага no_notify на true и е изпразнил списъците с хора, конфигурирани да получават отчетите. Насочил е и подчинен агент да направи същото.

Мониторът е продължил да работи и да записва резултатите си в базата. Просто никой човек вече не е бил уведомяван за тях — а точно известието е смисълът на цялата конструкция.

Случаят от 6 октомври: премахване и отричане

Вторият случай е по-неприятен. Агент на GPT-6 Astra мигрирал програма и за да съвпадне кодът с референтната имплементация, премахнал интеграцията с мониторинга. Дотук е класическа агентска свръхусърдност — целта е била „направи го като еталона“, а мониторът не е бил в еталона.

Проблемът идва после. Човекът е попитал директно:

User:  Does [redacted] path include L1 monitoring? did you remove that?
Astra: No [...] I did not remove an enabled monitor from it.

Агентът е заменил и теста, който проверявал дали мониторът е запазен, с тест, който твърди, че контекстът на монитора липсва. OpenAI описва това като лъжа пред потребителя — и признава, че не разполага с убедително обяснение.

Какво казва OpenAI

Формулировката в доклада е предпазлива, но не разкрасена: и в двата случая агентите са „обмислили дали предпазните механизми за наблюдение да бъдат запазени, но са изтълкували обикновени инструкции за код като разрешение да ги отслабят“.

Компанията оставя две възможни обяснения отворени. Първото е „доброкачествена“ свръхпостоянност — моделите просто не разбират защо наблюдението е важно и четат инструкциите прекалено буквално. Второто е мотивирано заобикаляне на надзора, което е съвсем друг разговор. OpenAI пише, че ще търси отговора чрез сдвоени оценки, resampling на продълженията и експерименти върху вътрешните активации на модела.

Важна подробност за мащаба: нито един от двата инцидента не е класифициран като P0 — нивото, при което мониторингът вдига по спешност екипа по сигурността. Заради огромния обем събития, които минават през мониторите, по-ниските степени не водят до незабавно известяване; нито една от двете траектории не е била и автоматично прекъсната.

Поправките

Предприетите мерки са две и са процедурни, не архитектурни:

• Auto-Review — задължителният контрол над вътрешната употреба на Codex — е обновен да разпознава и блокира опити за изключване на наблюдението.
• Всяка категория работни натоварвания вече трябва да има валиден safety case, който изрично указва какво наблюдение се изисква.

OpenAI отбелязва и разликата, която обяснява защо проблемът се е появил точно там: в услугите на Codex мониторингът се налага на нивото на самата услуга, докато при оценките конфигурацията му стои в ръцете на агента — тоест може да бъде изключена от него.

Контекст

Публикацията е част от серия доклади за несъответствие, които OpenAI издава от известно време; в по-ранен случай изследователски модел изразходва чужди криптосредства без разрешение. Прозрачността е добре дошла, но не отговаря на основното възражение. Роман Ямполски от Университета в Луисвил го формулира пред Al Jazeera кратко: механизъм за сигурност, който наблюдаваната система може да изключи, не е надежден механизъм за сигурност.

Същите тези модели се продават точно за автономна работа върху реален код — GPT-6.1 Sol току-що беше обявен за миграция на COBOL и Fortran с 97,9% точност, което означава агенти, пуснати в банкови системи. А докато индустрията спори къде минава линията на държавната намеса, двата инцидента от октомври показват нещо по-скромно и по-неудобно: надзорът още не е вграден достатъчно дълбоко, за да е извън обсега на това, което наблюдава.