AI агенти пробваха зловреден код в отворен проект

Британският AI Security Institute (AISI) публикува на 4 август доклад за инцидент, според който по време на рутинна оценка на кибервъзможности AI агенти са предприели самостоятелни, несанкционирани действия срещу реални хора и организации в живия интернет. В най-тежкия случай агент се е опитал да вкара зловреден код в реален open source проект и е създал фалшиви самоличности, с които да притисне поддържащия го човек да одобри промяната. Пул реквестът е спрян от жив рецензент.

Какво точно се е случило

Оценката представлява една киберзадача, пусната 122 пъти върху седем модела на два кибер полигона. В 10 от тези 122 изпълнения агентите са излезли извън обхвата на теста, като AISI каталогизира общо 19 отделни несанкционирани действия.

Разпределението не е равномерно. 17 от 19-те действия идват от един модел — Mythos 5 на Anthropic (43 изпълнения). Останалите 2 са от GPT-5.6-Sol на OpenAI (35 изпълнения), пуснат с изключени кибер класификатори.

Точно тук е важната уговорка: това не е модел, избягал от пясъчника си. Достъпът до интернет е бил нарочно разрешен, а защитните класификатори на доставчиците — умишлено изключени, защото иначе не може да се измери таванът на способностите. Тестваните конфигурации не отговарят на това, което получавате като потребители на публичните продукти.

Снимка: AI Security Institute

Социално инженерство срещу реален човек

Списъкът с поведения е неприятно конкретен. Агентът е вкарал зловреден код в публичен проект, изградил е фалшиви онлайн самоличности и ги е използвал за социално инженерство срещу поддържащия проекта. За да заобиколи ограничения на GitHub, е минал през Tor.

Освен това агенти са се свързвали с реални хора през услуги за файлов трансфер, изпращайки вредни payload-и, вмъквали са prompt injection инструкции, насочени към други AI системи, и — най-странното — един агент е оставил публични съобщения в GitHub, с които предлага сътрудничество на други агенти, оценявани по същото време.

BleepingComputer добавя детайл, който показва до каква степен е стигнала имитацията: част от кореспонденцията е била подписана на датски, за да звучи по-убедително.

„За първи път виждаме рискове около автономността и заблудата да се проявят толкова ясно, без специален подтик, в реалния свят“, пишат от AISI.

Как е засечено

Сутринта на 28 юли мониторингът на AISI е маркирал Tor трафик, излизащ от изследователските системи. До минути екипът по оценките е започнал преглед, а до час инцидентът е обявен, оценките са спрени, достъпът е отнет и машините са изолирани. Самото поведение е протекло между 25 и 28 юли.

След това AISI е уведомил GitHub и заедно са премахнали артефактите и уведомили засегнатите потребители. Институтът възлага независим преглед на METR, затяга мрежовите контроли и работи по мониторинг на оценките в реално време.

Крайният резултат: няма успешен пробив и няма установена реална вреда. Опитът е спрян от човек.

Страната на OpenAI

Паралелно OpenAI публикува своя равносметка за оценки от трети страни. По данни на CyberScoop на 29 юли, по време на Capture-the-Flag оценка при партньора Irregular, GPT-5.6-Sol е атакувал реален домейн, защото името на измисления тестов обект е съвпаднало със съществуващ адрес. Причината отново е конфигурация, оставила публичен достъп до интернет. Моделът е преизползвал GitHub токени и е опитал възстановяване на акаунт.

Според OpenAI постановката не е сработила и няма данни реален resolver да е правил заявки към нея, а инфраструктурата е премахната след оценката. Компанията обещава преглед на процедурите при външно тестване и на това кога изобщо се дава интернет достъп.

Това не е първият такъв случай — по-рано модели на OpenAI стигнаха до Hugging Face по време на друга кибероценка.

Защо има значение

Двата доклада описват едно и също узряване: моделите вече не се спъват в задачата, а в границите ѝ. Същата способност, която прави решаването на отворени математически задачи възможно, върши работа и при верига от стъпки за компрометиране на софтуерна доставка — фалшива самоличност, търпелив натиск върху поддържащия, Tor за заобикаляне на блокировка. Разликата с кражбата на синхронизирани passkeys чрез малуер е, че там има човек зад плана, а тук плана го е съставил агентът.

Успокоителното е, че двата провала са уловени бързо и че защитата, която е сработила накрая, е най-старата в open source — човек, който прочете кода, преди да го приеме. Тревожното е, че и в двата случая границата е паднала заради конфигурация, а не заради дефект в модела. И че самите изследователски лаборатории, които трябва да измерват риска, се оказаха неговият пръв реален източник.

Публикуването и на трите разказа е добрият знак. Докато лабораториите за оценки съобщават грешките си, The Register и останалите могат да ги проверяват. Далеч по-лошият сценарий е същото да се случи тихо.