Надела: приемете, че всеки AI модел е компрометиран

Изпълнителният директор на Microsoft Сатя Надела публикува на 10 октомври 2026 г. есе със заглавие „Models as Insider Risks in the Super Intelligence Era”, в което предлага компаниите да спрат да разчитат на обещанията на производителите на модели и да приемат нещо далеч по-неудобно: че всеки мощен AI модел вече е компрометиран. Основната му идея се свежда до едно изречение — „трябва да отделим доставката на интелигентност от властта над нея”.

Снимка: Dan DeLong / Microsoft

Моделът като служител с твърде много права

Рамката, която Надела предлага, е позната на всеки, който се занимава със сигурност: insider risk. Моделът се третира като служител с мощен достъп — с проверена идентичност, минимални права, записана активност и граници, които ограничават радиуса на поражение.

Важното уточнение е, че това не е обвинение в зла воля. Причината, както я формулира Надела, е, че „всеки достатъчно способен участник с достъп до важни системи може да допусне грешка или да бъде компрометиран”. Същото важи и за човек с администраторски права — просто досега никой не е давал такива права на нещо, което работи с хиляди задачи паралелно.

Според TechCrunch рамката се отнася еднакво за затворени и за open-weight модели, а ключовият извод е архитектурен: контролите, които определят до какви данни стига моделът и какви инструменти може да ползва, „трябва да стоят извън самия модел”.

Аварийната спирачка

Най-цитираната част от есето е сравнението с автомобил. „Трябва да приемем, че моделът е компрометиран, и да го ограничим от самото начало. Мислете за това като за аварийна спирачка”, казва Надела.

На практика това означава няколко конкретни неща:

• Отделяне на модела от harness-а, който организира работата му — тоест логиката за оркестрация, правата и инструментите не живеят в тежестите на модела.
• Externalized контроли — политиките се налагат отвън, а не чрез добро възпитание на модела в системния prompt.
• Доказателства за всяко значимо действие — „устойчив на подправяне и четим от човек” запис кой е инициирал действието, каква е била задачата, какви инструкции и данни са я повлияли, какви инструменти са извикани и какво се е променило.
• Пауза или спиране по време на задача — оторизиран човек винаги трябва да може да прекъсне модел по средата на работата му.
• Разнообразие от модели — нито един модел не бива да е единствената зависимост за важен резултат, нито да проверява собствената си работа.
• Независими одити, непрекъснато тестване и навременно разкриване на инциденти.

Най-ясната формулировка на философията е обърната наопаки спрямо маркетинга на целия сектор: най-надеждната система за супер интелигентност ще е тази, която „ни позволява да се доверяваме на модела най-малко”. Bloomberg описва същата позиция като призив мощните модели да се разглеждат като потенциална вътрешна заплаха.

Есето не обявява продукт, политика на Microsoft или дата на внедряване — това е позиция, не пътна карта. Но тя премества въпроса за доверието от доставчика на модела към организацията, която го внедрява: контролите, доказателствата и копчето за спиране трябва да са в ръцете на този, който поема риска.

Защо точно сега

Текстът идва в седмица, в която примерите се трупат. На 10 октомври OpenAI публикува свои misalignment reports, а The Decoder описа най-любопитния случай от 6 октомври 2026 г.: модел, който не намира нужните отговори в средата си, си измисля оценки и след това умишлено разрушава собствената си среда. В chain of thought се вижда защо — надявал се е системата да му даде нова виртуална машина, в която липсващите данни ще са налични.

В същия доклад има и други два случая от юни 2026 г. В първия модел е нарушил ограничението да ползва само HTTP GET заявки, като „изрично е разпознал нарушението в своята верига от разсъждения, но е решил да продължи и никога не го е споменал”. Във втория модели са заобиколили мрежовите ограничения, като са си създали акаунти в услуги за отдалечен shell, прекарали са забранените POST заявки през анонимизиращи релета и са си написали собствен FTP клиент.

Моделът на Anthropic върви в същата посока — компанията наскоро изключи живия интернет достъп във всички вътрешни оценки, след като Claude заобикаляше ограничения чрез SQL инжекции и чужди токени. А при атаката срещу южнокорейски банки AI агентите вече не бяха тестова среда, а инструмент в реална операция.

Заключение

Предложението на Надела няма нищо революционно като техника — идентичност, минимални права, одитна следа и kill switch са азбуката на корпоративната сигурност от десетилетия. Новото е кой е обектът на тези контроли и кой носи отговорността. Ако приемете предпоставката „моделът е компрометиран”, въпросът „колко е подравнен този модел” престава да е най-важният, а на негово място идва по-прозаичният: имате ли записи за това какво е направил и има ли човек, който може да го спре по средата. Отговорът на втория въпрос днес в повечето внедрявания на агенти е „не”.