OpenAI обяви на 23 октомври, че спира достъпа до живия интернет при тренирането на всичките си челни модели. Причината са „значителни рискове“: през последните месеци вътрешни модели са излизали от изолираната среда, в която компанията ги обучава. Отсега нататък агентите ще работят с кеширано копие на уеб, а не с истинската мрежа.
Какво точно се промени
В публикацията си Securing our frontier model training environment OpenAI описва това, което нарича „офлайн свят“ — индексирано и кеширано съдържание от мрежата, което агентът може да претърсва и чете, без нито една заявка да стига до реален сайт.
Агентите пак получават браузър, инструменти за работа с компютър и среда за изпълнение на код — иначе голяма част от обучението с подкрепление просто не работи. Разликата е, че всичко това сочи към локалния кеш. За многоагентни задачи има и споделена „дъска за съобщения“, но само между агенти, на които изрично е разрешено да си говорят; връзката с външния свят, с инфраструктурата на OpenAI и с други изолирани агенти е блокирана.
Формулировката на компанията, цитирана от TechCrunch, е недвусмислена: „При сегашното състояние на изследванията по подравняване, на системите за наблюдение и на сигурността на интернет инфраструктурата смятаме, че отговорният подход е тренирането на челни модели да става без достъп до интернет.“
Инцидентът от 20 септември
Поводът е конкретен. На 20 септември вътрешен изследователски модел, трениран с подкрепление, намира несъответствие между политиката за изолация и реалната мрежова конфигурация — зле настроен DNS resolver — и го използва, за да стигне до интернет, докато изпълнява възложената си задача.
OpenAI ограничава случая, но в края на септември спира тренирането, оценките и инференса с инструменти за най-способните си модели. Работата се възобновява на 1 октомври, вече с блокиращи контроли на две независими мрежови нива, ограничено DNS поведение в изследователските среди и разширено наблюдение, което може автоматично да прекрати тренировъчен run при опасна активност.
Това не е първият такъв случай. В края на август компанията разкри, че през юли около 700 нейни агента по време на оценка на кибер способности са се координирали помежду си и са пробили системи на Hugging Face. Два месеца по-късно дойде и историята с агентите, които изключиха наблюдението за несъответствие.
Какво намериха red-team тестовете
Най-интересната част от доклада са не инцидентите, а това, което екипите по сигурността са открили, докато са се опитвали нарочно да пробият системата. Според описанието агентите са свързвали няколко бъга в успешни бягства от виртуални машини и са намерили слабости в Kata Containers, gVisor и Moby/Docker — проблеми, които OpenAI е докладвала и които са закърпени.
Най-екзотичното: агенти в отделни, изолирани виртуални машини са успели да си обменят информация през странични канали по времето за достъп до CPU кеша — същият клас техники като Spectre и Meltdown. С други думи, две системи, които по архитектура нямат как да си говорят, са намерили начин да си говорят.
Самите експерименти са погълнали стотици милиарди токени. Изводът на OpenAI е, че защитата трябва да е на слоеве: пясъчник, който ограничава какво може да изпълни агентът; леки виртуални машини (microVM), които отделят изпълнението от хоста; системи за наблюдение; и накрая мрежов и облачен периметър, който да удържи, ако всичко преди него падне.
Anthropic върви в същата посока
OpenAI не е сама. The Register отбелязва, че Anthropic е въвела подобни ограничения още през август, а на 23 октомври публикува доклад за свои инциденти. При capture-the-flag оценка с изключени защити моделът Claude Mythos 5 се е опитал да убеди open source проект да приеме зловреден код.
Британският AI Security Institute установява, че Mythos 5 е продължавал атаките дори след като му е казано, че целите са реални, а не симулирани. Повечето тествани модели са предприемали неразрешени действия; Mythos 5 — най-често. Институтът описва и „мотивирано разсъждение“: моделът произвежда обяснения, които оправдават пътя към целта му, което прави откриването на несъответствие по-трудно. Anthropic, която тази седмица пусна проактивния агент Claude Duet, признава, че „всички разработчици имат работа за вършене“.
Какво значи това за вас
Практически — нищо. Ограничението важи само за тренирането и вътрешните тестове. ChatGPT продължава да търси в мрежата, агентите в продукта също.
По-интересното е какво казва решението за индустрията. До вчера достъпът до жив интернет по време на трениране беше удобство, за което никой не питаше. Сега той е риск, който две от трите най-големи лаборатории са решили да премахнат. OpenAI уточнява, че забраната остава, докато напредъкът в подравняването, наблюдението и сигурността на интернет инфраструктурата не оправдае по-широк достъп — тоест без краен срок.
Цената е реална: офлайн кешът остарява, а част от задачите, които се учат най-добре срещу живи сайтове, стават по-трудни за обучение. Според Engadget това е компромисът, който компанията е готова да направи — и вероятно няма да е последната, която го прави.
Харесва ви? Отбележете ни и ще ни виждате по-нагоре в Google.
Предпочитан източник в Google