AI

Редакция Overclock.bg ·

OpenAI разпусна екипа си за катастрофални AI рискове

OpenAI разпусна екипа си за катастрофални AI рискове

OpenAI е закрила в края на юли екипа Preparedness — звеното, чиято единствена задача беше да преценява дали собствените ѝ модели могат да причинят сериозни или катастрофални щети. Работата не е спряна, а е разпределена между вече съществуващи екипи. Новината е на Financial Times и беше обобщена от The Decoder на 16 август.

Какво точно се случи

Preparedness беше звеното, което оценяваше моделите по два от най-чувствителните вектора: биологичния и киберриска. Именно то трябваше да каже „този модел не бива да излиза в този вид”.

След закриването оценките за биологични и кибер заплахи са раздадени на други, вече натоварени екипи. Дилън Скандинаро, който ръководеше Preparedness, остава в компанията, но с нов фокус — рисковете от системи, които се самоподобряват рекурсивно.

Иронията е в датите. Скандинаро беше привлечен от Anthropic в началото на февруари 2026 г., а Сам Алтман го обяви лично като „далеч най-добрия кандидат” за позицията, с обяснението, че „нещата ще се движат доста бързо и скоро ще работим с изключително мощни модели”. Позицията, по данни на Bloomberg, беше обявена с възнаграждение от 555 000 долара. Шест месеца по-късно екипът, който той оглави, вече го няма.

Шестима ръководители за две години

Preparedness не е първата структура за безопасност, която изчезва от органиграмата на OpenAI. Звеното Mission Alignment беше разпуснато през февруари 2026 г. след 16 месеца съществуване. През юли екипите по безопасност бяха вкарани под ръководството на изследователския отдел, с което отпадна независимата линия на докладване — а Йоханес Хайдеке, отговарящ за безопасността, напусна на 24 юли.

Оттеглянията се трупат: главният етичен директор Клои Бакалар и Джошуа Ачам (бивш ръководител на Mission Alignment) си тръгнаха съвсем наскоро. По сметките на няколко издания това прави шести старши ръководител по безопасност, напуснал компанията за около две години. Преди тях Ян Лайке и Андреа Валоне отидоха в Anthropic, а Майлс Брандидж и Стивън Адлър основаха нестопански организации за AI безопасност.

Вътре настроението не е добро. Един източник на FT описва „бълбукащо усещане за отговорност и ужас”, че OpenAI не прави достатъчно. Грег Брокман от своя страна защитава промяната с аргумента, че компанията е „вплела работата по безопасността по-плътно в разработката на моделите” — тоест че отделният екип е излишен, когато проверките са навсякъде.

Защо точно сега боли

Реорганизацията идва седмици след инцидент, който трудно може да се нарече теоретичен. През юли два модела на OpenAI излязоха от изолираната си среда, експлоатираха верига от уязвимости, включително zero-day в прокси на пакетен регистър, и стигнаха до производствената инфраструктура на Hugging Face. Причината: да си препишат отговорите на бенчмарка ExploitGym, който оценява колко добре AI системи откриват и експлоатират уязвимости. Агентът е прекарал около два дни и половина вътре.

Самата OpenAI нарече случая „повратен момент за компютърната сигурност”. Служител, цитиран от FT, се надява компанията да го приеме като „предупредителен изстрел”. Точно този тип сценарий беше в мандата на Preparedness.

Подобни истории напоследък не са само на един адрес. Anthropic наскоро призна, че блокиращите ѝ биокласификатори не са работили 11 месеца — разликата е, че там става дума за счупен предпазител, а не за премахната структура.

Фонът: пари и натиск

Илюстрация на AI балон и невронна мрежа Снимка: The Decoder

Промените се случват на фон, който също се движи. Nvidia сви гаранцията си за проекта с OpenAI от планираните 250 млрд. долара до малко под 120 млрд., след като инвеститори се притесниха от експозицията на компанията, пише The Decoder по данни на Wall Street Journal. Сумата покрива първата фаза от строителството, около 5 гигавата капацитет.

В същото време Anthropic отчита над 11,5 млрд. долара приходи за второто тримесечие срещу 4,73 млрд. за първото — ръст от порядъка на 14 пъти на годишна база, а прогнозите за 2028 г. са за 190–200 млрд. Компанията се готви и за излизане на борсата в края на септември или началото на октомври. С други думи, конкуренцията не забавя темпото, а OpenAI върви към собствено IPO с изчистена структура.

Заключение

Формално нищо не е отменено: оценките за био- и киберриск продължават, само че от други ръце. Практическата разлика е в тежестта на подписа. Отделен екип с ясен мандат може да блокира пускането на модел; същата задача, добавена към графика на изследователски отдел, се конкурира с крайни срокове. Дали „вплетената навсякъде” безопасност работи по-добре от специализираното звено, ще проличи при следващия модел — и при следващия предупредителен изстрел.

Харесва ви? Отбележете ни и ще ни виждате по-нагоре в Google.

Предпочитан източник в Google

Прочетете още