„Pace the frontier“: Алтман, Мъск и Хасабис са за надзор

Шефът на Anthropic Дарио Амодей публикува в събота, 12 септември, есе от около 3800 думи, озаглавено „We Must Pace the Frontier“. В рамките на часове Сам Алтман от OpenAI и Илон Мъск застанаха зад него, а в събота се включи и Демис Хасабис от Google DeepMind. Ден по-късно Сатя Надела от Microsoft също приветства идеята. За пръв път от години четирите най-големи лаборатории говорят в един глас — и точно това притеснява част от наблюдателите.

Три стъпки, подредени по трудност

Рамката, която The Register описва подробно, е разделена на три последователни стъпки.

Първата е едностранна и Anthropic я поема веднага: постоянни външни оценители, вградени в компанията. Не гост-одитори за седмица, а хора с бюра, служебни карти, фирмени лаптопи и права, сравними с тези на вътрешните екипи по риск. Amodei посочва организации като METR и обещава, че оценителите ще могат да публикуват констатациите си без редакционен контрол от страна на компанията — Anthropic си запазва правото да заличава чувствителна за сигурността информация, но не и неблагоприятни изводи.

Втората стъпка е координация между водещите лаборатории в демократичните държави: общи стандарти за безопасност и лимити върху темпото на непроверен напредък. Тук Амодей сам признава, че е нужна подкрепа от правителството, за да не се превърне подобна договорка в антитръстов проблем.

Третата е международна — преговори и с авторитарни правителства по тесни, но очевидни забрани, например използването на AI за производство на биологично оръжие, по модела на конвенциите за биологичните оръжия.

Снимка: TechCrunch

Ключовото уточнение е, че „pacing“ не означава спиране на обучението на модели. Означава компаниите да си дадат достатъчно време да подравнят и обезопасят моделите си, а трети страни да потвърдят, че това наистина е станало. Или, както го формулира самият Амодей пред Fortune: „Трябва да забавим темпото, с което подобряваме способностите на AI моделите. Напредъкът пак ще изглежда бърз и трябва да използваме разумно спечеленото време.“ Подробности за самото есе четете в текста ни за скоростните ограничения на Амодей.

Кой какво каза

Алтман беше най-конкретен: съгласи се с необходимостта да се „темпорира фронтирът“ и обяви, че OpenAI ще направи същото с независимите оценители с достъп на ниво служител — „ще споделим повече скоро“. Мъск се ограничи до три думи: „Дарио е прав“. Хасабис, председател на Google DeepMind, написа в X, че есето „сочи към правилния път напред“. Надела приветства „премереното темпо“ и вградените оценители.

Според the-decoder общият знаменател между тримата е именно независимият надзор вътре в лабораториите — не толкова забавянето само по себе си.

Защо точно сега

Амодей посочва две причини. Първата е рекурсивното самоподобрение: моделите вече помагат съществено за създаването на следващото поколение, включително в Anthropic. Втората е инцидентът с агентите на OpenAI и Hugging Face, който той третира като предупреждение за цялата индустрия — по-способни и неподравнени рояци от агенти биха могли да нанесат тежки щети в киберпространството в рамките на 6 до 12 месеца.

Фонът е още по-нервен. На 9 септември изследовател напусна Anthropic с думите, че компанията „залага живота ни“, а ръководителят на екипа по alignment публично оцени на над 10% вероятността AI да убие всички хора през следващото десетилетие. TechCrunch обаче поставя и неудобния въпрос: колко от тези предупреждения са искрени и колко са реклама на собствените способности в момент, в който „опасно“ се чете като „ценно“ от инвеститорите.

Вашингтон не бърза

Политическият отговор дойде бързо и в обратна посока. Доналд Тръмп определи мрачните прогнози като преувеличени и повтори, че „който спечели AI, печели всичко“, а председателят на Камарата Майк Джонсън заяви, че Конгресът няма да поведе регулацията: според него извънредно законодателство би означавало загуба на надпреварата с Китай. Барак Обама от своя страна призова демократите да имат „много ясен план“ за AI и да го превърнат в централна тема, защото технологията „се движи много бързо в частни ръце“, пише TechCrunch. На другия полюс остава предложението на Сандърс за 20 години затвор.

Критиките

The Register нарича цялото упражнение „регулаторно пленяване“: индустрията сама пише правилата, по които ще бъде съдена, и то в момент, когато една от компаниите се готви за листване. Към списъка с искания към държавата влизат и ограничения върху продажбите на Nvidia чипове за Китай, както и мерки срещу дестилацията на модели — две неща, които удобно съвпадат с интересите на сегашните лидери.

Технически възражения също има. Изследователят на Google Пейман Миланфар твърди, че рекурсивното самоподобрение е нестабилна обратна връзка по природа и системите, които надеждно се подобряват, така или иначе ще са „бавни и ограничени“ — тоест изкуствени скоростни ограничения не са нужни.

Заключение

Засега от рамката е реално само едно нещо: Anthropic пуска външни оценители в сградата, а OpenAI обеща да го направи. Втората и третата стъпка изискват съгласието на регулатори, които в момента открито не искат да натискат спирачката. Ако до края на годината видим кой точно влиза в ролята на оценител и какво има право да публикува, ще знаем дали „pace the frontier“ е начало на надзор — или просто добре написан прессъобщителен ход.