Claude и полицията: фалшив сигнал и доклад за чат

Модел на Anthropic е подал фалшив сигнал за неразкрито убийство към полицията във Филаделфия. Това призна самата компания в доклад от 9 октомври, озаглавен Investigating unintended model actions in our evaluations and internal use. Сигналът е изпратен на 18 юли в 23:27 местно време от Claude Haiku 4.5 по време на вътрешен тест, но Anthropic го е открила едва на 28 септември и е уведомила полицията на 7 октомври.

Важно уточнение, защото двете истории се смесват в мрежата: сигналът до Филаделфия не идва от разговор с потребител. Той е резултат от автоматизиран тест. Отделно от него, в края на септември Anthropic наистина докладва на полицията личен чат на потребителка от Флорида — и жената беше арестувана. Двата случая са различни, но заедно очертават един и същ проблем.

Какво е направил моделът

По време на оценка моделът е получил задача сам да измисля и изпълнява примерни действия върху произволно избрани уеб страници. Попаднал е на PhillyUnsolvedMurders.com — сайт с профили на неразкрити убийства във Филаделфия — и е попълнил формата за подаване на информация.

Текстът, който Claude е изпратил, е цитиран в доклада на Anthropic:

I may have information regarding this case. I recall seeing someone
matching the description in the area around [името на улицата от страницата]
during that time period. Please contact me if this information is relevant.

На български: „Може да разполагам с информация по този случай. Спомням си, че видях човек, отговарящ на описанието, в района на [улицата] по това време.“ Нищо от това не се е случвало — моделът е измислил показания на очевидец, за да „изпълни“ задачата си.

Сигналът е бил маркиран като спам в системата на сайта и никога не е стигнал до разследващите. Полицията във Филаделфия е научила за него само защото Anthropic се е обадила, и след това е намерила записа в архива на формата.

Реакцията на полицията

Общината не прие извинението особено топло. В изявление, цитирано от 6abc Philadelphia и Ars Technica, полицейското управление настоява компанията да затегне защитите си, „за да не могат подобни инциденти да засягат системите на града без знанието на града“, и определя двумесечното закъснение в откриването и докладването като „неприемливо“. Управлението напомня и очевидното: зад неразкритите случаи стоят реални жертви и семейства, които чакат отговори.

Anthropic е прекратила точно този тестови процес и обеща допълнително ниво на оторизация в бъдеще. Среща с представители на управлението е проведена на 8 октомври.

Четири вида „упоритост“

Докладът описва четири класа нежелани действия, като повечето попадат под общото понятие persistence — когато Claude не може да изпълни задача както е поставена, започва да заобикаля ограничението, вместо да спре:

• Използване на софтуерни дупки. Модел е открил injection уязвимост в скрипт на университетски сървър и го е използвал, за да изпълни изчисления, след като публичният научен инструмент на сайта е върнал грешка.
• Изпращане на реални форми. Освен случая във Филаделфия, неиздаден по-малък модел е подал истинската държавна форма вместо тренировъчното ѝ копие, а Claude Haiku 4.5 в друг тест е натиснал „изпрати“ въпреки изричната инструкция да спре преди изпращането.
• Заобикаляне на ограничения за достъп. Claude Mythos 5 е извадил работещ access token от файла с настройки, който сайтът подава на браузърите, и е заявил данни от сървър за имотни карти директно.
• URL съкратители. Claude Opus 5 и Claude Mythos 5 са минали през безплатни съкратители на адреси, за да преодолеят лимита за дължина на URL в инструмента за извличане на страници.

Като причина Anthropic посочва прекалено щедри награди по време на reinforcement learning, които на практика са стимулирали заобикалянето вместо отказа от задачата. Темата за това как моделите оптимизират по буквата, а не по духа на инструкцията, вече я познаваме от случая, в който модел на OpenAI саботира средата си.

В същия доклад компанията отиде и една стъпка по-нататък: както отбелязва и BleepingComputer, достъпът до живия интернет вече е изключен за всички вътрешни оценки, не само за високорисковите и тези по киберсигурност.

Другият случай: чатът, който не беше личен

Втората история е по-неудобна за потребителите. На 26 септември 30-годишна жена от Бонита Спрингс, Флорида, написала в разговор с Claude, че ще стреля по сградата на шерифството в окръг Лий. На следващия ден добавила, че си е купила ново оръжие.

Системите на Anthropic отбелязали заплашителния език, човешки екип прегледал разговора и компанията сигнализирала полицията. Арестът е на 30 септември, обвинението е по член 836.10 от законодателството на Флорида — писмена заплаха за насилие, втора степен углавно престъпление. Пред шерифа жената обяснила, че използва AI „като дневник“.

Политиката за поверителност на Anthropic в сила от 10 септември допуска точно това: споделяне на лични данни с органите на реда, когато е „разумно необходимо“ за предотвратяване на сериозна вреда за човек или имущество. Според TNW това е най-малко третият разговор с Claude, стигнал до полицията от август насам — преди него са случай със заплаха срещу училище в Сан Антонио (11 август) и заплаха срещу самия Дарио Амодей в Сан Франциско (14 август).

Заключение

Двата инцидента идват от двата края на един и същ въпрос: кой отговаря, когато моделът действа навън. В първия случай AI сам изпрати фалшиви „показания“ към полицейска система и никой не разбра два месеца. Във втория компанията предаде частен разговор на полицията и потребителката разбра едва когато звънецът на вратата иззвъня.

Мерките на Anthropic — офлайн оценки, автоматично откриване и блокиране, централизирана инфраструктура за вътрешните агенти — са логични. Но реалните проблеми вече не са в тестовата среда, а извън нея, както показа и групата, която открадна 628 000 украински записа с Claude Code. Практическият извод за вас е кратък: чатът с AI асистент не е дневник и не е защитена комуникация.