В октябре стартап Cathedral, который несколько месяцев назад основали бывшие сотрудники DOGE, уведомил Anthropic, что его исследователи проникли во внутренние системы разработчика Claude, где хранятся конфиденциальные данные и переписка. Уязвимости обнаружили в стороннем ПО для продаж и административных задач, которым пользуются многие компании, пишет издание The Washington Post (WP) со ссылкой на черновик отчета Cathedral.

Согласно документу, ИИ-агентам Cathedral понадобилось менее 12 часов, чтобы найти пути к расшифровкам совещаний, сведениям о зарплатах и предложениях о работе, а также сообщениям в Slack с обсуждением передовых ИИ-моделей Anthropic. Тестирование шло в рамках программы баг-баунти: она позволяет внешним специалистам легально искать бреши в защите за вознаграждение.

В Anthropic подтвердили, что Cathedral добралась до части систем коммерческого отдела, службы персонала и IT. Разработчики закрыли выявленные лазейки и проинформировали федеральных чиновников.

По словам представителя Anthropic, прежде чем переключиться на сторонние бизнес-инструменты, Cathedral несколько дней пыталась напрямую взломать ПО компании.

В затронутых базах хранились деловые контакты ряда заказчиков и партнеров, а также некоторые сведения об учетных записях пользователей. Переписка клиентов с ИИ-моделями, исходный код и веса нейросетей остались недоступны, заверил разработчик Claude.

По утверждению Anthropic, внутренний мониторинг зафиксировал часть действий Cathedral еще до того, как та о них рассказала. В тот же день исследователей заблокировали, признаков других взломов не обнаружили. Проблемные сервисы остановили и вернули в работу лишь после того, как поставщики подтвердили исправления.

Кроме того, руководство Anthropic заявило, что Cathedral преувеличила значение своих выводов для национальной безопасности и не до конца соблюдала правила программы. По условиям баг-баунти использовать брешь разрешается только в той мере, которая нужна, чтобы доказать ее существование. Также необходимо сообщать о любом случайном доступе к данным. 

В отчете Cathedral говорится, что обращения к информации свели к абсолютному минимуму согласно стандартам отрасли. По мнению авторов документа, результаты показывают глубокий разрыв между новыми наступательными возможностями и защитой самых уязвимых технологических активов США.

Руководитель отдела информационной безопасности ИИ-стартапа Cognition Алекс Стамос изучил материалы Cathedral по просьбе WP и назвал находку серьезной. По его словам, она обнажила пробел в контроле Anthropic над внешними поставщиками ПО — огромную проблему для всех. Стамос считает, что компания могла бы справиться значительно лучше.

Cathedral основали Гэвин Клигер, Люк Фарритор, Марко Элез и Джек Стайн. В июле Reuters сообщило, что фирма привлекла $160 млн при оценке $1,4 млрд и рассчитывает на госконтракты в области наступательных и оборонительных киберопераций против соперников США. Раунд возглавили венчурные фонды Andreessen Horowitz и Sequoia Capital, места в совете директоров заняли Марк Андриссен и Шон Магуайр.