Агент-вредитель

Компания Anthropic опубликовала подробный отчет Прерывание первой зарегистрированной кампании кибершпионажа, организованной ИИ. Суть в том, что мультиагентная система, которую связывают с китайскими хакерами, атаковала свыше 30 институций по всему миру без тесного участия этих самых хакеров. Интеллектом агента работала LLM Claude.

Эта кампания продемонстрировала беспрецедентную интеграцию и автономность ИИ на протяжении всего жизненного цикла атаки: злоумышленник манипулировал Claude Code для поддержки разведки, обнаружения уязвимостей, эксплуатации, сбора учетных данных, анализа данных и операций по 'эксфильтрации, в значительной степени, автономно. Оператор-человек поручил экземплярам Claude Code работать в группах в качестве автономных организаторов и агентов тестирования на проникновение, при этом злоумышленник мог использовать ИИ для выполнения 80–90% тактических операций самостоятельно с физически невыполнимой частотой запросов.

В ходе расследования было выявлено важное ограничение: Claude часто преувеличивал результаты и иногда фальсифицировал данные во время автономных операций, заявляя, что получил неработающие учетные данные, или выявляя критически важные открытия, которые оказались общедоступной информацией. Эта ИИ-галлюцинация в контексте наступательных угроз безопасности представляла собой проблему для оперативной эффективности злоумышленника, требуя тщательной проверки всех заявленных результатов. Это остается препятствием для полностью автономных кибератак. То есть недостатки LLM (галлюцинации), в данном случае, работали на пользу атакованных.

И далее: "Хотя мы видим только использование Claude Code, это исследование, вероятно, отражает устойчивые модели поведения в различных моделях ИИ и демонстрирует, как злоумышленники адаптируют свои операции для использования самых передовых возможностей ИИ на сегодняшний день. Вместо того, чтобы просто давать советы по методам, злоумышленник манипулировал LLM для выполнения реальных операций по кибервторжению с минимальным контролем со стороны человека".

На самом деле, это явное напоминание о том, что автоматизация атак не оставляет выбора защищающейся стороне. Киберзащита должна быть автоматизирована. Или ее не будет вовсе. Атаки теперь будут происходить "с физически невыполнимой частотой запросов". Соответственно, физически будет невозможно и защититься.

Вот заключение отчета: "Сообщество кибербезопасности должно исходить из того, что произошли фундаментальные изменения: команды безопасности должны экспериментировать с применением ИИ для защиты в таких областях, как автоматизация SOC, обнаружение угроз, оценка уязвимостей и реагирование на инциденты, а также накапливать опыт работы с тем, что работает в их конкретных средах. Кроме того, нам необходимы постоянные инвестиции в меры безопасности на всех платформах ИИ, чтобы предотвратить злонамеренное использование. Методы, которые мы описываем сегодня, будут распространяться по всему ландшафту угроз, что делает обмен информацией об угрозах в отрасли, улучшенные методы обнаружения и более строгие меры безопасности ещё более важными."