GTIG AI Threat Tracker: от промптинга к автономности — эволюция состязательного ИИ

«За последний квартал злоумышленники перешли от простого взаимодействия с большими языковыми моделями (LLM) через промпты к интеграции возможностей ИИ в различные этапы жизненного цикла атаки», — отмечают в GTIG (Google Threat Intelligence).

«Хотя традиционная автоматизация на основе скриптов давно стала неотъемлемой частью деятельности злоумышленников, группировки все чаще модернизируют эти рабочие процессы, создавая высокоавтономные системы, способные анализировать сложные задачи и принимать динамические решения без участия человека».

В ходе одного из таких инцидентов злоумышленник, преследующий финансовые цели, взломал облачную инфраструктуру организации и развернул автономную мультиагентную систему. Менее чем за шесть часов злоумышленник спланировал, разработал и запустил кампанию по массовому сбору учетных данных, используя ИИ-чат-бот для написания кода, промпт и инструкции для агентов в формате Markdown, сообщает Google. ИИ-агенты управляли процессом сканирования уязвимостей, собирали тысячи сторонних учетных данных, устраняли возникающие проблемы в режиме реального времени, меняли IP-адреса и направляли трафик атаки через легитимные, но скомпрометированные облачные среды, чтобы избежать обнаружения. Такой подход существенно сократил задержки, связанные с участием человека, и уменьшил время, доступное защитникам для реагирования.
В другом случае исследователи обнаружили незащищенный сервер управления (C2), на котором была развернута автоматизированная система разведки и управления учетными данными под названием «Recon». Среди файлов системы были инструкции для ИИ-агентов, базы знаний и артефакты OpenClaw, относящиеся к платформе, которая в реальном времени управляла более чем 23 800 полученными секретными данными, такими как API-ключи.

В отчете GTIG приводятся и другие примеры: связанные с Китаем группировки, занимающиеся кибершпионажем, экспериментировали «с инструментами разработки на базе ИИ для создания автоматизированной системы эксплуатации уязвимостей и постэксплуатации с поддержкой искусственного интеллекта».

Исследователи отмечают, что и другие шпионские группировки — например, российская UNC5792 — интегрировали модели ИИ для автоматизации работы ботов, отслеживающих в Telegram-каналах информацию, представляющую интерес для государственных структур.

Тем не менее, в GTIG подчеркнули, что полностью автономный взлом пока не получил широкого распространения: специалисты не зафиксировали случаев развертывания злоумышленниками полностью автономных систем для поиска уязвимостей нулевого дня и проведения атак на реальные цели. Компания также отметила, что Gemini — ее модель искусственного интеллекта — выявила многие из этих случаев злоупотребления на ранней стадии и отреагировала в соответствии с протоколами безопасности; это позволило Google принять дополнительные меры, пресечь подобные кампании и заблокировать связанные с ними учетные записи.

Случаи злоупотребления инструментами ИИ также были зафиксированы в ходе атак на цепочки поставок, осуществляемых группировкой UNC6780 (TeamPCP), при проведении операций по дистилляции модели Gemini (с использованием 100 миллионов запросов), а также на растущем рынке краденых учетных данных и API-ключей для сервисов ИИ.

Кроме того, поддерживаемые государством группировки продолжают использовать ИИ для разведки, фишинга, разработки вредоносного ПО, эксплуатации уязвимостей, действий на этапе постэксплуатации, обработки данных и ведения пропаганды.