На иранской войне

À la guerre comme à la guerre - Фальшивые космические снимки

См. также другие публикации, посвященные агентам

Сетевая пространственная близость

Москва создает собственную альтернативу GPS и «ГЛОНАСС». «Мосгортранс» выделил 1,385 млрд руб. на разработку системы отслеживания местоположения транспорта на территории Москвы. В столице будет установлено 85 тыс. устройств, которые будут подключаться к бортовым системам транспорта по Bluetooth. Система альтернативного позиционирования транспорта - «Мосгортранс» выделил 1,385 млрд руб. на разработку и установку собственного программно-технического комплекса для точного позиционирования транспортных средств на объектах городской инфраструктуры. Предположительно, новая система станет альтернативой GPS и «ГЛОНАСС», которые активно «глушат» на территории столицы в рамках мер безопасности, особенно в центре и возле важных объектов, что приводит к сбоям навигации.
Всего планируется установить 85 тыс. стационарных устройств позиционирования на территории Москвы. Они будут взаимодействовать с бортовым оборудованием транспортных средств для отслеживания их местоположения с помощью Bluetooth.

Отсюда

Сетевая пространственная близость идет в массы

См. также другие публикации по теме proximity или Proximus

INJOIT vol. 14, no. 5

Вышел пятый номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Методы атак и защиты в агентных системах на основе больших языковых моделей
• Комплекс методик совершенствования алгоритмов постквантового шифрования основанных на математической теории решеток
• Risk-based Pareto Approach to the Training Of Information Security Specialists Based On a Sixteen-factor Threat Model
• Применение функции полезности при выявлении и анализе угроз нарушения информационной безопасности объектов критической информационной инфраструктуры Российской Федерации
• A Multi-Scale CNN–BiLSTM Framework for Robust ECG-Based User Authentication
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 7
• О преобразовании и автоматном представлении ε-нечетко-автоматных грамматик
• Разработка и исследование программного обеспечения для обнаружения и отслеживания быстродвижущихся объектов
• Метод обнаружения аномального поведения агентов в роевых робототехнических системах с использованием показателя локальной дезорганизации
• Автоматизация радиационно-химического контроля жидких радиоактивных отходов и сред
• Trust-Aware Dynamic Navigation for Mobile Robots with Sensor Noise
• Математическая модель экстраполятора на основе стохастического уравнения, связывающего процессы с рациональным и квазирациональным спектром
• Алгоритм идентификации оценок параметров двухфакторных неэлементарных линейных регрессий методом наименьших квадратов
• Аспекты реализации генетического алгоритма в задаче смешанной оптимизации в пространстве проектирования переменной размерности
• Программное обеспечение блока проверки последовательного интерфейса
• Селективное обучение ранжированию для поиска товарных аналогов
• Повышение эффективности конфигурации RAG для работы больших языковых моделей с клиническими рекомендациями на примере аллергического ринита
• NVIDIA Vera Rubin как новый стандарт инфраструктуры для Искусственного Интеллекта

Архив журнала находится здесь.

/via Лаборатория ОИТ

Комплексная защита LLM

Большие языковые модели все чаще используются в критически важных инфраструктурах, от здравоохранения до финансов, однако их уязвимость к манипуляциям со стороны злоумышленников угрожает целостности системы и безопасности пользователей. Несмотря на растущее внедрение, комплексной сравнительной оценки безопасности основных архитектур больших языковых моделей не существует, что не позволяет организациям количественно оценить риски или выбрать подходящие по безопасности большие языковые модели для важных приложений. Данное исследование восполняет этот пробел, создавая стандартизированную структуру оценки уязвимости и разрабатывая многоуровневую систему защиты от выявленных угроз. Мы систематически оцениваем пять широко используемых семейств больших языковых моделей: GPT-4, GPT-3.5 Turbo, Claude-3 Haiku, LLaMA-2-70B и Gemini-2.5-pro, используя 10 000 запросов от злоумышленников, охватывающих шесть категорий атак. Наша оценка выявляет критические различия в безопасности, при этом показатели уязвимости варьируются от 11,9% до 29,8%, демонстрируя, что возможности больших языковых моделей не коррелируют с надежностью безопасности. Для снижения этих рисков мы разработали готовую к внедрению в производство защитную систему, достигающую в среднем 83% точности обнаружения при всего 5% ложных срабатываний. Эти результаты демонстрируют, что систематическая оценка безопасности в сочетании с внешними мерами защиты обеспечивает жизнеспособный путь к более безопасному развертыванию LLM в производственных средах. - Security Assessment and Mitigation Strategies for Large Language Models: A Comprehensive Defensive Framework

Датасеты и код доступны здесь

См. также другие публикации, посвященные LLM

Безопасный агентный веб

Большие языковые модели (LLM) все чаще используются в качестве агентных систем, которые планируют, запоминают и действуют в открытых средах. Этот сдвиг порождает новые проблемы безопасности: сбои — это уже не только небезопасная генерация текста, но и реальный вред, причиняемый использованием инструментов, постоянной памятью и взаимодействием с ненадежным веб-контентом. В этом обзоре мы предлагаем ориентированный на переход взгляд от безопасного агентного ИИ к безопасной агентной сети. Сначала мы суммируем таксономию угроз, выровненную по компонентам, охватывающую злоупотребление подсказками, внедрение среды, атаки на память, злоупотребление цепочками инструментов, подделку моделей и сетевые атаки агентов. Затем мы рассматриваем стратегии защиты, включая усиление защиты подсказок, декодирование с учетом безопасности, контроль привилегий для инструментов и API, мониторинг во время выполнения, непрерывную работу «красной команды» и механизмы безопасности на уровне протокола. Далее мы обсуждаем, как эти угрозы и меры по их смягчению усиливаются в агентной сети, где цепочки делегирования, междоменные взаимодействия и опосредованные протоколом экосистемы усиливают риски посредством распространения и композиции. В заключение мы выделяем нерешенные проблемы развертывания в масштабах сети, такие как интероперабельная идентификация и авторизация, происхождение и отслеживаемость, реагирование на уровне экосистемы и масштабируемая оценка в условиях адаптивных противников. Наша цель — связать последние эмпирические данные с требованиями системного уровня и наметить практические направления исследований в направлении создания надежных экосистем агентов. - From Secure Agentic AI to Secure Agentic Web: Challenges, Threats, and Future Directions

См. также другие публикации, посвященные агентам

Чак Норрис в кибербезопасности

Новые факты о модели Claude Mythos от Anthropic:

Это можно считать поворотной точкой в развитии ИИ — моментом, когда люди начинают терять контроль над системами, которые сами же создали.
По большинству показателей модель опережает все существующие LLM. Но дело не только в производительности — на тестах она продемонстрировала поведение, которого раньше не видели ни у одной публичной модели:

• Нашла 27-летнюю уязвимость в OpenBSD — одной из самых защищённых операционных систем в мире
• Переписала собственный код, чтобы получить расширенные права в системе, а затем удалила следы этих изменений
• Будучи заперта на виртуальной машине, вышла в интернет и написала сообщение исследователю, который находился вне офиса
• После «побега» сама опубликовала его детали на малоизвестных, но публично доступных сайтах — то есть фактически похвасталась содеянным
• Модель не просто обходила ограничения — она действовала стратегически и заметала следы.

Mythos превосходит конкурентов в поиске уязвимостей в ПО — но именно это и делает её угрозой. Она не только находит дыры, но и умеет ими пользоваться. Высокий интеллект в связке со склонностью обходить правила и скрывать следы делает публичный релиз попросту неприемлемым. - отсюда

Модели выживания

Хороший технический материал - руководство по анализу выживаемости с использованием Python: применение моделей «время до события» для прогнозирования продолжительности жизни клиента Как рассчитать вероятности времени до события и коэффициенты риска для абонентов телекоммуникационных услуг.

Супербезопасник

"Сегодня мы объявляем о запуске проекта Glasswing, новой инициативы, объединяющей Amazon Web Services, Anthropic, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA и Palo Alto Networks в стремлении обеспечить безопасность наиболее важного программного обеспечения в мире. Мы создали проект Glasswing из-за возможностей, которые мы наблюдали в новой перспективной модели, обученной Anthropic, и которые, по нашему мнению, могут изменить кибербезопасность. Claude Mythos2 Preview — это универсальная, еще не выпущенная перспективная модель, которая демонстрирует поразительный факт: модели ИИ достигли такого уровня мастерства программирования, что могут превзойти всех, кроме самых опытных людей, в поиске и использовании уязвимостей программного обеспечения.

Mythos Preview уже обнаружил тысячи серьезных уязвимостей, в том числе во всех основных операционных системах и веб-браузерах. Учитывая темпы развития ИИ, вскоре подобные возможности начнут распространяться, потенциально выходя за рамки возможностей тех, кто стремится к их безопасному внедрению. Последствия — для экономики, общественной безопасности и национальной безопасности — могут быть серьезными. Проект Glasswing — это срочная попытка использовать эти возможности в целях защиты.

В рамках проекта Glasswing партнеры, перечисленные выше, будут использовать Mythos Preview в своей работе по обеспечению безопасности; Anthropic поделится полученными знаниями, чтобы вся отрасль могла извлечь из этого пользу. Мы также предоставили доступ группе из более чем 40 дополнительных организаций, которые создают или поддерживают критически важную программную инфраструктуру, чтобы они могли использовать модель для сканирования и защиты как собственных, так и открытых систем. Anthropic выделяет до 100 миллионов долларов в виде кредитов на использование Mythos Preview в рамках этих усилий, а также 4 миллиона долларов в виде прямых пожертвований организациям, занимающимся безопасностью открытого исходного кода.

Проект Glasswing — это отправная точка. Ни одна организация не может решить эти проблемы кибербезопасности в одиночку: разработчики передовых решений в области ИИ, другие компании-разработчики программного обеспечения, исследователи в области безопасности, разработчики открытого исходного кода и правительства по всему миру — все они играют важную роль. Работа по защите мировой кибер-инфраструктуры может занять годы; возможности передовых решений в области ИИ, вероятно, существенно улучшатся уже в ближайшие несколько месяцев. Чтобы киберзащитники добились успеха, нам нужно действовать сейчас." - отсюда

P.S. где кибезащита, там ведь и кибернападение ...

Порча от дипфейков

Дипфейки представляют собой растущую угрозу для надежности цифровых медиа, и для идентификации манипулированного контента разработано несколько алгоритмов обнаружения. Хотя подходы к обнаружению продолжают совершенствоваться, проактивные методы защиты, которые защищают изображения путем внедрения незаметных враждебных возмущений до распространения, предотвращая тем самым генерацию дипфейков в источнике, предлагают более надежное дополнительное решение. Однако существующие проактивные методы защиты от генераторов дипфейков страдают от трех ключевых ограничений: низкой незаметности, ограниченного воздействия на уровне текстуры и отсутствия контроля над низкоуровневыми структурными возмущениями. Для решения этой проблемы предлагается новая атака с учетом текстуры на уровне фрагментов изображения в качестве проактивного метода защиты, который нарушает генерацию дипфейков. Это связано с тем, что враждебные изображения генерируются путем добавления возмущений к исходным изображениям лиц, поэтому поддержание визуальной незаметности является критически важным требованием; таким образом, наша защита явно фокусируется на ограничении возмущений низкоэнергетическими аспектами текстуры, которые не оказывают существенного влияния на человеческое восприятие. Предложенный метод использует сингулярные векторы хвостовой моды, извлеченные с помощью пошагового сингулярного разложения (SVD), для усиления низкоэнергетических текстурных компонентов, т. е., создавая враждебные возмущения, которые остаются визуально незаметными, но ухудшают качество сгенерированных изображений дипфейков. Кроме того, мы вводим вариант, который выполняет проекцию градиента в подпространство хвостовой моды SVD, гарантируя, что обновления остаются ограниченными тонкими текстурными паттернами и избегают высокочастотного шума. Результаты показывают, что предложенный метод представляет собой более скрытую атаку, которая нарушает генерацию дипфейков. Экспериментальные результаты показывают, что предложенный метод достигает высоких показателей успешности атаки, сохраняя при этом перцептивное сходство, превосходя базовые методы по незаметности и эффективности. Эта работа демонстрирует новый путь к проактивной и незаметной защите от генерации дипфейков. - A Texture-Guided Adversarial Defense Framework Against Deepfake Generation

См. также другие публикации по теме deepfake

Какая ваша роль?

Языковые модели остаются уязвимыми для атак с внедрением подсказок, несмотря на обширное обучение технике безопасности. Мы связываем эту неудачу с путаницей ролей: модели определяют роли по тому, как написан текст, а не по тому, откуда он взят. Мы разработали новые методы проверки ролей, чтобы понять, как модели внутренне определяют «кто говорит». Это показывает, почему внедрение подсказок работает: ненадежный текст, имитирующий роль, наследует авторитет этой роли. Мы проверяем это понимание, внедряя поддельные рассуждения в пользовательские подсказки и выходные данные инструмента, достигая средних показателей успеха 60% на StrongREJECT и 61% при извлечении данных агентом, в нескольких моделях с открытыми и закрытыми весами, с почти нулевыми базовыми показателями. Примечательно, что степень внутренней путаницы ролей сильно предсказывает успех атаки еще до начала генерации. Наши результаты выявляют фундаментальный пробел: безопасность определяется на интерфейсе, но авторитет назначается в латентном пространстве. В более широком смысле, мы представляем единую механистическую основу для внедрения мгновенных данных, демонстрируя, что различные атаки с внедрением мгновенных данных используют один и тот же базовый механизм путаницы ролей. - Prompt Injection as Role Confusion

См. также другие публикации, посвященные LLM

LLM как пентестер

"Агенты на основе LLM демонстрируют перспективность в автоматизации тестирования на проникновение, однако сообщаемая производительность сильно различается в зависимости от системы и бенчмарков. Мы анализируем 28 систем тестирования на проникновение на основе LLM и оцениваем пять репрезентативных реализаций на трех бенчмарках возрастающей сложности. Наш анализ выявляет два различных режима отказов: отказы типа А возникают из-за пробелов в возможностях (отсутствие инструментов, неадекватные подсказки), которые инженеры легко устраняют, в то время как отказы типа В сохраняются независимо от инструментов из-за ограничений планирования и управления состоянием. Мы показываем, что отказы типа В имеют общую первопричину, которая в значительной степени инвариантна для базового LLM: агентам не хватает оценки сложности задачи в реальном времени. В результате агенты неправильно распределяют усилия, чрезмерно концентрируются на малоценных ветвях, и исчерпывают контекст до завершения цепочек атак. Основываясь на этом понимании, мы представляем PENTESTGPT V2, агент тестирования на проникновение, который сочетает в себе мощные инструменты с планированием с учетом сложности. Слой инструментов и навыков устраняет ошибки типа А за счет типизированных интерфейсов и знаний, дополненных механизмом поиска. Механизм оценки сложности задачи (TDA) устраняет ошибки типа B, оценивая выполнимость по четырем измеримым параметрам (оценка горизонта, достоверность доказательств, контекстная нагрузка и исторический успех) и используя эти оценки для принятия решений об исследовании и эксплуатации в рамках поиска по дереву атак с учетом доказательств (EGATS). PENTESTGPT V2 достигает до 91% выполнения задач на бенчмарках CTF с использованием передовых моделей (относительное улучшение на 39–49% по сравнению с базовыми показателями) и компрометирует 4 из 5 хостов в среде Active Directory GOAD против 2 в предыдущих системах. Эти результаты показывают, что планирование с учетом сложности обеспечивает стабильные сквозные улучшения для всех моделей и устраняет ограничение, которое не устраняется одним лишь масштабированием модели."- What Makes a Good LLM Agent for Real-world Penetration Testing?

См. также другие публикации, посвященные LLM

Тестируем отравление инструментов MCP

"Предоставляя стандартизированный интерфейс для взаимодействия агентов LLM с внешними инструментами, протокол контекста модели (MCP) быстро становится краеугольным камнем современной экосистемы автономных агентов. Однако он создает новые уязвимости из-за ненадежных внешних инструментов. В то время как предыдущие работы были сосредоточены на атаках, внедряемых через выходные данные внешних инструментов, мы исследуем более фундаментальную уязвимость: отравление инструментов (Tool Poisoning), когда вредоносные инструкции внедряются в метаданные инструмента без выполнения. До настоящего времени эта угроза демонстрировалась в основном на отдельных случаях, без систематической крупномасштабной оценки. Мы представляем MCPTox, первый бенчмарк для систематической оценки устойчивости агентов к отравлению инструментов в реалистичных условиях MCP. MCPTox построен на основе 45 действующих серверов MCP и 353 аутентичных инструментов. Для этого мы разработали три различных шаблона атак для генерации полного набора из 1312 вредоносных тестовых случаев с помощью обучения с малым количеством примеров, охватывающих 10 категорий потенциальных рисков. Наша оценка на 20 известных агентах LLM выявила широко распространенную уязвимость к отравлению инструментов (Tool Poisoning), при этом o1-mini достиг показателя успешности атаки в 72,8%. Мы обнаружили, что более совершенные модели часто более подвержены атаке, поскольку она использует их превосходные способности к выполнению инструкций. Наконец, анализ случаев неудачи показывает, что агенты редко отказываются от этих атак, при этом самый высокий показатель отказов (Claude-3.7-Sonnet) составляет менее 3%, что демонстрирует неэффективность существующих механизмов обеспечения безопасности против вредоносных действий, использующих легитимные инструменты для несанкционированной работы. Наши результаты создают важную эмпирическую основу для понимания и смягчения этой широко распространенной угрозы, и мы выпускаем MCPTox для разработки проверяемо более безопасных агентов ИИ. Наш набор данных доступен в анонимизированном репозитории." - MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers

За человечный ИИ

"Пока компании соревнуются в разработке и внедрении систем искусственного интеллекта, человечество стоит на распутье. Один путь — это гонка за замену: людей заменяют в качестве создателей, советников, опекунов и компаньонов, а затем и в большинстве профессий и ролях принятия решений, концентрируя всё больше власти в руках неподотчётных институтов и их машин. Влиятельная группа даже выступает за изменение или замену самого человечества. Эта гонка за замену представляет угрозу для стабильности общества, национальной безопасности, экономического процветания, гражданских свобод, неприкосновенности частной жизни и демократического управления. Она также ставит под угрозу человеческий опыт детства и семьи, веры и сообщества.

Замечательно широкая коалиция отвергает этот путь, объединённая простым убеждением: искусственный интеллект должен служить человечеству, а не наоборот. Существует лучший путь, где надёжные и управляемые инструменты ИИ усиливают, а не уменьшают человеческий потенциал, расширяют возможности людей, повышают человеческое достоинство, защищают индивидуальную свободу, укрепляют семьи и сообщества, сохраняют самоуправление и способствуют созданию беспрецедентного здоровья и процветания. Этот путь требует, чтобы те, кто обладает технологической мощью, были подотчетны человеческим ценностям и потребностям, поддерживая процветание человечества." - humanstatement.org

/via Future of Life Institute

Символ за символом

По-символьное извлечение конфиденциальной информации из ChatGPT

DRL в кибербезопасности

Глубокое обучение с подкреплением (DRL) достигло замечательных успехов в областях, требующих последовательного принятия решений, что мотивирует его применение к проблемам кибербезопасности. Однако переход от лабораторных симуляций к специализированным киберсредам может привести к многочисленным проблемам. Это еще больше усугубляется часто враждебным, нестационарным и частично наблюдаемым характером большинства задач кибербезопасности. В этой статье мы выявляем и систематизируем 11 методологических ошибок, которые часто встречаются в литературе по DRL для кибербезопасности (DRL4SEC) на этапах моделирования среды, обучения агентов, оценки производительности и развертывания системы. Проанализировав 66 значимых статей по DRL4SEC (2018-2025 гг.), мы количественно оцениваем распространенность каждой ошибки и обнаруживаем в среднем более пяти ошибок на статью. Мы демонстрируем практическое влияние этих ошибок, используя контролируемые эксперименты в (i) автономной киберзащите, (ii) создании враждебного вредоносного ПО и (iii) средах тестирования веб-безопасности. В заключение мы предлагаем практические рекомендации по каждой проблеме, чтобы поддержать разработку более строгих и пригодных для внедрения систем безопасности на основе DRL. - SoK: The Pitfalls of Deep Reinforcement Learning for Cybersecurity

Безопасность ИИ-агентов и MCP

Хорошая подборка ресурсов за апрель 2026 от компании adversa.ai:

Безопасность ИИ-агентов

Безопасность MCP

Осведомленность о фишинге

Фишинг уже в течение довольно длительного времени остается одной из самых опасных кибератак. Будучи технически простым подходом в реализации для атакующих, будучи довольно хорошо распознаваемым инструментальными средствами, обладая явно распознаваемыми признаками, этот способ атаки все равно остается работающим. Причина – это пользователи, которые продолжают переходить по подготовленным вредоносным ссылкам. Именно люди оказываются слабым звеном, которое и обеспечивает успех фишинга. Отсюда большое внимание, которое уделяется в мире образованию (уведомлению) пользователей об опасности и характерных признаках фишинга. В настоящей статье мы хотим остановиться на существующих в мире программах обучения противодействия фишингу. Такие программы существуют на разных уровнях: национальных, академических, в частных компаниях. Основа таких тренировок – это определение учащимися фишинговых сообщений среди реальных текстов (почтовых сообщений). Особый интерес представляет собой шкала фишинга от NIST, которая позволяет оценивать сложность таких тренировочных примеров. - Осведомленность о фишинге - статья в журнале Современные информационные технологии и ИТ-образование