INJOIT vol. 14, no. 1

Вышел первый номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Случайное сглаживание: Теоретические основы и систематический обзор
• Построение апостериорных интерпретаций для моделей классификации аудиоданных
• Точное Решение и Корреляционные Функции Обобщенных Двойных Цепей Изинга
• Investigation of directed interaction between neural populations using spectral analysis methods
• Риск-ориентированный подход к размещению центров материально-технического снабжения на транспортной сети
• Интеграция интеллектуальных систем умного дома для повышения их надежности и устойчивости
• Аналитический подход к оценке задержек в Mesh-сети в вычислительной системе с распределенной памятью
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4
• Minimal-Feature XSS Detection by SHAP and Importance-Driven Pruning
• Модель обеспечения информационной безопасности в мессенджерах, разрабатываемых на основе протокола Matrix
• Исследование оптимизаций блокирующей очереди на двух мьютексах
• Портативный HybriLIT: экономичный вычислительный кластер для образовательных целей и опыт его применения
• Особенности определения формальной семантики императивного языка для верификации программ интеграции данных
• Разработка и исследование программного обеспечения для контроля использования средств индивидуальной защиты на предприятии
• CrossLingual-Noised BackTranslation
• Структурный подход к проектированию квантовых алгоритмов на основе композиции модулей
• Большие языковые модели в неврологии
• Эволюция поисковых систем в электронной коммерции: от статических каталогов к гибридным и векторным архитектурам

Архив журнала находится здесь.

/via Лаборатория ОИТ

xAI в кибербезопасности

Искусственный интеллект (ИИ) всё больше интегрируется во все более обширные сферы повседневной деятельности. Хотя ИИ обладает бесчисленными преимуществами, его запутанные и порой неясные внутренние процессы могут создавать трудности. В настоящее время ИИ широко используется для оценки кибербезопасности, и его применение сложно обосновать; такое отсутствие ответственности вызывает тревогу. Кроме того, за последние десять лет незначительный рост числа вредоносных программ побудил учёных использовать методы машинного обучения (МО) и глубокого обучения (ГО) для обнаружения угроз. Хотя эти методы обеспечивают исключительную точность, их также сложно понять. Таким образом, развитие интерпретируемых и мощных моделей ИИ является необходимым условием их надёжности и достоверности. Доверие пользователей к моделям, используемым для кибербезопасности, может быть подорвано неоднозначностью и неопределённостью существующих методов на основе ИИ, особенно в свете более сложной и разнообразной природы кибератак в наше время.

Настоящее исследование посвящено сравнительному анализу ансамбля глубоких нейронных сетей (DNNW) с различными ансамблевыми методами, такими как RUSBoost, Random Forest, Subspace, AdaBoost и BagTree, для наилучшего прогнозирования на основе данных изображений вредоносных программ. В нём определяется наиболее эффективная модель – ансамбль DNNW, для которой обеспечена объяснимость. Исследования объяснимости, особенно при работе с данными изображений вредоносных программ, относительно немногочисленны, несмотря на то, что алгоритмы глубокого и машинного обучения произвели революцию в области обнаружения вредоносных программ. Для полного понимания значимости признаков и локального или глобального предсказательного поведения модели применительно к различным категориям вредоносных программ используются такие методы объяснимости, как SHAP, LIME и Grad-CAM. Комплексное исследование значимых характеристик и их влияния на процесс принятия решений моделью, а также визуализация нескольких точек запроса – лишь некоторые из достижений. Эта стратегия способствует повышению прозрачности и надежности приложений кибербезопасности за счёт улучшения понимания методов обнаружения вредоносных программ и интеграции объяснимых наблюдений ИИ со знаниями, специфичными для предметной области. - Advancing malware imagery classification with explainable deep learning: A state-of-the-art approach using SHAP, LIME and Grad-CAM

SHAP для LLM

В этой статье мы предлагаем новый подход к созданию целевых состязательных примеров (атак) с использованием объяснимых методов искусственного интеллекта (XAI). Наш метод использует XAI для определения ключевых входных элементов, которые при изменении могут ввести в заблуждение модели NLP, такие как BERT и большие языковые модели (LLM), и выдавать определенные неверные результаты. Мы демонстрируем эффективность наших целевых атак в ряде задач и моделей NLP, даже в сценариях, где доступ к внутренней модели ограничен. Наш подход особенно эффективен в условиях обучения с нулевым выстрелом, подчеркивая его адаптивность и переносимость как в традиционные, так и в разговорные системы ИИ. Кроме того, мы описываем стратегии смягчения, демонстрируя, что состязательное обучение и тонкая настройка могут усилить защиту моделей от таких атак. Хотя наша работа подчеркивает уязвимости моделей LLM и BERT к состязательным манипуляциям, она также закладывает основу для разработки более надежных моделей, продвигая двойную цель понимания и обеспечения безопасности систем NLP с черным ящиком. Используя целенаправленные состязательные примеры и методы на основе SHAP, мы не только выявляем слабые стороны существующих моделей, но и предлагаем стратегии повышения устойчивости ИИ к вводящим в заблуждение языковым данным.- Precise Language Deception: XAI Driven Targeted Adversarial Examples with Restricted Knowledge

Интересная идея - построение состязательных примеров для LLM с использованием SHAP

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Объяснения для моделей ML

Настоящее исследование посвящено сравнительному анализу ансамбля глубоких нейронных сетей (DNNW) с различными ансамблевыми методами, такими как RUSBoost, Random Forest, Subspace, AdaBoost и BagTree, для наилучшего прогнозирования по данным вредоносных программ на основе изображений. Оно определяет наиболее эффективную модель, ансамбль DNNW, для которой обеспечивается объяснимость. Было проведено относительно мало исследований объяснимости, особенно при работе с данными вредоносных программ на основе изображений, независимо от того, что алгоритмы DL/ML произвели революцию в обнаружении вредоносных программ. Методы объяснимости, такие как подходы SHAP, LIME и Grad-CAM, используются для представления полного понимания значимости признаков и локального или глобального предсказательного поведения модели по различным категориям вредоносных программ. Всестороннее исследование значимых характеристик и их влияния на процесс принятия решений модели и визуализации множественных точек запроса являются некоторыми из вкладов. Эта стратегия способствует повышению прозрачности и надежности приложений кибербезопасности за счет улучшения понимания методов обнаружения вредоносных программ и интеграции объяснимых наблюдений ИИ со знаниями, специфичными для предметной области. - Advancing malware imagery classification with explainable deep learning: A state-of-the-art approach using SHAP, LIME and Grad-CAM

Поясни за модель

В наши дни существует несколько инструментов и фреймворков, которые помогают нам понимать и интерпретировать прогнозы, сделанные моделями ИИ. Используя эти инструменты, мы можем отладить производительность модели и лучше понять принятые решения. К различным популярным инструментам относятся следующие:

(1) LIME (Local Interpretable Model-Agnostic Explanations): IME (Local Interpretable Model-Agnostic Explanations): Это изменяет ввод выборок данных, чтобы увидеть, как меняются прогнозы. LIME позволяет интерпретировать модель локально. После изменения значений признаков наблюдаются выходные данные.

(2) SHAP (аддитивные объяснения Шепли): Это еще один метод объяснения выходных данных ML-модели. Он сопоставим с LIME в том, что интерпретации используются для отображения влияния определенного значения признака на прогноз. SHAP повышает прозрачность модели.

(3) ELI5 или Explain Like I'm 5: Это популярный инструмент Python, который позволяет визуализировать прогнозы моделей машинного обучения и помогает в отладке классификаторов. ELI5 можно использовать для оценки производительности модели машинного обучения двумя способами. Global ELI5 демонстрирует, как параметры ведут себя по отношению ко всей модели. Локальный ELI5 проверяет один экземпляр прогноза.

(4) XAI 5: Это набор инструментов машинного обучения, специально созданный для анализа данных и оценки моделей. Он помогает пользователю сбалансировать класс путем увеличения или уменьшения выборки набора данных перед обучением и тестированием. Корреляционная матрица используется для оценки поведения модели.

(5) Инструментарий Partial Reliance Plot (PDPbox) используется для вычисления и визуализации влияния признаков на прогнозирование целевых переменных. Библиотека похожа на random forest в том, что указывает, как характеристика влияет на прогнозирование. Модуль Python обнаруживает связи между данными или признаками, используемыми в качестве входных данных для модели, и окончательным прогнозом. Он используется для демонстрации глобальных и локальных интерпретаций моделей черного ящика.

(6) GradCAM Он позволяет визуализировать тепловые карты и градиенты для настройки гиперпараметров или разработки матриц неточностей, а также объяснять и визуализировать прогноз.

(7) InterpretML: набор инструментов Microsoft Python с открытым исходным кодом для обучения понятных моделей и объяснения технологий черного ящика. Это помогает в отладке, позволяя понимать прогнозы, сделанные моделью. Он основан на индивидуальной оценке глобальных и локальных аспектов.

(8) АЛИБИ. Alibi — это библиотека Python с открытым исходным кодом, которая состоит из широкого спектра алгоритмов для выполнения интерпретации прогноза в конкретном случае.

См. также другие публикации, посвященные SHAP и ответу на вопрос "почему" для моделей машинного обучения

Состязательные атаки по-умному

Поскольку внимание к безопасности искусственного интеллекта (ИИ) становится первостепенным, исследования по созданию и вставке оптимальных состязательных возмущений становятся все более важными. В области вредоносных программ эта генерация состязательных образцов в значительной степени зависит от точности и размещения созданных возмущений с целью уклонения от обученного классификатора. Эта работа сосредоточена на применении методов объяснимости для улучшения атаки состязательного уклонения на детекторе вредоносных программ Windows PE на основе машинного обучения. Объясняемый инструмент определяет области файлов вредоносных программ PE, которые оказывают наиболее значительное влияние на процесс принятия решений данным детектором вредоносных программ, и следовательно, те же области могут быть использованы для внедрения состязательных возмущений для максимальной эффективности. Профилирование всех регионов файлов вредоносных программ PE на основе их влияния на решение детектора вредоносных программ позволяет вывести эффективную стратегию для определения оптимального места для внедрения возмущений. Стратегия должна включать значимость региона в влиянии на решение детектора вредоносных программ и чувствительность целостности файла вредоносного ПО PE к изменению этого региона. Чтобы оценить полезность объяснимого ИИ при создании состязательного образца вредоносного ПО Windows PE, мы используем модуль DeepExplainer SHAP (SHapley Additive exPlanations) для определения вклада каждого региона вредоносного ПО PE в его обнаружение детектором вредоносных программ на основе CNN, MalConv. Анализ включает как локальные, так и глобальные объяснения для данных образцов вредоносных программ. Мы выполнили сохраняющую функциональность внедрение состязательного возмущения в различных регионах вредоносного ПО PE, где это возможно, выполняя операции, не сохраняющие функциональность, в нескольких оставшихся регионах. Этот подход позволяет нам изучить взаимосвязь между значениями SHAP и скоростью уклонения от состязательной атаки. Кроме того, мы проанализировали значимость значений SHAP на более детальном уровне, разделив каждый раздел Windows PE на небольшие подразделы. Затем мы выполнили атаку состязательного уклонения на подразделы на основе соответствующих значений SHAP последовательностей байтов. Наша экспериментальная оценка показывает значительное улучшение успешности и эффективности атак состязательного уклонения при внедрении возмущения в местоположения вредоносного ПО PE на основе значений SHAP по сравнению со случайными местоположениями PE. - Explainability Guided Adversarial Evasion Attacks on Malware Detectors

С помощью объяснения работы модели строим состязательные атаки.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Практическая объяснимость

Модельный пример - объяснения для модели машинного обучения: SHAP, LIME, ICE

Что же важно для модели?

Использование SHAP для анализа важности фичей. Интересная задача - сравнить SHAP и feature importance

См. также другие публикации, посвященные SHAP

Объяснимый искусственный интеллект

SHAP
LIME
Permutation Importance
Partial Dependence Plot
Morris Sensitivity Analysis - и другие методы объяснимого искусственного интеллекта. Полезный словарь.

P.S. см. также другие публикации по теме explainable, а также другие публикации, посвященные ответу на вопрос почему?

За пояснить

Практика использования SHAP для объяснения моделей ML

См. также другие публикации, посвященные SHAP

И еще о SHAP

SHAP для табличных данных

См. также другие публикации, посвященные SHAP

Больше пояснений

Схемы объяснений для вклада различных характерстик (features) в результат работы модели машинного обучения:

InterpretML

LIME & SHAP

Перестановки характеристик (Permutation Feature Importance)

ParSHAP - какие из характеристик вызывают перетренированность

SHAP vs ACV

См. также другие публикации, посвященные SHAP и ответу на вопрос "почему" для моделей машинного обучения

Overfitting

Как его определить переобучение - весьма простой подход. Используется SHAP — SHapley Additive exPlanations. Вот здесь можно прочитать про него

Вот здесь можно посмотреть другие публикации, посвященные SHAP

Использование SHAP

Объяснение на примерах - как использовать SHAP для объяснения результатов машинного обучения. И делать это можно на разных уровнях: на этапе тренировки, при валидации и при использовании

См. также другие ссылки по теме "почему"

Но почему?

Интересная статья по объяснениям для предиктивной аналитики. Например, XGBoost - для предсказания и объяснения с помощью SHAP. Проблема - confounding