INJOIT vol. 14, no. 6

Вышел шестой номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents
• Метод слияния данных и фильтрации аномалий на основе расстояния Махаланобиса для обеспечения целостности информации в группах автономных транспортных средств
• Эквивалентность порога метода Оцу решающему правилу MAP-классификатора в задаче обнаружения аномалий сетевого трафика
• Повышение эффективности состязательных атак на модель прогнозирования трафика TGC-LSTM
• Состязательные атаки на модели обнаружения фишинга на основе URL-адресов
• Устойчивость сессионных рекомендательных систем к атакам отравления обучающей выборки
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 8
• No-Op-Aware Training and Quantization Framework for Outlier Robust Transformer based Language Models
• Синтез арифметико-логических выражений с использованием SMT-решателя
• Direct adaptive output-feedback control for unstable linear multidimensional systems with distinct input delays
• Оценка распространения искажений в Data-продуктах реляционной архитектуры Data Mesh
• Проблема полноты поиска в B2B-каталогах DIY-товаров: ограничения семантических эмбеддингов и сущностно-ориентированный подход
• Исследование интерпретируемости моделей детектирования пешеходов на основе векторов активации концептов (TCAV): межархитектурный эмпирический анализ
• Методология структурного синтеза хранилища гетерогенных данных технической диагностики высоковольтного оборудования объектов электроэнергетики
• О некорректности ветвящейся программы и цикла
• Методы синтеза промежуточных представлений программ для высокоуровневого проектирования специализированных вычислителей
• Revolutionizing navigation: Deep Learning for lane detection in mobile robots
• An easy way to boost home calculation performance with HGRID
• Разработка механизма динамического доверия для защиты веб-сессий в архитектуре ZeroTrust
• Реактивное управление идентификацией и контролем доступа в контейнерных средах на базе прокси-сервера Envoy
• Использование геймификации и искусственного интеллекта в образовательном процессе при изучении логистики

Архив журнала находится здесь.

/via Лаборатория ОИТ

Фальшивые новости

Большие языковые модели (LLM) все чаще используются в финансовой сфере. Их исключительные возможности анализа текстовых данных делают их хорошо подходящими для определения настроения финансовых новостей. Такая обратная связь может быть использована алгоритмическими торговыми системами (АТС) для принятия решений о покупке/продаже. Однако эта практика сопряжена с риском того, что злоумышленник может создавать «враждебные новости», призванные ввести в заблуждение LLM. В частности, заголовок новости может содержать «вредоносный» контент, который остается невидимым для читателей-людей, но все же обрабатывается LLM. Хотя в предыдущих работах изучались текстовые примеры враждебных новостей, их влияние на АТС, поддерживаемые LLM, в масштабах всей системы еще не было количественно оценено с точки зрения денежного риска. Чтобы противостоять этой угрозе, мы рассматриваем злоумышленника, не имеющего прямого доступа к АТС, но способного изменять заголовки новостей, связанных с акциями, в течение одного дня. Мы оцениваем две незаметные для человека манипуляции в финансовом контексте: замены омоглифов в Unicode, которые вводят модели в заблуждение при распознавании названий акций, и скрытые текстовые условия, которые изменяют эмоциональную окраску заголовка новости. Мы реализовали реалистичную автоматизированную торговую систему (ATS) в Backtrader, которая объединяет прогноз цен на основе LSTM с эмоциональным состоянием, полученным с помощью LLM (FinBERT, FinGPT, FinLLaMA и шесть универсальных LLM), и количественно оценили денежное воздействие с помощью показателей портфеля. Эксперименты на реальных данных показывают, что манипулирование однодневной атакой в течение 14 месяцев может надежно ввести в заблуждение LLM и снизить годовую доходность до 17,7 процентных пунктов. Для оценки реальной осуществимости мы проанализировали популярные библиотеки для сбора данных и торговые платформы и опросили 27 специалистов в области FinTech, подтвердив наши гипотезы. Мы уведомили владельцев торговых платформ об этой проблеме безопасности. - Adversarial News and Lost Profits: Manipulating Headlines in LLM-Driven Algorithmic Trading

См. также другие публикации, посвященные LLM

Защита от атак патчами

Беспилотные летательные аппараты (БПЛА), оснащенные алгоритмами обнаружения объектов, все чаще используются для автоматизации задач, традиционно требующих ручного осмотра. Однако системы обнаружения, основанные на глубоком обучении, остаются уязвимыми к атакам со стороны злоумышленников, основанным на патчах, что значительно снижает точность обнаружения и создает проблемы безопасности. Для решения этой проблемы мы предлагаем новую двухэтапную структуру защиты от атак со стороны злоумышленников. Первый этап фокусируется на исправлении патчей. Мы используем модель «Сегментировать все» (SAM) для точного генерирования масок злоумышленников, а затем модель диффузии для реконструкции поврежденных областей изображения. Для обеспечения производительности в реальном времени и поддержки масштабируемого развертывания процесс исправления патчей переносится на периферийные серверы и в облако. На втором этапе мы повышаем надежность обнаружения с помощью модуля пространственно-частотного улучшенного выравнивания (SFEA), разработанного для уменьшения искажений, вносимых процессом восстановления изображения. SFEA объединяет сеть долговременной краткосрочной памяти (LSTM) на основе машинного зрения с миксером с комбинированной сверточной Фурье (FFCM) для извлечения и выравнивания пространственных и частотных признаков. Модуль коммутации двух потоков динамически выравнивает эти признаки в обеих областях, а модуль свёрточного блока внимания (CBAM) дополнительно повышает репрезентативную надёжность. Экспериментальные результаты как на эталонных, так и на реальных наборах данных показывают, что наша структура превосходит существующие методы защиты в борьбе с атаками с использованием патчей. - Defending UAVs Against Adversarial Attacks Using Diffusion Model

Тема важная - защита от атак на системы распознавния объектов. Для систем с ограниченным ресурсами - это большая проблема. Важно отметить, что в данной работе авторы используют периферические вычисления. Не для всех БПЛА это доступно.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Кибербезопасность в IoT

Стремительное развитие Интернета вещей (IoT) приводит к появлению миллионов устройств, подключаемых к сети для предоставления интеллектуальных услуг, таких как дистанционное зондирование, управление и мониторинг. Однако эта широкая связь и интеллектуальные функции также привели к появлению ряда уязвимостей кибербезопасности. Традиционные решения безопасности, основанные на машинном обучении (МО), неэффективны из-за динамической природы угроз кибермира. Новые типы вредоносных программ не обнаруживаются большинством решений безопасности на основе МО, поскольку они основаны на статическом извлечении признаков. Кроме того, некоторые методы требуют человеческого опыта и требуют много времени. Для решения этих проблем в данной статье предлагается динамический метод обнаружения и классификации вредоносных программ с использованием обучения признакам для кибербезопасности, ориентированной на Интернет вещей. Предлагаемая модель объединяет сверточные нейронные сети (CNN) для автоматического извлечения признаков и сети с долговременной краткосрочной памятью (LSTM) для последовательного анализа поведения. Предлагаемая модель обеспечивает адаптивное обучение и повышает точность обнаружения вредоносных программ. В отличие от традиционных подходов, наша модель не ограничена конкретными типами вредоносных программ. Эффективность предлагаемого подхода оценивается на основе набора данных MTA-KDD’19, который обеспечивает реалистичное представление легитимного и вредоносного сетевого трафика. Экспериментальные результаты демонстрируют превосходную производительность, достигая точности 99,83%, полноты 99,90%, достоверности 99,74% и оценки F1 99,87%. Эти результаты подтверждают, что предлагаемая динамическая система обнаружения вредоносных программ повышает эффективность противодействия киберугрозам и обеспечивает безопасность системы Интернета вещей. - A feature-learning-enabled malware analysis for enhanced IoT-centric cybersecurity

Атаки с ограничениями

Хотя машинное обучение значительно продвинуло системы обнаружения сетевых вторжений (NIDS), особенно в средах IoT, где устройства генерируют большие объемы данных и все более подвержены киберугрозам, эти модели остаются уязвимыми для состязательных атак. Наше исследование выявляет критический недостаток в существующих методологиях состязательных атак: частое нарушение ограничений, специфичных для домена, таких как численные и категориальные ограничения, присущие IoT и сетевому трафику. Это приводит к тому, что до 80,3% состязательных примеров оказываются недействительными, что значительно завышает уязвимости реального мира. Эти недействительные примеры, хотя и эффективны для обмана моделей, не представляют собой возможные атаки в рамках практических развертываний IoT. Следовательно, опора на эти результаты может ввести в заблуждение при распределении ресурсов для защиты, преувеличивая воспринимаемую восприимчивость моделей NIDS с поддержкой IoT к состязательным манипуляциям. Кроме того, мы демонстрируем, что более простые суррогатные модели, такие как Multi-Layer Perceptron (MLP), генерируют более достоверные состязательные примеры по сравнению со сложными архитектурами, такими как CNN и LSTM. Используя MLP в качестве суррогата, мы анализируем переносимость состязательной серьезности на другие модели ML/DL, обычно используемые в контекстах IoT. Эта работа подчеркивает важность учета как ограничений домена, так и архитектуры модели при оценке и проектировании надежных моделей ML/DL для критически важных для безопасности приложений IoT и сетей. - Constrained Network Adversarial Attacks: Validity, Robustness, and Transferability

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

INJOIT том 12, номер 7

Вышел седьмой номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

• Гибридные модели предиктивной аналитики в креативной индустрии
• Semantic Data Fragmentation for Identification of Covariant Conceptual Drift in Machine Learning Models
• Prod2Query: решение проблемы холодного старта продаж для электронной коммерции с помощью генеративного языкового моделирования
• Hybrid Naive Bayes TF-IDF Algorithm and Lexicon Approach for Sentiment Analysis of Reviews
• On the optimal scheme of the possible three predictors in discrete optimization problems using decision-making algorithms
• Метод Построения Модели Пространства Автономных Транспортных Средств
• Анализ LSTM и GRU моделей для построения прогнозов временных рядов
• О болезни Паркинсона и ее математических моделях
• Применение нейронных сетей для обнаружения аномального трафика в сетях Интернета вещей
• On the possibility of increasing the noise immunity of OFDM telecommunication systems using fractional Fourier transforms
• Оптимальное распределение вычислительных ресурсов для реализации сервисов цифровых валют центральных банков
• A Framework for Cloud Migration in Academic Institutions
• Метод полной интуиционистской нечеткой кластеризации C-средних
• Данные телеметрии как фактор минимизации экологических последствий лесозаготовок
• Biometric Based Recognition Systems - An Overview
• Анализ тенденций развития цифровых двойников нового поколения
• Toward Eradication of Phishing Attacks in E-government Systems
• Состязательные атаки для автономных транспортных средств

/via Лаборатория ОИТ

Архив журнала находится здесь.

HMM vs LSTM

Для анализа последовательных данных доступно множество инструментов. Один из самых простых, гибких и проверенных временем подходов - это скрытые марковские модели (HMM). Изначально они были разработаны для обработки сигналов, а теперь широко используются в биоинформатике.

В сообществе специалистов по науке о данных есть тенденция отдавать предпочтение вариантам машинного обучения, таким как LSTM. Хотя эти инструменты довольно мощные, они также заведомо сложны и трудны для понимания. В результате вы часто видите, как специалисты по обработке данных изо всех сил пытаются использовать сложный подход, когда простой будет работать лучше.

Скрытые модели Маркова или LSTM?

Обобщение в нейронных сетях

Люди понимают мир с помощью абстракции: если вы усвоите концепцию схватывания палки, вы также поймете, как схватить мяч. Новая работа исследует способность систем глубокого обучения делать то же самое - важный аспект их способности делать обобщения.

Что нового: психологи называют такое мышление систематическим рассуждением. Исследователи из DeepMind, Стэнфордского университета и Университетского колледжа Лондона изучали эту способность в моделях глубокого обучения с подкреплением, обученных взаимодействовать с окружающей средой и выполнять задачу.

Ключевой вывод: Феликс Хилл и его коллеги обучили модель помещать объект 1 в точку 1 с примером выполняемого действия. Во время тестирования они попросили модель поместить объект 2 в позицию 2. Объекта 2 и позиции 2 не было в обучающей выборке, поэтому способность модели выполнять задачу указывает на общее понимание того, как положить.

Как это работает: модель получает представление об окружающей среде вместе с описанием задачи (инструкцией по размещению или поиску данного объекта). Модель обрабатывает эти элементы по отдельности, а затем объединяет свое понимание каждого из них, чтобы определить серию действий для выполнения задачи.
Модель состоит из трех компонентов (обычный выбор для обработки изображений, понимания текста и решений последовательности): CNN обрабатывает представление среды, LSTM интерпретирует описание задачи, а выходы CNN и LSTM объединяются в скрытом слое LSTM для отслеживания прогресса. к выполнению задачи.
Модель учится связывать различные объекты с их именами, выполняя задачи put [object] или find [object]. Исследователи разделяют объекты на тестовые и обучающие наборы. Затем они обучают модель ставить или поднимать предметы в обучающую выборку. Чтобы измерить систематичность рассуждений, они просят его поднять или положить предметы в набор для тестирования.

Результаты: исследователи обучили копии модели в смоделированных 2D и 3D средах. В любом случае более 91% удалось поднять новые объекты. Однако успешность размещения новых объектов упала примерно до 50 процентов в обеих средах.

Да, но: удаление описания задачи и компонента LSTM не сильно повлияло на производительность. То есть, хотя такие слова, как положить и найти, могут помочь людям понять, как нейронные сети работают систематически, язык, по-видимому, не имеет решающего значения для их работы.

Почему это важно: нейронные сети могут делать обобщения, но наше понимание того, как они это делают, неполно. Это исследование предлагает способ оценить роль систематических рассуждений. Результаты предполагают, что модели, которые рассуждают систематически, с большей вероятностью будут обобщать.

Вывод: недавняя серия предварительно обученных языковых моделей приобретает знания, которые позволяют им выполнять различные задачи без переобучения с нуля. Понимание систематических рассуждений в нейронных сетях может привести к повышению производительности в областях, отличных от естественного языка.

Отсюда

Не просто перестановки

LSTM сети могут выявлять языковые зависимости

см. также другие публикации по LSTM

И здесь трансформеры

Замена RNN и LSTM сетям

Что-то с памятью

Understanding, Deriving and Extending the Long Short-Term Memory networks (LSTM)

См. также другие публикации, посвященные LSTM

Вспомнить все

Ясное и хорошо иллюстрированное объяснение LSTM