LLM в отражении атак на IoT

Растущая сложность и масштабность Интернета вещей (IoT) сделали безопасность критической проблемой. В этой статье представлена новая, основанная на Большой языковой модели (LLM) структура для комплексного обнаружения и предотвращения угроз в средах IoT. Система объединяет легкие LLM, тонко настроенные на специфичные для IoT наборы данных (IoT-23, TON IoT) для обнаружения аномалий в реальном времени и автоматизированных, контекстно-зависимых стратегий смягчения, оптимизированных для устройств с ограниченными ресурсами. Модульное развертывание на основе Docker обеспечивает масштабируемую и воспроизводимую оценку в различных сетевых условиях. Экспериментальные результаты в моделируемых средах IoT демонстрируют значительные улучшения в точности обнаружения, задержке реагирования и эффективности ресурсов по сравнению с традиционными методами безопасности. Предлагаемая структура подчеркивает потенциал автономных решений безопасности на основе LLM для будущих экосистем IoT. - LLM-Based Threat Detection and Prevention Framework for IoT Ecosystems

См. также другие публикации, посвященные LLM

Атаки на LLM

Большие языковые модели (LLM) и агенты на основе LLM широко используются в широком спектре приложений в реальном мире, включая диагностику в здравоохранении, финансовый анализ, поддержку клиентов, робототехнику и автономное вождение, расширяя их мощные возможности понимания, рассуждения и генерации естественных языков. Однако широкое развертывание приложений на основе LLM подвергает критическим рискам безопасности и надежности, таким как вероятность злонамеренного использования, утечки конфиденциальной информации и сбоя в обслуживании, которые ослабляют доверие пользователей и подрывают общественную безопасность. В этой статье представлен систематический обзор деталей состязательных атак, нацеленных как на LLM, так и на агентов на основе LLM. Эти атаки организованы в три фазы в LLM: атаки на фазе обучения, атаки на фазе вывода и атаки на доступность и целостность. Для каждой фазы мы анализируем детали репрезентативных и недавно представленных методов атак вместе с их соответствующими защитами. Мы надеемся, что наш опрос предоставит хорошее руководство и всестороннее понимание безопасности LLM, особенно атак на LLM. Мы хотим привлечь внимание к рискам, присущим широко развернутым приложениям на основе LLM, и подчеркнуть настоятельную необходимость в надежных стратегиях смягчения возникающих угроз. - A Survey of Attacks on Large Language Models

См. также другие публикации, посвященные LLM

Безопасный ИИ

Некоммерческая организация Center for AI Safety

См. также другие публикации по теме safety

SQL игры

Интересная идея - игры, для прохождения которых нужно составлять SQL запросы

Случайный лес

Хорошее объяснение с визуализацией - Random Forest

Это не ошибки, а свойства

Состязательные примеры привлекли значительное внимание в машинном обучении, но причины их существования и распространенности остаются неясными. Мы демонстрируем, что состязательные примеры могут быть напрямую отнесены к наличию ненадежных признаков: признаков (выведенных из закономерностей в распределении данных), которые являются высокопредсказательными, но хрупкими и (следовательно) непонятными для людей. После фиксации этих признаков в теоретической структуре мы устанавливаем их широкое распространение в стандартных наборах данных. Наконец, мы представляем простую настройку, в которой мы можем строго связать явления, которые мы наблюдаем на практике, с несоответствием между (определенным человеком) понятием надежности и внутренней геометрией данных. - Adversarial Examples Are Not Bugs, They Are Features

Хорошее статистическое объяснение природы состязательных ошибок

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Генератор иммитационных моделей

Генеративный ИИ (GenAI) продемонстрировал замечательные возможности в генерации кода, и его интеграция в моделирование сложных продуктов и генерацию кода симуляции может значительно повысить эффективность этапа проектирования системы в системной инженерии на основе моделей (MBSE). В этом исследовании мы представляем структуру методологии генеративного проектирования систем для MBSE, предлагающую практический подход к интеллектуальному генерированию имитационных моделей для физических свойств системы. Во-первых, мы используем методы вывода, генеративные модели и интегрированные языки моделирования и моделирования для построения имитационных моделей для физических свойств системы на основе документов по проектированию продукта. Затем мы настраиваем языковую модель, используемую для генерации имитационной модели, на существующей библиотеке имитационных моделей и дополнительных наборов данных, созданных с помощью генеративного моделирования. Наконец, мы вводим метрики оценки для сгенерированных имитационных моделей для физических свойств системы. Наш предлагаемый подход к генерации имитационной модели представляет инновационную концепцию масштабируемых шаблонов для имитационных моделей. Используя эти шаблоны, GenAI генерирует имитационные модели для физических свойств системы с помощью завершения кода. Результаты эксперимента показывают, что для основных моделей с открытым исходным кодом на основе Transformer качество имитационной модели значительно улучшается при использовании метода генерации имитационной модели, предложенного в этой статье. - GenAI for Simulation Model in Model-Based Systems Engineering

Сенсор в базу

Проект t6 - сохранение данных IoT в базу временных рядов

Введение в модельно-ориентированную системную и программную инженерию (MBSSE)

Издан учебник «Введение в модельно-ориентированную системную и программную инженерию (MBSSE)»

Авторы:

Владимир Александрович Сухомлин, Владимир Юрьевич Романов, Дмитрий Антонович Гапанович

О книге
Рекомендовано ФУМО по укрупненной группе специальностей и направлений подготовки 02.00.00 Компьютерные и информационные науки в качестве учебного пособия для студентов высших учебных заведений, обучающихся по направлениям подготовки: «Фундаментальная информатика и информационные технологии», «Математическое обеспечение и администрирование информационных систем», «Математика и компьютерные науки»

Учебник посвящен модельно-ориентированной системной инженерии (MBSE) и её интеграции с программной инженерией (MBSSE). В работе рассматриваются концептуальные основы MBSE и MBSSE, методы управления жизненным циклом систем, стандарты системной инженерии, языки моделирования UML и SysML.

Особое внимание уделяется цифровым двойникам, инженерии требований и архитектуре систем. Заключительный раздел охватывает математические основы системной инженерии, включая теорию систем, конечные автоматы и формальное моделирование. Учебник рекомендован как базовый курс для подготовки ИТ-специалистов.

Новый подход к джелбрейкам

Состязательные атаки на большие языковые модели (LLM) с помощью методов взлома — методов, которые обходят их встроенные ограничения безопасности и этики — стали критической проблемой в безопасности ИИ. Эти атаки ставят под угрозу надежность LLM, эксплуатируя присущие им слабости в возможностях понимания. В этой статье исследуется эффективность стратегий взлома, которые специально адаптированы к различным уровням понимания, демонстрируемым различными LLM. Мы предлагаем адаптивные стратегии взлома, основанные на возможностях семантического понимания больших языковых моделей, новую структуру, которая классифицирует LLM на категории Типа I и Типа II в соответствии с их способностями семантического понимания. Для каждой категории мы разрабатываем индивидуальные стратегии взлома, направленные на использование их уязвимостей для облегчения успешных атак. Обширные эксперименты, проведенные на нескольких LLM, показывают, что наша адаптивная стратегия заметно повышает успех взлома. Примечательно, что наш подход обеспечивает исключительный показатель успеха в 98,9% при взломе GPT-4o (релиз от 29 мая 2025 г.) - https://arxiv.org/pdf/2505.23404

См. также другие публикации, посвященные LLM

Машина Больцмана

Помните такую? Интересный эмулятор

LLM синтетика

Генерация синтетических данных, которые точно отражают статистическую структуру распределений реального мира, является фундаментальной проблемой в моделировании данных. Классические подходы часто зависят от сильных параметрических предположений или ручного структурного проектирования и трудностей в многомерных или неоднородных областях. Недавний прогресс в области больших языковых моделей (LLM) раскрывает их потенциал как гибких, многомерных априорных значений по сравнению с реальными распределениями. Однако при применении к синтезу данных стандартная выборка на основе LLM неэффективна, ограничена фиксированными контекстными пределами и не обеспечивает статистического выравнивания. Учитывая это, мы представляем LLMSYNTHOR, общую структуру для синтеза данных, которая преобразует LLM в симуляторы, учитывающие структуру, управляемые распределительной обратной связью. LLMSYNTHOR рассматривает LLM как непараметрический симулятор копулы для моделирования зависимостей высокого порядка и вводит выборку предложений LLM для генерации обоснованных распределений предложений, которые повышают эффективность выборки, не требуя отклонения. Минимизируя расхождения в пространстве сводной статистики, цикл итерационного синтеза выравнивает реальные и синтетические данные, постепенно раскрывая и уточняя скрытую генеративную структуру. Мы оцениваем LLMSYNTHOR как в контролируемых, так и в реальных условиях, используя гетерогенные наборы данных в доменах, чувствительных к конфиденциальности (например, электронная коммерция, население и мобильность), которые охватывают как структурированные, так и неструктурированные форматы. Синтетические данные, полученные LLMSYNTHOR, показывают высокую статистическую точность, практическую полезность и кросс-данную адаптивность, позиционируя их как ценный инструмент в экономике, социальных науках, городских исследованиях и за их пределами. - Large Language Models for Data Synthesis

См. также другие публикации, посвященные LLM

LLM агенты под атакой

Сильные возможности планирования и рассуждения Больших языковых моделей (LLM) способствовали разработке систем на основе агентов, способных использовать внешние инструменты и взаимодействовать с все более сложными средами. Однако эти мощные функции также представляют собой критический риск безопасности: непрямое внедрение подсказок, сложный вектор атаки, который компрометирует ядро этих агентов, LLM, манипулируя контекстной информацией, а не прямыми подсказками пользователя. В этой работе мы предлагаем общую структуру фаззинга черного ящика, AGENTFUZZER, разработанную для автоматического обнаружения и эксплуатации уязвимостей непрямого внедрения подсказок в различных агентах LLM. Наш подход начинается с построения высококачественного начального корпуса исходных данных, затем использует алгоритм выбора исходных данных на основе поиска по дереву Монте-Карло (MCTS) для итеративного уточнения входных данных, тем самым максимизируя вероятность обнаружения слабых сторон агента. Мы оцениваем AGENTFUZZER по двум публичным тестам, AgentDojo и VWAadv, где он достигает 71% и 70% успеха против агентов на основе o3-mini и GPT-4o соответственно, почти вдвое увеличивая производительность базовых атак. Более того, AGENTFUZZER демонстрирует сильную переносимость между невидимыми задачами и внутренними LLM, а также многообещающие результаты против защит. Помимо тестов, мы применяем наши атаки в реальных средах, успешно вводя агентов в заблуждение, чтобы они переходили на произвольные URL-адреса, включая вредоносные сайты. AI Red Team для агентов - AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents

См. также другие публикации, посвященные LLM

Атаки на предсказание траекторий

Прогнозирование траектории является ключевым элементом автономных транспортных систем, позволяя им предвидеть и реагировать на движения других участников дорожного движения. Оценка надежности моделей прогнозирования против враждебных атак имеет важное значение для обеспечения их надежности в реальном дорожном движении. Однако современные подходы, как правило, сосредоточены на возмущении прошлых положений окружающих агентов, что может генерировать нереалистичные сценарии и упускать из виду критические уязвимости. Это ограничение может привести к чрезмерно оптимистичным оценкам производительности модели в реальных условиях. В этой работе мы демонстрируем, что возмущение не только прошлых, но и будущих состояний враждебных агентов может выявить ранее необнаруженные слабые стороны и тем самым обеспечить более строгую оценку надежности модели. Наш новый подход включает динамические ограничения и сохраняет тактическое поведение, обеспечивая более эффективные и реалистичные враждебные атаки. Мы вводим новые показатели производительности для оценки реалистичности и воздействия этих враждебных траекторий. Тестирование нашего метода на современной модели прогнозирования выявило значительное увеличение ошибок прогнозирования и частоты столкновений в условиях состязательности. Качественный анализ далее показал, что наши атаки могут выявить критические слабости, такие как неспособность модели обнаруживать потенциальные столкновения в том, что кажется безопасными прогнозами. Эти результаты подчеркивают необходимость более комплексного состязательного тестирования для лучшей оценки и повышения надежности моделей прогнозирования траектории для автономных транспортных средств. - Realistic Adversarial Attacks for Robustness Evaluation of Trajectory Prediction Models via Future State Perturbation

См. также другие публикации по теме физические атаки

Открытая наука, том 13, номер 5

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 13, номер 5 за 2025 год.

/via Лаборатория ОИТ

Вероятностные прогнозы для временных рядов

Прогнозирование является важнейшим компонентом бизнес-планирования в различных отраслях — от управления розничными запасами до анализа финансового рынка, от прогнозирования спроса на энергию до распределения маркетингового бюджета. Традиционно компании полагались на точечные прогнозы, которые дают единую оценку будущих значений. Хотя эти подходы могут работать достаточно хорошо в стабильных условиях, они часто не отражают присущую реальным системам неопределенность и могут приводить к неоптимальным решениям при столкновении с нестабильными или сложными средами.
Вероятностное прогнозирование устраняет эти ограничения, генерируя полные распределения вероятностей по возможным будущим результатам, а не одноточечные прогнозы. Этот сдвиг парадигмы предоставляет лицам, принимающим решения, более полное представление о потенциальных сценариях, что позволяет осуществлять надежное планирование, учитывающее риск и неопределенность. Благодаря недавним достижениям в области вычислительных методов и байесовской статистики эти сложные подходы становятся все более доступными для практиков. - Probabilistic Time Series Analysis: Opportunities and Applications

Text to SQL

Google выступил с решениями трансляции текста в SQL. Полная цепочка тогда должна выглядеть так: ASR (автоматическое распознавание речи) -> Text-to-SQL -> запрос к базе данных -> TTS (Text-to-Speech) - голосовые интерфейсы в информационных системах

Про биометрию

Макет головы для обмана биометрии. Физическая атака

См. также другие публикации по теме физические атаки

MCP и Docker

Docker предлагает решение для MCP

отсюда

Фальшивая кибербезопасность

Учитывая растущее количество и серьезность кибератак, наблюдается всплеск информации о кибербезопасности в различных средствах массовой информации, таких как сообщения, новостные статьи, отчеты и другие ресурсы. Cyber Threat Intelligence (CTI) включает обработку данных из этих источников кибербезопасности, что позволяет профессионалам и организациям получать ценную информацию. Однако с быстрым распространением информации о кибербезопасности включение поддельной CTI может привести к серьезным последствиям, включая атаки с отравлением данных. Чтобы решить эту проблему, мы реализовали трехэтапную стратегию: создание синтетической CTI, оценка качества сгенерированной CTI и обнаружение поддельной CTI. В отличие от других поддоменов, таких как обнаружение поддельных новостей о COVID, в настоящее время нет общедоступного набора данных, специально предназначенного для исследования обнаружения поддельной CTI. Чтобы устранить этот пробел, мы сначала создаем надежный набор данных Groundtruth, используя данные о кибербезопасности, специфичные для домена, для точной настройки Large Language Model (LLM) для генерации синтетической CTI. Затем мы используем методы краудсорсинга и передовые методы проверки синтетических данных для оценки качества сгенерированного набора данных, представляя новую методологию оценки, которая объединяет количественные и качественные подходы. Наша комплексная оценка показывает, что сгенерированный CTI не может быть отличим от подлинного CTI людьми-аннотаторами, независимо от их опыта в области компьютерных наук, что демонстрирует эффективность нашего подхода к генерации. Мы сравниваем различные методы обнаружения дезинформации с нашим набором данных groundtruth, чтобы установить базовые показатели производительности для выявления поддельного CTI. Используя существующие методы и адаптируя их к контексту обнаружения поддельного CTI, мы обеспечиваем основу для будущих исследований в этой критической области. Для содействия дальнейшим исследованиям мы делаем наш код, набор данных и экспериментальные результаты общедоступными на GitHub - Can LLM-generated misinformation be detected: A study on Cyber Threat Intelligence