Одноплатники для IoT

Одноплатные компьютеры для Интернета Вещей

Искусственный интеллект: вызовы и возможности

Искусственный интеллект: вызовы и возможности. Опыт использования AI/ML в различных отраслях, вопросы доверия и информационной безопасности. Материалы конференции ТБ Форум 2025.

Математические основы ИИ

Доклады семинара "Математические основы искусственного интеллекта", который проводит Математический институт им. В.А. Стеклова.

DeepSeek в иллюстрациях

The Illustrated DeepSeek-R1

См. также другие публикации, посвященные LLM

Парадокс Симпсона

Парадокс Симпсона — это когда тенденция, присутствующая в различных группах данных, кажется, исчезает или даже обращается вспять, когда эти группы объединяются. Примеры этого часто можно увидеть в таких вещах, как медицинские испытания, и это явление обычно обусловлено одной или несколькими немоделированными смешивающими переменными или, возможно, различными причинными предположениями. - отсюда

Вопросы по тексту

Если с помощью LLM можно суммировать содержание текста, то почему бы не попробовать составить вопросы по этому тексту? И проверять ответы. Интересная идея: AI Quiz Generator Русский язык поддерживают.

Шифрованные атаки

Шифрование трафика широко применяется для защиты конфиденциальности и целостности интернет-трафика. Однако злоумышленники также могут злоупотреблять таким механизмом для доставки вредоносного трафика. В частности, существующие методы обнаружения зашифрованного вредоносного трафика не являются надежными против атак уклонения, которые манипулируют трафиком для сокрытия характеристик трафика. Надежное обнаружение атак уклонения остается открытой проблемой. В конце концов, мы разрабатываем Wedjat, который использует причинно-следственную сеть для моделирования доброкачественных взаимодействий пакетов между соответствующими потоками, таким образом, что он распознает аномальную причинно-следственную связь, которая представляет собой вредоносный трафик и нарушенную причинно-следственную связь, вызванную атаками уклонения. - Wedjat: Detecting Sophisticated Evasion Attacks via Real-time Causal Analysis

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки в тексте

Хороший и компактный обзор - состязательные атаки в NLP и защита от них

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Машинное обучение в проде

Курс CMU, который охватывает, как создавать, развертывать, обеспечивать и поддерживать программные продукты с моделями машинного обучения. Включает весь жизненный цикл от прототипа модели ML до целой системы, развернутой в производстве. Охватывает также ответственный ИИ (включая безопасность, защищенность, справедливость, объяснимость) и MLOps. - Machine Learning in Production (17-445/17-645/17-745) / AI Engineering (11-695)

Автономные и доверенные

Автономные транспортные средства полагаются на машинное обучение для решения сложных задач восприятия и планирования движения. Однако стандарты безопасности автомобильного программного обеспечения не полностью развились для решения проблем безопасности машинного обучения, таких как интерпретируемость, проверка и ограничения производительности. В этой статье мы рассматриваем и организуем практические методы безопасности машинного обучения, которые могут дополнять инженерную безопасность для программного обеспечения на основе машинного обучения в автономных транспортных средствах. Наша организация сопоставляет стратегии безопасности с современными методами машинного обучения, чтобы повысить надежность и безопасность алгоритмов машинного обучения. Мы также обсуждаем ограничения безопасности и аспекты пользовательского опыта компонентов машинного обучения в автономных транспортных средствах. - Practical Solutions for Machine Learning Safety in Autonomous Vehicles

И один из авторов этой работы Sina Mohseni

Генеративный ИИ на ракетах

Материалы экспертной сессии от Softline и Фонда «Сколково» «Проблемы и вызовы применения ИИ в ракетно-космической отрасли», которая состоялась 30 января 2025 года. Цель - обсудить актуальные вопросы внедрения искусственного интеллекта в разработку и проектирование продукции космического назначения. В ходе мероприятия обсудили широкий спектр тем, от технологий ИИ в аэрокосмическом приборостроении и генеративного проектирования до текстовой аналитики и управления проектами НИОКР. Ведущие эксперты представили передовые решения с акцентом на предиктивной аналитике, формировании высокотехнологических холдингов и перспективах генеративных моделей.

Презентации

LLM и будущее

Современное общество сталкивается с беспрецедентными вызовами — от быстрой технологической эволюции до изменения климата и демографической напряженности — заставляющими организации предвидеть будущее для принятия обоснованных решений. Целью этого тематического исследования было разработать цифровую систему для конечных пользователей под названием Time Machine, которая позволяет системе генеративного искусственного интеллекта (GenAI) автоматически создавать перспективные будущие сценарии на основе входной информации, предлагая гипотезы и расставляя приоритеты тенденций для упрощения и повышения доступности формулирования будущих сценариев. Проектирование, разработка и тестирование системы проходили через три версии подсказок для OpenAI GPT-4 LLM, с шестью испытаниями, проведенными с участием 222 человек. Этот итеративный подход позволил постепенно корректировать инструкции, даваемые машине, и поощрял уточнения. Результаты шести испытаний показали, что Time Machine является эффективным инструментом для создания будущих сценариев, которые способствуют дебатам и стимулируют новые идеи в многопрофильных командах. Наши испытания доказали, что сценарии, созданные GenAI, могут стимулировать обсуждения по +70% созданных сценариев с соответствующими подсказками, и более половины из них включали новые идеи. В заключение, большие языковые модели (LLM) GenAI с подходящей оперативной инженерией и архитектурой имеют потенциал для создания полезных будущих сценариев для организаций, преобразуя будущий интеллект в более доступный и оперативный ресурс. Однако критическое использование этих сценариев имеет важное значение. - The Time Machine: Future Scenario Generation Through Generative AI Tools

См. также другие публикации, посвященные LLM

Состязательные тренировки для LLM

Большие языковые модели (LLM) уязвимы для универсальных стратегий, побуждающих к джейлбрейкам, которые систематически обходят защитные механизмы моделей и позволяют пользователям выполнять вредоносные процессы, требующие множества взаимодействий с моделями, например, производство незаконных веществ в больших масштабах. Для защиты от этих атак мы вводим конституционные классификаторы: защитные механизмы, обученные на синтетических данных, созданных путем подсказки LLM с помощью правил естественного языка (т. е. конституции), определяющих разрешенный и ограниченный контент. За более чем 3000 предполагаемых часов работы red teaming ни один red teaming не нашел универсального джейлбрейка, который мог бы извлекать информацию из раннего защищенного классификатором LLM на том же уровне детализации, что и незащищенная модель, по большинству целевых запросов. При автоматизированных оценках улучшенные классификаторы продемонстрировали надежную защиту от удерживаемых доменно-специфичных джейлбрейков. Эти классификаторы также поддерживают жизнеспособность развертывания с абсолютным увеличением отказов производственного трафика на 0,38% и накладными расходами на вывод на 23,7%. Наша работа показывает, что защита от универсальных джейлбрейков при сохранении практической жизнеспособности развертывания является управляемой. - Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming

Anthropic описал состязательные тренировки для LLM. Вот здесь есть описание подхода

См. также другие публикации, посвященные LLM

Как описывать езду?

Стандарт BSI: BSI Flex 1891 Таксономия поведения для приложений автоматизированных систем вождения. Требования к автоматизированной системе вождения (ADS), другим участникам дорожного движения и компетенциям в областях эксплуатационного проектирования.

Фиксация состязательных модификаций изображений

Широкое распространение глубоких нейронных сетей (DNN) в критических приложениях реального времени стимулировало значительные исследования их безопасности и надежности. Ключевой выявленной уязвимостью является то, что решения DNN могут быть злонамеренно изменены путем введения тщательно созданного шума во входные данные, что приводит к ошибочным прогнозам. Это известно как состязательная атака. В этой статье мы предлагаем новую структуру обнаружения, использующую маски сегментации и методы сегментации изображений для выявления состязательных атак на DNN, особенно в контексте автономных систем вождения. Наша техника защиты рассматривает два уровня состязательного обнаружения. Первый уровень в основном обнаруживает состязательные входные данные с большими возмущениями, используя модель U-net и одноклассовую машину опорных векторов (SVM). Второй уровень защиты предлагает динамический алгоритм сегментации, основанный на алгоритме k-средних и модели верификатора, которая управляет окончательным прогнозом входного изображения. Чтобы оценить наш подход, мы всесторонне сравниваем наш метод с современным методом сжатия признаков в атаке белого ящика, используя одиннадцать различных состязательных атак в трех эталонных и гетерогенных наборах данных. Экспериментальные результаты демонстрируют эффективность нашей структуры, достигая общих показателей обнаружения, превышающих 96% по всем изученным состязательным методам и наборам данных. Стоит отметить, что наш метод повышает показатели обнаружения атак FGSM и BIM, достигая средних показателей обнаружения 95,65% по сравнению с 62,63% при сжатии признаков в трех наборах данных. - Image Segmentation Framework for Detecting Adversarial Attacks for Autonomous Driving Cars

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Медицинские кибер-физические системы

Отечественный стандарт на медициские CPS

Большие атаки

"Давняя проблема в состязательной устойчивости заключается в защите от атак за пределами стандартных моделей угроз ℓp. Однако пространство возможных не-ℓp атак огромно, и существующая работа разработала лишь небольшое количество атак из-за ручных усилий, необходимых для проектирования и реализации каждой отдельной атаки. Основываясь на недавнем прогрессе в дифференцируемом рендеринге материалов, мы предлагаем RenderAttack, масштабируемую структуру для разработки большого количества структурно разнообразных, не-ℓp состязательных атак. RenderAttack использует обширные существующие репозитории вручную разработанных возмущений изображений в форме процедурных графов генерации текстур, преобразуя их в дифференцируемые преобразования, поддающиеся оптимизации на основе градиента. В этой работе мы отбираем 160 новых атак и представляем бенчмарк ImageNet-RA. В ходе экспериментов мы обнаруживаем, что ImageNet-RA представляет вызов для существующих надежных моделей и раскрывает новые области пространства атак. Сравнивая современные модели и средства защиты, мы определяем перспективные направления для будущей работы по обеспечению устойчивости к широкому спектру противников во время тестирования." - RenderAttack: Hundreds of Adversarial Attacks Through Differentiable Texture Generation

Исторически, состязательные атаки рассматривались как малые ("незаметные") возмущения входных данных, которые меняют работу модели. Но ведь модель могут обманывать произвольные модификации. И если в контуре принятия решений нет человека, то "незаметность" вообще ни на что не влияет. Вот одна из немногих работ, где рассматриваются "неограниченные" модификации. Глобальная атака уклонения.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению