LLM в анализе программного кода

Программное обеспечение подвержено уязвимостям безопасности. Инструменты анализа программ для их обнаружения имеют ограниченную эффективность на практике из-за их зависимости от маркированных человеком спецификаций. Большие языковые модели (или LLM) показали впечатляющие возможности генерации кода, но они не могут выполнять сложные рассуждения по коду для обнаружения таких уязвимостей, особенно потому, что эта задача требует анализа всего репозитория. Мы предлагаем IRIS, нейросимволический подход, который систематически объединяет LLM со статическим анализом для выполнения рассуждений всего репозитория для обнаружения уязвимостей безопасности. В частности, IRIS использует LLM для вывода спецификаций и выполнения контекстного анализа, устраняя необходимость в человеческих спецификациях и инспекции. Для оценки мы курируем новый набор данных CWE-Bench-Java, включающий 120 вручную проверенных уязвимостей безопасности в реальных проектах Java. Современный инструмент статического анализа CodeQL обнаруживает только 27 из этих уязвимостей, тогда как IRIS с GPT-4 обнаруживает 55 (+28) и улучшает средний показатель ложных срабатываний CodeQL на 5%. Кроме того, IRIS обнаруживает 4 ранее неизвестные уязвимости, которые не могут быть обнаружены существующими инструментами. IRIS доступен публично по адресу https://github.com/iris-sast/iris - IRIS: LLM-ASSISTED STATIC ANALYSIS FOR DETECTING SECURITY VULNERABILITIES

См. также другие публикации, посвященные LLM

Системы накопления энергии (СНЭ)

Система накопления электроэнергии (СНЭ) – это устройство, которое включает в себя батарею, устройство сопряжения с сетью (реверсивный инвертор) и систему управления. СНЭ – полноценный элемент цифровой электрической сети – он наблюдаем, управляем, и встраивается в общую систему управления электрической сетью.

Основной задачей СНЭ систем является выдача электроэнергии во внутреннюю сеть в те часы, когда стоимость электроэнергии и мощности максимальна. Интеллектуальная часть системы осуществляет предиктивную аналитику нагрузки сети и дистанционно управляет графиком заряда и разряда.

Применение системы позволит уменьшить колебания напряжения питающей сети, снизить расход электрической энергии за счёт исключения пиковых нагрузок на источник питания, а также позволит использовать ночной тариф для зарядки СНЭ. См. здесь каталог Систем накопления энергии (СНЭ)

О красных линиях

Определение того, пересекает ли цель заданную зону (например, дверь), может обеспечить различные практические приложения в умных домах, включая интеллектуальную безопасность и подсчет людей. Традиционный подход на основе инфракрасного излучения охватывает только линию и может быть легко взломан. Напротив, повторное использование вездесущих устройств WiFi, развернутых в домах, имеет потенциал для покрытия большей области интереса, поскольку сигналы WiFi разбросаны по всему пространству. Обнаруживая направление движения (т. е. приближение и удаление) с изменением силы сигнала WiFi, существующая работа может идентифицировать поведение пересечения между парой приемопередатчиков WiFi. Однако этот метод ошибочно классифицирует поведение возврата как поведение пересечения, что приводит к высокому уровню ложных тревог. В этой статье мы предлагаем WiCross, который может точно различать поведение возврата с помощью шаблона фазовой статистики сигналов WiFi и, таким образом, надежно определять, пересекает ли цель область между парой приемопередатчиков WiFi. Мы внедряем WiCross с коммерческими устройствами WiFi, и обширные эксперименты показывают, что WiCross может достигать точности выше 95% при частоте ложных срабатываний менее 5%. - WiCross: Indoor Human Zone-Crossing Detection Using Commodity WiFi Devices

LLM для пространства и времени

Пространственно-временная (Spation-Temporal - ST) наука о данных, которая включает в себя зондирование, управление и добычу крупномасштабных данных в пространстве и времени, имеет основополагающее значение для понимания сложных систем в таких областях, как городские вычисления, климатология и интеллектуальный транспорт. Традиционные подходы к глубокому обучению значительно продвинули эту область, особенно на этапе добычи данных ST. Однако эти модели остаются специфичными для конкретной задачи и часто требуют обширных маркированных данных. Вдохновленные успехом моделей Foundation (FM), особенно больших языковых моделей, исследователи начали изучать концепцию пространственно-временных моделей Foundation (STFM) для повышения адаптивности и обобщения в различных задачах ST. В ​​отличие от предыдущих архитектур, STFM расширяют возможности всего рабочего процесса науки о данных ST, начиная от зондирования данных, управления и заканчивая добычей данных, тем самым предлагая более целостный и масштабируемый подход. Несмотря на быстрый прогресс, систематическое исследование STFM для науки о данных ST по-прежнему отсутствует. Целью данного исследования является предоставление всестороннего обзора STFM, категоризация существующих методологий и определение ключевых направлений исследований для развития общего интеллекта ST - Foundation Models for Spatio-Temporal Data Science: A Tutorial and Survey

ИИ в критических системах

Можно ожидать непрерывного увеличения функций на основе искусственного интеллекта (ИИ) для будущих авиационных систем, что создает значительные проблемы для традиционных процессов разработки. Устоявшиеся фреймворки системной инженерии, такие как V-модель, неадекватно решают новые проблемы, связанные с системами на основе ИИ. Следовательно, Агентство по безопасности полетов Европейского союза (EASA) представило W-образный процесс как усовершенствование V-модели, чтобы установить нормативную базу для новых проблем инженерии ИИ. Напротив, подход Agile Development Operations (DevOps), широко принятый в разработке программного обеспечения, способствует бесконечному итеративному процессу разработки. В этой статье предлагается новая концепция, которая интегрирует аспекты DevOps в W-образный процесс для создания фреймворка инженерии ИИ, подходящего для авиационных приложений. Кроме того, он основывается на проверенных идеях и методах с использованием усилий инженерии ИИ из других областей. Предлагаемое расширение W-образного процесса, совместимое с текущими стандартизациями от рабочей группы по стандартизации G34/WG-114, совместными усилиями EUROCAE и SAE, решает потребность в строгом процессе разработки для систем на основе ИИ, признавая при этом его ограничения и потенциал для будущих усовершенствований. Предлагаемая структура позволяет переоценивать компонент ИИ/МО на основе информации из операций, что позволяет улучшать возможности системы в каждой итерации. - Formulating an Engineering Framework for Future AI Certification in Aviation

ИБП для промышленности

Промышленные ИБП – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. В качестве объекта может выступать крупный производственный комплекс, цех, станок или другое индустриальное оборудование. Промышленные бесперебойники разрабатываются с учетом специфики стандартов конкретных отраслей.

Основным критерием выбора модели ИБП является оптимальная мощность, которая сможет обеспечить защиту требовательного оборудования от перебоев и отключения электропитания. Для повышения уровня надежности рекомендуется использовать ИБП с определенным запасом мощности, зависящим от сферы применения.

Промышленные источники бесперебойного питания (ИБП) отличаются от бытовых моделей рядом характеристик, делающих их подходящими для работы в сложных условиях и требовательных приложений. Вот ключевые особенности промышленных ИБП:

1.Высокая мощность Промышленные ИБП предназначены для обеспечения электроэнергией крупных объектов — заводов, серверных центров, медицинских учреждений и т.п., где потребляемая мощность значительно превышает бытовые потребности. Это означает, что такие устройства обладают мощностью от десятков до сотен киловатт.

2.Прочность конструкции В отличие от бытовых ИБП, промышленный вариант рассчитан на эксплуатацию в тяжелых условиях: высокая влажность, вибрации, агрессивная среда, экстремальные температуры. Для этого корпуса часто изготавливаются из прочных материалов, защищенных от внешних воздействий (например, IP54 и выше).

3.Надежность и отказоустойчивость Работа промышленного оборудования критически важна, поэтому промышленные ИБП имеют повышенную надежность и резервирование ключевых компонентов. Например, система двойного преобразования (online-режим), когда энергия проходит через два этапа преобразования, позволяет минимизировать вероятность сбоев.

4.Широкий диапазон входного напряжения Промышленные сети подвержены большим колебаниям напряжения, особенно в удалённых районах или на предприятиях с высокой нагрузкой. Поэтому промышленные ИБП способны поддерживать стабильное выходное напряжение даже при значительных отклонениях входного.

5.Интеграция с системами автоматизации Современные промышленные ИБП часто оснащены интерфейсами для интеграции с системами SCADA, мониторинга и диспетчеризации. Это позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и управлять работой системы.

6.Продолжительное время автономной работы Часто предприятия требуют длительную работу в случае отключения основного энергоснабжения. Для этого промышленные ИБП комплектуются мощными батареями либо возможностью подключения внешних аккумуляторов большой ёмкости.

7.Возможность параллельного подключения Чтобы увеличить общую мощность или повысить надёжность, промышленные ИБП поддерживают возможность параллельной работы нескольких устройств. Это даёт гибкость в масштабировании системы и дополнительную защиту от отказов.

8.Шумоподавление и минимизация электромагнитных помех Для работы в чувствительной среде, такой как медицинские учреждения или лаборатории, важно, чтобы ИБП создавал минимум шума и электромагнитных помех. Поэтому многие модели оснащаются специальными фильтрами и звукоизоляционными корпусами.

9.Соответствие строгим стандартам безопасности Промышленный сектор требует соблюдения множества стандартов безопасности и качества электроэнергии. ИБП для промышленности сертифицированы согласно международным нормам, таким как IEC/EN 62040-1, ГОСТ Р МЭК 60950-1 и другим.

Таким образом, промышленные ИБП рассчитаны на выполнение специфичных задач в сложных условиях эксплуатации, обеспечивая высокую надёжность и производительность.

Indirect Prompt Injection

Атаки с внедрением подсказок манипулируют большими языковыми моделями (LLM), вводя их в заблуждение, заставляя их отклоняться от исходных входных инструкций и выполнять вредоносные инструкции из-за их возможностей следования инструкциям и неспособности различать исходные входные инструкции и вредоносные инструкции. Для защиты от таких атак недавние исследования разработали различные механизмы обнаружения. В то время как значительные усилия были сосредоточены на обнаружении прямых атак с внедрением подсказок, где внедряемые инструкции поступают непосредственно от злоумышленника, который также является пользователем, ограниченное внимание было уделено косвенным атакам с внедрением подсказок, где внедряемые инструкции поступают косвенно от внешних инструментов, таких как поисковая система. Более того, текущие работы в основном исследуют методы обнаружения инъекций и уделяют меньше внимания методу постобработки, который направлен на смягчение инъекции после обнаружения. В этой статье мы исследуем возможность обнаружения и удаления косвенных атак с внедрением подсказок, и создаем эталонный набор данных для оценки. Для обнаружения мы оцениваем производительность существующих LLM и моделей обнаружения с открытым исходным кодом, а также обучаем модели обнаружения с использованием наших созданных обучающих наборов данных. Для удаления мы оцениваем два интуитивных метода:
(1) метод удаления сегментации, который сегментирует введенный документ и удаляет части, содержащие введенные инструкции, и
(2) метод удаления извлечения, который обучает модель извлечения идентифицировать и удалять введенные инструкции.

Can Indirect Prompt Injection Attacks Be Detected and Removed?

Сокрытие объектов

Исследование уязвимостей бэкдора в детекторах объектов, особенно в реальных сценариях, остается ограниченным. Значительная проблема заключается в отсутствии естественного физического набора данных бэкдора, и создание такого набора данных требует как времени, так и труда. В этой работе мы устраняем этот пробел, создавая крупномасштабный набор данных, включающий приблизительно 11 800 изображений/кадров с аннотациями, содержащими природные объекты (например, футболки и шляпы) в качестве триггеров для возникновения маскирующих противоправных эффектов в различных реальных сценариях. Этот набор данных предназначен для изучения физических бэкдоров в детекторах объектов. Используя этот набор данных, мы проводим комплексную оценку коварного эффекта маскирующего бэкдора против детекторов объектов, при котором ограничивающая рамка вокруг человека исчезает, когда человек находится рядом с естественным объектом (например, общедоступной футболкой) перед детектором. Наши оценки охватывают три распространенные поверхности атак: аутсорсинг данных, аутсорсинг моделей и использование предварительно обученных моделей. Эффект маскировки успешно внедрен в детекторы объектов по всем трем поверхностям атак. Мы тщательно оцениваем четыре популярных алгоритма обнаружения объектов (Yolo-V3 на основе якорей, Yolo-V4, Faster R-CNN и CenterNet без якорей), используя 19 видео (всего около 11 800 кадров) в реальных сценариях. Наши результаты показывают, что атака бэкдора демонстрирует замечательную устойчивость к различным факторам, включая движение, расстояние, угол, нежесткую деформацию и освещение. В сценариях аутсорсинга данных и моделей показатель успешности атаки (ASR) в большинстве видео достигает 100% или около того, в то время как точность чистых данных модели с бэкдором остается неотличимой от точности чистой модели, что делает невозможным обнаружение поведения бэкдора с помощью набора для проверки. Примечательно, что двухступенчатые детекторы объектов (например, Faster R-CNN) демонстрируют большую устойчивость к бэкдор-атакам в условиях чистого отравления данных (т. е. при аутсорсинге данных) по сравнению с одноступенчатыми детекторами (например, серия Yolo). Однако эта проблема преодолима, когда злоумышленник контролирует процесс обучения (особенно при аутсорсинге модели), даже при том же небольшом бюджете скорости отравления, что и при аутсорсинге данных. В сценариях атак с передачей обучения, оцененных на CenterNet, средний ASR остается высоким и составляет 78%. - Comprehensive Evaluation of Cloaking Backdoor Attacks on Object Detector in Real-World

См. также другие публикации по теме физические атаки

Поиск бэкдоров

Атака бэкдора all-to-one (A2O) является одной из основных угроз для нейронных сетей. Большинство существующих защит бэкдора A2O работают в контексте белого ящика, требуя доступа к архитектуре модели бэкдора, скрытым выходам слоя или внутренним параметрам. Необходимость в защите бэкдора A2O черного ящика возникает, особенно в сценариях, где доступны только вход и выход сети. Однако распространенные защиты бэкдора A2O черного ящика часто требуют предположений относительно местонахождения триггеров, поскольку они используют созданные вручную признаки для обнаружения. В случаях, когда триггеры отклоняются от этих предположений, полученные созданные вручную признаки снижаются в качестве, делая эти методы неэффективными. Для решения этой проблемы в этой работе предлагается защита бэкдора A2O черного ящика после обучения, которая поддерживает постоянную эффективность независимо от местонахождения триггеров. Наш метод основан на эмпирическом наблюдении, что в контексте атак с использованием бэкдора A2O отравленные образцы более устойчивы к равномерному шуму, чем чистые образцы с точки зрения сетевого выхода. В частности, наш подход использует метрику для количественной оценки устойчивости заданного входа к равномерному шуму. Детектор новизны, обученный с использованием количественной устойчивости доступных чистых образцов, развертывается для определения, отравлен ли заданный вход. Детектор новизны оценивается по различным триггерам. Наш подход эффективен для всех используемых триггеров. Наконец, дается объяснение нашего наблюдения. - Detecting All-to-One Backdoor Attacks in Black-Box DNNs via Differential Robustness to Noise

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Беседы про ИИ агентов

Тема агентов в искусственном интеллекте, ИИ-агенты и агентный ИИ вот-вот займут центральное место в информационном пространстве. Анализ зарубежных (и западных, и азиатских) консалтинговых и технологических компаний показал, что это самый крупный технологический тренд 2025 года внутри ИИ. - Раскрыть агента. Обзор понимания агентного ИИ

Здесь еще раз приведем ссылку на нашу статью
Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74. Прочесть можно, например, на сайте injoit.org

P.S. когда-то мы были первыми, кто обратил внимание на технологии RPA
Намиот Д. Е. и др. Информационные роботы в системах управления предприятием //International Journal of Open Information Technologies. – 2017. – Т. 5. – №. 4. – С. 12-21. Прочесть можно в Киберленинке, например.

Оккультная кибербезопасность

MITRE представила платформу Offensive Cyber Capability Unified LLM Testing (OCCULT) - новаторскую методологию, разработанную для оценки рисков, создаваемых большими языковыми моделями (LLM) в автономных кибератаках.

Анонсированная 26 февраля 2025 года, инициатива отвечает на растущие опасения, что системы ИИ могут демократизировать наступательные кибероперации (OCO), позволяя злоумышленникам масштабировать атаки с беспрецедентной эффективностью. - MITRE Releases OCCULT Framework to Address AI Security Challenges

См. также другие публикации, посвященные LLM

Отчет о безопасном ИИ и стандарты

Первый международный отчет International AI Safety Report. Вот здесь есть история его появления.

Британия, возможно, была первой страной, которая стала выпускать промышленные стандарты. Традиции точно есть. И вот первый стандарт безопасного ИИ:

"Ведущий в мире стандарт кибербезопасности на основе ИИ для защиты цифровой экономики. Британские компании получат выгоду от первого в мире стандарта кибербезопасности, который защитит системы ИИ от кибератак, обеспечивая безопасность цифровой экономики" - кибербезопасность ИИ. Изданы правила для разработчиков (Code of Practice). Это планируется стандартизовать через ETSI.

Вот здесь есть интересный сборник британских правительственных исследовательских отчетов по кибербезопасности искусственного интеллекта, включая опросы и обзоры литературы - Исследования кибербезопасности ИИ.

ИБП для ЦОД

Одним из главных требований к ЦОД является требование к его высокой надежности, первостепенно – требование высокой надежности электроснабжения.

Строится система электроснабжения ЦОД на основе источников бесперебойного питания (ИБП), важность которых демонстрирует стандарт TIA-942, который фиксирует основополагающие требования к структуре ЦОД и классифицирует дата-центры по уровню надёжности (от 1 до 4). Уже на втором уровне (дата-центр с резервированием) обязательно наличие источника бесперебойного питания, а четвертый – самый высокий (отказоустойчивый дата-центр) предполагает двукратное резервирование системы бесперебойного электроснабжения – два отдельных ввода, зарезервированных по схеме N+1 (фактически – не менее четырёх ИБП). - отсюда: ИБП для ЦОД

ЦОД устанавливают на предприятиях, где информационные технологии являются критическими для бизнеса, а само исполнение бизнес-функций напрямую зависит от уровня, качества и степени доступности IT-сервисов. К таким потребителям относятся государственные структуры, банки и телекоммуникационные компании. Для обеспечения бесперебойного питания дата-центра используются современные и мощные ИБП для ЦОД разных мощностей. Выбор источника бесперебойного питания для ЦОД зависит от размеров центра обработки данных. ИБП легко сочетаются с дизель-генераторными установками, которые являются неотъемлемой частью системы электропитания современного ЦОДа.

Когда перебои в электроэнергии составляют небольшое количество времени, для таких ситуаций подойдет установка ИБП для ЦОД. Источник бесперебойного питания может обеспечить lата-центр электропитанием в течение 40-60 минут, в зависимости от выбранных батарей (АКБ для ЦОД).

Если электроэнергия отсутствует довольно продолжительное время, то следует укомплектовать ЦОД дизель-генераторной установкой (ДГУ для ЦОД). Дизельная электростанция запускается автоматически сигналом с ИБП при отключении внешнего электропитания и выходит на полную мощность через минуты после старта. При строительстве ЦОД выбирают мощные источники бесперебойного питания. Преимущества при использовании ИБП является надежность, гибкость, большой срок службы оборудования, легкость обслуживания и мониторинга.- отсюда: Как выбрать ИБП для ЦОД

Коалиция безопасного ИИ

Коалиция за безопасный ИИ (CoSAI) — это открытая экосистема экспертов в области ИИ и безопасности из ведущих отраслевых организаций, целью которой является обмен передовым опытом в области безопасного развертывания ИИ и сотрудничество в области исследований и разработки продуктов в области безопасности ИИ. www.coalitionforsecureai.org.

Вот здесь есть списки рассылок

Рекомендации DeepSeek

Чтобы проверить использование LLM для последовательных рекомендаций:

Q: Для последовательности A B A A C A B предскажи следующий элемент и объясни свой выбор

A: Для предсказания следующего элемента в последовательности A B A A C A B проанализируем её структуру:

A: Последовательность: A, B, A, A, C, A, B

Заметим, что элементы A и B чередуются, но иногда появляется C.

Возможный паттерн:

A повторяется чаще, а B и C появляются реже.

После A часто следует B, но иногда A или C.

Если продолжить логику, после B может снова идти A.

Предсказание: Следующий элемент — A.

Обоснование: Паттерн предполагает чередование A и B, с редкими вставками C. После B логично ожидать возврат к A.

Q: В последовательности покупок товаров стиральный порошок, хлеб, корм, чипсы предскажи следующий элемент и объясни свой выбор

A: Для предсказания следующего элемента в последовательности покупок стиральный порошок, хлеб, корм, чипсы проанализируем возможные закономерности:

Стиральный порошок — товар для бытовых нужд.

Хлеб — продукт первой необходимости.

Корм — товар для домашних животных.

Чипсы — продукт для перекуса, не первой необходимости.

Эта последовательность не имеет явного логического паттерна, но можно предположить, что это случайный набор товаров из разных категорий. Если искать закономерность, то:

Товары чередуются между необходимыми (стиральный порошок, хлеб) и менее необходимыми (корм, чипсы).

После "чипсов" (необязательный товар) может следовать что-то из категории первой необходимости.

Предсказание: Следующий элемент — молоко (или другой продукт первой необходимости, например, яйца).
Обоснование: После менее необходимого товара (чипсы) логично ожидать возврат к товару первой необходимости, например, молоку или хлебу.

LLM и рекомендательные системы

Использование LLM для рекомендательных сервисов - интересный технический обзор

Апишки

Бэкдор атаки на LLM

"Генеративные большие языковые модели имеют решающее значение в обработке естественного языка, но они уязвимы для атак бэкдора, где тонкие триггеры ставят под угрозу их поведение. Хотя атаки бэкдора против LLM постоянно возникают, существующие бенчмарки остаются ограниченными с точки зрения достаточного охвата атаки, целостности метрической системы, выравнивания атак бэкдора. И существующие предварительно обученные атаки бэкдора идеализируются на практике из-за ограничений доступа к ресурсам. Поэтому мы создаем ELBA-Bench, комплексную и унифицированную структуру, которая позволяет злоумышленникам внедрять бэкдор с помощью эффективной тонкой настройки параметров (например, LoRA) или без методов тонкой настройки (например, In-contextlearning). ELBA-Bench предоставляет более 1300 экспериментов, охватывающих реализации 12 методов атаки, 18 наборов данных и 12 LLM. Обширные эксперименты предоставляют новые бесценные выводы о сильных сторонах и ограничениях различных стратегий атак. Например, атака PEFT последовательно превосходит без тонкой настройки подходов в задачах классификации, показывая при этом сильное обобщение кросс-наборов данных с оптимизированными триггерами, повышающими надежность; Методы оптимизации бэкдора, соответствующие задаче, или подсказки для атаки вместе с чистыми и состязательными демонстрациями могут повысить успешность атаки бэкдора, сохраняя производительность модели на чистых образцах. Кроме того, мы представляем универсальный набор инструментов, разработанный для стандартизированного исследования атак бэкдора, с целью продвижения дальнейшего прогресса в этой жизненно важной области." - ELBA-Bench: An Efficient Learning Backdoor Attacks Benchmark for Large Language Models

См. также другие публикации, посвященные LLM

Систему нужно менять

Состязательные примеры в контексте компьютерного зрения — это входные данные, намеренно созданные для обмана или введения в заблуждение искусственных нейронных сетей. Эти примеры используют уязвимости нейронных сетей, что приводит к минимальным изменениям исходных входных данных, которые незаметны для людей, но могут существенно повлиять на выходные данные сети. В этой статье мы представляем тщательный обзор исследований состязательных примеров, уделяя основное внимание их влиянию на классификаторы нейронных сетей. Мы внимательно изучаем теоретические возможности и ограничения искусственных нейронных сетей. После этого мы исследуем открытие и эволюцию состязательных примеров, начиная с базовых градиентных методов и продвигаясь к недавней тенденции использования генеративных нейронных сетей для этой цели. Мы обсуждаем ограниченную эффективность существующих мер противодействия состязательным примерам. Кроме того, мы подчеркиваем, что состязательные примеры порождают несоответствие между процессами принятия решений человеком и нейронной сетью. Это можно отнести к текущей методологии обучения нейронных сетей. Мы также утверждаем, что широко используемый термин «атака на нейронные сети» вводит в заблуждение при обсуждении состязательного глубокого обучения. В этой статье наша цель — предоставить всесторонний обзор примеров состязаний и вдохновить дальнейших исследователей на разработку более надежных нейронных сетей. Такие сети будут лучше соответствовать процессам принятия решений человеком и повышать безопасность и надежность систем компьютерного зрения в практических приложениях - A decade of adversarial examples: a survey on the nature and understanding of neural network non-robustness

Утечка данных в моделях ML

С ростом зависимости от машинного обучения (ML) в различных дисциплинах, ML-код подвергается ряду проблем, которые влияют на его качество, таких как отсутствие документации, алгоритмические предубеждения, переобучение, отсутствие воспроизводимости, неадекватная предварительная обработка данных и потенциальная утечка данных, все из которых могут существенно повлиять на производительность и надежность моделей ML. Утечка данных может повлиять на качество ML-моделей, где конфиденциальная информация из тестового набора непреднамеренно влияет на процесс обучения, что приводит к завышенным показателям производительности, которые плохо обобщаются на новые, неизвестные данные. Утечка данных может происходить как на уровне набора данных (т. е. во время создания набора данных), так и на уровне кода. Существующие исследования представили методы для обнаружения утечки данных на уровне кода с использованием ручных и подходов анализа кода. Однако автоматизированные инструменты с передовыми методами МО все чаще признаются необходимыми для эффективного выявления проблем качества в больших и сложных кодовых базах, повышая общую эффективность процессов проверки кода. В этой статье мы стремимся исследовать подходы на основе МО для ограниченных аннотированных наборов данных для обнаружения утечки данных на уровне кода в коде МО. Мы предложили три подхода, а именно: трансферное обучение, активное обучение и низкочастотное подсказывание. Кроме того, мы представили автоматизированный подход для решения проблем дисбаланса данных кода. - Data leakage detection in machine learning code: transfer learning, active learning, or low-shot prompting?

Как выиграть соревнования по ML

Обзор соревнований и выигрышных моделей

Не ловится

С появлением широкодоступных мощных LLM дезинформация, генерируемая большими Языковыми моделями (LLM), стала основной проблемой. Исторически детекторы LLM рекламировались как решение, но их эффективность в реальном мире еще предстоит доказать. В этой статье мы сосредоточимся на важной настройке в информационных операциях — коротких новостных сообщениях, генерируемых умеренно опытными злоумышленниками. Мы демонстрируем, что существующие детекторы LLM, будь то нулевые или специально обученные, не готовы к реальному использованию в этой настройке. Все протестированные детекторы нулевых результатов работают непоследовательно с предыдущими тестами и крайне уязвимы к повышению температуры выборки, тривиальной атаке, отсутствующей в последних тестах. Можно разработать специально обученный детектор, обобщающий LLM и невидимые атаки, но он не может обобщать новые тексты, написанные человеком. Мы утверждаем, что первое указывает на необходимость предметно-специфического бенчмаркинга, тогда как последнее предполагает компромисс между устойчивостью к состязательному уклонению и переобучением справочному человеческому тексту, причем оба требуют оценки в бенчмарках и в настоящее время отсутствуют. Мы считаем, что это предполагает пересмотр текущих подходов к бенчмаркингу детектора LLM и предоставляет динамически расширяемый бенчмарк, позволяющий это сделать (https://github.com/Reliable-Information-Lab-HEVS/benchmark_llm_texts_detection). - LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts

См. также другие публикации, посвященные LLM

Как сделать RAG

Еще одно, довольно толковое, руководство по RAG

См. также другие публикации, посвященные RAG

Байесовская статистика

4-x дневный курс с примерами из R

P.S. см. также другие публикации по теме Байес

Источники бесперебойного питания (ИБП)

Источники бесперебойного питания (ИБП) - решения:

Промышленные ИБП, ИБП для медицины, ИБП для ЦОД

Промышленные источники бесперебойного питания (ИБП, бесперебойники)

ИБП для нефтегаза, ИБП для транспорта

Flat files

О работе с плоскими файлами

Сдвиг концепций на практике

Классификация вредоносных программ в динамических средах представляет собой значительную проблему из-за дрейфа концепций, где статистические свойства данных вредоносных программ со временем меняются, усложняя усилия по обнаружению. Для решения этой проблемы мы предлагаем структуру глубокого обучения, улучшенную генетическим алгоритмом для повышения точности классификации вредоносных программ и адаптивности с обработкой дрейфа концепций. Наш подход включает операции мутации и оценки оценки пригодности в генетических алгоритмах для постоянного совершенствования модели глубокого обучения, обеспечивая устойчивость к развивающимся угрозам вредоносных программ. Экспериментальные результаты показывают, что этот гибридный метод значительно повышает производительность классификации и адаптивность, превосходя традиционные статические модели. Наш предлагаемый подход предлагает многообещающее решение для классификации вредоносных программ в реальном времени в постоянно меняющихся ландшафтах кибербезопасности. - Deep Learning-Driven Malware Classification with API Call Sequence Analysis and Concept Drift Handling

Практическая работа, демонстрирующая борьбу со сдвигом концепций

LLM Red teaming

Быстрый рост больших языковых моделей (LLM) представляет значительные проблемы конфиденциальности, безопасности и этики. Хотя многие исследования предлагали методы защиты систем LLM от неправомерного использования злоумышленниками, исследователи недавно дополнили эти усилия наступательным подходом, который включает red teaming, т. е. упреждающую атаку на LLM с целью выявления их уязвимостей. В этой статье представлен краткий и практический обзор литературы по red teaming LLM, структурированный таким образом, чтобы описать многокомпонентную систему от начала до конца. Чтобы мотивировать red teaming, мы изучаем первоначальные потребности в безопасности некоторых высокопоставленных LLM, а затем углубляемся в различные компоненты системы red teaming, а также программные пакеты для их реализации. Мы рассматриваем различные методы атак, стратегии для оценки успешности атак, метрики для оценки результатов эксперимента, а также множество других соображений. Наш опрос будет полезен любому читателю, который хочет быстро получить представление об основных концепциях Red Teaming для собственного использования в практических приложениях. - Building Safe GenAI Applications: An End-to-End Overview of Red Teaming for Large Language Models

См. также другие публикации по теме AI Red Team

Публикации по теме Искусственный интеллект в кибербезопасности

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность (совместно со Сбербанк). Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 10.03.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Пешеходы-невидимки

"Камеры событий, известные своей низкой задержкой и высоким динамическим диапазоном, демонстрируют большой потенциал в приложениях обнаружения пешеходов. Однако, хотя недавние исследования были в основном сосредоточены на повышении точности обнаружения, устойчивость визуальных моделей на основе событий к физическим состязательным атакам получила ограниченное внимание. Например, состязательные физические объекты, такие как определенные модели одежды или аксессуары, могут использовать присущие этим системам уязвимости, что приводит к ошибочным обнаружениям или ошибочной классификации. Это исследование является первым, изучающим физические состязательные атаки на детекторы пешеходов, управляемые событиями, в частности, исследуя, могут ли определенные модели одежды, которые носят пешеходы, привести к сбою этих детекторов, фактически делая их неспособными обнаружить человека. Чтобы решить эту проблему, мы разработали сквозную состязательную структуру в цифровой области, обрамляя дизайн текстур состязательной одежды как задачу оптимизации двумерной текстуры. Создавая эффективную функцию состязательных потерь, фреймворк итеративно генерирует оптимальные текстуры посредством обратного распространения. Наши результаты показывают, что текстуры, идентифицированные в цифровой области, обладают сильными состязательными свойствами. Кроме того, мы перевели эти цифровые оптимизированные текстуры в физическую одежду и протестировали их в реальных сценариях, успешно продемонстрировав, что разработанные текстуры значительно ухудшают производительность основанных на событиях моделей обнаружения пешеходов. Эта работа подчеркивает уязвимость таких моделей к физическим состязательным атакам." - Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach

См. также другие публикации по теме физические атаки

Устройство LLM

Хорошая лекция о принципах работы LLM от Andrej Karpathy

См. также другие публикации, посвященные LLM

Диффузионные модели в порождении текста

"Несмотря на свою новаторскую производительность для многих задач генеративного моделирования, модели диффузии не справляются с дискретными областями данных, такими как естественный язык. Что особенно важно, стандартные модели диффузии опираются на устоявшуюся теорию сопоставления оценок, но попытки обобщить ее на дискретные структуры не дали тех же эмпирических результатов. В этой работе мы устраняем этот разрыв, предлагая энтропию оценок, новую потерю, которая естественным образом расширяет сопоставление оценок до дискретных пространств, легко интегрируется для построения дискретных моделей диффузии и значительно повышает производительность." Одна из немногих статей на эту тему Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

Идея в том, что диффузионные модели могут генерить тексты быстрее, чем авторегрессия в LLM. Вот эта компания показывает генерацию кода в 10 раз быстрее, чем это делают LLM.

Источники бесперебойного питания (ИБП) для ЦОД

Выбор источника бесперебойного питания (ИБП) для центра обработки данных (ЦОД) — это важный этап в обеспечении надежности и непрерывности работы IT-инфраструктуры. Основные критерии выбора ИБП для ЦОД включают:

1. Тип ИБП
Для ЦОД чаще всего используют ИБП типа *on-line* (двойное преобразование), которые обеспечивают постоянное питание нагрузки стабилизированным напряжением без задержки переключения. Это гарантирует максимальную защиту оборудования от любых аномалий сети.

2. Мощность
Мощность ИБП определяется исходя из суммарной мощности всех подключённых устройств плюс запас на случай расширения инфраструктуры. Рекомендуется выбирать ИБП с мощностью минимум на 20% больше, чем пиковая нагрузка серверов и другого оборудования.

Как рассчитать мощность ИБП, зная коэффициент мощности нагрузки? Чтобы вычислить мощность необходимо перемножить номинальную мощность ИБП на коэффициент мощности. В результате операции получается число, которое показывает максимальную активную мощность, которую сможет обслуживать источник бесперебойного питания. Например, мощность ИБП составляет 100 кВА, а коэффициент мощности нагрузки равен 0,9. В таком случае активная мощность нагрузки составит 90 кВт. Суммарная мощность нагрузки должна быть меньше 90 кВт.

3. Время автономной работы
Время автономной работы зависит от емкости батарей ИБП. Для ЦОД важно иметь достаточное количество времени для безопасного завершения работы критически важных приложений или перевода нагрузки на резервные источники энергии (например, генераторы). Оптимальное время автономной работы варьируется от 10 минут до нескольких часов, в зависимости от требований конкретной инфраструктуры.

4. Масштабируемость
Важно учитывать возможность увеличения мощности ИБП путем добавления модулей или замены батарей. Масштабируемые ИБП особенно полезны для крупных центров обработки данных, где инфраструктура постоянно расширяется.

5. Эффективность
Высокий КПД (коэффициент полезного действия) важен для снижения эксплуатационных расходов. Современные ИБП могут достигать КПД до 95%, что снижает потери электроэнергии и тепловыделение.

6. Интеллектуальная система управления
Наличие встроенной системы мониторинга и управления позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и автоматически управлять нагрузкой. Поддержка интеграции с системами мониторинга и управления инфраструктурой (DCIM) также важна.

7. Поддержка параллельной работы
Возможность подключения нескольких ИБП параллельно увеличивает общую мощность и повышает надежность системы. В случае выхода из строя одного устройства остальные продолжают обеспечивать электропитание.

8. Уровень защиты
Необходимо убедиться, что ИБП защищает оборудование не только от скачков напряжения, но и от импульсных перенапряжений, электромагнитных помех и гармоник. Для этого важны фильтры и дополнительные защитные схемы.

9. Условия эксплуатации
Учитываются требования к окружающей среде: температура, влажность, пыле- и влагозащита. ИБП для ЦОД должны выдерживать высокие температуры и работать в условиях повышенной нагрузки.

10. Цена и гарантия
Выбор ИБП также зависит от стоимости и гарантийных обязательств производителя. Лучше выбирать проверенные бренды с хорошей репутацией и длительным сроком гарантии.

При выборе ИБП для ЦОД нужно ориентироваться на конкретные потребности инфраструктуры, учитывая как технические параметры, так и возможные сценарии развития предприятия.

Подбор источника бесперебойного питания (ИБП) для ЦОД

LLM и дроны

Низковысотная мобильность, примером которой являются беспилотные летательные аппараты (БПЛА), внесла преобразующие достижения в различные области, такие как транспорт, логистика и сельское хозяйство. Используя гибкие перспективы и быструю маневренность, БПЛА расширяют возможности восприятия и действия традиционных систем, привлекая широкое внимание со стороны академических кругов и промышленности. Однако текущие операции БПЛА в первую очередь зависят от человеческого контроля, с ограниченной автономностью только в простых сценариях и не имеют интеллекта и адаптивности, необходимых для более сложных сред и задач. Появление больших языковых моделей (LLM) демонстрирует замечательные возможности решения проблем и обобщения, предлагая многообещающий путь для развития интеллекта БПЛА. В этой статье рассматривается интеграция LLM и БПЛА, начиная с обзора основных компонентов и функций систем БПЛА, за которым следует обзор новейших технологий LLM. Затем систематически освещаются мультимодальные ресурсы данных, доступные для БПЛА, которые обеспечивают критически важную поддержку для обучения и оценки. Кроме того, он классифицирует и анализирует ключевые задачи и сценарии применения, в которых сходятся БПЛА и LLM. Наконец, предлагается справочная дорожная карта к агентным БПЛА, направленная на то, чтобы позволить БПЛА достичь агентного интеллекта посредством автономного восприятия, памяти, рассуждения и использования инструментов. Сопутствующие ресурсы доступны по адресу https://github.com/Hub-Tian/UAVs - UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Интересная работа по использованию мультимодальных моделей в БПЛА. Например, использование Vision Foundation Models для сегментации изображений.

NVIDIA AI Red Team

Состязательное тестирование LLM по версии NVIDIA

См. также другие публикации по теме AI Red Team

Доверенные системы Искусственного Интеллекта

Вопросы доверия к системам Искусственного интеллекта (ИИ) включают в себя много аспектов. Доверие к системам ИИ – это доверие к их результатам. Результаты работы используемых моделей принципиально носят недетерминированный характер. Доверие (гарантирование) результатов – это устойчивость модели, способность к обобщению, отсутствие бэкдоров и множество других показателей. Отсюда появляются риски систем ИИ. К сожалению, подходы к оценкам для большинства из них (практически всех) не имеют объемлющих (окончательных) решений. Одним из возможных решений в такой ситуации является оценка самого факта использования (принятия во внимание) разработчиками системы ИИ решений по парированию определенных рисков. Мы не можем оценить результаты этих решений, но, по крайней мере, мы можем зафиксировать попытки решения. Что это дает? Во-первых, мы можем оценить наличие этих попыток в баллах, что даст возможность сравнивать между собой разные реализации. Во-вторых, парирование таких рисков и есть лучшие практики по разработке систем ИИ, соответственно, отсутствие конкретных решений указывает разработчикам пути для улучшения свои продуктов. Это и есть аудит для систем ИИ. В работе рассматривается европейский проект опросного листа для оценки доверия к системам ИИ, для которого был создан адаптированный локализованный вариант, предлагаемый авторами как основа для систем аудита моделей ИИ. - Об оценке доверия к системам Искусственного интеллекта

См. также другие публикации по теме аудит

INJOIT том 13, номер 3

Вышел третий номер журнала INJOIT в 2025 году. И тринадцатый год издания журнала.

Темы статей:

• Исследование асимптотик решений дифференциальных уравнений 2-го порядка с мероморфными коэффициентами
• Опыт прогнозирования интенсивности морского трафика на основе компьютерного анализа online-морских карт Панамского канала
• Improvement the Accuracy of Attitude Estimation of UAV using the Extended Kalman Filter based on Particle Swarm Optimization
• Разработка и исследование программного обеспечения для моделирования певческого голоса на основе применения технологии SoftVC VITS
• Exact solution of the three-state generalized double-chain Potts model
• Метод кратковременного использования простаивающих компьютеров корпоративной сети для решения ресурсоемкой задачи
• Система аннотирования биомедицинских изображений на основе интернет-технологий в онкогематологии
• Виртуальный Музей Киберинцидентов: Реальность Цифровых Артефактов
• Методическое и программно-аппартное обеспечение выявления индивидуального киберукачивания в виртуальной реальности
• Об оценке доверия к системам Искусственного интеллекта

/via Лаборатория ОИТ

Архив журнала находится здесь.

Безопасность электрозарядок

Зарядки для электротранспорта - новые поверхности атак. NIST: Cybersecurity Framework Profile for Electric Vehicle Extreme Fast Charging Infrastructure

Ответственный ИИ

"Anthropic получила сертификат ISO 42001 для ответственного ИИ

Мы рады сообщить, что Anthropic получила аккредитованную сертификацию в соответствии с новым стандартом ISO/IEC 42001:2023 для нашей системы управления ИИ. ISO 42001 — первый международный стандарт, определяющий требования к управлению ИИ, и помогает гарантировать, что системы ИИ разрабатываются и используются ответственно.

Получение этой сертификации подчеркивает нашу приверженность безопасности ИИ и ответственному развитию. Она обеспечивает независимую проверку того, что мы внедрили комплексную структуру для выявления, оценки и снижения потенциальных рисков, связанных с нашими системами ИИ. Ключевые элементы включают:

Политики и процессы, гарантирующие, что системы ИИ проектируются, разрабатываются и развертываются этичным, безопасным и ответственным образом; Строгое тестирование и мониторинг для проверки того, что системы ведут себя так, как задумано, а потенциальные негативные воздействия устраняются проактивно; Меры прозрачности для предоставления соответствующей информации пользователям и заинтересованным сторонам; Установленные роли, обязанности и надзор для поддержания ответственных практик." - отсюда

/via Radar Trends