Оцифровка запаха

Это случилось. Сколько интересных (пахучих) приложений появится ...

Бизнес-аналитика

Книга в открытом доступе A Business Analyst’s Introduction to Business Analytics. Примеры на R.

Все о Гауссе

Распределение Гаусса, или нормальное распределение, является ключевым предметом в статистике, машинном обучении, физике и практически любой другой области, которая имеет дело с данными и вероятностью. Это один из тех предметов, как π или правило Байеса, который настолько фундаментален, что люди относятся к нему как к иконе. - отсюда

Почему они галлюцинируют?

Интересный эксперимент: "Это приводит нас к гипотезе о том, когда GPT на основе LLM будет делать все правильно, а когда он будет делать что-то неправильно (или галлюцинировать). Когда есть общее согласие по теме и есть большой объем языка, доступный для обучения модели, GPT на основе LLM будут отражать это консенсусное мнение. Но в случаях, когда недостаточно примеров языка по теме, или тема является спорной, или нет четкого консенсуса по теме, опора на эти системы приведет к сомнительным результатам. Если эта гипотеза верна, то галлюцинации должны чаще возникать при работе с темами, которые являются неясными или спорными.

Чтобы проверить эту гипотезу, мы придумали набор простых подсказок, которые различались как по неясности темы, так и по степени противоречий вокруг темы. Затем мы задавали эти вопросы различным GPT в течение определенного периода времени. Прогноз заключался в том, что чем более неясной или спорной является тема, тем больше вероятность того, что результат будет неверным."

См. также другие публикации по теме галлюцинации

Защита КИИ

Материалы конференции ITSEC 2024 - Защита АСУ ТП и объектов КИИ

Риски ИИ

Горячая тема. В статье приводится расшифровка рисков ИИ, которые специфицируют частные компании и государства

См. также нашу статью О киберрисках генеративного ИИ

Другие публикации по теме риски

Out of Distribution ML

Цель этого репозитория — предоставить наиболее полный, актуальный, высококачественный ресурс для обнаружения OOD, надежности и обобщения в машинном обучении/глубоком обучении. Ваш универсальный магазин для всего, что касается OOD, здесь.

P.S. см. также другие публикации по теме OOD

Публикации по теме Искусственный интеллект в кибербезопасности

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность (совместно со Сбербанк). Ниже приведен список публикаций, подготовленных в процессе реализации этих программ.

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Если не косинус, то кто?

Хорошая статья: Альтернативы косинусной близости

GPT говор

Слова (фразы), которые любит использовать ChatGPT. Признаки того, что к ответу может быть причастен ChatGPT

Про агентов

1. Хороший обзор ИИ-агентов

2. ИИ агент или ИИ ассистент?

0.1%

Контроль такого количества данных при тренировке LLM позволяет отравить ее обучающий набор:

"Большие языковые модели предварительно обучаются на неконтролируемых текстовых наборах данных, состоящих из триллионов токенов, извлеченных из Интернета. Предыдущие работы показали, что: (1) извлеченные из Интернета предварительно обучающие наборы данных могут быть практически отравлены злоумышленниками; и (2) злоумышленники могут скомпрометировать языковые модели после отравления наборов данных тонкой настройки. Наша работа впервые оценивает, могут ли языковые модели также быть скомпрометированы во время предварительной настройки, с акцентом на постоянство предварительных обучающих атак после того, как модели будут настроены как полезные и безвредные чат-боты. Мы предварительно обучаем ряд LLM с нуля, чтобы измерить влияние потенциального отравляющего противника при четырех различных целях атаки (отказ в обслуживании, манипулирование убеждениями, джейлбрейк и быстрая кража) и в широком диапазоне размеров моделей (от 600 МБ до 7 Б). Наш главный результат заключается в том, что отравление только 0,1% набора данных до обучения модели достаточно для того, чтобы три из четырех атак измеримо сохранялись после обучения. Более того, простые атаки, такие как отказ в обслуживании, сохраняются после обучения с уровнем отравления всего 0,001%." - отсюда

См. также другие публикации, посвященные LLM

Состязательные атаки на LLM

"Большая часть работы по состязательным атакам проводится на изображениях. Это работа в непрерывном, многомерном пространстве. Атаки на дискретные данные, такие как текст, считаются гораздо более сложными из-за отсутствия прямых градиентных сигналов. Состязательные атаки — это входные данные, которые заставляют модель выводить что-то нежелательное. Большая часть ранней литературы была сосредоточена на задачах классификации, в то время как недавние усилия начинают больше исследовать выходные данные генеративных моделей. В контексте больших языковых моделей, в этой статье предполагается, что атаки происходят только во время вывода, что означает, что веса модели фиксированы." - хороший обзор атак на LLM

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Цифровые двойники и CPS

Пара интересных работ по использованию цифровых двойников в кибербезопасности кибер-физических систем

"Интеграция и автоматизация промышленных процессов принесли значительный рост эффективности и производительности, но также увеличили риски кибербезопасности, особенно в перерабатывающей промышленности. В этой статье представлена методология, использующая интеллектуальный анализ процессов и цифровых двойников для улучшения обнаружения аномалий в промышленных системах управления (ICS). Преобразуя необработанные журналы устройств в журналы событий, мы обнаруживаем закономерности и аномалии, указывающие на кибератаки, даже когда такие атаки маскируются обычными эксплуатационными данными. Мы представляем подробное исследование случая, воспроизводящего промышленный процесс, чтобы продемонстрировать практическое применение нашего подхода. Экспериментальные результаты подтверждают эффективность нашего метода в выявлении киберфизических атак в реалистичной промышленной обстановке." - отсюда. Иными словами идея следующая: автоматически преобразовать системный журнал в журнал событий, а затем искать паттерны атаки уже по событиям

Безопасность киберфизических систем (CPS) при наличии кибератак имеет решающее значение для благополучия персонала, эксплуатирующего их, и безопасности предоставляемых услуг. Например, CPS может быть развернута в промышленной автоматизации и критической инфраструктуре. Взаимозависимость между ее компонентами подразумевает, что атака на один из них может вызвать каскадный сбой в системе из-за неисправностей (отклонений от поведения соответствия) во время работы компонента(ов). Это может затруднить работу и повлиять на безопасность. Наша цель — проанализировать последствия кибератак на компоненты — чтобы лучше охватить горизонт событий безопасности (границу, до которой события не могут повлиять на безопасность) физической системы. Для этого мы интегрируем модель каскадных отказов в цифровой двойник (DT), используя поведенческие модели компонентов системы на основе вероятностного автомата Мили. Наш DT разработан для обеспечения анализа безопасности путем выявления отклонений, которые могут повлиять на функциональную и физическую безопасность. - отсюда

Атаки во благо

Если нельзя предотвратить, то нужно это возглавить. Добавление состязательных модификаций к исходным данным для защиты.

Состязательные атаки в компьютерном зрении используют уязвимости моделей машинного обучения, внося едва заметные изменения во входные данные, что часто приводит к неверным прогнозам или классификациям. Эти атаки стали более сложными с появлением глубокого обучения, представляя значительные проблемы в критически важных приложениях, которые могут быть вредны для общества. Однако существует также богатое направление исследований с преобразующей точки зрения, которое использует состязательные методы для общественного блага. В частности, мы изучаем рост проактивных схем — методов, которые шифруют входные данные с использованием дополнительных сигналов, называемых шаблонами, для повышения производительности моделей глубокого обучения. Встраивая эти незаметные шаблоны в цифровые носители, проактивные схемы применяются в различных приложениях, от простых улучшений изображений до сложных фреймворков глубокого обучения для повышения производительности по сравнению с пассивными схемами, которые не изменяют распределение входных данных для своего фреймворка. В обзоре рассматриваются методологии, лежащие в основе этих проактивных схем, процессы шифрования и обучения, и их применение в современных приложениях компьютерного зрения и обработки естественного языка. Кроме того, в нем обсуждаются проблемы, потенциальные уязвимости и будущие направления для проактивных схем, в конечном итоге подчеркивая их потенциал для содействия ответственному и безопасному развитию технологий глубокого обучения.

Что делать с дипфейками?

Дипфейки — гиперреалистичные цифровые подделки — привлекли значительное внимание, поскольку быстрое развитие генеративного ИИ упростило создание убедительно реалистичных видео и аудиозаписей, которые могут обмануть даже самых взыскательных зрителей. Хотя дипфейки являются мощным инструментом социальной инженерии, специалистам по кибербезопасности не нужно обращаться к новым технологиям обнаружения или интенсивным программам обучения «как распознать дипфейк», чтобы снизить риск, который они представляют. Цель этого исследования — предоставить руководство, устойчивое к развивающимся угрозам, усиленным дипфейком, путем применения фундаментальных принципов безопасности.

Ключевые стратегии, которые поддерживает руководство, включают:
– Сосредоточение внимания на соблюдении процесса, а не на визуальном или слуховом обнаружении подделок
– Внедрение и поддержание строгого финансового контроля и процедур проверки
– Развитие культуры осведомленности и скептицизма в отношении необычных запросов.
– Разработка и регулярное обновление планов реагирования на инциденты.

Отсюда: OWASP - Руководство по подготовке и реагированию на события Deepfake

Определить дипфейки уже не удастся. Нужно подготовиться к жизни с ними.

См. также другие публикации по теме deepfake

О борьбе с дипфейками

MIT Technology Review о борьбе с порно-фейками: Three ways we can fight deepfake porn

Эти три способа:
водяные знаки (метки для контента)
модификация изображений для затруднения использования их в генеративном ИИ
законодательство

о детектировании дипфейков речи уже не идет ...

Краткий курс

Краткий университетский курс по ML - книга в открытом доступе

Сдвиг концепций

"С расцветом методов машинного обучения (ML) специалисты по программному обеспечению создают системы ML для обработки огромного объема потоковых данных для различных задач по программной инженерии, таких как прогнозирование сбоев в AIOps. Обученные с использованием исторических данных, такие модели ML сталкиваются с ухудшением производительности, вызванным дрейфом концепций, т. е. изменениями данных и взаимосвязей (концепций) между обучением и производством. Важно использовать обнаружение разрыва концепций для мониторинга развернутых моделей ML и повторного обучения моделей ML при необходимости.

В этой работе мы исследуем применение современных (SOTA) методов обнаружения дрейфа концепций на синтетических и реальных наборах данных в промышленных условиях. Такие промышленные условия требуют минимальных ручных усилий по маркировке и максимальной общности в архитектуре модели ML. Мы обнаружили, что текущие полуконтролируемые методы SOTA не только требуют значительных усилий по маркировке, но и работают только для определенных типов моделей ML. Чтобы преодолеть такие ограничения, мы предлагаем новую модельно-независимую технику (CDSeer) для обнаружения дрейфа концепций. Наша оценка показывает, что CDSeer имеет лучшую точность и полноту по сравнению с современными решениями, при этом требуя значительно меньше ручной маркировки. Мы демонстрируем эффективность CDSeer при обнаружении дрейфа концепций, оценивая его на восьми наборах данных из разных доменов и вариантов использования. Результаты внутреннего развертывания CDSeer на промышленном запатентованном наборе данных показывают улучшение точности на 57,1% при использовании на 99% меньше меток по сравнению с методом обнаружения дрейфа концепций SOTA. Производительность также сопоставима с контролируемым методом обнаружения дрейфа концепций, который требует маркировки 100% данных. Повышенная производительность и простота внедрения CDSeer ценны для повышения надежности систем машинного обучения." - отсюда

Отражение атак на IDS

IDS-Anta: An open-source code with a defense mechanism to detect adversarial attacks for intrusion detection system

"Система обнаружения вторжений (IDS) имеет решающее значение для защиты организаций от киберугроз. Уязвимость IDS на основе машинного обучения и глубокого обучения к состязательным атакам возникает из-за преднамеренного создания злоумышленниками состязательных образцов. В этом исследовании предлагается репозиторий открытого исходного кода на основе Python под названием IDS-Anta с надежным механизмом защиты для выявления состязательных атак без ущерба для производительности IDS. Он использует многорукие бандиты с выборкой Томсона, оптимизацию колонии муравьев (ACO) и методы генерации состязательных атак и проверен с использованием трех общедоступных наборов данных эталонных тестов. Этот репозиторий кода можно легко применять и реплицировать в наборах данных IDS против состязательных атак."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению