технические проблемы и идеи, родившиеся в бурных водах реки Abava (а равно как и на ее берегах, далеких и близких), выставленные на всеобщее обсуждение
Monday, October 28, 2024
Риски ИИ
См. также нашу статью О киберрисках генеративного ИИ
Другие публикации по теме риски
Sunday, October 27, 2024
Out of Distribution ML
Saturday, October 26, 2024
Публикации по теме Искусственный интеллект в кибербезопасности
Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.
Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.
Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.
Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.
Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.
Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.
Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.
Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.
Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.
Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.
Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.
Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.
Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.
Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.
Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.
Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.
Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.
Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.
Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.
Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.
Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.
Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.
On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.
Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.
Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1
Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.
Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.
Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.
Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.
Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.
Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.
Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.
Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.
Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.
Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.
Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.
Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.
Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.
Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.
Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.
Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.
Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.
Friday, October 25, 2024
GPT говор
Thursday, October 24, 2024
Wednesday, October 23, 2024
0.1%
"Большие языковые модели предварительно обучаются на неконтролируемых текстовых наборах данных, состоящих из триллионов токенов, извлеченных из Интернета. Предыдущие работы показали, что: (1) извлеченные из Интернета предварительно обучающие наборы данных могут быть практически отравлены злоумышленниками; и (2) злоумышленники могут скомпрометировать языковые модели после отравления наборов данных тонкой настройки. Наша работа впервые оценивает, могут ли языковые модели также быть скомпрометированы во время предварительной настройки, с акцентом на постоянство предварительных обучающих атак после того, как модели будут настроены как полезные и безвредные чат-боты. Мы предварительно обучаем ряд LLM с нуля, чтобы измерить влияние потенциального отравляющего противника при четырех различных целях атаки (отказ в обслуживании, манипулирование убеждениями, джейлбрейк и быстрая кража) и в широком диапазоне размеров моделей (от 600 МБ до 7 Б). Наш главный результат заключается в том, что отравление только 0,1% набора данных до обучения модели достаточно для того, чтобы три из четырех атак измеримо сохранялись после обучения. Более того, простые атаки, такие как отказ в обслуживании, сохраняются после обучения с уровнем отравления всего 0,001%." - отсюда
См. также другие публикации, посвященные LLM
Tuesday, October 22, 2024
Состязательные атаки на LLM
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM
Цифровые двойники и CPS
"Интеграция и автоматизация промышленных процессов принесли значительный рост эффективности и производительности, но также увеличили риски кибербезопасности, особенно в перерабатывающей промышленности. В этой статье представлена методология, использующая интеллектуальный анализ процессов и цифровых двойников для улучшения обнаружения аномалий в промышленных системах управления (ICS). Преобразуя необработанные журналы устройств в журналы событий, мы обнаруживаем закономерности и аномалии, указывающие на кибератаки, даже когда такие атаки маскируются обычными эксплуатационными данными. Мы представляем подробное исследование случая, воспроизводящего промышленный процесс, чтобы продемонстрировать практическое применение нашего подхода. Экспериментальные результаты подтверждают эффективность нашего метода в выявлении киберфизических атак в реалистичной промышленной обстановке." - отсюда. Иными словами идея следующая: автоматически преобразовать системный журнал в журнал событий, а затем искать паттерны атаки уже по событиям
Безопасность киберфизических систем (CPS) при наличии кибератак имеет решающее значение для благополучия персонала, эксплуатирующего их, и безопасности предоставляемых услуг. Например, CPS может быть развернута в промышленной автоматизации и критической инфраструктуре. Взаимозависимость между ее компонентами подразумевает, что атака на один из них может вызвать каскадный сбой в системе из-за неисправностей (отклонений от поведения соответствия) во время работы компонента(ов). Это может затруднить работу и повлиять на безопасность. Наша цель — проанализировать последствия кибератак на компоненты — чтобы лучше охватить горизонт событий безопасности (границу, до которой события не могут повлиять на безопасность) физической системы. Для этого мы интегрируем модель каскадных отказов в цифровой двойник (DT), используя поведенческие модели компонентов системы на основе вероятностного автомата Мили. Наш DT разработан для обеспечения анализа безопасности путем выявления отклонений, которые могут повлиять на функциональную и физическую безопасность. - отсюда
Monday, October 21, 2024
Атаки во благо
Состязательные атаки в компьютерном зрении используют уязвимости моделей машинного обучения, внося едва заметные изменения во входные данные, что часто приводит к неверным прогнозам или классификациям. Эти атаки стали более сложными с появлением глубокого обучения, представляя значительные проблемы в критически важных приложениях, которые могут быть вредны для общества. Однако существует также богатое направление исследований с преобразующей точки зрения, которое использует состязательные методы для общественного блага. В частности, мы изучаем рост проактивных схем — методов, которые шифруют входные данные с использованием дополнительных сигналов, называемых шаблонами, для повышения производительности моделей глубокого обучения. Встраивая эти незаметные шаблоны в цифровые носители, проактивные схемы применяются в различных приложениях, от простых улучшений изображений до сложных фреймворков глубокого обучения для повышения производительности по сравнению с пассивными схемами, которые не изменяют распределение входных данных для своего фреймворка. В обзоре рассматриваются методологии, лежащие в основе этих проактивных схем, процессы шифрования и обучения, и их применение в современных приложениях компьютерного зрения и обработки естественного языка. Кроме того, в нем обсуждаются проблемы, потенциальные уязвимости и будущие направления для проактивных схем, в конечном итоге подчеркивая их потенциал для содействия ответственному и безопасному развитию технологий глубокого обучения.
Sunday, October 20, 2024
Что делать с дипфейками?
Ключевые стратегии, которые поддерживает руководство, включают:
– Сосредоточение внимания на соблюдении процесса, а не на визуальном или слуховом обнаружении подделок
– Внедрение и поддержание строгого финансового контроля и процедур проверки
– Развитие культуры осведомленности и скептицизма в отношении необычных запросов.
– Разработка и регулярное обновление планов реагирования на инциденты.
Отсюда: OWASP - Руководство по подготовке и реагированию на события Deepfake
Определить дипфейки уже не удастся. Нужно подготовиться к жизни с ними.
Saturday, October 19, 2024
О борьбе с дипфейками
Эти три способа:
водяные знаки (метки для контента)
модификация изображений для затруднения использования их в генеративном ИИ
законодательство
о детектировании дипфейков речи уже не идет ...
Friday, October 18, 2024
Сдвиг концепций
В этой работе мы исследуем применение современных (SOTA) методов обнаружения дрейфа концепций на синтетических и реальных наборах данных в промышленных условиях. Такие промышленные условия требуют минимальных ручных усилий по маркировке и максимальной общности в архитектуре модели ML. Мы обнаружили, что текущие полуконтролируемые методы SOTA не только требуют значительных усилий по маркировке, но и работают только для определенных типов моделей ML. Чтобы преодолеть такие ограничения, мы предлагаем новую модельно-независимую технику (CDSeer) для обнаружения дрейфа концепций. Наша оценка показывает, что CDSeer имеет лучшую точность и полноту по сравнению с современными решениями, при этом требуя значительно меньше ручной маркировки. Мы демонстрируем эффективность CDSeer при обнаружении дрейфа концепций, оценивая его на восьми наборах данных из разных доменов и вариантов использования. Результаты внутреннего развертывания CDSeer на промышленном запатентованном наборе данных показывают улучшение точности на 57,1% при использовании на 99% меньше меток по сравнению с методом обнаружения дрейфа концепций SOTA. Производительность также сопоставима с контролируемым методом обнаружения дрейфа концепций, который требует маркировки 100% данных. Повышенная производительность и простота внедрения CDSeer ценны для повышения надежности систем машинного обучения." - отсюда
Отражение атак на IDS
"Система обнаружения вторжений (IDS) имеет решающее значение для защиты организаций от киберугроз. Уязвимость IDS на основе машинного обучения и глубокого обучения к состязательным атакам возникает из-за преднамеренного создания злоумышленниками состязательных образцов. В этом исследовании предлагается репозиторий открытого исходного кода на основе Python под названием IDS-Anta с надежным механизмом защиты для выявления состязательных атак без ущерба для производительности IDS. Он использует многорукие бандиты с выборкой Томсона, оптимизацию колонии муравьев (ACO) и методы генерации состязательных атак и проверен с использованием трех общедоступных наборов данных эталонных тестов. Этот репозиторий кода можно легко применять и реплицировать в наборах данных IDS против состязательных атак."
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Thursday, October 17, 2024
О достоверных данных
Эта структура называется структурой предсказуемости, вычислимости и стабильности (PCS). Вы можете показать, что ваши результаты предсказуемы, вычислительно продемонстрировав, что они повторно появляются в соответствующих будущих данных и соответствуют знаниям предметной области (предсказуемость можно рассматривать как проверку реальности), и вы можете показать, что они стабильны, вычислительно продемонстрировав, что они не меняются кардинально, когда соответствующие изменения вносятся в течение всего жизненного цикла. Вычислительно демонстрируя, что ваши результаты предсказуемы и стабильны, вы предоставляете доказательства того, что ваши выводы, основанные на данных (и последующие решения в реальном мире), заслуживают доверия и соответствуют реальности. - книга в открытом доступе
Сенсоры - в блокчейн
"В частности, в контексте умных городов данные дистанционного зондирования (ДЗ) стали одной из самых горячих тем для изучения в области информационно-коммуникационных технологий (ИКТ) сегодня. Развитие машинного обучения (МО) и искусственного интеллекта (ИИ) позволило решить ряд проблем, включая автоматизацию, контроль доступа, оптимизацию, мониторинг и управление. Одновременно с этим существуют значительные проблемы с проектированием и разработкой иерархии процессов, включая неадекватные записи обучения, централизованную архитектуру, защиту конфиденциальности данных и общие ограничения потребления ресурсов. С другой стороны, развитие технологии распределенного реестра (DLT) обеспечивает децентрализованную инфраструктуру, которая позволяет системам устранять централизованные процедуры обмена данными умных городов при переходе от одного сетевого узла к другому, а контроль доступа третьей стороны решает проблемы машинного обучения. Для обработки идеального механизма доставки данных для аналитической модели умных городов в статье используется Частичная оптимизация Swam (POS) в сочетании с защищенной распределенной сетью консорциума блокчейна. Эта работа вносит три вклада. Во-первых, она предлагает безопасный метод передачи, который объединяет блокчейн и машинное обучение для оптимизации пути надежной доставки данных по защищенным каналам. Во-вторых, последовательности шифрования соседства выполняются с использованием шифрования значений с поддержкой повторного шифрования NuCypher proxy, криптографического подхода с открытым ключом, который избегает преобразования шифра. В-третьих, искусственные нейронные сети (ИНС) могут решить проблему классификации доставки данных в умных городах за счет оптимизации управления и сохранения записей."
Wednesday, October 16, 2024
Атаки глубокого леса
"Классификаторы машинного обучения уязвимы к состязательным примерам, которые представляют собой тщательно созданные входные данные, предназначенные для скомпрометировать их эффективность классификации. Недавно был предложен новый классификатор машинного обучения, состоящий из лесов деревьев решений, вдохновленных архитектурой глубоких нейронных сетей. Однако глубокие нейронные сети уязвимы к состязательным атакам. Поэтому в этой работе мы запускаем серию состязательных атак на глубокие леса, включая атаки черного ящика и белого ящика, чтобы впервые оценить его уязвимость к состязательным атакам. Предыдущие работы показали, что состязательные примеры, созданным на одной модели, переносятся на различные модели с различными методами обучения. Мы эмпирически демонстрируем, что глубокий лес уязвим к атакам переносимости на основе кросс-техник. С другой стороны, для улучшения производительности глубокого леса в условиях состязательных ситуаций наша работа включает эксперименты, которые демонстрируют, что обучение недифференцируемых моделей, таких как глубокие леса на случайно или состязательно возмущенных входных данных, увеличивает их состязательную устойчивость к таким атакам. Кроме того, предложен эвристический метод белого ящика для атаки на глубокие леса путем реализации более быстрого и эффективного алгоритма атаки дерева решений. Атакуя оба компонента глубокого леса, а именно каскадный лес и многозернистый слой, мы показываем, что глубокие леса восприимчивы к предлагаемой состязательной атаке белого ящика."
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Tuesday, October 15, 2024
Генерация синтетических данных
Глубокие генеративные модели (DGM) быстро развивались в последние годы, став важными инструментами в различных областях благодаря своей способности изучать сложные распределения данных и генерировать синтетические данные. Их важность в транспортных исследованиях все больше признается, особенно для таких приложений, как генерация данных о дорожном движении, прогнозирование и извлечение признаков. Эта статья предлагает всеобъемлющее введение и руководство по DGM с акцентом на их применение в транспорте. Она начинается с обзора генеративных моделей, за которым следуют подробные объяснения фундаментальных моделей, систематический обзор литературы и практический обучающий код для помощи в реализации. В статье также обсуждаются текущие проблемы и возможности, подчеркивая, как эти модели могут быть эффективно использованы и далее развиты в транспортных исследованиях. Эта статья служит ценным справочником, направляющим исследователей и практиков от фундаментальных знаний к передовым приложениям DGM в транспортных исследованиях.
Большое О
O(1)
Это нотация постоянного времени. Время выполнения остается постоянным независимо от размера входных данных. Например, доступ к элементу в массиве по индексу и вставка/удаление элемента в хэш-таблице.
O(n) Линейная нотация времени. Время выполнения растет прямо пропорционально размеру входных данных. Например, поиск максимального или минимального элемента в несортированном массиве.
O(log n)
Логарифмическая нотация времени. Время выполнения медленно увеличивается по мере увеличения входных данных. Например, бинарный поиск в отсортированном массиве и операции над сбалансированными бинарными деревьями поиска.
O(n^2)
Квадратичная нотация времени. Время выполнения растет экспоненциально с размером входных данных. Например, простые алгоритмы сортировки, такие как пузырьковая сортировка, сортировка вставкой и сортировка выбором.
O(n^3)
Кубическая нотация времени. Время выполнения быстро увеличивается по мере увеличения размера входных данных. Например, умножение двух плотных матриц с использованием наивного алгоритма.
O(n logn)
Линейная нотация времени. Это смесь линейного и логарифмического роста. Например, эффективные алгоритмы сортировки, такие как сортировка слиянием, быстрая сортировка и сортировка кучей
O(2^n)
Экспоненциальная нотация времени. Время выполнения удваивается с каждым новым элементом ввода. Например, рекурсивные алгоритмы решают задачи, разделяя их на несколько подзадач.
O(n!)
Факториальная нотация времени. Время выполнения резко возрастает с размером ввода. Например, задачи генерации перестановок.
O(sqrt(n))
Квадратная нотация времени. Время выполнения увеличивается относительно квадратного корня ввода. Например, поиск в диапазоне, таком как решето Эратосфена, для нахождения всех простых чисел до n.
Monday, October 14, 2024
Контратака - 2
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Sunday, October 13, 2024
Вредоносные LLM
Что нового: Зилонг Лин и его коллеги из Университета Индианы в Блумингтоне изучали, как большие языковые модели (LLM) используются для предоставления вредоносных услуг, в частности, для генерации вредоносного кода, фишинговых писем и фишинговых веб-сайтов. Они были не очень эффективны, в общем и целом (хотя высокий уровень успеха может быть необязательным для поддержки процветающего рынка автоматизированной преступной деятельности).
Рискованный бизнес: поставщики основывают такие услуги либо на неотцензурированных LLM — то есть тех, которые не были настроены на отражение человеческих предпочтений или не используют фильтры ввода/вывода — либо на общедоступных моделях, которые они предлагают с помощью методов джейлбрейка, которые обходят встроенные защитные ограждения. Они продают свои услуги на хакерских рынках и форумах, взимая гораздо меньше, чем типичные традиционные поставщики вредоносного ПО, но услуги, основанные на моделях, которые были настроены на предоставление вредоносного вывода, требуют наценки. Авторы обнаружили, что одна услуга принесла доход более 28 000 долларов за два месяца.
Разрастающийся рынок: авторы выявили 212 вредоносных сервисов. Из них 125 размещались на платформе Poe AI, 73 — на FlowGPT, а остальные 14 находились на уникальных серверах. Из них авторы не смогли получить доступ к пяти, поскольку либо провайдер их заблокировал, либо сервис был мошенническим. Они выявили 11 LLM, используемых этими сервисами, включая Claude-2-100k, GPT-4 и Pygmalion-13B (вариант LLaMA-13B).
Тестирование качества вывода: авторы запросили более 200 сервисов, используя более 30 запросов, для генерации вредоносного кода, фишинговых писем или фишинговых веб-сайтов. Они оценивали ответы по следующим параметрам:
Формат: как часто они следовали ожидаемому формату (как определено регулярными выражениями)
Компиляция: как часто сгенерированный код Python, C или C++ мог быть скомпилирован
Достоверность: как часто сгенерированный HTML и CSS успешно запускались как в Chrome, так и в Firefox
Читаемость: как часто сгенерированные фишинговые письма были плавными и связными в соответствии с индексом сложности чтения Ганнинга
Уклончивость или как часто сгенерированный текст успешно проходил все предыдущие проверки и избегал обнаружения VirusTotal (для вредоносного кода и фишинговых сайтов) или OOPSpam (для фишинговых писем).
Во всех трех задачах по крайней мере одна служба достигла уклончивости 67 процентов или выше, в то время как большинство служб достигли уклончивости менее 30 процентов.
Тестирование эффективности в реальных условиях: Кроме того, авторы провели практические тесты, чтобы увидеть, насколько хорошо выходные данные работают в реальных ситуациях. Они побудили девять служб сгенерировать код, который будет нацелен на три конкретные уязвимости, связанные с переполнением буфера и инъекцией SQL. В этих тестах модели были заметно менее успешными.
Авторы протестировали сгенерированный код на наличие двух уязвимостей в VICIdial, системе колл-центра, которая, как известно, уязвима к таким проблемам. Из 22 сгенерированных программ, которые удалось скомпилировать, ни одна не изменила базы данных VICIdial или не раскрыла системные данные. Они также протестировали сгенерированный код на OWASP WebGoat 7.1, веб-сайте, который предоставляет код с известными уязвимостями безопасности. Из 39 сгенерированных программ, которые удалось скомпилировать, семь запустили успешные атаки. Однако эти атаки не были нацелены на конкретные уязвимости, запрошенные авторами.
Почему это важно: Предыдущая работа показала, что сервисы на основе LLM могут генерировать дезинформацию и другой вредоносный вывод, но мало исследований изучали их фактическое использование в киберпреступности. Эта работа оценивает их качество и эффективность. Кроме того, авторы опубликовали подсказки, которые они использовали для обхода ограждений и генерации вредоносного вывода — ресурс для дальнейших исследований, направленных на исправление таких проблем в будущих моделях.
Мы думаем: отрадно видеть, что вредоносные сервисы не продвинулись далеко в реальных тестах, и выводы авторов должны смягчить паникерские сценарии киберпреступности с использованием ИИ. Это не значит, что нам не нужно беспокоиться о вредоносных применениях технологии ИИ. Сообщество ИИ несет ответственность за разработку своих продуктов так, чтобы они были полезными, и тщательно оценивать их на предмет безопасности.
/via deeplearning.ai
См. также другие публикации, посвященные LLM
Friday, October 11, 2024
О проблемах автономного вождения
"Поскольку автономные системы вождения (ADS) изменили нашу повседневную жизнь, безопасность ADS приобретает все большее значение. Хотя появились различные подходы к тестированию для повышения надежности ADS, остается существенный пробел в понимании причин аварий. Такой анализ после аварий имеет первостепенное значение и полезен для повышения безопасности и надежности ADS. Существующие методы анализа первопричин киберфизических систем (CPS) в основном предназначены для дронов и не могут справиться с уникальными проблемами, возникающими из-за более сложных физических сред и моделей глубокого обучения, развернутых в ADS. В этой статье мы устраняем этот пробел, предлагая формальное определение проблемы анализа первопричин ADS и представляя Rocas, новую структуру анализа первопричин ADS с киберфизической коммутацией. Наша методика уникальным образом использует как физическую, так и кибермутацию, которая может точно идентифицировать сущность, вызывающую аварию, и точно определить неверную конфигурацию целевой ADS, ответственной за аварию. Мы также разрабатываем дифференциальный анализ для определения ответственного модуля, чтобы сократить пространство поиска неверной конфигурации. Мы изучаем 12 категорий аварий ADS и демонстрируем эффективность и результативность Rocas в сужении пространства поиска и выявлении неправильной конфигурации. Мы также показываем подробные примеры того, как выявленная неправильная конфигурация помогает понять обоснование аварий."
Примеры причин аварий:
Принимает красный грузовик за красный свет и внезапно останавливается на кольцевом перекрестке
Опознает неправильный светофор из-за особой формы дороги и внезапно останавливается на дороге
См. в этой связи нашу статью О состязательных атаках на автономные транспортные средства
Thursday, October 10, 2024
Визуальные уроки
См. также другие ссылки по теме визуализация
Wednesday, October 09, 2024
LLM в анализе данных
"В этой статье рассматривается потенциал инструментов на основе ИИ для изменения анализа данных, уделяя особое внимание соображениям и проблемам проектирования. Мы изучаем, как появление больших языковых и мультимодальных моделей открывает новые возможности для улучшения различных этапов рабочего процесса анализа данных путем перевода намерений пользователя высокого уровня в исполняемый код, диаграммы и идеи. Затем мы изучаем принципы проектирования, ориентированные на человека, которые облегчают интуитивное взаимодействие, создают доверие пользователей и оптимизируют рабочий процесс анализа с помощью ИИ в нескольких приложениях. Наконец, мы обсуждаем исследовательские проблемы, которые препятствуют разработке этих систем на основе ИИ, такие как расширение возможностей моделей, оценка и бенчмаркинг, а также понимание потребностей конечного пользователя." - Анализ данных с помощью LLM "
См. также другие публикации, посвященные LLM
Практический IoT
В этой статье обсуждается разработка системы IoT для мониторинга и управления различными устройствами и системами от разных поставщиков. Авторы рассмотрели ключевые проблемы в проектах IoT, такие как совместимость и интеграция, масштабируемость, а также хранение, обработка и визуализация данных на этапах проектирования и развертывания. В дополнение к этим общим проблемам авторы также углубляются в конкретные проблемы интеграции, с которыми они столкнулись. Различные устройства и системы были интегрированы в систему, и для иллюстрации возникших проблем используются пять реальных сценариев в среде университетского городка. Сценарии включают мониторинг различных аспектов среды университетского городка, включая качество воздуха, параметры окружающей среды, энергоэффективность, солнечную фотоэлектрическую энергию и потребление энергии. Авторы проанализировали данные и использование ЦП, чтобы убедиться, что система может обрабатывать большой объем данных, генерируемых устройствами. Разработанная платформа использует проекты с открытым исходным кодом, такие как Home Assistant, InfluxDB, Grafana и Node-RED. Все разработки были опубликованы как проекты с открытым исходным кодом в публичных репозиториях. В заключение следует отметить, что в данной работе подчеркивается потенциал и осуществимость систем Интернета вещей в различных реальных приложениях, важность учета ключевых проблем в проектах Интернета вещей на этапах проектирования и развертывания, а также конкретные проблемы интеграции, с которыми можно столкнуться."
См. также другие публикации по теме IoT
Monday, October 07, 2024
Автоматизация запросов
Узнайте, как автоматизировать разработку подсказок и добиться значительных улучшений производительности в рабочей нагрузке LLM. Код доступен на Github
См. также другие публикации, посвященные LLM
Sunday, October 06, 2024
Примеры LLM приложений
См. также другие публикации, посвященные LLM
Saturday, October 05, 2024
Риски генеративных моделей ИИ и их тестирование
Стороннее тестирование как ключевой элемент политики в области ИИ - пишет Antropic, возможно, основной конкурент Open AI. И в этой связи собирает предложения в рамках своей инициативы по разработке сторонних оценок моделей ИИ
Friday, October 04, 2024
Библиотека промптов
См. также другие публикации, посвященные LLM
INJOIT том 12, номер 10
Темы статей:
- Анализ состязательных атак на системы сегментации изображений
- Сравнительное исследование методов естественной аугментации изображений
- Алгоритм защиты от состязательных атак в языковых моделях
- Development of a web application for applying the analytic hierarchy process
- Математическая модель фильтрации с учетом капиллярных сил в мультипоровой среде
- Оценивание с помощью метода наименьших модулей регрессионных моделей с целочисленными функциями пол и потолок
- Methodology for Analyzing Thematic Co-Authorship Networks
- Статистическая модель поиска целевых объектов в социальной сети
- Система мониторинга для балансировки нагрузки узлов распределенной вычислительной системы на основе смартфонов
- О роли и месте институционального репозитория в цифровой экосистеме научной организации
- Оценка функциональной (параметрической) полноты информационных рисков
- О киберрисках генеративного Искусственного Интеллекта
- Использование автоматизированных информационных систем для улучшения процесса управления доставками: перспективы и вызовы
- Экономика данных
- Концепция стохастического метамоделирования интеллектуальных цифровых экосистем
- Exploring Fine-grained Task Parallelism on Simultaneous Multithreading Cores
/via Лаборатория ОИТ
Архив журнала находится здесь.
Thursday, October 03, 2024
Тестирование LLM
См. также другие публикации, посвященные LLM
Как кэшировать базы данных
Uber построил CacheFront — интегрированное решение для кэширования с Redis, Docstore и MySQL. Чтение и запись файлов с использованием CDC (Change Data Capture). Реализация состоит из 3 основных частей:
1. Чтение и запись с CDC
Вместо микросервиса, механизм запросов Docstore взаимодействует с Redis для запросов на чтение.
При попадании в кэш механизм запросов извлекает данные из Redis. При промахах кэша запрос отправляется в механизм хранения и базу данных.
В случае записи служба CDC Docstore (Flux) делает записи в Redis недействительными. Она отслеживает события binlog MySQL, чтобы инициировать аннулирование.
2. Разогрев кэша в нескольких регионах с помощью потоковой передачи Redis
Отказ региона может привести к промахам кэша и перегрузке базы данных.
Чтобы справиться с этим, инженерная группа Uber использует репликацию Redis между регионами. Это делается путем отслеживания потока записи Redis для репликации ключей в удаленный регион.
В удаленном регионе потребитель потока отправляет запросы на чтение в механизм запросов, который считывает базу данных и обновляет кэш.
3. Redis и шардинг Docstore
Все команды в Uber используют Docstore, при этом некоторые генерируют огромное количество запросов.
Экземпляры Redis и Docstore шардированы или разделены для обработки нагрузки. Но один кластер Redis, выходящий из строя, может создать горячий шард БД.
Чтобы предотвратить это, инженеры разделили кластер Redis, используя схему, отличную от шардинга БД. Это гарантирует равномерное распределение нагрузки.
/via bytebytego.com и Uber
Wednesday, October 02, 2024
Оцени LLM
"Оценка больших языковых моделей (LLM) представляет собой уникальные проблемы. Хотя автоматическая параллельная оценка, также известная как LLM-как-судья, стала многообещающим решением, разработчики и исследователи моделей сталкиваются с трудностями масштабируемости и интерпретируемости при анализе результатов оценки. Для решения этих проблем мы представляем LLM Comparator, новый визуальный аналитический инструмент, разработанный для параллельнй оценки LLM. Этот инструмент предоставляет аналитические рабочие процессы, которые помогают пользователям понять, когда и почему один LLM превосходит или уступает другому, и как отличаются их ответы. Благодаря тесному сотрудничеству с практиками, разрабатывающими LLM в Google, мы итеративно проектировали, разрабатывали и совершенствовали инструмент. Качественные отзывы этих пользователей подчеркивают, что инструмент облегчает углубленный анализ отдельных примеров, одновременно позволяя пользователям визуально просматривать и гибко разрезать данные. Это позволяет пользователям выявлять нежелательные закономерности, формулировать гипотезы о поведении модели и получать информацию для ее улучшения. LLM Comparator интегрирован в платформы оценки LLM от Google и имеет открытый исходный код."
См. также другие публикации, посвященные LLM
Tuesday, October 01, 2024
Фишинговые фичи
см. также другие публикации по теме фишинг
Monday, September 30, 2024
Есть ли приватность у LLM?
См. также другие публикации, посвященные LLM
Sunday, September 29, 2024
Saturday, September 28, 2024
LLM Red Teaming
См. также другие публикации, посвященные LLM
Friday, September 27, 2024
LLM в дезинформации
Отсюда, кстати, следует необходимость улучшения процессов тестирования (AI Red Teaming) с точки зрения социальных (социо-технических) аспектов
См. также другие публикации, посвященные LLM
Monday, September 23, 2024
Open Source LLM инструменты
См. также другие публикации, посвященные LLM
Sunday, September 22, 2024
Куда они ездят?
"Основные выводы: Сравнивая традиционные подходы, основанные на гравитации, и подходы, ориентированные на оптимизацию, используемые для моделирования распределения поездок, мы определили пространственные условия, при которых эти две математические структуры могут давать расходящиеся оценки предоставления, которые могут привести к различным решениям в области городского планирования и политики. Чтобы поддержать выбор подходящего подхода к моделированию при отсутствии фактических данных о взаимодействии населения и объектов, мы выявили сильные стороны и ограничения каждой модели в различных городских контекстах. Исследуя сценарии, в которых данные об использовании объектов доступны для части города, мы протестировали контролируемые модели машинного обучения, которые интегрируют имеющиеся данные для захвата распространенных моделей поведения человека, тем самым улучшая прогнозирование распределения поездок и связанных с ними оценок предоставления. После тщательного изучения существующих контрольных показателей мы предложили новую модификацию модели распределения поездок с глубоким обучением, которая включает физические ограничения, связанные с фиксированными условиями спроса и предложения, достигая превосходной производительности на синтетических наборах данных по сравнению с установленными базовыми показателями."
Wednesday, September 18, 2024
Масштабирование уровня данных
Шаблон разделения ответственности запроса команды (CQRS - command query responsibility segregation) отделяет мутацию данных или командную часть системы от части запроса. Вы можете использовать шаблон CQRS для разделения обновлений и запросов, если у них разные требования к пропускной способности, задержке или согласованности.
Tuesday, September 17, 2024
Сети двойников
Monday, September 16, 2024
Редкие события
Sunday, September 15, 2024
О киберобмане
Friday, September 13, 2024
Еще о фишинге
"Наша модель использует извлеченные из веб-страниц признаки, используя 89 признаков для точной классификации фишинговых URL-адресов. На основе алгоритмов выбора признаков, таких как прямой выбор (forward selection) и регуляризация Lasso, мы выбрали 27 лучших признаков."
см. также другие публикации по теме фишинг
Thursday, September 12, 2024
Глубокие трояны
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Wednesday, September 11, 2024
Измерение галлюцинаций
Как это работает: исследователи протестировали 10 закрытых и 12 открытых моделей на основе их размеров и популярности. Они запустили каждую модель 20 раз, используя короткие, средние и длинные длины контекста (всего 60 тестов) с использованием GPT-4o, чтобы оценить, насколько близко выходной текст соответствует контексту.
Исследователи выбрали текст из четырех общедоступных и двух частных наборов данных для тестов с коротким контекстом (менее 5000 токенов каждый). Они выбрали более длинные документы от частных компаний для тестов со средним и длинным контекстом. Они разделили эти документы на отрывки по 5000, 10000, 15000, 20000 и 25000 токенов для тестов со средним контекстом и 40000, 60000, 80000 и 100000 токенов для тестов с длинным контекстом.
Для каждого теста они предоставили модели подсказку и связанный с ней документ. Подсказка просила модель извлечь определенную информацию из документа. Они предоставили подсказку и ответ инструменту обнаружения галлюцинаций ChainPoll от Galileo. ChainPoll запрашивает модель (в данном случае GPT-4o) несколько раз, используя цепочку мыслей, чтобы вернуть оценку 1 (ответ напрямую поддерживается документом контекста) или 0 (ответ не поддерживается документом контекста). Они подсчитали средние баллы каждой модели для каждой длины контекста и усреднили их, чтобы получить окончательный балл. Результаты: Claude 3.5 Sonnet от Anthropic заняла первое место в общем рейтинге, достигнув 0,97 в коротких длинах контекста и 1,0 в средних и длинных длинах контекста.
Среди моделей с открытыми весами Qwen2-72b Instruct набрала самые высокие баллы для коротких (0,95) и средних (1,0) длин контекста. Исследователи выделили Gemini 1.5 Flash за высокую производительность (0,94, 1,0 и 0,92 для коротких, средних и длинных длин контекста соответственно) при низких затратах. Большинство моделей показали наилучшие результаты в контекстах средней длины, которые в отчете называются «оптимальным вариантом для большинства LLM».
Galileo провела аналогичные тесты в прошлом году, когда сравнила производительность в условиях RAG и без RAG (без дифференциации по длине контекста). GPT-4 и GPT-3.5 заняли первые три места в обеих условиях, несмотря на высокие результаты Llama 2 и Zephyr 7B. Однако наивысшие баллы были ниже (от 0,70 до 0,77).
Почему это важно: Создатели моделей уменьшили количество галлюцинаций, но разница между редкими ложными сообщениями и их отсутствием может быть критической в некоторых приложениях.
Любопытно, что контексты RAG средней длины обычно вызывали меньше галлюцинаций, чем короткие или длинные. Может быть, нам следует давать моделям больше контекста, чем, как мы думаем, им нужно.
/via deeplearning.ai
См. также другие публикации по теме галлюцинации
Tuesday, September 10, 2024
Monday, September 09, 2024
AI Red Team
См. также публикацию в журнале INJOIT: Namiot, Dmitry, and Elena Zubareva. "About AI Red Team." International Journal of Open Information Technologies 11.10 (2023): 130-139.
Sunday, September 08, 2024
Агенты ее величества
2. Создание ИИ агентов на Python
См. также другие публикации, посвященные LLM
Наивный Байес
P.S. см. также другие публикации по теме Байес
Friday, September 06, 2024
ИИ в киберзащите
2. White paper от Лаборатории Касперского: Machine Learning for Malware Detection
Thursday, September 05, 2024
Открытая наука: INJOIT том 12, номер 9
Это том 12, номер 9 за 2024 год.
/via Лаборатория ОИТ
ИИ в кибербезопасности
Advanced AI for Cybersecurity
AI-based Cybersecurity for Next-Generation Technologies
Challenges and Opportunities in AI-driven Security
Emerging AI Threats and Countermeasures
Privacy Preservation in AI-driven Security
Privacy-preserving AI for Surveillance and Monitoring
Cognitive Security and Adaptive Defense Mechanisms
Advanced Deep Learning Techniques for Cyber Defense
Blockchain
Cloud Security
Cognitive Cyber Security
Cyber-attacks & defense
Cyber-Physical System (CPS) Security
Cybersecurity and Human Rights
Data Center Network Control, Security, and Optimization
Decentralized Security
Resilient Networks and Systems
Secure Protocol Design and Key Management
Secure Architecture Design
Secure Network Design
Security Policies Design
Security for the Internet of Things
Security in Fog/edge Computing
AI-driven Intrusion Detection and Prevention Systems
AI-driven Security Monitoring and Anomaly Detection
Cyber Threat Intelligence and Information Sharing
AI-based Cybersecurity for IoT and Fog/edge Computing
Adversarial Machine Learning and AI Security
AI for Cyber Resilience and Incident Response Strategies
AI for Biometric Security
AI for Secure Software Development and DevSecOps
AI-enabled Threat Hunting and Cyber Forensics
AI-enabled Ethical Hacking
AI for Blockchain Technology
AI-based Secure Cloud Computing and Data Protection
AI-based Cybersecurity in Smart Cities/Grids and Urban Environments
AI for Secure Authentication and Access Control Mechanisms
AI-powered Threat Modeling and Risk Assessment
AI-driven Security Automation and Orchestration
Secure AI Model Training and Adversarial Mitigation
AI-driven Security Operations Center (SOC)
Secure Federated Learning
Federated Learning cybersecurity solutions
LLM-based Anomaly Detection
LLM-based Malware Detection and Classification
Secure Deployment of LLM-based Security Solutions
AI for Hardware-Based Attacks
AI-based Vulnerability Assessment and Patch Prioritization
Zero-Day Attack Detection Using AI-based Techniques
Ethical and Regulatory Considerations in AI-based Security
Reinforcement Learning-based Cybersecurity Solutions
Wednesday, September 04, 2024
Разработка приложений на базе LLM
Этот ресурс предоставляет безопасные шаблоны проектирования и практики для команд, разрабатывающих приложения на базе LLM. Каждый раздел посвящен определенному типу приложения. Для каждого типа приложения мы описываем наиболее существенные риски и предлагаем стратегии их смягчения
См. также другие публикации, посвященные LLM
Tuesday, September 03, 2024
Искусственный интеллект в атаке
В настоящей статье рассматривается один из аспектов использования Искусственного интеллекта в кибербезопасности. Речь идет о кибератаках, которые могут совершаться с использованием систем Искусственного интеллекта (ИИ). Кибератаки с использованием ИИ можно определить как любую хакерскую операцию, которая опирается на использование механизмов ИИ. Другой используемый термин – наступательный ИИ. Кибератаки, основанные на ИИ, несомненно, меняют ландшафт кибербезопасности. В первую очередь, здесь необходимо говорить о скорости реализации атак и их масштабировании. Кибератаки, основанные на ИИ, включают использование передовых алгоритмов машинного обучения для выявления уязвимостей, прогнозирования закономерностей и использования слабых мест. Эффективность и быстрый анализ данных расширяют возможности хакеров по получению тактического преимущества, что приводит к быстрым вторжениям или уничтожению данных. Традиционных методов кибербезопасности больше недостаточно для борьбы со сложными атаками, поскольку кибератаки с использованием ИИ адаптируются и развиваются в режиме реального времени. Кроме того, внедрение систем ИИ в киберзащите порождает новые риски. Системы ИИ сами становятся объектами состязательных атак. В статье рассмотрены общие вопросы организации кибератак с использованием ИИ, приведены таксномия и примеры таких атак.
Monday, September 02, 2024
Атака или сдвиг концепций?
"Модели машинного обучения (МО) все чаще применяются для разработки систем обнаружения вторжений (IDS). Такие модели обычно обучаются на больших, разнообразных наборах данных. В результате они демонстрируют отличную производительность на ранее невиданных образцах, при условии, что они, как правило, находятся в пределах распределения обучающих данных. Однако, поскольку операционные среды и ландшафт угроз со временем меняются (например, установка новых приложений, обнаружение нового вредоносного ПО), базовые распределения смоделированного поведения также меняются, что приводит к ухудшению производительности IDS на основе МО с течением времени. Такой сдвиг в распределении называется дрейфом концепций. Модели периодически переобучаются с использованием новых собранных данных для учета дрейфа концепций.
Данные, отобранные для переобучения, также могут содержать состязательные образцы, т. е. образцы, которые злоумышленник изменил, чтобы обойти IDS на основе МО. Такие состязательные образцы, если их включить для переобучения, отравят модель и впоследствии ухудшат ее производительность. Концептуальный дрейф и состязательные образцы считаются образцами вне распределения, которые не могут быть легко дифференцированы обученной моделью. Таким образом, необходим интеллектуальный мониторинг входных данных модели, чтобы различать эти два класса образцов вне распределения. В статье мы рассматриваем наихудшую обстановку для защитника, в которой исходная система обнаружения вторжений на основе машинного обучения отравлена через механизм вне диапазона. Мы предлагаем подход, который возмущает входной образец при различных величинах шума и наблюдает за изменением выходных данных отравленной модели, чтобы определить, является ли входной образец состязательным. Мы оцениваем этот подход в двух условиях: сетевая IDS и система обнаружения вредоносных программ Android. Затем мы сравниваем его с существующими методами, которые обнаруживают либо концептуальный дрейф, либо состязательные образцы. Предварительные результаты показывают, что предлагаемый подход обеспечивает сильные сигналы для дифференциации между состязательными и концептуальными дрейфовыми образцами. Кроме того, мы показываем, что методы, которые обнаруживают только дрейф концепций или только состязательные образцы, недостаточны для обнаружения другого класса образцов, находящихся вне распределения."
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Sunday, September 01, 2024
Анти-фишинг LLM
"В этой работе мы предпринимаем шаги для изучения эффективности больших языковых моделей (LLM), в частности, мультимодальных LLM, при обнаружении фишинговых веб-страниц. Учитывая, что LLM предварительно обучены на большом массиве данных, мы стремимся использовать их понимание различных аспектов веб-страницы (логотип, тема, иконка и т. д.) для идентификации бренда данной веб-страницы и сравнения идентифицированного бренда с доменным именем в URL-адресе для обнаружения фишинговой атаки. Мы предлагаем двухфазную систему, использующую LLM на обоих этапах: первый этап фокусируется на идентификации бренда, а второй проверяет домен. Мы проводим комплексные оценки на недавно собранном наборе данных. Наши эксперименты показывают, что система на основе LLM достигает высокого уровня обнаружения при высокой точности; что важно, она также предоставляет интерпретируемые доказательства для решений. Наша система также работает значительно лучше, чем современная система обнаружения фишинга на основе бренда, демонстрируя при этом устойчивость к двум известным состязательным атакам."
Saturday, August 31, 2024
Атаки вывода: таксономия, обзор и перспективные направления
"Процветание машинного обучения также вызвало у людей беспокойство по поводу конфиденциальности данных. Среди них атаки вывода могут реализовывать нарушения конфиденциальности в различных сценариях MLaaS и фазах обучения/прогнозирования модели. В частности, атаки вывода могут выполнять вывод конфиденциальности на нераскрытых целевых обучающих наборах на основе выходных данных целевой модели, включая, помимо прочего, статистику, членство, семантику, представление данных и т. д. Кроме того, быстрое развитие сообщества машинного обучения в последние годы, особенно всплеск типов моделей и сценариев применения, еще больше стимулировало исследования атак вывода. Таким образом, изучение атак вывода и их глубокий анализ являются неотложными и значительными. Однако все еще существует пробел в систематическом обсуждении атак вывода с точки зрения таксономии, глобальной перспективы, атак и защиты. Также мы анализируем плюсы и минусы каждого типа атаки вывода, их рабочий процесс, контрмеры и то, как они взаимодействуют с другими атаками. В конце мы указываем несколько перспективных направлений для исследователей с более всеобъемлющей и новой точки зрения"
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Атаки на табличные данные
Состязательные атаки представляют потенциальную угрозу для моделей машинного обучения, вызывая неверные прогнозы посредством незаметных возмущений входных данных. Хотя эти атаки были тщательно изучены в неструктурированных данных, таких как изображения, применение их к структурированным данным, таким как табличные данные, представляет новые проблемы. Эти проблемы возникают из-за присущей неоднородности и сложных взаимозависимостей признаков в табличных данных, которые отличаются от характеристик данных изображений. Чтобы учесть это различие, необходимо установить индивидуальные критерии незаметности, специфичные для табличных данных. Однако в настоящее время отсутствует стандартизированная метрика для оценки незаметности состязательных атак на табличные данные. Чтобы устранить этот пробел, мы предлагаем набор ключевых свойств и соответствующих метрик, предназначенных для всесторонней характеристики незаметных состязательных атак на табличные данные. К ним относятся: близость к исходным входным данным, разреженность измененных признаков, отклонение от исходного распределения данных, чувствительность к возмущенным признакам с узким распределением, неизменность определенных признаков, которые должны оставаться неизменными, осуществимость определенных значений признаков, которые не должны выходить за пределы допустимых практических диапазонов, и взаимозависимости признаков, фиксирующие сложные отношения между атрибутами данных. Мы оцениваем незаметность пяти состязательных атак, включая как ограниченные, так и неограниченные атаки, на табличных данных, используя предлагаемые метрики незаметности. Результаты показывают компромисс между незаметностью и эффективностью этих атак. Исследование также выявляет ограничения в текущих алгоритмах атак, предлагая идеи, которые могут направлять будущие исследования в этой области. Результаты, полученные в результате этого эмпирического анализа, дают ценное направление для улучшения разработки алгоритмов состязательных атак, тем самым продвигая состязательное машинное обучение на табличных данных."
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Friday, August 30, 2024
Фейк или нет?
"Недавние достижения в области синтеза изображений, особенно с появлением моделей GAN и Diffusion, усилили общественную обеспокоенность относительно распространения дезинформации. Для решения таких проблем были предложены многочисленные детекторы изображений, сгенерированных ИИ (AIGI), которые достигли многообещающих результатов в идентификации поддельных изображений. Однако до сих пор отсутствует систематическое понимание устойчивости детекторов AIGI к состязательным атакам. В этой статье мы рассматриваем уязвимость современных детекторов AIGI к соперничающим атакам в условиях белого и черного ящика, которая до сих пор редко исследовалась. Для задачи обнаружения AIGI мы предлагаем новую атаку, содержащую две основные части. Во-первых, вдохновленные очевидной разницей между реальными изображениями и поддельными изображениями в частотной области, мы добавляем возмущения в частотной области, чтобы отодвинуть изображение от его исходного распределения частот. Во-вторых, мы исследуем полное апостериорное распределение суррогатной модели, чтобы еще больше сократить этот разрыв между разнородными моделями, например, перенося состязательные примеры через CNN и ViT. Это достигается путем введения новой пост-обученной байесовской стратегии, которая превращает один суррогат в байесовскую, способную моделировать различные модели жертв с использованием одного предварительно обученного суррогата, без необходимости повторного обучения. Мы называем наш метод частотной пост-обученной байесовской атакой, или FPBA. С помощью FPBA мы показываем, что состязательная атака действительно представляет реальную угрозу для детекторов AIGI, поскольку FPBA может проводить успешные атаки черного ящика по моделям, генераторам, методам защиты и даже обходить обнаружение перекрестного генератора, что является критически важным сценарием обнаружения в реальном мире. Код будет предоставлен после принятия"
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Thursday, August 29, 2024
Фишинговый генератор
"Фишинговые атаки пытаются обмануть пользователей, что представляет собой значительную угрозу кибербезопасности. Достижения в области машинного обучения (ML) и глубокого обучения (DL) привели к разработке многочисленных решений по обнаружению фишинговых веб-страниц, но эти модели остаются уязвимыми для состязательных атак. Оценка их устойчивости к состязательным фишинговым веб-страницам имеет важное значение. Существующие инструменты содержат наборы данных предварительно разработанных фишинговых веб-страниц для ограниченного числа брендов и не имеют разнообразия в фишинговых функциях.
Для решения этих проблем мы разрабатываем PhishOracle, инструмент, который генерирует состязательные фишинговые веб-страницы путем внедрения различных фишинговых функций в легитимные веб-страницы. Мы оцениваем надежность двух существующих моделей, Stack model и Phishpedia, при классификации созданных PhishOracle состязательных фишинговых веб-страниц. Кроме того, мы изучаем коммерческую большую языковую модель Gemini Pro Vision в контексте состязательных атак. Мы проводим исследование пользователей, чтобы определить, обманывают ли пользователей вредоносные фишинговые веб-страницы, созданные PhishOracle. Наши результаты показывают, что многие фишинговые веб-страницы, созданные PhishOracle, обходят текущие модели обнаружения фишинговых веб-страниц и обманывают пользователей, но Gemini Pro Vision устойчив к атакам. Мы также разрабатываем веб-приложение PhishOracle, позволяющее пользователям вводить законный URL, выбирать соответствующие фишинговые функции и создавать соответствующую фишинговую веб-страницу. Все ресурсы общедоступны на GitHub"
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Tuesday, August 27, 2024
Биометрические риски
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Monday, August 26, 2024
Бэкдор и физические атаки
"мы провели обширное эмпирическое исследование, нацеленное на несколько архитектур детекторов и две сложные задачи обнаружения в реальных условиях: дорожные знаки и транспортные средства. Используя разнообразные, методично собранные видео, снятые с вождения автомобилей и летающих дронов, включая развертывание триггеров физических объектов в аутентичных сценах, мы исследовали жизнеспособность атак бэкдоров, запускаемых физическими объектами, в настройках приложений. Наши результаты выявили 8 ключевых идей. Важно отметить, что распространенный метод отравления «цифровых» данных для внедрения бэкдоров в модели не приводит к эффективным атакам на детекторы в реальном мире, хотя и доказал свою эффективность в задачах классификации. Мы создаем новый, экономически эффективный метод атаки, названный Morphing, включающий уникальную природу задач обнаружения; наш метод удивительно успешен во внедрении бэкдоров, запускаемых физическими объектами, даже способен отравлять триггеры с чистыми аннотациями или невидимыми триггерами, не уменьшая успешность бэкдоров, запускаемых физическими объектами. Мы обнаружили, что подобранные средства защиты плохо оснащены для защиты детекторов от таких атак. Чтобы подчеркнуть серьезность угрозы и способствовать дальнейшему исследованию, мы впервые публикуем обширный набор видеотестов реальных атак через бэкдор. Наше исследование не только подтверждает достоверность и серьезность этой угрозы, но и служит громким призывом к исследовательскому сообществу развивать защиту через бэкдор в контексте обнаружения объектов."
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Sunday, August 25, 2024
Физические атаки в автовождении
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Saturday, August 24, 2024
Атака замены слов
См. также другие публикации, посвященные LLM
Friday, August 23, 2024
Обманчивая диффузия
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Thursday, August 22, 2024
Правила зависимости
см. также другие публикации, посвященные каузальности
Wednesday, August 21, 2024
Фишинговая почта
см. также другие публикации по теме фишинг
Поиск патчей
Вот репозиторий.
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Tuesday, August 20, 2024
Атаки на мультимодальную биометрию
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению
Monday, August 19, 2024
Инверсия для LLM
См. также другие публикации, посвященные LLM
Отравление кластеров
См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению