Есть ли приватность у LLM?

С быстрым развитием искусственного интеллекта большие языковые модели (LLM) достигли значительных прогрессов в обработке естественного языка. Эти модели обучаются на обширных наборах данных, чтобы демонстрировать мощные возможности понимания и генерации языка в различных приложениях, включая машинный перевод, чатботов и агентов. Однако LLM выявили множество проблем конфиденциальности и безопасности на протяжении всего своего жизненного цикла, привлекая значительное академическое и промышленное внимание. Более того, риски, с которыми сталкиваются LLM, значительно отличаются от тех, с которыми сталкиваются традиционные языковые модели. Учитывая, что в текущих исследованиях отсутствует четкая таксономия уникальных моделей угроз в различных сценариях, мы подчеркиваем уникальные угрозы конфиденциальности и безопасности, связанные с пятью конкретными сценариями: предварительное обучение, тонкая настройка, системы генерации дополненного поиска, развертывание и агенты на основе LLM. Рассматривая характеристики каждого риска, этот опрос описывает потенциальные угрозы и контрмеры. Исследования ситуаций нападения и защиты могут предложить возможные направления исследований, позволяющие большему количеству областей извлечь выгоду из LLM. - отсюда

См. также другие публикации, посвященные LLM

Архитектурные шаблоны для ПО

LLM Red Teaming

Создание безопасных и устойчивых приложений с большими языковыми моделями (LLM) требует предвидения, адаптации и противодействия непредвиденным угрозам. Red-teaming стал критически важным методом выявления уязвимостей в реальных реализациях LLM. В этой статье представлена подробная модель угроз и дана систематизация знаний (SoK) атак redteaming на LLM. Мы разрабатываем таксономию атак на основе этапов процесса разработки и развертывания LLM и извлекаем различные идеи из предыдущих исследований. Кроме того, мы компилируем методы защиты и практические стратегии red-teaming для практиков. Выделяя основные мотивы атак и проливая свет на различные точки входа, эта статья предоставляет основу для улучшения безопасности и надежности систем на основе LLM. - отсюда

См. также другие публикации, посвященные LLM

LLM в дезинформации

Исследование, проведенное в сотрудничестве с Jigsaw и Google.org, проанализировало около 200 сообщений в СМИ с начала 2023 по начало 2024 года, выявив распространенные тактики злоупотребления. Результаты включают увеличение случаев подражания и мошенничества с использованием ИИ, при этом некоторые тактики злоупотребления напоминают традиционные методы манипуляции, но с новой силой. Исследование подчеркивает необходимость улучшения мер безопасности, повышения осведомленности общественности и обновления политики для устранения этих новых угроз и поощрения этичного использования ИИ. Отсюда

Отсюда, кстати, следует необходимость улучшения процессов тестирования (AI Red Teaming) с точки зрения социальных (социо-технических) аспектов

См. также другие публикации, посвященные LLM

Open Source LLM инструменты

1000+ Open Source tools for LLM.

См. также другие публикации, посвященные LLM

Куда они ездят?

Статистический анализ поездок в городе

"Основные выводы: Сравнивая традиционные подходы, основанные на гравитации, и подходы, ориентированные на оптимизацию, используемые для моделирования распределения поездок, мы определили пространственные условия, при которых эти две математические структуры могут давать расходящиеся оценки предоставления, которые могут привести к различным решениям в области городского планирования и политики. Чтобы поддержать выбор подходящего подхода к моделированию при отсутствии фактических данных о взаимодействии населения и объектов, мы выявили сильные стороны и ограничения каждой модели в различных городских контекстах. Исследуя сценарии, в которых данные об использовании объектов доступны для части города, мы протестировали контролируемые модели машинного обучения, которые интегрируют имеющиеся данные для захвата распространенных моделей поведения человека, тем самым улучшая прогнозирование распределения поездок и связанных с ними оценок предоставления. После тщательного изучения существующих контрольных показателей мы предложили новую модификацию модели распределения поездок с глубоким обучением, которая включает физические ограничения, связанные с фиксированными условиями спроса и предложения, достигая превосходной производительности на синтетических наборах данных по сравнению с установленными базовыми показателями."

Масштабирование уровня данных

Шаблон разделения ответственности запроса команды (CQRS - command query responsibility segregation) отделяет мутацию данных или командную часть системы от части запроса. Вы можете использовать шаблон CQRS для разделения обновлений и запросов, если у них разные требования к пропускной способности, задержке или согласованности.

Сети двойников

"В последние годы произошли огромные изменения в области искусственного интеллекта (ИИ) и распространения широкополосных и повсеместных технологий связи. Это привело к разработке и коммерциализации технологии цифровых двойников (DT). Широкое внедрение DT привело к появлению новой сетевой парадигмы, называемой сетями цифровых двойников (DTN), которые организуют через сети повсеместных DT и их соответствующие физические активы. DTN создают виртуальных двойников физических объектов с помощью технологии DT и реализуют совместную эволюцию между физическими и виртуальными пространствами посредством обработки данных, вычислений и моделирования DT. Большой объем пользовательских данных и повсеместные системы связи в DTN имеют свой собственный набор проблем. Самая серьезная проблема здесь связана с конфиденциальностью и безопасностью пользовательских данных, поскольку пользователи большинства приложений не знают о данных, которыми они делятся с этими платформами, и наивны в понимании последствий утечек данных. Кроме того, в настоящее время недостаточно литературы, которая фокусируется на вопросах конфиденциальности и безопасности в приложениях DTN. В этом обзоре мы сначала даем четкое представление о компонентах DTN и общих показателях, используемых в литературе для оценки их производительности. Затем мы предлагаем стандартную сетевую модель, которая применяется к большинству приложений DTN, чтобы обеспечить лучшее понимание сложных и чередующихся коммуникаций DTN и соответствующих компонентов. Затем мы проливаем свет на общие приложения, где DTN были в значительной степени адаптированы, и проблемы конфиденциальности и безопасности, возникающие из DTN. Мы также предоставляем различные контрмеры конфиденциальности и безопасности для решения ранее упомянутых проблем в DTN и перечисляем некоторые современные инструменты для смягчения проблем. Наконец, мы предоставляем некоторые открытые вопросы исследований и проблемы в области конфиденциальности и безопасности DTN." - отсюда

Редкие события

"Обнаружение редких событий (RED) включает в себя идентификацию и обнаружение событий, характеризующихся низкой частотой возникновения, но имеющих большое значение или влияние. В этой статье представлен систематический обзор (SR) обнаружения редких событий в различных модальностях с использованием методов машинного обучения (ML) и глубокого обучения (DL). В этом обзоре подробно излагаются методы и приемы, наиболее подходящие для обнаружения редких событий в различных модальностях, а также освещаются перспективы будущих исследований. Насколько нам известно, эта статья является новаторской SR, посвященной изучению этой конкретной области исследований. В этой SR определяются используемые методы и приемы, используемые наборы данных и эффективность этих методов при обнаружении редких событий. В этой SR рассматриваются четыре модальности, касающиеся RED: видео, звук, изображение и временные ряды. Соответствующие характеристики различных методов ML и DL для RED обсуждаются всесторонне, а также выделяются связанные с RED проблемы и ограничения, а также направления будущих исследований. Целью данного отчета является предоставление всестороннего обзора существующих методов в RED, который послужит ценным ресурсом для исследователей и практиков, работающих в соответствующей области." - отсюда

больше статей по теме

О киберобмане

Растущий интерес к кибербезопасности значительно увеличил количество статей, разрабатывающих и реализующих различные механизмы киберобмана (Cyber Deception - CYDEC). Эта тенденция отражает срочную потребность в новых стратегиях для эффективного противодействия киберугрозам. С момента своего появления CYDEC зарекомендовал себя как инновационная защита от злоумышленников благодаря своим проактивным и реактивным возможностям, находящим применение в многочисленных реальных сценариях. Несмотря на значительную работу, посвященную CYDEC, литература по-прежнему представляет собой значительные пробелы. В частности, не было (i) всестороннего анализа основных компонентов, характеризующих CYDEC, (ii) общей классификации, охватывающей все типы решений, ни (iii) обзора текущего состояния литературы в различных контекстах. Целью данной статьи является заполнение этих пробелов путем подробного обзора основных функций, составляющих CYDEC, и разработки всеобъемлющей таксономии классификации. Кроме кроме того, рассматриваются различные фреймворки, используемые для создания CYDEC, представляя более всеобъемлющую. Изучаются и сравниваются существующие решения в литературе, использующие CYDEC, как без искусственного интеллекта (ИИ), так и с ИИ. Наконец, обсуждаются наиболее существенные тенденции текущего состояния дел, предлагая список нерешенных задач для будущих исследований - отсюда

Еще о фишинге

Интересная работа по определению признаков фишинговых URL

"Наша модель использует извлеченные из веб-страниц признаки, используя 89 признаков для точной классификации фишинговых URL-адресов. На основе алгоритмов выбора признаков, таких как прямой выбор (forward selection) и регуляризация Lasso, мы выбрали 27 лучших признаков."

см. также другие публикации по теме фишинг

Глубокие трояны

Хороший обзор: A Survey of Trojan Attacks and Defenses to Deep Neural Networks

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Измерение галлюцинаций

Galileo, предлагающая платформу для оценки моделей ИИ, протестировала 22 модели, чтобы увидеть, галлюцинируют ли они после извлечения информации из документов разной длины. Claude 3.5 Sonnet стал абсолютным победителем, и большинство моделей показали лучшие результаты при извлечении информации из документов средней длины.

Как это работает: исследователи протестировали 10 закрытых и 12 открытых моделей на основе их размеров и популярности. Они запустили каждую модель 20 раз, используя короткие, средние и длинные длины контекста (всего 60 тестов) с использованием GPT-4o, чтобы оценить, насколько близко выходной текст соответствует контексту.

Исследователи выбрали текст из четырех общедоступных и двух частных наборов данных для тестов с коротким контекстом (менее 5000 токенов каждый). Они выбрали более длинные документы от частных компаний для тестов со средним и длинным контекстом. Они разделили эти документы на отрывки по 5000, 10000, 15000, 20000 и 25000 токенов для тестов со средним контекстом и 40000, 60000, 80000 и 100000 токенов для тестов с длинным контекстом.

Для каждого теста они предоставили модели подсказку и связанный с ней документ. Подсказка просила модель извлечь определенную информацию из документа. Они предоставили подсказку и ответ инструменту обнаружения галлюцинаций ChainPoll от Galileo. ChainPoll запрашивает модель (в данном случае GPT-4o) несколько раз, используя цепочку мыслей, чтобы вернуть оценку 1 (ответ напрямую поддерживается документом контекста) или 0 (ответ не поддерживается документом контекста). Они подсчитали средние баллы каждой модели для каждой длины контекста и усреднили их, чтобы получить окончательный балл. Результаты: Claude 3.5 Sonnet от Anthropic заняла первое место в общем рейтинге, достигнув 0,97 в коротких длинах контекста и 1,0 в средних и длинных длинах контекста.

Среди моделей с открытыми весами Qwen2-72b Instruct набрала самые высокие баллы для коротких (0,95) и средних (1,0) длин контекста. Исследователи выделили Gemini 1.5 Flash за высокую производительность (0,94, 1,0 и 0,92 для коротких, средних и длинных длин контекста соответственно) при низких затратах. Большинство моделей показали наилучшие результаты в контекстах средней длины, которые в отчете называются «оптимальным вариантом для большинства LLM».

Galileo провела аналогичные тесты в прошлом году, когда сравнила производительность в условиях RAG и без RAG (без дифференциации по длине контекста). GPT-4 и GPT-3.5 заняли первые три места в обеих условиях, несмотря на высокие результаты Llama 2 и Zephyr 7B. Однако наивысшие баллы были ниже (от 0,70 до 0,77).

Почему это важно: Создатели моделей уменьшили количество галлюцинаций, но разница между редкими ложными сообщениями и их отсутствием может быть критической в некоторых приложениях.

Любопытно, что контексты RAG средней длины обычно вызывали меньше галлюцинаций, чем короткие или длинные. Может быть, нам следует давать моделям больше контекста, чем, как мы думаем, им нужно.

/via deeplearning.ai

См. также другие публикации по теме галлюцинации

Олимпиада по ИИ

О международной олимпиаде по ИИ

Базы данных в CMU

Открытый курс по базам данных от Carnegie Mellon

AI Red Team

Пример AI Red Team фреймворка: Walter, Mathew J., Aaron Barrett, and Kimberly Tam. "A Red Teaming Framework for Securing AI in Maritime Autonomous Systems." Applied Artificial Intelligence 38.1 (2024): 2395750.

См. также публикацию в журнале INJOIT: Namiot, Dmitry, and Elena Zubareva. "About AI Red Team." International Journal of Open Information Technologies 11.10 (2023): 130-139.

Агенты ее величества

1. Архитектура и инструментарий для LLM-агентов

2. Создание ИИ агентов на Python

См. также другие публикации, посвященные LLM

Наивный Байес

Да или нет - хорошее изложение с примерами кода: Bernoulli Naive Bayes, Explained: A Visual Guide with Code Examples for Beginners

P.S. см. также другие публикации по теме Байес

ИИ в киберзащите

1. Учебный курс из Texas A&M University - Machine Learning-Based CyberDefenses

2. White paper от Лаборатории Касперского: Machine Learning for Malware Detection

Открытая наука: INJOIT том 12, номер 9

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 12, номер 9 за 2024 год.

/via Лаборатория ОИТ

ИИ в кибербезопасности

Конференция CSNet 2024 в этом году объявила своей темой Artificial Intelligence (AI) for Cybersecurity. Вот заявленные темы в CFP. По сути - это области применения ИИ в кибербезопасности

Advanced AI for Cybersecurity
AI-based Cybersecurity for Next-Generation Technologies
Challenges and Opportunities in AI-driven Security
Emerging AI Threats and Countermeasures
Privacy Preservation in AI-driven Security
Privacy-preserving AI for Surveillance and Monitoring
Cognitive Security and Adaptive Defense Mechanisms
Advanced Deep Learning Techniques for Cyber Defense
Blockchain
Cloud Security
Cognitive Cyber Security
Cyber-attacks & defense
Cyber-Physical System (CPS) Security
Cybersecurity and Human Rights
Data Center Network Control, Security, and Optimization
Decentralized Security
Resilient Networks and Systems
Secure Protocol Design and Key Management
Secure Architecture Design
Secure Network Design
Security Policies Design
Security for the Internet of Things
Security in Fog/edge Computing
AI-driven Intrusion Detection and Prevention Systems
AI-driven Security Monitoring and Anomaly Detection
Cyber Threat Intelligence and Information Sharing
AI-based Cybersecurity for IoT and Fog/edge Computing
Adversarial Machine Learning and AI Security
AI for Cyber Resilience and Incident Response Strategies
AI for Biometric Security
AI for Secure Software Development and DevSecOps
AI-enabled Threat Hunting and Cyber Forensics
AI-enabled Ethical Hacking
AI for Blockchain Technology
AI-based Secure Cloud Computing and Data Protection
AI-based Cybersecurity in Smart Cities/Grids and Urban Environments
AI for Secure Authentication and Access Control Mechanisms
AI-powered Threat Modeling and Risk Assessment
AI-driven Security Automation and Orchestration
Secure AI Model Training and Adversarial Mitigation
AI-driven Security Operations Center (SOC)
Secure Federated Learning
Federated Learning cybersecurity solutions
LLM-based Anomaly Detection
LLM-based Malware Detection and Classification
Secure Deployment of LLM-based Security Solutions
AI for Hardware-Based Attacks
AI-based Vulnerability Assessment and Patch Prioritization
Zero-Day Attack Detection Using AI-based Techniques
Ethical and Regulatory Considerations in AI-based Security
Reinforcement Learning-based Cybersecurity Solutions

Разработка приложений на базе LLM

Безопасные шаблоны и методы проектирования для команд, разрабатывающих приложения на базе LLM

Этот ресурс предоставляет безопасные шаблоны проектирования и практики для команд, разрабатывающих приложения на базе LLM. Каждый раздел посвящен определенному типу приложения. Для каждого типа приложения мы описываем наиболее существенные риски и предлагаем стратегии их смягчения

См. также другие публикации, посвященные LLM

Искусственный интеллект в атаке

О кибератаках с помощью систем Искусственного интеллекта

В настоящей статье рассматривается один из аспектов использования Искусственного интеллекта в кибербезопасности. Речь идет о кибератаках, которые могут совершаться с использованием систем Искусственного интеллекта (ИИ). Кибератаки с использованием ИИ можно определить как любую хакерскую операцию, которая опирается на использование механизмов ИИ. Другой используемый термин – наступательный ИИ. Кибератаки, основанные на ИИ, несомненно, меняют ландшафт кибербезопасности. В первую очередь, здесь необходимо говорить о скорости реализации атак и их масштабировании. Кибератаки, основанные на ИИ, включают использование передовых алгоритмов машинного обучения для выявления уязвимостей, прогнозирования закономерностей и использования слабых мест. Эффективность и быстрый анализ данных расширяют возможности хакеров по получению тактического преимущества, что приводит к быстрым вторжениям или уничтожению данных. Традиционных методов кибербезопасности больше недостаточно для борьбы со сложными атаками, поскольку кибератаки с использованием ИИ адаптируются и развиваются в режиме реального времени. Кроме того, внедрение систем ИИ в киберзащите порождает новые риски. Системы ИИ сами становятся объектами состязательных атак. В статье рассмотрены общие вопросы организации кибератак с использованием ИИ, приведены таксномия и примеры таких атак.

Отсюда

SQL вопросы

Вопросы для интервью по SQL

Атака или сдвиг концепций?

Как отличить состязательные атаки от сдвига концепций

"Модели машинного обучения (МО) все чаще применяются для разработки систем обнаружения вторжений (IDS). Такие модели обычно обучаются на больших, разнообразных наборах данных. В результате они демонстрируют отличную производительность на ранее невиданных образцах, при условии, что они, как правило, находятся в пределах распределения обучающих данных. Однако, поскольку операционные среды и ландшафт угроз со временем меняются (например, установка новых приложений, обнаружение нового вредоносного ПО), базовые распределения смоделированного поведения также меняются, что приводит к ухудшению производительности IDS на основе МО с течением времени. Такой сдвиг в распределении называется дрейфом концепций. Модели периодически переобучаются с использованием новых собранных данных для учета дрейфа концепций.

Данные, отобранные для переобучения, также могут содержать состязательные образцы, т. е. образцы, которые злоумышленник изменил, чтобы обойти IDS на основе МО. Такие состязательные образцы, если их включить для переобучения, отравят модель и впоследствии ухудшат ее производительность. Концептуальный дрейф и состязательные образцы считаются образцами вне распределения, которые не могут быть легко дифференцированы обученной моделью. Таким образом, необходим интеллектуальный мониторинг входных данных модели, чтобы различать эти два класса образцов вне распределения. В статье мы рассматриваем наихудшую обстановку для защитника, в которой исходная система обнаружения вторжений на основе машинного обучения отравлена ​​через механизм вне диапазона. Мы предлагаем подход, который возмущает входной образец при различных величинах шума и наблюдает за изменением выходных данных отравленной модели, чтобы определить, является ли входной образец состязательным. Мы оцениваем этот подход в двух условиях: сетевая IDS и система обнаружения вредоносных программ Android. Затем мы сравниваем его с существующими методами, которые обнаруживают либо концептуальный дрейф, либо состязательные образцы. Предварительные результаты показывают, что предлагаемый подход обеспечивает сильные сигналы для дифференциации между состязательными и концептуальными дрейфовыми образцами. Кроме того, мы показываем, что методы, которые обнаруживают только дрейф концепций или только состязательные образцы, недостаточны для обнаружения другого класса образцов, находящихся вне распределения."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Анти-фишинг LLM

Использование LLM для определения фишинговых страниц

"В этой работе мы предпринимаем шаги для изучения эффективности больших языковых моделей (LLM), в частности, мультимодальных LLM, при обнаружении фишинговых веб-страниц. Учитывая, что LLM предварительно обучены на большом массиве данных, мы стремимся использовать их понимание различных аспектов веб-страницы (логотип, тема, иконка и т. д.) для идентификации бренда данной веб-страницы и сравнения идентифицированного бренда с доменным именем в URL-адресе для обнаружения фишинговой атаки. Мы предлагаем двухфазную систему, использующую LLM на обоих этапах: первый этап фокусируется на идентификации бренда, а второй проверяет домен. Мы проводим комплексные оценки на недавно собранном наборе данных. Наши эксперименты показывают, что система на основе LLM достигает высокого уровня обнаружения при высокой точности; что важно, она также предоставляет интерпретируемые доказательства для решений. Наша система также работает значительно лучше, чем современная система обнаружения фишинга на основе бренда, демонстрируя при этом устойчивость к двум известным состязательным атакам."