Есть ли приватность у LLM?

С быстрым развитием искусственного интеллекта большие языковые модели (LLM) достигли значительных прогрессов в обработке естественного языка. Эти модели обучаются на обширных наборах данных, чтобы демонстрировать мощные возможности понимания и генерации языка в различных приложениях, включая машинный перевод, чатботов и агентов. Однако LLM выявили множество проблем конфиденциальности и безопасности на протяжении всего своего жизненного цикла, привлекая значительное академическое и промышленное внимание. Более того, риски, с которыми сталкиваются LLM, значительно отличаются от тех, с которыми сталкиваются традиционные языковые модели. Учитывая, что в текущих исследованиях отсутствует четкая таксономия уникальных моделей угроз в различных сценариях, мы подчеркиваем уникальные угрозы конфиденциальности и безопасности, связанные с пятью конкретными сценариями: предварительное обучение, тонкая настройка, системы генерации дополненного поиска, развертывание и агенты на основе LLM. Рассматривая характеристики каждого риска, этот опрос описывает потенциальные угрозы и контрмеры. Исследования ситуаций нападения и защиты могут предложить возможные направления исследований, позволяющие большему количеству областей извлечь выгоду из LLM. - отсюда

См. также другие публикации, посвященные LLM

Архитектурные шаблоны для ПО

LLM Red Teaming

Создание безопасных и устойчивых приложений с большими языковыми моделями (LLM) требует предвидения, адаптации и противодействия непредвиденным угрозам. Red-teaming стал критически важным методом выявления уязвимостей в реальных реализациях LLM. В этой статье представлена подробная модель угроз и дана систематизация знаний (SoK) атак redteaming на LLM. Мы разрабатываем таксономию атак на основе этапов процесса разработки и развертывания LLM и извлекаем различные идеи из предыдущих исследований. Кроме того, мы компилируем методы защиты и практические стратегии red-teaming для практиков. Выделяя основные мотивы атак и проливая свет на различные точки входа, эта статья предоставляет основу для улучшения безопасности и надежности систем на основе LLM. - отсюда

См. также другие публикации, посвященные LLM

LLM в дезинформации

Исследование, проведенное в сотрудничестве с Jigsaw и Google.org, проанализировало около 200 сообщений в СМИ с начала 2023 по начало 2024 года, выявив распространенные тактики злоупотребления. Результаты включают увеличение случаев подражания и мошенничества с использованием ИИ, при этом некоторые тактики злоупотребления напоминают традиционные методы манипуляции, но с новой силой. Исследование подчеркивает необходимость улучшения мер безопасности, повышения осведомленности общественности и обновления политики для устранения этих новых угроз и поощрения этичного использования ИИ. Отсюда

Отсюда, кстати, следует необходимость улучшения процессов тестирования (AI Red Teaming) с точки зрения социальных (социо-технических) аспектов

См. также другие публикации, посвященные LLM

Open Source LLM инструменты

1000+ Open Source tools for LLM.

См. также другие публикации, посвященные LLM

Куда они ездят?

Статистический анализ поездок в городе

"Основные выводы: Сравнивая традиционные подходы, основанные на гравитации, и подходы, ориентированные на оптимизацию, используемые для моделирования распределения поездок, мы определили пространственные условия, при которых эти две математические структуры могут давать расходящиеся оценки предоставления, которые могут привести к различным решениям в области городского планирования и политики. Чтобы поддержать выбор подходящего подхода к моделированию при отсутствии фактических данных о взаимодействии населения и объектов, мы выявили сильные стороны и ограничения каждой модели в различных городских контекстах. Исследуя сценарии, в которых данные об использовании объектов доступны для части города, мы протестировали контролируемые модели машинного обучения, которые интегрируют имеющиеся данные для захвата распространенных моделей поведения человека, тем самым улучшая прогнозирование распределения поездок и связанных с ними оценок предоставления. После тщательного изучения существующих контрольных показателей мы предложили новую модификацию модели распределения поездок с глубоким обучением, которая включает физические ограничения, связанные с фиксированными условиями спроса и предложения, достигая превосходной производительности на синтетических наборах данных по сравнению с установленными базовыми показателями."

Масштабирование уровня данных

Шаблон разделения ответственности запроса команды (CQRS - command query responsibility segregation) отделяет мутацию данных или командную часть системы от части запроса. Вы можете использовать шаблон CQRS для разделения обновлений и запросов, если у них разные требования к пропускной способности, задержке или согласованности.

Сети двойников

"В последние годы произошли огромные изменения в области искусственного интеллекта (ИИ) и распространения широкополосных и повсеместных технологий связи. Это привело к разработке и коммерциализации технологии цифровых двойников (DT). Широкое внедрение DT привело к появлению новой сетевой парадигмы, называемой сетями цифровых двойников (DTN), которые организуют через сети повсеместных DT и их соответствующие физические активы. DTN создают виртуальных двойников физических объектов с помощью технологии DT и реализуют совместную эволюцию между физическими и виртуальными пространствами посредством обработки данных, вычислений и моделирования DT. Большой объем пользовательских данных и повсеместные системы связи в DTN имеют свой собственный набор проблем. Самая серьезная проблема здесь связана с конфиденциальностью и безопасностью пользовательских данных, поскольку пользователи большинства приложений не знают о данных, которыми они делятся с этими платформами, и наивны в понимании последствий утечек данных. Кроме того, в настоящее время недостаточно литературы, которая фокусируется на вопросах конфиденциальности и безопасности в приложениях DTN. В этом обзоре мы сначала даем четкое представление о компонентах DTN и общих показателях, используемых в литературе для оценки их производительности. Затем мы предлагаем стандартную сетевую модель, которая применяется к большинству приложений DTN, чтобы обеспечить лучшее понимание сложных и чередующихся коммуникаций DTN и соответствующих компонентов. Затем мы проливаем свет на общие приложения, где DTN были в значительной степени адаптированы, и проблемы конфиденциальности и безопасности, возникающие из DTN. Мы также предоставляем различные контрмеры конфиденциальности и безопасности для решения ранее упомянутых проблем в DTN и перечисляем некоторые современные инструменты для смягчения проблем. Наконец, мы предоставляем некоторые открытые вопросы исследований и проблемы в области конфиденциальности и безопасности DTN." - отсюда

Редкие события

"Обнаружение редких событий (RED) включает в себя идентификацию и обнаружение событий, характеризующихся низкой частотой возникновения, но имеющих большое значение или влияние. В этой статье представлен систематический обзор (SR) обнаружения редких событий в различных модальностях с использованием методов машинного обучения (ML) и глубокого обучения (DL). В этом обзоре подробно излагаются методы и приемы, наиболее подходящие для обнаружения редких событий в различных модальностях, а также освещаются перспективы будущих исследований. Насколько нам известно, эта статья является новаторской SR, посвященной изучению этой конкретной области исследований. В этой SR определяются используемые методы и приемы, используемые наборы данных и эффективность этих методов при обнаружении редких событий. В этой SR рассматриваются четыре модальности, касающиеся RED: видео, звук, изображение и временные ряды. Соответствующие характеристики различных методов ML и DL для RED обсуждаются всесторонне, а также выделяются связанные с RED проблемы и ограничения, а также направления будущих исследований. Целью данного отчета является предоставление всестороннего обзора существующих методов в RED, который послужит ценным ресурсом для исследователей и практиков, работающих в соответствующей области." - отсюда

больше статей по теме

О киберобмане

Растущий интерес к кибербезопасности значительно увеличил количество статей, разрабатывающих и реализующих различные механизмы киберобмана (Cyber Deception - CYDEC). Эта тенденция отражает срочную потребность в новых стратегиях для эффективного противодействия киберугрозам. С момента своего появления CYDEC зарекомендовал себя как инновационная защита от злоумышленников благодаря своим проактивным и реактивным возможностям, находящим применение в многочисленных реальных сценариях. Несмотря на значительную работу, посвященную CYDEC, литература по-прежнему представляет собой значительные пробелы. В частности, не было (i) всестороннего анализа основных компонентов, характеризующих CYDEC, (ii) общей классификации, охватывающей все типы решений, ни (iii) обзора текущего состояния литературы в различных контекстах. Целью данной статьи является заполнение этих пробелов путем подробного обзора основных функций, составляющих CYDEC, и разработки всеобъемлющей таксономии классификации. Кроме кроме того, рассматриваются различные фреймворки, используемые для создания CYDEC, представляя более всеобъемлющую. Изучаются и сравниваются существующие решения в литературе, использующие CYDEC, как без искусственного интеллекта (ИИ), так и с ИИ. Наконец, обсуждаются наиболее существенные тенденции текущего состояния дел, предлагая список нерешенных задач для будущих исследований - отсюда

Еще о фишинге

Интересная работа по определению признаков фишинговых URL

"Наша модель использует извлеченные из веб-страниц признаки, используя 89 признаков для точной классификации фишинговых URL-адресов. На основе алгоритмов выбора признаков, таких как прямой выбор (forward selection) и регуляризация Lasso, мы выбрали 27 лучших признаков."

см. также другие публикации по теме фишинг

Глубокие трояны

Хороший обзор: A Survey of Trojan Attacks and Defenses to Deep Neural Networks

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Измерение галлюцинаций

Galileo, предлагающая платформу для оценки моделей ИИ, протестировала 22 модели, чтобы увидеть, галлюцинируют ли они после извлечения информации из документов разной длины. Claude 3.5 Sonnet стал абсолютным победителем, и большинство моделей показали лучшие результаты при извлечении информации из документов средней длины.

Как это работает: исследователи протестировали 10 закрытых и 12 открытых моделей на основе их размеров и популярности. Они запустили каждую модель 20 раз, используя короткие, средние и длинные длины контекста (всего 60 тестов) с использованием GPT-4o, чтобы оценить, насколько близко выходной текст соответствует контексту.

Исследователи выбрали текст из четырех общедоступных и двух частных наборов данных для тестов с коротким контекстом (менее 5000 токенов каждый). Они выбрали более длинные документы от частных компаний для тестов со средним и длинным контекстом. Они разделили эти документы на отрывки по 5000, 10000, 15000, 20000 и 25000 токенов для тестов со средним контекстом и 40000, 60000, 80000 и 100000 токенов для тестов с длинным контекстом.

Для каждого теста они предоставили модели подсказку и связанный с ней документ. Подсказка просила модель извлечь определенную информацию из документа. Они предоставили подсказку и ответ инструменту обнаружения галлюцинаций ChainPoll от Galileo. ChainPoll запрашивает модель (в данном случае GPT-4o) несколько раз, используя цепочку мыслей, чтобы вернуть оценку 1 (ответ напрямую поддерживается документом контекста) или 0 (ответ не поддерживается документом контекста). Они подсчитали средние баллы каждой модели для каждой длины контекста и усреднили их, чтобы получить окончательный балл. Результаты: Claude 3.5 Sonnet от Anthropic заняла первое место в общем рейтинге, достигнув 0,97 в коротких длинах контекста и 1,0 в средних и длинных длинах контекста.

Среди моделей с открытыми весами Qwen2-72b Instruct набрала самые высокие баллы для коротких (0,95) и средних (1,0) длин контекста. Исследователи выделили Gemini 1.5 Flash за высокую производительность (0,94, 1,0 и 0,92 для коротких, средних и длинных длин контекста соответственно) при низких затратах. Большинство моделей показали наилучшие результаты в контекстах средней длины, которые в отчете называются «оптимальным вариантом для большинства LLM».

Galileo провела аналогичные тесты в прошлом году, когда сравнила производительность в условиях RAG и без RAG (без дифференциации по длине контекста). GPT-4 и GPT-3.5 заняли первые три места в обеих условиях, несмотря на высокие результаты Llama 2 и Zephyr 7B. Однако наивысшие баллы были ниже (от 0,70 до 0,77).

Почему это важно: Создатели моделей уменьшили количество галлюцинаций, но разница между редкими ложными сообщениями и их отсутствием может быть критической в некоторых приложениях.

Любопытно, что контексты RAG средней длины обычно вызывали меньше галлюцинаций, чем короткие или длинные. Может быть, нам следует давать моделям больше контекста, чем, как мы думаем, им нужно.

/via deeplearning.ai

См. также другие публикации по теме галлюцинации

Олимпиада по ИИ

О международной олимпиаде по ИИ

Базы данных в CMU

Открытый курс по базам данных от Carnegie Mellon

AI Red Team

Пример AI Red Team фреймворка: Walter, Mathew J., Aaron Barrett, and Kimberly Tam. "A Red Teaming Framework for Securing AI in Maritime Autonomous Systems." Applied Artificial Intelligence 38.1 (2024): 2395750.

См. также публикацию в журнале INJOIT: Namiot, Dmitry, and Elena Zubareva. "About AI Red Team." International Journal of Open Information Technologies 11.10 (2023): 130-139.

Агенты ее величества

1. Архитектура и инструментарий для LLM-агентов

2. Создание ИИ агентов на Python

См. также другие публикации, посвященные LLM

Наивный Байес

Да или нет - хорошее изложение с примерами кода: Bernoulli Naive Bayes, Explained: A Visual Guide with Code Examples for Beginners

P.S. см. также другие публикации по теме Байес

ИИ в киберзащите

1. Учебный курс из Texas A&M University - Machine Learning-Based CyberDefenses

2. White paper от Лаборатории Касперского: Machine Learning for Malware Detection

Открытая наука: INJOIT том 12, номер 9

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 12, номер 9 за 2024 год.

/via Лаборатория ОИТ