Тихий обман RAG

В данной статье рассматриваются атаки и методы защиты векторных баз данных в системах генерации с расширенным поиском (RAG). Предыдущие работы по атакам, направленным на отравление знаний, в основном заключались во внедрении ложного или токсичного контента, который легко обнаруживается при проверке фактов или лингвистическом анализе. Мы выявляем новую и тонкую угрозу: атаки с внедрением предвзятости, которые вставляют фактически корректные, но семантически предвзятые фрагменты в базу знаний, чтобы скрытно повлиять на идеологическую трактовку ответов, генерируемых большими языковыми моделями (LLM). Мы демонстрируем, что эти враждебные фрагменты, хотя и лингвистически связные и правдивые, могут систематически вытеснять противоположные точки зрения из полученного контекста и направлять ответы LLM в сторону желаемой точки зрения злоумышленника. Мы точно характеризуем этот класс атак, а затем разрабатываем метод защиты с фильтрацией после получения данных, BiasDef. Для их оценки мы создаем всеобъемлющий бенчмарк на основе общедоступных наборов данных вопросов и ответов. Наши результаты показывают, что: (1) предложенная атака вызывает значительные сдвиги в перспективе в ответах LLM, эффективно обходя существующие средства защиты на основе поиска санитарных мер; и (2) BiasDef превосходит существующие методы, сокращая количество найденных враждебных фрагментов на 15%, что снижает сдвиг в перспективе в ответах в 6,2 раза, при этом позволяя найти на 62% больше безобидных фрагментов. - Bias Injection Attacks on RAG Databases and Sanitization Defenses

См. также другие публикации по теме RAG

Атаки на code-review

Большим языковым моделям (LLM) всё чаще доверяют выполнение автоматизированного обзора кода и статического анализа в масштабах, поддерживая такие задачи, как обнаружение уязвимостей, суммирование и рефакторинг. В этой статье мы выявляем и используем критическую уязвимость в анализе кода на основе LLM: смещение абстракции, которое заставляет модели чрезмерно обобщать знакомые шаблоны программирования и упускать из виду небольшие, но значимые ошибки. Злоумышленники могут использовать эту слепую зону, чтобы перехватить поток управления интерпретацией LLM, внося минимальные правки и не влияя на фактическое поведение во время выполнения. Мы называем эту атаку атакой по знакомому шаблону (FPA). Мы разрабатываем полностью автоматизированный алгоритм «чёрного ящика», который обнаруживает и внедряет FPA в целевой код. Наша оценка показывает, что FPA не только эффективны, но и переносимы между моделями (GPT-4o, Claude 3.5, Gemini 2.0) и универсальны для языков программирования (Python, C, Rust, Go). Более того, FPA остаются эффективными даже когда модели явно предупреждены об атаке посредством надежных системных подсказок. Наконец, мы исследуем позитивное, защитное использование FPA и обсуждаем их более широкое влияние на надежность и безопасность кодо-ориентированных LLM. - Trust Me, I Know This Function: Hijacking LLM Static Analysis using Bias

Инетересно тем, что атака явно использует семантическую информацию, а не формально манипулирует градиентами.

О предвзятости

Большие языковые модели (LLM) стали фундаментом взаимодействия человека и компьютера, демонстрируя выдающиеся лингвистические возможности при решении различных задач. Однако растет обеспокоенность их связью с социальными предубеждениями, присутствующими среди обучающих данных. В статье, которую мы приводим, всесторонне обсуждается уязвимость современных LLM к любым воздействиям на социальные предубеждения, включая инъекцию префикса, подавление отказа и выученные подсказки. Мы оцениваем популярные модели, такие как LLaMA-2, GPT-3.5 и GPT-4, с учетом национальных, расовых и других предубеждений. Наши результаты показывают, что модели, как правило, более в чувствительности к атакам на географические предубеждения, чем расовые или отдаленные. Мы также согласовываем Новые аспекты, такие как усиление перекрестных и множественных предубеждений, обнаруживают различную степень переносимости между типами предубеждений. Кроме того, наши результаты показывают, что более крупные и предобученные модели базовые модели часто работают более высоко в чувствительности к атакам на предубеждения. Эти идеи защищают разработку более инклюзивных и этих ответственных программ, включающих в себя понимание и минимизацию уязвимостей, связанных с предвзятостью. Мы предлагаем рекомендации для разработчиков и пользователей моделей, которые повышают устойчивость программ к атакам с социальной предвзятостью. - Understanding Large Language Model Vulnerabilities to Social Bias Attacks

См. также другие публикации, посвященные LLM

Да или Нет?

Большие языковые модели (LLM) привлекли значительное внимание своей исключительной производительностью в различных областях. Несмотря на их достижения, сохраняются опасения относительно их неявной предвзятости, которая часто приводит к негативным социальным воздействиям. Поэтому важно выявить неявную предвзятость в LLM и исследовать потенциальную угрозу, которую она представляет. Наше исследование было сосредоточено на определенном типе неявной предвзятости, называемом неявной предвзятостью «Да-Нет», которая относится к присущей LLM тенденции отдавать предпочтение ответам «Да» или «Нет» на одну инструкцию. Сравнивая вероятность того, что LLM сгенерируют серию ответов «Да» и «Нет», мы наблюдали различные присущие тенденции реагирования, демонстрируемые LLM при столкновении с различными инструкциями. Для дальнейшего изучения влияния такой предвзятости мы разработали метод атаки, называемый Неявная предвзятость в контексте манипуляции, пытаясь манипулировать поведением LLM. В частности, мы исследовали, может ли неявное смещение «Да» манипулировать ответами «Нет» в «Да» в ответах LLM на вредоносные инструкции, приводя к вредоносным результатам. Наши результаты показали, что неявное смещение «Да» несет значительную угрозу безопасности, сопоставимую с тщательно разработанными методами атаки. Более того, мы предложили комплексный анализ с нескольких точек зрения, чтобы углубить понимание этой угрозы безопасности, подчеркивая необходимость постоянного улучшения безопасности LLM. - Investigating the Security Threat Arising from “Yes-No” Implicit Bias in Large Language Models

См. также другие публикации, посвященные LLM

О статистических выводах

Improving Your Statistical Inferences - хорошая книга в открытом доступе

Содержание:

1 Using p-values to test a hypothesis
2 Error control
3 Likelihoods
4 Bayesian statistics
5 Asking Statistical Questions
6 Effect Sizes
7 Confidence Intervals
8 Sample Size Justification
9 Equivalence Testing and Interval Hypotheses
10 Sequential Analysis
11 Meta-analysis
12 Bias detection
13 Preregistration and Transparency
14 Computational Reproducibility

Больше смещений, хороших и разных

Какой он бывает - bias

См. также другие публикации по теме bias

О, bias

Подборка инструментов для оценки смещения в результатах машинного обучения:

Pymetrics Audit AI

AI Fairness 360 toolkit

Google What-If Tool