Перефразирование в состязательных атаках

Большие языковые модели (LLM) широко используются в различных реальных условиях, но остаются уязвимыми для взлома, где атаки на основе подсказок обходят фильтры безопасности. Мы представляем THREAT (Targeted Harmful generation via Reframing and Exploitation of Adversarial Tactics) — основанную на рассуждениях структуру, которая координирует работу нескольких LLM в итеративном цикле поиска для обнаружения текстовых подсказок для взлома. Мы формулируем задачу обнаружения подсказок как невыпуклую задачу оптимизации и предлагаем эффективное решение, которое сокращает время выполнения и повышает эффективность атаки. На различных наборах данных и архитектурах моделей THREAT обеспечивает более высокие показатели успешности атак при меньших вычислительных затратах, чем предыдущие методы. Созданные подсказки были помечены как вредоносные менее чем в 1% случаев, по сравнению с примерно 50% отказов для соответствующих неизмененных подсказок. Эти результаты выявляют ранее не обнаруженные уязвимости в выровненных LLM и позиционируют THREAT как практический инструмент для упреждающего повышения безопасности базовых моделей. Adversarial Reframing: A Framework for Targeted Generation in Language Models

С помощью LLM перефразируют состязательные запросы до тех пор, пока их не перестанут отвергать.

См. также другие публикации, посвященные LLM

Переполнение подсказок

Модели-ограничители (Guardrail models - средства проверки безопасности) широко используются для проверки пользовательского ввода до того, как он попадет в большие языковые модели (LLM), служа в качестве основной защиты от атак с внедрением подсказок. Из-за строгих контекстных ограничений эти модели обрабатывают слишком длинные подсказки путем усечения или сегментации. Хотя предыдущие работы были сосредоточены на семантически враждебных входных данных, последствия для безопасности этих механизмов обработки длинных входных данных остаются в значительной степени неизученными. В этой статье мы выявляем критическое «слепое пятно», возникающее из-за несоответствия между ограниченными окнами проверки моделей-ограничителей и значительно большими окнами вывода контекста нижних LLM. Мы представляем новую атаку с переполнением подсказки, которая использует это несоответствие путем фрагментации вредоносных инструкций и перемешивания их с безобидным содержимым-заполнителем в слишком длинной подсказке, так что ни один отдельный проверяемый сегмент не кажется вредоносным, в то время как полный контекст остается доступным для LLM. В результате систематической оценки с использованием современных моделей защиты, включая Meta Llama Prompt Guard, IBM Granite Guardian и детекторы на основе DeBERTa, мы демонстрируем, что подсказки, надежно обнаруживаемые в условиях короткого контекста, могут обходить модели защиты после того, как они были изменены злонамеренно в результате преобразования во входные данные чрезмерной длины, но при этом остаются полностью пригодными для использования последующими LLM. Мы также предлагаем потенциальные стратегии защиты и описываем направления смягчения последствий для усиления моделей защиты. - Prompt Overflow: What the Guardrail Inspects Is Not What the Model Infers

См. также другие публикации, посвященные LLM

Защиты не вечны, атаки - не окончательны

Можем ли мы сделать искусственный интеллект неуязвимым для противников, которые хотят исказить технологию в вредных целях? Хотя ИИ — одна из новейших технологий, ответ на этот вопрос почти столетний по возрасту.

Как бы мы ни старались, мы никогда не сможем сделать искусственный интеллект полностью неоспоримым с помощью традиционных моделей безопасности. В рецензируемом журнале IEEE Security and Privacy Апостол Василев, старший научный сотрудник Национального института стандартов и технологий (NIST), опубликовал математическое доказательство этого утверждения, используя работу, опубликованную в 1931 году известным логиком Куртом Гёделем. Его теоремы о неполноте показали, что существуют пределы того, что можно доказать в системе, построенной на конечном числе правил.

Ограничения, управляющие поведением ИИ, — это именно такая система, и одним из последствий доказательства является то, что всегда найдётся способ заставить систему ИИ игнорировать свои правила — всё остаётся только в том, чтобы её найти.

«Один из столпов ответственного ИИ — это то, чтобы технология была безопасной», — сказал Василев, автор доказательства и эксперт по состязанию в машинном обучении. «Ты хочешь, чтобы он выдержал атаки противника и выполнял только то, что хочешь тебе, а не то, что мог бы захотеть нападающий. Это доказательство показывает, что не существует конечного набора ограничителей, которые были бы универсально устойчивы к враждебным стимулам.»

Компании, разрабатывающие ИИ, часто признают, что инструменты, которые они создают, могут причинить вред физическому миру, поэтому вводят ограничения, направленные на предотвращение создания запрещённого контента, такого как дипфейки, вредоносное ПО или инструкции по созданию биологического оружия или запрещённых наркотиков. Если систему попросят генерировать такой контент, ограничители должны отметить проблему и отказаться выполнять требования.

Однако эти ограничения не являются безошибочными Злоумышленники могут обходить их, создавая подсказки так, чтобы ИИ случайно обходил собственные механизмы отказа. Успешный «джейлбрейк» ИИ лишает его ограничений, что приводит к реальным рискам, таким как кибератаки, утечки данных и высоко персонализированные фишинговые сообщения.

Первоначальное доказательство Гёделя разрушило надежды нескольких выдающихся математиков, которые в начале XX века пытались создать математическую «теорию всего» из небольшого набора базовых утверждений или аксиом. С хорошо подобранным набором начальных аксиом, рассуждали они, можно было бы доказать все идеи в любой области математики.

«Гёдель положил конец этой мечте», — сказал Василев. «Он показал, что нельзя иметь конечный набор утверждений и создать теорию, которая будет полной и последовательной без противоречий. Вы можете добавить больше утверждений, чтобы устранить противоречия, с которыми сталкиваетесь, но вы возвращаетесь к тому, с чего начали. Это повторяется.»

В случае ИИ «конечный набор утверждений» — это группа ограничителей, которые создаёт дизайнер ИИ, чтобы не дать ИИ сделать что-то нежелательное. Независимо от того, насколько хорошо они продуманы, доказательства Василева показывают, что всегда найдётся способы подтолкнуть ИИ, чтобы он нарушил эти правила. Всё дело в том, чтобы найти правильный запрос.

«Логика Гёделя здесь применена», — говорит Василев. «Ты никогда не сможешь утверждать, что ты устойчив ко всем внезапным атакам противника. Всегда будет какая-то подсказка, которая потенциально сможет обойти и разрушить любую оборонительную инфраструктуру, которую ты построил вокруг своей системы ИИ.»

К счастью для защитников, эта новая математическая теория оставляет пространство для усиления развернутых систем ИИ до такой степени, что их сложно эксплуатировать. Доказательство Василева не даёт рецепта для злоумышленников о том, как находить новые эксплойты.

«Вы заставляете злоумышленника искать то, что специалисты по безопасности называют "нулевыми эксплойтами" — это проблемы в системе, о которых знает только вы», — говорит Васильев. «Хакеры часто пользуются этими уязвимостями, когда находят их. И если они обнаруживают такую уязвимость в системе одной компании, обычно проходит немного времени, прежде чем кто-то воспользуется ею в другой системе с той же уязвимостью.»

Такие эксплойты нулевого дня для традиционного детерминированного программного обеспечения было нелегко найти и реализовать, отметил Василев. Часто им требовались ресурсы противников уровня национального государства. Проблема эпохи ИИ, по словам Василева, в том, что мы используем человеческий язык как вход в систему. Сложность и богатство языка делают проверку соответствия, построенную на конечном наборе правил, бесконечно неоднозначной. Количество способов, которыми противники могут скрывать вредные намерения на виду, практически безгранично.

Что же нам тогда делать? Василев предлагает подход, который не решит проблему полностью, но значительно усложнит успешное джейлбрейк ИИ враждебным подсказкам.

Подход состоит из трёх элементов: постоянной работы «красных команд», которые стремятся выявить новые враждебные запросы раньше, чем реальные атакующие; постоянные обновления, которые ужесточают барьеры ИИ от недавно обнаруженных враждебных подсказок; и операционной устойчивости, которая ставит приоритет на ограничение воздействия и быстрое восстановление, когда возникает эксплойт.

«Цель — достичь ситуации, когда стоимость поиска новых эксплойтов превысит ресурсы злоумышленников», — сказал он. «В математике не уйти от Гёделя, а в ИИ ты, скорее всего, не сможешь запатчить систему ИИ, как LLM, и надеяться, что всё будет нормально вечно. Нужно постоянно искать слабые места и опережать нападающих. Цель — достичь нового экономического равновесия, при котором злоумышленникам будет финансово невыгодно пытаться сломать вашу систему ИИ. Это может быть дорого, но это цена даже частичной безопасности, которая должна позволить организациям максимально использовать преимущества ИИ, минимизируя риски.» - отсюда

Контекстные атаки в агентах

Появление агентов на основе больших языковых моделей (LLM), дополненных использованием инструментов, навыками, и внешними знаниями, породило новые риски безопасности. Среди них основной угрозой стали атаки с внедрением подсказок, когда злоумышленники внедряют вредоносные инструкции в рабочий процесс агента. Однако существующие бенчмарки и средства защиты принципиально ограничены, поскольку они предполагают контекстно-независимые условия, в которых агент работает в соответствии с полностью заданной инструкцией пользователя, а атаки являются простыми и контекстно-независимыми. В результате они не позволяют оценить реальные условия эксплуатации, где поведение агента обычно зависит от динамического контекста, а не только от подсказки пользователя, и злоумышленники могут адаптировать свои атаки к различным контекстам. Аналогично, существующие средства защиты, построенные на этой узкой модели угроз, игнорируют природу реального делегирования агентам. В этой статье мы представляем AgentLure, бенчмарк, который позволяет выявлять контекстно-зависимые задачи и атаки с внедрением подсказок с учетом контекста. AgentLure охватывает четыре агентных домена и восемь векторов атак на различных поверхностях атаки. Наша оценка показывает, что существующие средства защиты часто испытывают трудности в этой среде, демонстрируя низкую эффективность против таких атак в агентных системах. Для решения этой проблемы мы предлагаем ARGUS, механизм защиты, который обеспечивает аудит решений с учетом происхождения информации для агентов LLM. ARGUS строит граф происхождения влияния, чтобы отслеживать, как недостоверный контекст распространяется на решения агентов, и проверяет, оправдано ли решение достоверными доказательствами до его выполнения. Наша оценка показывает, что ARGUS снижает вероятность успешной атаки до 3,8%, сохраняя при этом 87,5% полезности задачи, значительно превосходя существующие средства защиты и оставаясь устойчивым к адаптивным противникам типа «белый ящик». - ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection

См. также другие публикации, посвященные агентам

Состязательная устойчивость LLM

Большие языковые модели достигли замечательных успехов, но остаются крайне уязвимыми для атак типа «взлом системы», когда враждебные подсказки заставляют модели генерировать вредоносные, неэтичные или нарушающие правила выходные данные. Такие атаки представляют собой реальные риски, подрывая безопасность, доверие и соблюдение нормативных требований в приложениях с высокими ставками. Хотя было предложено множество методов атаки и защиты, существующие методы оценки неадекватны, часто опираясь на узкие метрики, такие как процент успешности атаки, которые не отражают многомерный характер безопасности LLM. В этой статье мы представляем систематическую таксономию атак и методов защиты типа «взлом системы» и представляем Security Cube — единую многомерную структуру для всесторонней оценки этих методов. Мы приводим подробные сравнительные таблицы существующих атак и методов защиты, выделяя ключевые выводы и открытые проблемы в литературе. Используя Security Cube, мы проводим сравнительные исследования 13 репрезентативных атак и 5 методов защиты, создавая четкое представление о текущей ситуации, охватывающей атаки типа «взлом системы», методы защиты, автоматизированные системы проверки и уязвимости БЛМ. На основе этих оценок мы обобщаем важные выводы, выявляем нерешенные проблемы и намечаем перспективные направления исследований для повышения устойчивости LLM к атакам с использованием джейлбрейка. Наш анализ призван проложить путь к созданию более надежных, интерпретируемых и заслуживающих доверия систем LLM. Наш код доступен на Code. - SoK: Robustness in Large Language Models against Jailbreak Attacks

См. также другие публикации, посвященные LLM

Последовательные фейки

Контент типа «дипфейк» в социальных сетях все чаще создается путем многократных последовательных правок биометрических данных, таких как изображения лиц. В результате окончательный вид изображения часто отражает скрытую цепочку операций, а не единичную манипуляцию. Восстановление этих историй редактирования имеет важное значение для визуального анализа происхождения, аудита дезинформации и рабочих процессов криминалистической экспертизы или модерации платформ, которые должны отслеживать происхождение и эволюцию медиаконтента, созданного ИИ. Однако существующие наборы данных преимущественно фокусируются на одноэтапном редактировании и игнорируют кумулятивные артефакты, вносимые реалистичными многоэтапными конвейерами. Чтобы устранить этот пробел, мы представляем Sequential Editing in Diffusion (SEED), крупномасштабный бенчмарк для отслеживания последовательного происхождения изображений лиц. SEED содержит более 90 000 изображений, созданных с помощью одной-четырех последовательных редактирований атрибутов с использованием конвейеров редактирования на основе диффузии, с подробными аннотациями, включая порядок редактирования, текстовые инструкции, маски манипуляций и модели генерации. Эти метаданные позволяют проводить поэтапный анализ доказательств и поддерживают обнаружение подделок и прогнозирование последовательностей. Для оценки проблем, связанных с SEED, мы оцениваем репрезентативные стратегии анализа и отмечаем, что подходы, основанные только на пространственном анализе, испытывают трудности при наличии тонких и распределенных артефактов диффузии, особенно когда такие артефакты накапливаются в нескольких редактированиях. Руководствуясь этим наблюдением, мы дополнительно разрабатываем FAITH, частотно-ориентированную базовую модель Transformer, которая агрегирует пространственные и частотные сигналы для идентификации и упорядочивания скрытых событий редактирования. Результаты показывают, что высокочастотные сигналы, в частности вейвлет-компоненты, обеспечивают эффективные подсказки даже при ухудшении качества изображения. В целом, SEED облегчает систематическое изучение последовательного отслеживания происхождения и агрегирования доказательств для достоверного анализа визуального контента, созданного ИИ. - SEED: A Large-Scale Benchmark for Provenance Tracing in Sequential Deepfake Facial Edits

См. также другие публикации по теме deepfake

Диверсификация ответов LLM

"Если вы хотите понять, как общественность отреагирует на ваши предложения, большие языковые модели могут имитировать пользователей, отвечающих на вопросы о возможностях, функциях, акциях или ценах. Однако большие языковые модели не реагируют с таким же разнообразием, как люди. Исследователи разработали метод, который побуждает большие языковые модели принимать облик персон с настраиваемым набором взглядов.

Что нового: Давиде Пальери, Логан Кросс и их коллеги из Google предложили генераторы персон. Их подход создает код, который побуждает большую языковую модель составлять подсказки для 25 персон, охватывающих карту.

Ключевой вывод: Заставить большую языковую модель принять облик человека обычно сводится к составлению эффективной подсказки (например, «Ответьте на следующий вопрос так, как если бы в современной политике вы считали себя демократом…»). Однако такой подход, как правило, приводит к получению усредненных ответов, которые не отражают диапазон, характерный для человеческой популяции, — даже если запрос явно указывает модели LLM на необходимость учета определенных демографических характеристик. Альтернативный вариант — программно изменять запросы для описания персон до тех пор, пока они не будут выдавать результаты, охватывающие определенный диапазон мнений, взглядов или проблем. При наличии руководящих принципов, определяющих область охвата популяции персон (в частности, взгляды, ранжированные по степени согласия и несогласия), эволюционный алгоритм может подтолкнуть модель к созданию набора запросов, которые вызовут полный диапазон ответов.

Как это работает: Авторы использовали эволюционный метод AlphaEvolve для генерации кода, который (i) сгенерировал 25 запросов для персон и (ii) максимизировал разнообразие их взглядов на основе ответов на набор сгенерированных анкет.

Авторы начали с использования Gemini 2.5 Pro для генерации 30 анкет по различным темам, таким как здравоохранение, финансовая грамотность и теории заговора. Каждый опросник включал контекст (описание темы), набор «осей разнообразия» (таких как толерантность к риску или доверие к институциям) и вопросы, связанные с этими осями, на которые нужно было ответить по шкале от 1 (полностью согласен) до 5 (полностью не согласен).
Они создали код (первоначально написанный авторами, а затем итеративно обновленный AlphaEvolve) для генерации 25 вопросов для каждого опросника. Для автоматизации генерации ответов от респондентов авторы использовали Concordia, библиотеку для создания агентно-ориентированных симуляций, для ввода данных в опросник Gemma 3-27B-IT. LLM по очереди принимал каждого респондента и отвечал на соответствующий опросник. Для каждого респондента они преобразовывали его ответы в вектор. Для оценки разнообразия среди респондентов, ответивших на каждый опросник, они вычисляли шесть метрик, таких как среднее расстояние между любыми двумя векторами и степень, в которой совокупность респондентов охватывала все возможные ответы.

AlphaEvolve работала параллельно над 10 различными версиями кода, итеративно обновляя их для максимизации показателей разнообразия по всем персонам. После 500 итераций авторы выбрали код, который максимизировал среднее значение всех показателей разнообразия.На этапе вывода, имея контекст и набор осей разнообразия, система создала 25 разнообразных персон.
Результаты: При наличии нового контекста и осей разнообразия полученные персоны неизменно превосходили показатели разнообразия Nemotron Personas, большого набора данных подсказок для создания персон, основанных на демографической статистике США, и подсказок для создания персон, созданных генератором памяти Concordia на основе воспоминаний от детства до взрослости. При наличии набора тестовых анкет персоны авторов охватывали 82 процента возможных ответов, в то время как Nemotron Personas охватывали 76 процентов, а генератор памяти Concordia — 46 процентов.

Почему это важно: Организации, стремящиеся расширить свою аудиторию, могут извлечь выгоду из синтетических персон, которые в целом отражают общественное мнение, а те, кто создает синтетические персоны, соответствующие их реальной аудитории, могут получить ценные сведения от более разнообразной группы людей. Эта работа смещает цель с сопоставления обучающих данных (которые, как правило, генерируют наиболее вероятные результаты, а не выбросы) на охват всех желаемых возможностей. Оптимизация генератора персон, а не отдельных персон, открывает более широкое представление о вероятном поведении пользователей.

Мы считаем: Синтетические персоны предлагают интересную возможность для преодоления узкого места в управлении продуктом — сложности принятия решения о том, что создавать, когда это можно легко сделать, обратившись к представителю LLM." - via deeplarning.ai

См. также другие публикации, посвященные LLM

Какая ваша роль?

Языковые модели остаются уязвимыми для атак с внедрением подсказок, несмотря на обширное обучение технике безопасности. Мы связываем эту неудачу с путаницей ролей: модели определяют роли по тому, как написан текст, а не по тому, откуда он взят. Мы разработали новые методы проверки ролей, чтобы понять, как модели внутренне определяют «кто говорит». Это показывает, почему внедрение подсказок работает: ненадежный текст, имитирующий роль, наследует авторитет этой роли. Мы проверяем это понимание, внедряя поддельные рассуждения в пользовательские подсказки и выходные данные инструмента, достигая средних показателей успеха 60% на StrongREJECT и 61% при извлечении данных агентом, в нескольких моделях с открытыми и закрытыми весами, с почти нулевыми базовыми показателями. Примечательно, что степень внутренней путаницы ролей сильно предсказывает успех атаки еще до начала генерации. Наши результаты выявляют фундаментальный пробел: безопасность определяется на интерфейсе, но авторитет назначается в латентном пространстве. В более широком смысле, мы представляем единую механистическую основу для внедрения мгновенных данных, демонстрируя, что различные атаки с внедрением мгновенных данных используют один и тот же базовый механизм путаницы ролей. - Prompt Injection as Role Confusion

См. также другие публикации, посвященные LLM

LLM как пентестер

"Агенты на основе LLM демонстрируют перспективность в автоматизации тестирования на проникновение, однако сообщаемая производительность сильно различается в зависимости от системы и бенчмарков. Мы анализируем 28 систем тестирования на проникновение на основе LLM и оцениваем пять репрезентативных реализаций на трех бенчмарках возрастающей сложности. Наш анализ выявляет два различных режима отказов: отказы типа А возникают из-за пробелов в возможностях (отсутствие инструментов, неадекватные подсказки), которые инженеры легко устраняют, в то время как отказы типа В сохраняются независимо от инструментов из-за ограничений планирования и управления состоянием. Мы показываем, что отказы типа В имеют общую первопричину, которая в значительной степени инвариантна для базового LLM: агентам не хватает оценки сложности задачи в реальном времени. В результате агенты неправильно распределяют усилия, чрезмерно концентрируются на малоценных ветвях, и исчерпывают контекст до завершения цепочек атак. Основываясь на этом понимании, мы представляем PENTESTGPT V2, агент тестирования на проникновение, который сочетает в себе мощные инструменты с планированием с учетом сложности. Слой инструментов и навыков устраняет ошибки типа А за счет типизированных интерфейсов и знаний, дополненных механизмом поиска. Механизм оценки сложности задачи (TDA) устраняет ошибки типа B, оценивая выполнимость по четырем измеримым параметрам (оценка горизонта, достоверность доказательств, контекстная нагрузка и исторический успех) и используя эти оценки для принятия решений об исследовании и эксплуатации в рамках поиска по дереву атак с учетом доказательств (EGATS). PENTESTGPT V2 достигает до 91% выполнения задач на бенчмарках CTF с использованием передовых моделей (относительное улучшение на 39–49% по сравнению с базовыми показателями) и компрометирует 4 из 5 хостов в среде Active Directory GOAD против 2 в предыдущих системах. Эти результаты показывают, что планирование с учетом сложности обеспечивает стабильные сквозные улучшения для всех моделей и устраняет ограничение, которое не устраняется одним лишь масштабированием модели."- What Makes a Good LLM Agent for Real-world Penetration Testing?

См. также другие публикации, посвященные LLM

LLM Fuzzer

Большие языковые модели (LLM) получили широкое распространение в различных приложениях благодаря своей мощной способности генерировать текст, похожий на человеческий. Однако атаки с внедрением подсказок, которые включают перезапись исходных инструкций модели вредоносными подсказками для манипулирования сгенерированным текстом, вызвали серьезные опасения по поводу безопасности и надежности LLM. В этой статье мы предлагаем PROMPTFUZZ, новую тестовую среду, которая использует методы фаззинга для систематической оценки устойчивости LLM к атакам с внедрением подсказок. Вдохновленная программным фаззингом, PROMPTFUZZ выбирает перспективные начальные подсказки и генерирует разнообразный набор внедрений подсказок для оценки устойчивости целевой LLM. PROMPTFUZZ работает в два этапа: фаза подготовки, которая включает выбор перспективных начальных подсказок и сбор примеров с малым количеством примеров, и фаза фокусировки, которая использует собранные примеры для генерации разнообразных высококачественных внедрений подсказок. Используя сгенерированные PROMPTFUZZ подсказки для атаки в реальных условиях соревнований, мы достигли 7-го места среди более чем 4000 участников (в числе 0,14% лучших) в течение 2 часов, продемонстрировав эффективность PROMPTFUZZ по сравнению с опытными злоумышленниками. Кроме того, мы также протестировали сгенерированные подсказки для атаки на 50 популярных онлайн-приложениях, интегрированных с LLM, включая приложения от Coze и OpenAI, и обнаружили, что 92% из них могут быть использованы PROMPTFUZZ для взлома. Мы также запустили PROMPTFUZZ на 15 онлайн-приложениях для оценки резюме на основе LLM и обнаружили, что ответы 13 из этих приложений могут быть перехвачены PROMPTFUZZ. - PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs

См. также другие публикации, посвященные LLM

Зеленый щит

Крупные языковые модели (LLM) все чаще используются, однако их выходные данные могут быть нестабильными и чувствительными к обычным, неконфликтным изменениям в формулировке запросов пользователями, что является недостатком, недостаточно учитываемым существующими методами тестирования на проникновение. Мы предлагаем «Зеленую защиту» (Green Shielding) — ориентированную на пользователя исследовательскую программу для создания эмпирической основы для рекомендаций по внедрению путем характеристики того, как «безобидные» изменения входных данных влияют на поведение модели и выявляют практические компромиссы между релевантными задаче «целями». «Зеленая защита» реализуется с помощью трех компонентов: реалистичных эталонных показателей, «соответствующих задаче эталонных стандартов и метрик» и режимов возмущений, отражающих распространенные пользовательские «вариации». Мы применяем эту программу в медицинской диагностике. Во-первых, на обычных медицинских эталонных показателях с одним ответом мы показываем, что небольшие изменения в содержании, формате и тоне подсказки заметно влияют на правильность. Затем мы представляем HealthCareMagic-Diagnosis (HCM-Dx), новый эталонный показатель, полученный из набора данных HealthCareMagic-100K, состоящий из диагностических запросов, составленных пациентами и адаптированных для систематической оценки. Для этого тематического исследования мы создаем структурированные эталонные наборы диагнозов и клинически обоснованные метрики для оценки дифференциальных диагнозов, сохраняя при этом масштабируемость за счет построения эталонных данных с помощью LLM и автоматического сопоставления синонимичных диагнозов. В нескольких перспективных LLM мы обнаружили, что стандартные вариации подсказок демонстрируютпаретоподобные компромиссы между правдоподобностью, охватом высоковероятных и критически важных для безопасности состояний, и широтой дифференциальных диагнозов. В частности, нейтрализация подсказок, которая удаляет общие факторы на уровне пользователя, повышает правдоподобность и приводит к более кратким дифференциальным диагнозам, похожим на клинические, одновременно уменьшая охват высоковероятных и критически важных для безопасности состояний. В совокупности эти результаты показывают, что полезность и надежность зависят не только от возможностей модели, но и от выбора вариантов взаимодействия, и что Green Shielding помогает обосновать научно обоснованные, ориентированные на пользователя рекомендации для более безопасного внедрения в областях с высокими рисками. Тематическое исследование медицинской диагностики проводится в тесном сотрудничестве с клиницистами и руководствуется структурой PCS для достоверной науки о данных. Наши данные и код доступны по адресу https://github.com/aaron-jx-li/green-shielding. - Green Shielding: A User-Centric Approach Towards Trustworthy AI LLM-Assisted Medical Diagnosis as a Case Study

См. также другие публикации, посвященные LLM

База промпт-инжиринга

Какие ключевые методы разработки подсказок используются?

Подсказки с небольшим количеством примеров: Включите в подсказку несколько пар примеров (вход → выход), чтобы обучить шаблону.

Подсказки без примеров: Дайте точную инструкцию без примеров, чтобы четко сформулировать задачу.

Подсказки с цепочкой рассуждений (CoT): Запросите пошаговое объяснение перед окончательным ответом. Это может быть подход без примеров, когда мы явно включаем «Думайте шаг за шагом» в инструкцию, или подход с небольшим количеством примеров, когда мы показываем несколько примеров с пошаговым объяснением.

Подсказки, специфичные для роли: Назначьте персонажа, например, «Вы — финансовый консультант», чтобы задать контекст для LLM.

Иерархия подсказок: Определите инструкции для системы, разработчика и пользователя с разными уровнями полномочий. Системные подсказки определяют высокоуровневые цели и устанавливают ограничения, в то время как подсказки для разработчика определяют правила форматирования и настраивают поведение LLM.

Вот основные принципы, которые следует учитывать при разработке подсказок:
Начинайте с простого, затем совершенствуйте.
Разбейте большую задачу на более мелкие, управляемые подзадачи.
Будьте конкретны в отношении желаемого формата, тона и критериев успеха.
Предоставьте достаточно контекста, чтобы исключить двусмысленность.

А поговорить?

Большие языковые модели (LLM) произвели революцию в разговорном ИИ, однако их устойчивость в длительных многоходовых диалогах остается плохо изученной. Существующие оценочные модели сосредоточены на статических эталонах и оценках отдельных ходов, не учитывая временную динамику ухудшения качества разговора, характерную для реальных взаимодействий. В этой работе мы представляем крупномасштабный анализ устойчивости разговора, моделирующий сбой как процесс «время до события» на протяжении 36 951 хода с использованием 9 современных LLM на эталоне MT-Consistency. Наша модель сочетает в себе модели пропорциональных рисков Кокса, ускоренного времени сбоя (AFT) и случайного леса выживания с простыми признаками семантического дрейфа. Мы обнаружили, что резкий семантический дрейф от подсказки к подсказке резко увеличивает риск несогласованности, в то время как кумулятивный дрейф, вопреки интуиции, оказывает защитное действие, предполагая адаптацию в разговорах, которые выдерживают множественные изменения. Модели AFT, с учетом взаимодействия модели и дрейфа, обеспечивают наилучшее сочетание дискриминации и калибровки, а проверки пропорциональных рисков выявляют систематические нарушения для ключевых ковариат дрейфа, объясняя ограничения моделирования в стиле Кокса в данном контексте. Наконец, мы показываем, что облегченную модель AFT можно превратить в монитор риска на уровне репликации, который отмечает большинство неудачных диалогов за несколько реплик до первого противоречивого ответа, при этом сохраняя низкий уровень ложных срабатываний. Эти результаты подтверждают, что анализ выживаемости является мощной парадигмой для оценки устойчивости к многорепетиционным ситуациям и для разработки практических мер защиты для разговорных систем искусственного интеллекта. - Time-To-Inconsistency: A Survival Analysis of Large Language Model Robustness to Adversarial Attacks

Интересная идея - проверять нужно не отдельные фразы, а диалог

См. также другие публикации, посвященные LLM

Какие ваши намерения?

Атаки с непрямым внедрением подсказок (IPIA), при которых большие языковые модели (LLM) следуют вредоносным инструкциям, скрытым во входных данных, представляют собой критическую угрозу для агентов, использующих LLM. В этой статье мы представляем IntentGuard, общую защитную структуру, основанную на анализе намерений, следующих за инструкциями. Ключевая идея IntentGuard заключается в том, что решающим фактором в IPIA является не наличие вредоносного текста, а то, намеревается ли LLM следовать инструкциям из ненадежных данных. Основываясь на этом понимании, IntentGuard использует анализатор намерений, следующих за инструкциями (IIA), для определения того, какие части входной подсказки модель распознает как действенные инструкции, а затем помечает или нейтрализует любые совпадения с сегментами ненадежных данных. Для реализации структуры мы разрабатываем IIA, который использует три стратегии «мыслительного вмешательства» для получения структурированного списка предполагаемых инструкций от LLM, поддерживающих рассуждения. Эти методы включают предварительное заполнение начала мыслительного процесса, уточнение в конце мыслительного процесса и демонстрацию в контексте с помощью состязательных действий. Мы оцениваем IntentGuard на двух агентных бенчмарках (AgentDojo и Mind2Web), используя две модели LLM с поддержкой рассуждений (Qwen-3-32B и gpt-oss-20B). Результаты показывают, что IntentGuard обеспечивает (1) отсутствие снижения полезности во всех условиях, кроме одного, и (2) высокую устойчивость к атакам с адаптивным внедрением подсказок (например, снижение вероятности успеха атаки со 100% до 8,5% в сценарии Mind2Web). - Mitigating Indirect Prompt Injection via Instruction-Following Intent Analysis

См. также другие публикации, посвященные LLM

И о культуре

Предупреждение: Данная статья содержит материалы, имеющие культурную ценность, исключительно с целью оценки поведения при согласовании в рамках больших языковых моделей (LLM). Мы исследуем, как лингвистическая и культурная структура влияют на успешность джелбрейков в трех коммерческих БЛМ (GPT-4, Claude 3, Gemini), используя семантически эквивалентные подсказки в прямом, косвенном и метафорическом стилях на четырех языках с широкими языковыми ресурсами. Косвенные подсказки наиболее эффективно обходили фильтры, при этом структура и стиль существенно влияли на согласование. GPT-4 оказалась особенно уязвимой к косвенной структуре, Claude 3 оставалась стабильно устойчивой, а Gemini продемонстрировала высокую чувствительность к культурным и лингвистическим вариациям. Наши результаты подчеркивают необходимость стратегий согласования, устойчивых к различным стилям выражения и культурным контекстам. - Jailbreaking LLMs Through Cross-Cultural Prompts

См. также другие публикации, посвященные LLM

Один раз - не доказательство

Современные оценки безопасности больших языковых моделей основаны на однократном тестировании, неявно предполагая, что ответы модели детерминированы и репрезентативны для соответствия модели требованиям безопасности. Мы ставим под сомнение это предположение, исследуя стабильность решений об отказе от безопасного выполнения при различных случайных начальных значениях и температурных настройках. Протестировав четыре модели, настроенные на основе инструкций, из трех семейств (Llama 3.1 8B, Qwen 2.5 7B, Qwen 3 8B, Gemma 3 12B) на 876 вредоносных запросах при 20 различных конфигурациях выборки (4 температуры × 5 случайных начальных значений), мы обнаружили, что 18–28% запросов демонстрируют изменение решения — модель отказывается в одних конфигурациях, но выполняет требование в других — в зависимости от модели. Наш индекс стабильности безопасности (SSI) показывает, что более высокие температуры значительно снижают стабильность решений (критерий Фридмана χ² = 396,81, p < 0,001), при этом средний SSI внутри каждой температуры снижается с 0,977 при температуре 0,0 до 0,942 при температуре 1,0. Мы подтверждаем наши результаты для всех семейств моделей, используя Cloude 3.5 в качестве единого внешнего судьи, достигнув 89,0% согласованности между судьями с нашим основным судьей Llama 70B (коэффициент Коэна κ = 0,62). В каждой модели подсказки с более высокими показателями соответствия демонстрируют меньшую стабильность (коэффициент Спирмена ρ = от -0,47 до -0,70, все p < 0,001), что указывает на то, что модели «колеблются» сильнее при пограничных запросах.

Эти результаты показывают, что однократные оценки безопасности недостаточны для надежной оценки безопасности, и что протоколы оценки должны учитывать стохастические вариации в поведении модели. Мы показываем, что однократная оценка согласуется с многовыборочными эталонными данными только в 92,4% случаев при объединении данных по разным температурам (94,2–97,7% при фиксированной температуре в зависимости от настроек), и рекомендуем использовать не менее 3 выборок на каждый запрос для надежной оценки безопасности. - The Instability of Safety: How Random Seeds and Temperature Expose Inconsistent LLM Refusal Behavior

См. также другие публикации, посвященные LLM

LLM как врач

Целью данного исследования было оценить потенциал больших языковых моделей (LLM) в диагностике в здравоохранении, в частности, их способность анализировать подсказки, основанные на симптомах, и ставить точные диагнозы. Исследование сосредоточилось на моделях, включая GPT-4, GPT-4o, Gemini, o1 Preview и GPT-3.5, оценивая их эффективность в выявлении заболеваний исключительно на основе предоставленных симптомов. Подсказки, основанные на симптомах, были отобраны из авторитетных медицинских источников для обеспечения достоверности и релевантности. Каждая модель тестировалась в контролируемых условиях для оценки их диагностической точности, прецизионности, полноты и способности принимать решения. Были разработаны специальные сценарии для изучения их эффективности как в общих, так и в ответственных диагностических задачах. Среди моделей GPT-4 показала наивысшую диагностическую точность, продемонстрировав сильное соответствие медицинскому мышлению. Gemini преуспела в ответственных сценариях, требующих точного принятия решений. GPT-4o и o1 Preview показали сбалансированную эффективность, эффективно справляясь с диагностическими задачами в реальном времени с акцентом как на точность, так и на полноту. Модель GPT-3.5, несмотря на меньшую степень детализации, оказалась надежной для решения общих диагностических задач. Данное исследование подчеркивает сильные и слабые стороны моделей с низкой степенью детализации в медицинской диагностике. Хотя такие модели, как GPT-4 и Gemini, демонстрируют многообещающие результаты, необходимо решить такие проблемы, как соблюдение конфиденциальности, этические соображения и смягчение присущих им предвзятостей. Полученные результаты указывают на пути ответственной интеграции моделей с низкой степенью детализации в диагностические процессы для улучшения результатов лечения. - Digital Diagnostics: The Potential of Large Language Models in Recognizing Symptoms of Common Illnesses

См. также другие публикации, посвященные LLM

LLM для детектирования фишинга

Фишинг по электронной почте — один из наиболее распространенных и имеющих глобальные последствия векторов кибератак. Поскольку системы все чаще используют приложения на основе больших языковых моделей (LLM), они сталкиваются с развивающимися угрозами фишинговых писем, которые используют уязвимости их фундаментальной архитектуры. Современные LLM требуют существенного усиления защиты перед внедрением в системы безопасности электронной почты, особенно от скоординированных многовекторных атак, использующих архитектурные уязвимости. В данной статье предлагается LLMPEA — основанная на LLM структура для обнаружения фишинговых атак по электронной почте с использованием различных векторов атаки, включая внедрение подсказок, уточнение текста и многоязычные атаки. Мы оцениваем три передовые LLM (например, GPT-4o, Claude Sonnet 4 и Grok-3) и комплексную разработку подсказок, чтобы оценить их осуществимость, устойчивость и ограничения в отношении фишинговых атак по электронной почте. Наш эмпирический анализ показывает, что LLM-модели могут обнаруживать фишинговые электронные письма с точностью более 90%, при этом мы также отмечаем, что системы обнаружения фишинговых писем на основе LLM-моделей могут быть использованы злоумышленниками, внедрять подсказки и осуществлять многоязычные атаки. Наши результаты предоставляют важные сведения для обнаружения фишинга на основе LLM-моделей в реальных условиях, где злоумышленники используют множество уязвимостей в комбинации. - Phishing Email Detection Using Large Language Models

см. также другие публикации по теме фишинг

Подсказки для программирования

Коллекция промтров и MCP для Cursor

См. также другие материалы, посвященные подсказкам

Я к Вам пишу ...

Ужасы AI Red Team. Запросы в прошедшем времени обходили фильтры LLM. Теперь выяснилось, что их обходят еще и стихи ...

Мы представляем доказательства того, что состязательная поэзия функционирует как универсальный одношаговый джейлбрек для больших языковых моделей (LLM). В 25 передовых проприетарных и открытых моделях курируемые поэтические подсказки показали высокие показатели успешности атак (ASR), превышающие 90% у некоторых поставщиков. Сопоставление подсказок с таксономиями рисков MLCommons и EU CoP показывает, что поэтические атаки переносятся в области CBRN (Chemical, Biological, Radiological, and Nuclear) опасностей, манипуляций, киберпреступлений и потери контроля. Преобразование 1200 вредоносных подсказок MLCommons в стихи с помощью стандартизированного мета-подсказки дало ASR до 18 раз выше, чем их базовые показатели для прозы. Результаты оцениваются с помощью ансамбля из 3 экспертов LLM с открытым весом, чьи бинарные оценки безопасности были проверены на стратифицированном подмножестве, маркированном людьми. Поэтические подсказки достигли среднего уровня успешности взлома 62% для стихотворений, написанных вручную, и примерно 43% для мета-подсказок (по сравнению с непоэтическими базовыми вариантами), значительно превзойдя непоэтические базовые варианты и выявив систематическую уязвимость среди модельных семейств и подходов к обучению безопасности. Эти результаты показывают, что одни только стилистические вариации могут обойти современные механизмы безопасности, указывая на фундаментальные ограничения существующих методов выравнивания и протоколов оценки. - Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models

См. также другие публикации, посвященные LLM