О дифференциальной приватности

В данной статье представлена ​​эмпирическая модель аудита утечки конфиденциальной информации в интерактивных системах баз данных (СБД), реализующих дифференциальную конфиденциальность (ДП). Без каких-либо предположений о формальных механизмах или параметрах ДП, мы моделируем работу аудитора с доступом «черного ящика» к результатам запросов и оцениваем утечку конфиденциальной информации с помощью атак на вывод принадлежности (MIA). Наша модель предоставляет эмпирические нижние границы параметра потери конфиденциальности ϵ, основанные на успехе атаки, обеспечивая сигнал о риске нарушения конфиденциальности даже в тех случаях, когда теоретический анализ недоступен или не поддается проверке. Мы реализуем эту модель в системе, смоделированной по образцу производственной среды крупной компании социальных сетей, и показываем, как такие факторы, как распределение данных, выбор цели и специфичность запроса, влияют на наблюдаемую конфиденциальность. Наша работа предлагает ценный и практичный инструмент для проверки и аудита конфиденциальности в крупномасштабных непрозрачных СБД - Auditing Differentially Private Interactive Database Systems

Защиты не вечны, атаки - не окончательны

Можем ли мы сделать искусственный интеллект неуязвимым для противников, которые хотят исказить технологию в вредных целях? Хотя ИИ — одна из новейших технологий, ответ на этот вопрос почти столетний назад.

Как бы мы ни старались, мы никогда не сможем сделать искусственный интеллект полностью неоспоримым с помощью традиционных моделей безопасности. В рецензируемом журнале IEEE Security and Privacy Апостол Василев, старший научный сотрудник Национального института стандартов и технологий (NIST), опубликовал математическое доказательство этого утверждения, опубликовавшее работу, опубликованную в 1931 году известным логиком Куртом Гёделем. Его теоремы о неполноте показали, что существуют пределы того, что можно доказать в системе, построенной на конечном числе правил.

Ограничения, управляющие поведением ИИ, — это именно такая система, и одним из последствий доказательства является то, что всегда найдётся способ заставить систему ИИ игнорировать свои правила — всё остаётся только в том, чтобы её найти.

«Один из столпов ответственного ИИ — это то, чтобы технология была безопасной», — сказал Василев, автор доказательства и эксперт по состязанию в машинном обучении. «Ты хочешь, чтобы он выдержал атаки противника и выполнял только то, что хочешь тебе, а не то, что мог бы захотеть нападающий. Это доказательство показывает, что не существует конечного набора ограничителей, которые были бы универсально устойчивы к враждебным стимулам.»

Компании, разрабатывающие ИИ, часто признают, что инструменты, которые они создают, могут причинить вред физическому миру, поэтому вводят ограничения, направленные на предотвращение создания запрещённого контента, такого как дипфейки, вредоносное ПО или инструкции по созданию биологического оружия или запрещённых наркотиков. Если систему попросят генерировать такой контент, ограничители должны отметить проблему и отказаться выполнять требования.

Однако эти ограничения не являются безошибочными Злоумышленники могут обходить их, создавая подсказки так, чтобы ИИ случайно обходил собственные механизмы отказа. Успешный «джейлбрейк» ИИ лишает его ограничений, что приводит к реальным рискам, таким как кибератаки, утечки данных и высоко персонализированные фишинговые сообщения.

Первоначальное доказательство Гёделя разрушило надежды нескольких выдающихся математиков, которые в начале XX века пытались создать математическую «теорию всего» из небольшого набора базовых утверждений или аксиом. С хорошо подобранным набором начальных аксиом, рассуждали они, можно было бы доказать все идеи в любой области математики.

«Гёдель положил конец этой мечте», — сказал Василев. «Он показал, что нельзя иметь конечный набор утверждений и создать теорию, которая будет полной и последовательной без противоречий. Вы можете добавить больше утверждений, чтобы устранить противоречия, с которыми сталкиваетесь, но вы возвращаетесь к тому, с чего начали. Это повторяется.»

В случае ИИ «конечный набор утверждений» — это группа ограничителей, которые создаёт дизайнер ИИ, чтобы не дать ИИ сделать что-то нежелательное. Независимо от того, насколько хорошо они продуманы, доказательства Василева показывают, что всегда найдётся способы подтолкнуть ИИ, чтобы он нарушил эти правила. Всё дело в том, чтобы найти правильный запрос.

«Логика Гёделя здесь применена», — говорит Василев. «Ты никогда не сможешь утверждать, что ты устойчив ко всем внезапным атакам противника. Всегда будет какая-то подсказка, которая потенциально сможет обойти и разрушить любую оборонительную инфраструктуру, которую ты построил вокруг своей системы ИИ.»

К счастью для защитников, эта новая математическая теория оставляет пространство для усиления развернутых систем ИИ до такой степени, что их сложно эксплуатировать. Доказательство Василева не даёт рецепта для злоумышленников о том, как находить новые эксплойты.

«Вы заставляете злоумышленника искать то, что специалисты по безопасности называют "нулевыми дновыми эксплойтами" — это проблемы в системе, о которых знает только вы», — говорит Васильев. «Хакеры часто пользуются этими уязвимостями, когда находят их. И если они обнаруживают такую уязвимость в системе одной компании, обычно проходит немного времени, прежде чем кто-то воспользуется ею в другой системе с той же уязвимостью.»

Такие эксплойты нулевого дня для традиционного детерминированного программного обеспечения было нелегко найти и реализовать, отметил Василев; Часто им требовались ресурсы противников уровня национального государства. Проблема эпохи ИИ, по словам Василева, в том, что мы используем человеческий язык как вход в систему. Сложность и богатство языка делают проверку соответствия, построенную на конечном наборе правил, бесконечно неоднозначной. Количество способов, которыми противники могут скрывать вредные намерения на виду, практически безгранично.

Что же нам тогда делать? Василев предлагает подход, который не решит проблему полностью, но значительно усложнит успешное джейлбрейк ИИ враждебным подсказкам.

Подход состоит из трёх элементов: постоянной работы «красных команд», которые стремятся выявить новые враждебные запросы раньше, чем реальные атакующие; постоянные обновления, которые ужесточают барьеры ИИ от недавно обнаруженных враждебных подсказок; и операционной устойчивости, которая ставит приоритет на ограничение воздействия и быстрое восстановление, когда возникает эксплойт, а не если.

«Цель — достичь ситуации, когда стоимость поиска новых эксплойтов превысит ресурсы злоумышленников», — сказал он. «В математике не уйти от Гёделя, а в ИИ ты, скорее всего, не сможешь запатчить систему ИИ, как LLM, и надеяться, что всё будет нормально вечно. Нужно постоянно искать слабые места и опережать нападающих. Цель — достичь нового экономического равновесия, при котором злоумышленникам будет финансово невыгодно пытаться сломать вашу систему ИИ. Это может быть дорого, но это цена даже частичной безопасности, которая должна позволить организациям максимально использовать преимущества ИИ, минимизируя риски.» - отсюда

А кто это сделал?

За аварии с беспилотными авто в России будут платить владельцы машин, а не разработчики. Согласно новой редакции закона о беспилотных автомобилях, подготовленной Минтрансом, обязанность возмещать ущерб, нанесенный транспортным средством без водителя за рулем, ляжет на его владельца. Закон может вступить в силу уже с осени 2027 г.

Атаки на LLM

Лабораторная работа по атакам на LLM

Что делать со статьями, написанными ИИ?

Большой и интересный материал от конференции NeurIPS. Кратко: не принимать и не публиковать. Для контроля используют Pangram.

В этом году в рамках секции «Позиционные доклады» конференции NeurIPS 2026 было принято решение обязать авторов в значительной степени использовать человеческий труд, а ИИ — только для корректуры или подобных второстепенных изменений основного текста. Хотя мы признаем, что продуманное использование ИИ может привести к повышению производительности исследований, применение ИИ для написания докладов создает серьезный риск для системы рецензирования. В этом году, как председатели секции «Позиционные доклады», мы придерживаемся консервативного подхода, поскольку считаем, что в случае аргументированных работ, таких как позиционные доклады, чрезмерное использование ИИ при написании представленных докладов мало полезно для всего исследовательского сообщества. Текст, сгенерированный ИИ, часто выглядит привлекательно, но может значительно отличаться от первоначального замысла авторов. В этом случае представление текста, сгенерированного ИИ, на рецензирование перекладывает затраты на проверку этой работы на рецензентов. Если же сам текст, сгенерированный ИИ, не является бессвязным или вводящим в заблуждение, это поднимает вопросы о надлежащем распределении заслуг.

Придерживаемся в журнале INJOIT такой же позиции. Статья - авторский материал. Есть (должен быть) автор. А просто при выполнении работы (производственного задания) есть исполнитель, который может, конечно, использовать любые инструменты.

Не до законов - 3

Генеральный директор OpenAI Сэм Альтман будет выступать против предложений о том, чтобы разработчики ИИ получали одобрение правительства США перед выпуском новых моделей в открытый доступ, говорится в заявлении компании, опубликованном в среду, в рамках более широких усилий по формированию регулирования этой технологии.

Альтман попросит Конгресс увеличить финансирование тестирования искусственного интеллекта в Министерстве торговли США. Министерство уже сотрудничает с такими компаниями, как OpenAI и Anthropic, для тестирования их моделей. В заявлении компании говорится, что OpenAI хочет, чтобы правительство США расширило эту инициативу и привлекло ученых, обладающих опытом в области кибербезопасности, биологического оружия и национальной безопасности, среди прочих тем.

Визит Альтмана в Вашингтон совпадает с критическим периодом для компании и отрасли. Как ранее сообщало агентство Reuters, компания OpenAI готовится конфиденциально подать заявку на первичное публичное размещение акций (IPO). Конкурент Anthropic, производитель Claude, в понедельник конфиденциально подал заявку на IPO в США. Требования федерального правительства могут негативно сказаться на прибыли отрасли, если они замедлят внедрение новых моделей или побудят компании изменить характеристики своей продукции для решения проблем безопасности. - OpenAI's Altman to urge US lawmakers not to require AI model approvals

Умом ИИ не понять, в ИИ нужно только верить ...

Водит как подросток

Компания Waymo, демонстрирующая впечатляющие статистические данные, показывающие, что её беспилотные автомобили намного безопаснее, чем автомобили с водителями-людьми, развернула тысячи компьютеризированных роботакси по всей стране, которые не могут управлять автомобилем в нетрезвом виде, отвлекаться на телефоны или проявлять агрессию на дороге.

Однако анализ CNN данных местных и федеральных органов власти, а также видеороликов в социальных сетях показывает, что та же самая особенность, которая делает роботакси Waymo менее склонными к опасным столкновениям — отсутствие водителя-человека — также создает совершенно новые проблемы безопасности, которые беспокоят правительственных чиновников, поскольку компания стремится расширить свою деятельность за пределы 11 городов, где она в настоящее время работает.

CNN выявила сотни инцидентов, в которых роботакси якобы совершали опасные маневры и испытывали трудности с препятствиями, с которыми люди инстинктивно справляются. Они проезжали на красный свет, выезжали на встречную полосу и на места преступлений, не соблюдали правила дорожного движения и приближались на расстояние нескольких сантиметров к пешеходам, законно переходящим улицу — ошибки, которые роботизированные автомобили должны быть запрограммированы избегать.

За последние два месяца компания Waymo отозвала тысячи автомобилей и приостановила работу в нескольких городах после того, как роботакси выехали на затопленные улицы, в том числе в Сан-Антонио, где пустой автомобиль Waymo был смыт бурным потоком воды. А недавно компания объявила о приостановке работы на всех автомагистралях в таких городах, как Лос-Анджелес и Майами, после того, как один из пассажиров из Сан-Франциско рассказал на форуме X, что его роботакси устроило высокоскоростную погоню с полицией через зону активных дорожных работ. - ‘Driving like teenagers’: Waymo robotaxis have run red lights and nearly hit pedestrians, CNN finds

ИИ и судебная практика

Российиская судебная практика по делам, связанным с ИИ. В России впервые вынесли приговор за публикацию порно, сгенерированного ИИ. В России осудили подростка, который занимался распространением сгенерированной искусственным интеллектом порнографии. Молодой человек сказал, что разослал созданные нейронной сетью кадры, чтобы пошутить над потерпевшей. Суд назначил ему наказание в виде двух лет лишения свободы условно с испытательным сроком один год.

Аппаратная безопасность

Конфиденциальные вычисления решают проблемы безопасности и конфиденциальности данных для организаций, переносящих конфиденциальные рабочие нагрузки в облако. Это важнейший шаг вперед, позволяющий шифровать данные как во время их обработки в памяти, так и во время активного использования. По мере роста внедрения облачных технологий конфиденциальные вычисления будут играть ключевую роль в повышении безопасности и конфиденциальности в облачных средах. В этом отчете описывается эффективный подход к защите данных, обрабатываемых рабочими нагрузками искусственного интеллекта в облачной инфраструктуре, чтобы защитить наборы данных от вредоносных программ, кражи данных и других уязвимостей, связанных с безопасностью - Hardware-Enabled Security: Confidential Computing of Data in Cloud Workloads

Не до законов - 2

Европейский союз ослабил некоторые положения своего знакового Закона об искусственном интеллекте и отложил принятие других после того, как представители бизнеса и политики заявили, что закон снижает конкурентоспособность европейских компаний.

Что нового: Европейский парламент и государства-члены договорились внести поправки в Закон об искусственном интеллекте, чтобы отложить ограничения, направленные на приложения, которые, по мнению союза, представляют значительную угрозу безопасности, здоровью или правам человека, а также внести другие изменения. Поправки ожидают официального принятия Советом и парламентом союза. ЕС охарактеризовал поправки как «более безопасные и простые правила как для граждан, так и для бизнеса».

Как это работает: Поправки в целом упрощают надзорные и правоприменительные обязанности Управления ЕС по искусственному интеллекту. Они также продлевают сроки для разработчиков ИИ по соблюдению определенных положений и упрощают другие.

Требования к системам искусственного интеллекта, считающимся «высокорисковыми» — включая системы, используемые в правоохранительных органах, критической инфраструктуре, сфере занятости, миграции и идентификации личности — отложены до декабря 2027 года с ранее установленного срока в августе 2026 года. Разработчикам будет предоставлено время до августа 2027 года для внедрения контролируемых тестовых сред, позволяющих изолировать новые модели от внешнего мира во время тестирования. Сроки для продуктов, использующих ИИ, включая оборудование и игрушки, также продлены до августа 2028 года, а требования к водяным знакам для результатов работы ИИ и другие требования к прозрачности — примерно до декабря 2026 года.

Изменения коснутся способов использования персональных данных при обучении и развертывании систем ИИ. В соответствии с действующим законодательством ЕС, некоторые категории персональных данных могут использоваться только в случае «строго необходимого» применения. Изменения позволят использовать персональные данные для выявления и смягчения предвзятости.

Также были внесены или уточнены исключения для некоторых продуктов. Например, Закон об ИИ не затронет промышленное оборудование, которое уже регулируется законами о безопасности продукции. Кроме того, в некоторых случаях к малым компаниям (менее 50 сотрудников с годовым мировым доходом до 10 миллионов евро или совокупными активами до 10 миллионов евро) и компаниям «малой средней капитализации» (примерно от 250 до 749 сотрудников с годовым мировым доходом до 150 миллионов евро или совокупными активами до 129 миллионов евро) будут применяться более мягкие требования к соблюдению нормативных требований и административные издержки.

Поправки усиливают Закон об ИИ в одной важной области: они запрещают создание изображений сексуального характера с участием детей и изображений обнаженных людей без их согласия.

За кулисами новости: В 2024 году ЕС принял самый строгий в мире закон о регулировании ИИ. Закон вступил в силу в том же году, при этом некоторые положения будут вводиться поэтапно в последующие годы. Он подвергся критике за наложение необоснованных требований без повышения безопасности практически с момента начала законодательного процесса.

В 2023 году руководители 163 компаний подписали письмо, в котором утверждалось, что законодательство носит «бюрократический характер». В 2025 году 110 компаний призвали политиков отложить разработку графика внедрения, поскольку правила были «неясными, дублирующими друг друга и все более сложными». Такие компании, как немецкие промышленные и программные фирмы Siemens и SAP, лоббировали пересмотр, заявляя, что правила сдерживают их развитие.

Два ранних отчета повлияли на поправки. В отчете, опубликованном в апреле 2024 года бывшим премьер-министром Италии Энрико Леттой, утверждалось, что ЕС фрагментирован на 27 национальных рынков, что препятствует масштабированию европейских компаний так же, как это могут делать американские и китайские компании. В отчете за сентябрь 2024 года о конкурентоспособности Европы стагнация роста ВВП региона была представлена как «экзистенциальный вызов», и основное внимание уделялось сокращению инновационного разрыва, декарбонизации и снижению зависимости.

В начале 2025 года Европейская комиссия — исполнительный орган ЕС — объявила о своем намерении снизить регуляторную нагрузку, упростить правила и повысить экономическую конкурентоспособность.

В феврале 2026 года Европейская комиссия отозвала предложенную ею Директиву об ответственности за использование ИИ — спорный законопроект, отдельный от Закона об ИИ, который предусматривал введение общеевропейских стандартов для судебных исков, связанных с вредом, причиненным ИИ.

Реакция общественности: Непосредственная реакция на поправки была неоднозначной. Индустрия ИИ в целом приветствовала дополнительную гибкость, в то время как группы потребителей выразили обеспокоенность по поводу потенциального ослабления стандартов безопасности. Некоторые сообщения в СМИ представили их как смягчение закона в угоду интересам бизнеса. Европейская организация потребителей заявила, что соглашение делает цифровую среду менее безопасной и создает опасные лазейки для компаний, занимающихся ИИ.

Почему это важно: Как в первоначальной, так и в обновленной версиях, Закон об ИИ направлен на смягчение «системных рисков», вызванных ИИ. Эта концепция заимствована из регулирования в сфере финансов и инфраструктуры и относится к сбоям, способным распространяться на различные отрасли или значительные части экономики. Идея о том, что ИИ представляет собой системные риски, остается спекулятивной, в то время как чрезмерное регулирование создает экономический риск подавления инноваций и блокировки полезных технологий. Поправки направлены на баланс рисков и преимуществ за счет снижения нагрузки на разработчиков, предоставления компаниям дополнительного времени для понимания и соблюдения требований, а также создания условий для дальнейших инноваций в критически важных отраслях, таких как производство и полупроводники.

Многие положения первоначального Закона об ИИ были неясными, чрезмерно широкими или излишне обременительными. Эти поправки, по-видимому, делают закон менее обременительным, сохраняя при этом полезные элементы. Это хороший шаг для повышения конкурентоспособности Европы.

Отсюда

Не до законов

Президент США Дональд Трамп в заявил, что отложил подписание указа об искусственном интеллекте, поскольку ему не нравятся некоторые его аспекты, и он не хочет предпринимать никаких шагов, которые могли бы подорвать позиции США в конкуренции с Китаем в области ИИ. Трамп планировал подписать указ на церемонии, на которой должны были присутствовать руководители компаний, занимающихся ИИ.

Американские СМИ, включая Semafor и Washington Post, сообщили, что планы администрации были приостановлены после настойчивых просьб основателя xAI Илона Маска и генерального директора Meta Марка Цукерберга, а также бывшего советника Трампа по вопросам ИИ Дэвида Сакса.

В ответ на сообщение на X о сообщениях в СМИ, Маск сказал: «Это ложь», добавив: «Я до сих пор не знаю, что было в этом указе, и президент поговорил со мной только после того, как отказался его подписать».

«Я думаю, это помешает, знаете ли, мы лидируем в Китае, мы лидируем во всех, и я не хочу делать ничего, что помешало бы этому лидерству», — сказал Трамп журналистам в Овальном кабинете. Указ создаст добровольную структуру для взаимодействия разработчиков ИИ с правительством США до публичного выпуска передовых моделей ИИ, сообщили Reuters в среду два источника, знакомые с указом.

Трамп не уточнил, против каких именно частей исполнительного указа он возражает. Представители технологической индустрии опасаются, что положения указа могут нанести ущерб прибыли отрасли, если они замедлят внедрение новых моделей или побудят компании изменить работу этих моделей для решения проблем безопасности. По словам другого источника, президент также планировал поручить правительству США использовать передовые модели для улучшения кибербезопасности государственных систем, а также сетей, принадлежащих секторам, имеющим жизненно важное значение для экономики, таким как банки и больницы. В правительстве США и частном секторе растет обеспокоенность по поводу рисков кибербезопасности, создаваемых мощными новыми системами искусственного интеллекта, включая Mythos от Anthropic. Anthropic предупреждала, что Mythos может значительно ускорить сложные кибератаки, хотя эксперты по кибербезопасности заявили Reuters, что опасения по поводу бесконтрольного взлома преувеличены.

После возвращения к власти Трамп занял более мягкую позицию по отношению к крупным технологическим компаниям, чем администрация его предшественника Джо Байдена, в связи с появлением искусственного интеллекта и его огромной ролью на американских фондовых рынках. Однако некоторые видные сторонники Трампа призывают к ужесточению мер контроля.

отсюда

100 таксистов

На улицах китайского города Ухань роботакси Apollo Go компании Baidu остановились посреди дороги, заблокировав пассажиров и вызвав столкновения.

Автономный транспорт сегодня сделать безопасным можно только декларативно. То есть объявить безопасным и все. Обосновать (формально подтвердить) это нельзя.

Лучше не надеяться

Anthropic опубликовал разбор безопасности свои продуктов. Цитата: "Первый способ обеспечения безопасности — это контроль поведения агента с помощью участия человека. Ранее Claude Code защищал агентов от непреднамеренных действий, запрашивая у пользователей разрешение на каждом шагу. Теоретически это работает, но мы обнаружили, что такой подход несовершенен. Наши телеметрические данные показали, что пользователи одобряли примерно 93% запросов на разрешение. Чем больше подтверждений видит пользователь, тем меньше внимания он уделяет каждому из них, со временем становясь гораздо менее внимательным к контролю.

Адаптивные косвенные инъекции подсказок

Агенты на основе LLM все чаще используются для сложных задач, требующих планирования, использования инструментов, и взаимодействия с внешними сервисами. Их зависимость от ненадежного внешнего контента делает их уязвимыми для косвенной инъекции подсказок (IPI), при которой враждебные инструкции, встроенные в полученные данные, перехватывают поведение агента. Существующие атаки основаны на статических полезных нагрузках, которые не могут адаптироваться к специфическим для агента средствам защиты; даже в современных адаптивных методах отсутствует структурированная обратная связь для управления оптимизацией. Мы представляем IterInject, итеративную структуру с обратной связью, которая замыкает цикл между инъекцией, диагностикой и уточнением: диагност, основанный на правилах, генерирует структурированные метки результатов с описаниями поведения, а оптимизатор на основе LLM уточняет полезные нагрузки с учетом полной истории оптимизации. Этап синтеза генерирует новые начальные значения маскировки из шаблонов ошибок, позволяя пространству стратегий самостоятельно развиваться. На AgentDojo и InjectAgent IterInject значительно превосходит статические базовые модели и существующие адаптивные методы по четырем моделям жертв. Эксперименты по расширению на примере Claude Code, агента кодирования производственного уровня, обладающего многоуровневой защитой, показывают, что оптимизированные полезные нагрузки достигают полного успеха на 5 из 9 целей; даже те, которые сопротивляются полной эксплуатации, демонстрируют измеримое улучшение в результате итеративного уточнения. Мы также представляем механистический анализ IPI, выявляющий механизм порогового значения, опосредованный вниманием, на средних и поздних уровнях; три причинно-следственных вмешательства подтверждают это открытие и указывают на конкретные направления защиты. - IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization

См. также другие публикации, посвященные агентам

ИИ в кибербезопасности - хроника событий

Данная публикация представляет собой открывает очередной, восьмой по счёту, выпуск периодического аналитического обзора использования Искусственного интеллекта (ИИ) в кибербезопасности. Цикл этих материалов направлен на углублённое исследование стремительно эволюционирующей сферы, возникающей на стыке искусственного интеллекта и кибербезопасности. Ключевая цель данного проекта — планомерное отслеживание мировых тенденций и обобщение наиболее примечательных событий. Помимо сбора информации, в рамках инициативы проводится тщательный разбор законодательных инициатив, резонансных происшествий и передовых технологических новшеств, которые формируют контуры современной кибербезопасности под влиянием ИИ. Каждый номер серии имеет унифицированную структуру, состоящую из трёх разделов, что гарантирует всестороннее освещение рассматриваемой тематики. Первый раздел фокусируется на разборе базы инцидентов и существующих вызовов безопасности: здесь исследуются реальные сценарии атак, обнаруживаются свежие уязвимости и даётся оценка угрозам, порождаемым внедрением алгоритмов ИИ как в оборонительные механизмы, так и в арсенал злоумышленников. Второй раздел даёт характеристику текущему состоянию нормативно-правовой среды и векторам её изменений. Осознание этих процессов имеет первостепенное значение, поскольку именно они задают правовые и эксплуатационные рамки, в которых должны будут развиваться надёжные и безопасные системы на базе ИИ. Третий раздел освещает хронику научно-технологических достижений. Каждый выпуск включает в себя аннотированный перечень наиболее весомых — с точки зрения авторов — научных работ, экспертных докладов ведущих организаций и описаний новаторских разработок. - отсюда

Китайский исследователь

Быстрое развитие базовых моделей катализировало сдвиг парадигмы от систем ИИ, которые помогают исследователям, к агентам, способным проводить исследования автономно. Однако этой новой области не хватает единой аналитической структуры: агенты, работающие с кодом, системы научных открытий и многоагентные исследовательские платформы развивались в значительной степени изолированно, с непоследовательной терминологией и несравнимой оценкой. Данный обзор восполняет этот пробел четырьмя важными вкладами. Во-первых, мы предлагаем пятиуровневую таксономию автономности (L1–L5) — от автозаполнения кода до полностью самоуправляемых исследовательских программ — которая предоставляет точный словарь для характеристики и сравнения систем. Во-вторых, мы выявляем и анализируем четыре доминирующих архитектурных шаблона (циклы с одним агентом, многоагентное сотрудничество, иерархическая оркестровка и выполнение с использованием инструментов) с помощью сравнительной структуры, оценивающей компромиссы между масштабируемостью, стоимостью, надежностью и человеческим контролем. В-третьих, мы проводим подробный анализ 17 основных систем в рамках шестимерной матрицы признаков, показывая, что современные передовые системы работают на уровне L4 (многоэтапное автономное выполнение в ограниченных областях), в то время как уровень L5 остается желаемым. В-четвертых, мы выявляем шесть фундаментальных открытых проблем — когнитивные циклы, ограничения контекста, оценка новизны, воспроизводимость, безопасность и стоимость — и предлагаем конкретные направления исследований для каждой из них. Наш анализ показывает, что наиболее критическими барьерами на пути к автономности уровня L5 являются не столько собственные возможности, сколько постоянное накопление знаний, надежная самооценка и принципиальное масштабирование архитектуры агентов. Мы рассматриваем более 95 статей в области машинного обучения, разработки программного обеспечения и научных открытий, предоставляя первое единое рассмотрение автономных исследовательских агентов как целостной области исследований. - From Copilots to Colleagues: A Survey of Autonomous Research Agents