См. также другие публикации по теме физические атаки
технические проблемы и идеи, родившиеся в бурных водах реки Abava (а равно как и на ее берегах, далеких и близких), выставленные на всеобщее обсуждение
Saturday, November 07, 2026
Physics-In-The-Loop
Friday, November 06, 2026
ИИ артифакты
В этом руководстве представлен полный цикл расследования компрометации систем на базе ИИ/машинного обучения. Каждый раздел содержит информацию о характере атак, криминалистических артефактах, практических методах расследования и возможностях обнаружения угроз. Разделы независимы друг от друга, поэтому вы можете сразу перейти к изучению той угрозы, с которой столкнулись.
Wednesday, November 04, 2026
Бомбы по-русски
"Как следует из заявления в Минцифры, ключевое свойство системы заключается в том, что процедура извлечения тотальна — она никогда не возвращает ошибку. Любой валидный параметр доступа дает правдоподобный результат. Атакующий, даже получив полный доступ к массиву, PIN-коду и справочной таблице, не может подтвердить успех атаки: подтверждение архитектурно устранено. В результате сам владелец данных извлекает данные за 0,08 сек на ресурсоограниченных устройствах, а атакующий получает миллиард равноправных вариантов и ни одного доказательства. При этом ИИ-агенты и квантовые компьютеры не позволяют решить задачу выделения истинных данных: проблема не в вычислительной мощности, а в отсутствии вычислимой процедуры подтверждения." - отсюда
похоже, что это регистрация в России идеи контекстных бомб
Tuesday, November 03, 2026
Качаем агента на косвенных
См. также другие публикации, посвященные агентам
Monday, November 02, 2026
INJOIT vol. 14, no. 11
Темы статей:
- Матрично-свободная спектральная реализация и параллельное ускорение методов BiCGStab и BiCGStab(l) для задачи магнитной индукции
- Конфигурируемые графы обработки данных в эксперименте Baikal-GVD: архитектура устойчивого научного ПО
- Аудит измерения ложных отказов у мультимодальных больших языковых моделей с защитой на этапе вывода
- Ensuring continuous security in CI/CD pipelines through LLM-assisted reduction of false positives in static analysis
- Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 12
- Временно-метеорологическая адаптация моделей искусственного интеллекта для планирования режимов работы фотоэлектрических станций
- Сведение задачи декодирования с ограниченным расстоянием к задаче Изинга с использованием редукции базиса двойственной решетки
- Small Movements Detection In Video Using Video-EEG Data
- Real-time target tracking using a PTZ camera with Delay-compensated IMM-UKF and Nonlinear Model Predictive Control
- Development of a mathematical model for automated design of LAN cable routing
- Численное моделирование устойчивости цветовых признаков листьев винограда при изменении естественной освещённости
- Управление контекстом в агентной программной инженерии: модель жизненного цикла и паттерны проектирования
- From Qualitative Roles to Measurable Evidence: Classical Text Representations for Action-Type Recognition in Manufacturing Execution Systems
- Применение DevOps в корпоративных информационных системах: организационные условия, технологические решения и этические ограничения
- Метрики корректности кода на основе логарифмов вероятностей токенов языковых моделей
- Идентификация зон поглощений бурового раствора при проектировании скважин средствами искусственного интеллекта
- Гарантированное покрытие типов аугментации на наборе Digits
- Адаптивное бюджетно-рисковое индексное планирование фонового обмена данными в мобильных системах
- Система обнаружения девиантного поведения по видеопоследовательностям лица человека на транспорте
- Сравнительный анализ протоколов маршрутизации в рое БпЛА
- Правило принятия решений группой искусственных интеллектуальных акторов «k-консенсус» на второй стадии метода эволюционного согласования
- Media-Induced Disruptions to Social Homeostasis in the Age of Digitalization
/via Лаборатория ОИТ
Архив журнала находится здесь.
Sunday, November 01, 2026
Пользователи плохому научат
Суть опасений: любой запрос, черновик или файл, переданный пользователем системе ИИ, может стать для нее «пищей». Разработчик может использовать эти данные для обучения будущих моделей, что чревато утечкой информации к конкурентам или тем, что ИИ совершит научное открытие раньше самого пользователя. Более того, агент ИИ, имеющий доступ к интернету, может опубликовать полученные данные в сети или отправить их по электронной почте тем, кому, по его «мнению», следует об этом знать. Это вовсе не фантастика: компания Anthropic сообщала о редких случаях, когда ее модель Claude Mythos 5 пыталась отправить электронное письмо совету директоров компании или регуляторам рынка ценных бумаг, заподозрив мошенничество. Как только данные оказываются вне контроля пользователя, он уже не может влиять на то, как они будут использованы.
Тревожные примеры: за последние два месяца несколько ученых заявили, что компании-разработчики ИИ объявили об открытиях, над которыми сами ученые работали с помощью инструментов этих же компаний. Как сообщает журнал Nature, некоторые исследователи, опасаясь, что их опередят, теперь ограничивают использование ИИ-инструментов. В других случаях агенты ИИ публиковали в открытом доступе конфиденциальную информацию пользователей, к которой они получили доступ в процессе работы.
Математики Тристан Бакмастер из Нью-Йоркского университета и Левент Альпоге, работающий в компании Anthropic, потратили почти год, используя модели Codex (от OpenAI) и Claude (от Anthropic) для решения математической задачи стоимостью 1 миллион долларов: могут ли уравнения Навье — Стокса, описывающие движение жидкостей и газов, приводить к потере гладкости решения (так называемому «разрушению» решения). 8 сентября — на следующий день после того, как исследователи опубликовали доказательства для связанных уравнений, — компания OpenAI объявила, что ее системы решили эту задачу. Это произошло после того, как сотрудники компании услышали слухи о работе ученых. Бакмастер задался вопросом: не обучалась ли модель OpenAI на сессиях в Codex, где содержались черновики их работы? Сначала в OpenAI назвали это «маловероятным», но не смогли полностью исключить такую возможность. Спустя два дня в компании заявили, что запросы ученых за последние два месяца «никак не могли повлиять на систему», однако оставили без ответа вопрос о том, использовались ли для обучения модели более ранние наработки исследователей. Бакмастер, который отказался от использования своих данных компанией OpenAI для обучения моделей, заявил в интервью The Washington Post: «Я просто им не верю».
Группа исследователей под руководством биолога из Копенгагенского университета Марио Родригеса Местре в течение четырех лет изучала семейство ферментов у вирусов, поражающих бактерии. Ученые не публиковали свои черновики или результаты исследований, но делились ими с ИИ-агентом Claude. 23 сентября компания Anthropic объявила, что агенты Claude обнаружили систему, которая, по словам Местре, идентична той, что изучала его группа. В комментарии для The New York Times представители Anthropic отметили, что Claude «не обучался на каких-либо записях взаимодействий пользователей».
25 сентября компания OpenAI сообщила, что ИИ-агенты в ее исследовательской среде разместили 53 изображения, полученные от пользователей ChatGPT (которые не отказались от использования своих данных для обучения), по общедоступным ссылкам на хостингах изображений. В OpenAI заявили, что удалили большую часть этих файлов, однако не могут уведомить затронутых пользователей, поскольку агенты перед публикацией удалили информацию об учетных записях, которым принадлежали данные. ИИ-агенты, которым поручали прикреплять скриншоты к обзорам кода на платформе GitHub, сохраняли изображения в публичных репозиториях — зачастую в рамках учетных записей самих разработчиков. Специалисты компании Glow Labs обнаружили более 13 000 внутренних изображений, принадлежащих более чем 300 организациям; среди них оказались счета клиентов коммунальной службы и интерфейс системы денежных переводов финансовой компании.
Агент Muse от компании Meta публиковал диалоги (по запросу пользователей) по веб-адресам, содержащим название каждого обсуждения. Эксперты фирмы Claroc обнаружили более 6800 таких записей в публичных DNS-данных — в их числе оказались заявка на получение кредита для малого бизнеса и отчет о доходах, предназначенный для генерального директора компании. После этого Meta приостановила работу данной функции.
Насколько стоит опасаться? На данный момент нет убедительных доказательств того, чего пользователи боятся больше всего: сценария, при котором модель обучается на данных одного пользователя, а затем выдает их в качестве ответа другому. В тех случаях, когда данные одного пользователя становились доступными другому, причиной была техническая ошибка, а не процесс обучения модели. Эксперты сообщили журналу Scientific American, что подход, примененный агентами OpenAI, отличается от того, который использовали Бакмастер и Альпёге, хотя некоторые специалисты отмечают, что более ранняя, меньшая по составу группа агентов OpenAI действовала именно так. Теперь Местре считает более вероятным, что поиск, проводившийся компанией Anthropic, направлялся не столько его собственными данными, сколько предварительными знаниями и указаниями людей. Другие утечки произошли по вине агентов, которым предоставили больше свободы, чем требовалось для выполнения их задач. Тем не менее, пользователям приходится верить на слово компаниям, разрабатывающим ИИ, относительно того, что происходит с их данными. В потребительских версиях ChatGPT, Claude и GitHub Copilot данные диалогов или программный код используются для обучения моделей, если только пользователь не откажется от этого. «Если вы используете личную учетную запись, то никаких гарантий конфиденциальности нет», — отмечает Дженнифер Кинг, исследователь вопросов приватности из Стэнфордского университета.
/via deeplearning.ai Встреча со страхом: в фольклоре вампир не может переступить порог дома, если его не пригласили. Подобным образом и пользователи сами решают, насколько глубоко они готовы допустить ИИ в свои дела. Если вы работаете над задачами, доступ к результатам которых не должны получить ваши конкуренты, откажитесь от использования ваших данных для обучения в каждом продукте отдельно (настройки ChatGPT не распространяются на модель Codex). Сделайте это как можно раньше: данные, которые уже попали в процесс обучения (например, в Claude), останутся там. В корпоративных тарифных планах и при использовании API данные клиентов, как правило, не применяются для обучения моделей.