Суть опасений: любой запрос, черновик или файл, переданный пользователем системе ИИ, может стать для нее «пищей». Разработчик может использовать эти данные для обучения будущих моделей, что чревато утечкой информации к конкурентам или тем, что ИИ совершит научное открытие раньше самого пользователя. Более того, агент ИИ, имеющий доступ к интернету, может опубликовать полученные данные в сети или отправить их по электронной почте тем, кому, по его «мнению», следует об этом знать. Это вовсе не фантастика: компания Anthropic сообщала о редких случаях, когда ее модель Claude Mythos 5 пыталась отправить электронное письмо совету директоров компании или регуляторам рынка ценных бумаг, заподозрив мошенничество. Как только данные оказываются вне контроля пользователя, он уже не может влиять на то, как они будут использованы.
Тревожные примеры: за последние два месяца несколько ученых заявили, что компании-разработчики ИИ объявили об открытиях, над которыми сами ученые работали с помощью инструментов этих же компаний. Как сообщает журнал Nature, некоторые исследователи, опасаясь, что их опередят, теперь ограничивают использование ИИ-инструментов. В других случаях агенты ИИ публиковали в открытом доступе конфиденциальную информацию пользователей, к которой они получили доступ в процессе работы.
Математики Тристан Бакмастер из Нью-Йоркского университета и Левент Альпоге, работающий в компании Anthropic, потратили почти год, используя модели Codex (от OpenAI) и Claude (от Anthropic) для решения математической задачи стоимостью 1 миллион долларов: могут ли уравнения Навье — Стокса, описывающие движение жидкостей и газов, приводить к потере гладкости решения (так называемому «разрушению» решения). 8 сентября — на следующий день после того, как исследователи опубликовали доказательства для связанных уравнений, — компания OpenAI объявила, что ее системы решили эту задачу. Это произошло после того, как сотрудники компании услышали слухи о работе ученых. Бакмастер задался вопросом: не обучалась ли модель OpenAI на сессиях в Codex, где содержались черновики их работы? Сначала в OpenAI назвали это «маловероятным», но не смогли полностью исключить такую возможность. Спустя два дня в компании заявили, что запросы ученых за последние два месяца «никак не могли повлиять на систему», однако оставили без ответа вопрос о том, использовались ли для обучения модели более ранние наработки исследователей. Бакмастер, который отказался от использования своих данных компанией OpenAI для обучения моделей, заявил в интервью The Washington Post: «Я просто им не верю».
Группа исследователей под руководством биолога из Копенгагенского университета Марио Родригеса Местре в течение четырех лет изучала семейство ферментов у вирусов, поражающих бактерии. Ученые не публиковали свои черновики или результаты исследований, но делились ими с ИИ-агентом Claude. 23 сентября компания Anthropic объявила, что агенты Claude обнаружили систему, которая, по словам Местре, идентична той, что изучала его группа. В комментарии для The New York Times представители Anthropic отметили, что Claude «не обучался на каких-либо записях взаимодействий пользователей».
25 сентября компания OpenAI сообщила, что ИИ-агенты в ее исследовательской среде разместили 53 изображения, полученные от пользователей ChatGPT (которые не отказались от использования своих данных для обучения), по общедоступным ссылкам на хостингах изображений. В OpenAI заявили, что удалили большую часть этих файлов, однако не могут уведомить затронутых пользователей, поскольку агенты перед публикацией удалили информацию об учетных записях, которым принадлежали данные. ИИ-агенты, которым поручали прикреплять скриншоты к обзорам кода на платформе GitHub, сохраняли изображения в публичных репозиториях — зачастую в рамках учетных записей самих разработчиков. Специалисты компании Glow Labs обнаружили более 13 000 внутренних изображений, принадлежащих более чем 300 организациям; среди них оказались счета клиентов коммунальной службы и интерфейс системы денежных переводов финансовой компании.
Агент Muse от компании Meta публиковал диалоги (по запросу пользователей) по веб-адресам, содержащим название каждого обсуждения. Эксперты фирмы Claroc обнаружили более 6800 таких записей в публичных DNS-данных — в их числе оказались заявка на получение кредита для малого бизнеса и отчет о доходах, предназначенный для генерального директора компании. После этого Meta приостановила работу данной функции.
Насколько стоит опасаться? На данный момент нет убедительных доказательств того, чего пользователи боятся больше всего: сценария, при котором модель обучается на данных одного пользователя, а затем выдает их в качестве ответа другому. В тех случаях, когда данные одного пользователя становились доступными другому, причиной была техническая ошибка, а не процесс обучения модели. Эксперты сообщили журналу Scientific American, что подход, примененный агентами OpenAI, отличается от того, который использовали Бакмастер и Альпёге, хотя некоторые специалисты отмечают, что более ранняя, меньшая по составу группа агентов OpenAI действовала именно так. Теперь Местре считает более вероятным, что поиск, проводившийся компанией Anthropic, направлялся не столько его собственными данными, сколько предварительными знаниями и указаниями людей. Другие утечки произошли по вине агентов, которым предоставили больше свободы, чем требовалось для выполнения их задач. Тем не менее, пользователям приходится верить на слово компаниям, разрабатывающим ИИ, относительно того, что происходит с их данными. В потребительских версиях ChatGPT, Claude и GitHub Copilot данные диалогов или программный код используются для обучения моделей, если только пользователь не откажется от этого. «Если вы используете личную учетную запись, то никаких гарантий конфиденциальности нет», — отмечает Дженнифер Кинг, исследователь вопросов приватности из Стэнфордского университета.
/via deeplearning.ai Встреча со страхом: в фольклоре вампир не может переступить порог дома, если его не пригласили. Подобным образом и пользователи сами решают, насколько глубоко они готовы допустить ИИ в свои дела. Если вы работаете над задачами, доступ к результатам которых не должны получить ваши конкуренты, откажитесь от использования ваших данных для обучения в каждом продукте отдельно (настройки ChatGPT не распространяются на модель Codex). Сделайте это как можно раньше: данные, которые уже попали в процесс обучения (например, в Claude), останутся там. В корпоративных тарифных планах и при использовании API данные клиентов, как правило, не применяются для обучения моделей.
