Заглянуть в данные LLM

Атаки на вывод членства (MIA) широко используются для оценки рисков конфиденциальности, связанных с моделями машинного обучения. Однако, когда эти атаки применяются к предобученным большим языковым моделям (LLM), они сталкиваются со значительными проблемами, включая неправильно размеченные выборки, сдвиги распределения и расхождения в размерах моделей между экспериментальными и реальными условиями. Чтобы устранить эти ограничения, мы вводим токенизаторы в качестве нового вектора атак для вывода членства. В частности, токенизатор преобразует необработанный текст в токены для LLM. В отличие от полных моделей, токенизаторы можно эффективно обучить с нуля, тем самым избегая вышеупомянутых проблем. Кроме того, обучающие данные токенизатора обычно репрезентативны для данных, используемых для предобучения LLM. Несмотря на эти преимущества, потенциал токенизаторов как вектора атак остается неисследованным. С этой целью мы представляем первое исследование утечки членства через токенизаторы и исследуем пять методов атак для вывода членства в наборе данных. Масштабные эксперименты на миллионах интернет-образцов выявили уязвимости токенизаторов современных LLM. Чтобы снизить этот новый риск, мы также предлагаем адаптивную защиту. Наши результаты показывают, что токенизаторы являются недооценённой, но критически важной угрозой конфиденциальности, что подчёркивает острую необходимость в механизмах сохранения конфиденциальности, специально разработанных для них. - Membership Inference Attacks on Tokenizers of Large Language Models

См. также другие публикации, посвященные LLM