На чем учили?

Атаки на LLM - извлечение тренировочных данных. Вот здесь есть описание этой атаки.

Вот здесь описана другая модель подобной атаки

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM