LLM для последовательных рекомендаций

Последовательные рекомендательные системы (SRS) нацелены на прогнозирование последующих выборов пользователей на основе их исторических взаимодействий и нашли применение в различных областях, таких как электронная коммерция и социальные сети. Однако в реальных системах большинство пользователей взаимодействуют только с несколькими элементами, в то время как большинство элементов редко потребляются. Эти две проблемы, известные как проблемы пользователя с длинным хвостом и проблемы элемента с длинным хвостом, часто создают трудности для существующих SRS. Эти проблемы могут отрицательно влиять на пользовательский опыт и выгоды продавца, что делает их критически важными для решения. Хотя несколько работ решали эти проблемы, они все еще борются с проблемами качелей или шума из-за внутренней нехватки взаимодействий. Достижения в больших языковых моделях (LLM) представляют собой многообещающее решение этих проблем с семантической точки зрения. Как одни из пионеров в этой области, мы предлагаем структуру улучшения больших языковых моделей для последовательных рекомендаций (LLM-ESR). Эта структура использует семантические вложения, полученные из LLM, для улучшения SRS без добавления дополнительной нагрузки вывода от LLM. Для решения проблемы длиннохвостовых элементов мы разрабатываем структуру моделирования с двумя представлениями, которая объединяет семантику из LLM и совместные сигналы из обычных SRS. Для проблемы длиннохвостовых пользователей мы предлагаем метод самодистилляции с расширенным поиском для улучшения представления предпочтений пользователя с использованием более информативных взаимодействий от похожих пользователей. Чтобы проверить эффективность и универсальность нашей предлагаемой структуры улучшения, мы проводим обширные эксперименты на трех реальных наборах данных с использованием трех популярных моделей SRS. Результаты показывают, что наш метод последовательно превосходит существующие базовые показатели и особенно выгоден для оценки длинных хвостов пользователей и рекомендуемых элементов. Код реализации доступен по адресу https://github.com/Applied-Machine-Learning-Lab/LLM-ESR. LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation

Последовательные рекомендательные системы были предметом наших статей - см., например, нашу статью о рекомендательных системах на основе сессий

P.S. См. также другие публикации, посвященные LLM