LLM и геопространственные данные

Широкое внедрение услуг на основе определения местоположения привело к генерации огромных объемов данных о мобильности, что обеспечивает значительные возможности для моделирования динамики перемещения пользователей в городской среде. Последние достижения были сосредоточены на адаптации больших языковых моделей (LLM) для аналитики мобильности. Однако существующие методы сталкиваются с двумя основными ограничениями: неадекватное семантическое представление местоположений (т. е. дискретные идентификаторы) и недостаточное моделирование сигналов мобильности в LLM (т. е. тонкая настройка одной шаблонной инструкции). Для решения этих проблем мы предлагаем QT-Mob, новую структуру, которая значительно улучшает LLM для аналитики мобильности. QT-Mob представляет модуль токенизации местоположения, который изучает компактные, семантически насыщенные токены для представления местоположений, сохраняя контекстную информацию и обеспечивая совместимость с LLM. Кроме того, QT-Mob включает ряд дополнительных целей тонкой настройки, которые согласовывают изученные токены с внутренними представлениями в LLM, улучшая понимание моделью последовательных шаблонов движения и семантики местоположения. Предлагаемая структура QT-Mob не только расширяет возможности LLM интерпретировать данные о мобильности, но и обеспечивает более обобщаемый подход для различных задач аналитики мобильности. Эксперименты на трех реальных наборах данных демонстрируют превосходную производительность как в задачах прогнозирования следующего местоположения, так и в задачах восстановления мобильности, превосходя существующие методы глубокого обучения и LLM. - Enhancing Large Language Models for Mobility Analytics with Semantic Location Tokenization

См. также другие публикации, посвященные LLM