LLM в анализе радиосигналов

Агентам больших языковых моделей необходимо воспринимать поведение человека в физической среде. Радар миллиметрового диапазона (ммВ) обеспечивает конфиденциальный и бесконтактный способ обнаружения, но радиолокационные наблюдения трудно сопоставить с языком. Существующие методы радиолокационного распознавания языка часто основаны на синтетических данных или не имеют явного контроля за структурой и движением человеческого тела. Мы представляем mmMind, радиолокационную языковую модель, которая использует синхронизированную 3D-позу в качестве контроля только для обучения. Пространственно-временной радиолокационный кодировщик предварительно обучается для захвата конфигурации тела и динамики движения, после чего голова в позе удаляется, так что для вывода требуется только радар. Изученные радиолокационные представления затем сопоставляются с LLM для захвата поведения и пространственно-временных ответов на вопросы. Мы также представляем mmMind-Bench, реальный эталонный набор данных для радиолокационного распознавания языка, содержащий 17,9 часов записей от 23 участников в семи помещениях. Эксперименты по созданию подписей, ответам на вопросы и обобщению неизвестных действий показывают, что mmMind неизменно превосходит существующие базовые модели на основе радарного языка, а анализ результатов подтверждает важность предварительного обучения с учетом позы. - Teaching Foundation Models to Read mmWave: Pose-Guided Kinematic Representation for Human Behavior Understanding

См. также другие публикации, посвященные LLM