LLM и дроны

Низковысотная мобильность, примером которой являются беспилотные летательные аппараты (БПЛА), внесла преобразующие достижения в различные области, такие как транспорт, логистика и сельское хозяйство. Используя гибкие перспективы и быструю маневренность, БПЛА расширяют возможности восприятия и действия традиционных систем, привлекая широкое внимание со стороны академических кругов и промышленности. Однако текущие операции БПЛА в первую очередь зависят от человеческого контроля, с ограниченной автономностью только в простых сценариях и не имеют интеллекта и адаптивности, необходимых для более сложных сред и задач. Появление больших языковых моделей (LLM) демонстрирует замечательные возможности решения проблем и обобщения, предлагая многообещающий путь для развития интеллекта БПЛА. В этой статье рассматривается интеграция LLM и БПЛА, начиная с обзора основных компонентов и функций систем БПЛА, за которым следует обзор новейших технологий LLM. Затем систематически освещаются мультимодальные ресурсы данных, доступные для БПЛА, которые обеспечивают критически важную поддержку для обучения и оценки. Кроме того, он классифицирует и анализирует ключевые задачи и сценарии применения, в которых сходятся БПЛА и LLM. Наконец, предлагается справочная дорожная карта к агентным БПЛА, направленная на то, чтобы позволить БПЛА достичь агентного интеллекта посредством автономного восприятия, памяти, рассуждения и использования инструментов. Сопутствующие ресурсы доступны по адресу https://github.com/Hub-Tian/UAVs - UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Интересная работа по использованию мультимодальных моделей в БПЛА. Например, использование Vision Foundation Models для сегментации изображений.