Сдвиг концепций

"С расцветом методов машинного обучения (ML) специалисты по программному обеспечению создают системы ML для обработки огромного объема потоковых данных для различных задач по программной инженерии, таких как прогнозирование сбоев в AIOps. Обученные с использованием исторических данных, такие модели ML сталкиваются с ухудшением производительности, вызванным дрейфом концепций, т. е. изменениями данных и взаимосвязей (концепций) между обучением и производством. Важно использовать обнаружение разрыва концепций для мониторинга развернутых моделей ML и повторного обучения моделей ML при необходимости.

В этой работе мы исследуем применение современных (SOTA) методов обнаружения дрейфа концепций на синтетических и реальных наборах данных в промышленных условиях. Такие промышленные условия требуют минимальных ручных усилий по маркировке и максимальной общности в архитектуре модели ML. Мы обнаружили, что текущие полуконтролируемые методы SOTA не только требуют значительных усилий по маркировке, но и работают только для определенных типов моделей ML. Чтобы преодолеть такие ограничения, мы предлагаем новую модельно-независимую технику (CDSeer) для обнаружения дрейфа концепций. Наша оценка показывает, что CDSeer имеет лучшую точность и полноту по сравнению с современными решениями, при этом требуя значительно меньше ручной маркировки. Мы демонстрируем эффективность CDSeer при обнаружении дрейфа концепций, оценивая его на восьми наборах данных из разных доменов и вариантов использования. Результаты внутреннего развертывания CDSeer на промышленном запатентованном наборе данных показывают улучшение точности на 57,1% при использовании на 99% меньше меток по сравнению с методом обнаружения дрейфа концепций SOTA. Производительность также сопоставима с контролируемым методом обнаружения дрейфа концепций, который требует маркировки 100% данных. Повышенная производительность и простота внедрения CDSeer ценны для повышения надежности систем машинного обучения." - отсюда