Рекомендации в реальном времени

Создание масштабируемой и работающей в режиме реального времени системы рекомендаций жизненно важно для многих предприятий, движимых отзывами клиентов, чувствительными ко времени, например, рейтинг коротких видеороликов или онлайн-реклама. Несмотря на повсеместное принятие фреймворков глубокого обучения в масштабах производства, таких как TensorFlow или PyTorch, эти универсальные фреймворки не соответствуют требованиям бизнеса в сценариях рекомендаций по разным причинам: с одной стороны, настройка систем на основе статических параметров и плотных вычислений для рекомендаций с динамическими и разреженными признаками пагубна для качества модели; с другой стороны, такие фреймворки разработаны с полностью разделенными этапами пакетного обучения и обслуживания, что не позволяет модели взаимодействовать с отзывами клиентов в режиме реального времени. Эти проблемы заставили нас пересмотреть традиционные подходы и изучить радикально иные варианты дизайна. В этой статье мы представляем Monolith, систему, специально предназначенную для онлайн-обучения. Наш дизайн был обусловлен наблюдениями за нашими рабочими нагрузками приложений и производственной средой, что отражает заметный отход от других систем рекомендаций. Наш вклад многообразен: во-первых, мы создали таблицу встраивания без столкновений с оптимизациями, такими как встраивание с истекающим сроком действия и фильтрация частот для уменьшения объема памяти; во-вторых, мы предоставляем готовую к производству архитектуру онлайн-обучения с высокой отказоустойчивостью; наконец, мы доказали, что надежность системы может быть принесена в жертву обучению в реальном времени. - Monolith: Real Time Recommendation System With Collisionless Embedding Table

Исходный код системы (TikTok) - открыт