Пара интересных работ:
DefakeHop: A Light-Weight High-Performance Deepfake Detector
Мы уже представляли эту работу здесь
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
Вы когда-нибудь настраивались на видео или телешоу, и актеры были совершенно не слышны, или музыка была слишком громкой? Что ж, эта проблема, также называемая проблемой коктейльной вечеринки, может больше никогда не повториться. Mitsubishi и Университет Индианы только что опубликовали новую модель, а также новый набор данных, решающий задачу определения правильного саундтрека. Например, если мы возьмем тот же аудиоклип, который мы только что запустили, со слишком громкой музыкой, вы можете просто увеличить или уменьшить звуковую дорожку, которую хотите придать речи больше, чем музыке.
Проблема здесь в том, чтобы изолировать любой независимый источник звука от сложной акустической сцены, такой как сцена из фильма или видео на YouTube, где некоторые звуки не сбалансированы. Иногда вы просто не слышите некоторых актеров из-за музыки, взрывов или других звуков на заднем плане. Что ж, если вы успешно изолировали разные категории в саундтреке, это означает, что вы также можете повышать или понижать только одну из них, например, немного приглушить музыку, чтобы правильно слышать всех других актеров. Именно этого и добились исследователи. И получилась довольно ясная архитектура
No comments:
Post a Comment