Последовательные фейки

Контент типа «дипфейк» в социальных сетях все чаще создается путем многократных последовательных правок биометрических данных, таких как изображения лиц. В результате окончательный вид изображения часто отражает скрытую цепочку операций, а не единичную манипуляцию. Восстановление этих историй редактирования имеет важное значение для визуального анализа происхождения, аудита дезинформации и рабочих процессов криминалистической экспертизы или модерации платформ, которые должны отслеживать происхождение и эволюцию медиаконтента, созданного ИИ. Однако существующие наборы данных преимущественно фокусируются на одноэтапном редактировании и игнорируют кумулятивные артефакты, вносимые реалистичными многоэтапными конвейерами. Чтобы устранить этот пробел, мы представляем Sequential Editing in Diffusion (SEED), крупномасштабный бенчмарк для отслеживания последовательного происхождения изображений лиц. SEED содержит более 90 000 изображений, созданных с помощью одной-четырех последовательных редактирований атрибутов с использованием конвейеров редактирования на основе диффузии, с подробными аннотациями, включая порядок редактирования, текстовые инструкции, маски манипуляций и модели генерации. Эти метаданные позволяют проводить поэтапный анализ доказательств и поддерживают обнаружение подделок и прогнозирование последовательностей. Для оценки проблем, связанных с SEED, мы оцениваем репрезентативные стратегии анализа и отмечаем, что подходы, основанные только на пространственном анализе, испытывают трудности при наличии тонких и распределенных артефактов диффузии, особенно когда такие артефакты накапливаются в нескольких редактированиях. Руководствуясь этим наблюдением, мы дополнительно разрабатываем FAITH, частотно-ориентированную базовую модель Transformer, которая агрегирует пространственные и частотные сигналы для идентификации и упорядочивания скрытых событий редактирования. Результаты показывают, что высокочастотные сигналы, в частности вейвлет-компоненты, обеспечивают эффективные подсказки даже при ухудшении качества изображения. В целом, SEED облегчает систематическое изучение последовательного отслеживания происхождения и агрегирования доказательств для достоверного анализа визуального контента, созданного ИИ. - SEED: A Large-Scale Benchmark for Provenance Tracing in Sequential Deepfake Facial Edits

См. также другие публикации по теме deepfake

Что не так с проверками дипфейков?

Где проверки личности терпят неудачу? Большинство проверок личности основаны на двух сигналах: сходстве лиц и «живом» изображении. Оба сигнала полезны, и оба могут быть подорваны, если система предполагает подлинность входного потока. Злоумышленники нарушают это предположение двумя взаимодополняющими способами.

Во-первых, они имитируют реальные медиафайлы. Дипфейки и голосовые клоны совершенствуются в реальных условиях эксплуатации — короткие клипы, мобильная съемка, сжатие и несовершенное освещение. Рабочий процесс, зависящий от узкой визуальной поверхности, все чаще подвергается ложному принятию.

Во-вторых, они полностью обходят датчик. Инъекционные атаки подменяют входной поток до того, как он достигнет анализа. Вместо того чтобы показывать лицо камере, злоумышленники могут:

Использовать программное обеспечение виртуальной камеры для передачи синтетического или предварительно записанного видео
Запускать сеансы проверки внутри эмуляторов, предназначенных для имитации легитимных мобильных устройств
Работать с устройств с root-правами или джейлбрейком, которые обходят проверки целостности
Заменять захват в реальном времени манипулированными потоками

В этих сценариях медиафайлы могут выглядеть идеально, потому что им не пришлось проходить через реальный путь захвата. Именно поэтому защита только на основе восприятия (даже сильная) необходима, но недостаточна.

Что показывает бенчмарк базы данных инцидентов с политическими дипфейками Университета Пердью? Одна из практических проблем защиты от дипфейков — это обобщение: детекторы, которые хорошо работают в контролируемых условиях, часто ухудшаются в условиях «реальной жизни».

Исследователи из Университета Пердью оценили системы обнаружения дипфейков, используя свой реальный бенчмарк, основанный на базе данных инцидентов с политическими дипфейками (PDID).

PDID содержит реальные медиафайлы инцидентов, распространяемые на таких платформах, как X, YouTube, TikTok и Instagram, что означает, что входные данные сжимаются, перекодируются и обрабатываются постобработкой так же, как это часто происходит в реальных условиях.

Ключевые факторы включают:

Сильное сжатие и перекодирование
Разрешение ниже 720p
Короткие клипы, ориентированные на мобильные устройства
Разнородные конвейеры генерации

Детекторы оценивались сквозным методом с использованием таких метрик, как точность, AUC и частота ложных срабатываний (FAR). В рабочих процессах идентификации FAR часто является более важной метрикой, поскольку даже небольшая частота ложных срабатываний может допустить постоянный несанкционированный доступ.

Результаты Purdue также подчеркивают практическую реальность для защитников: производительность детекторов резко различается, как только входные данные начинают выглядеть как реальные.

Среди коммерческих систем, протестированных в рамках бенчмарка PDID Университета Пердью, Deepsight от Incode показала лучшие результаты в задаче чисто визуального обнаружения дипфейков — оценки самого видеоконтента в условиях реального инцидента.

Но это только первый уровень проблемы.
Важно уточнить: PDID измеряет устойчивость обнаружения медиаконтента на реальном контенте инцидента. Он не моделирует внедрение, компрометацию устройства или атаки на целые сессии.

В реальных рабочих процессах идентификации злоумышленники не выбирают один метод за раз; они их комбинируют. Высококачественный дипфейк можно воспроизвести. Воспроизведение можно внедрить. Внедренный поток можно автоматизировать в больших масштабах.

отсюда

См. также другие публикации по теме deepfake

Порча от дипфейков

Дипфейки представляют собой растущую угрозу для надежности цифровых медиа, и для идентификации манипулированного контента разработано несколько алгоритмов обнаружения. Хотя подходы к обнаружению продолжают совершенствоваться, проактивные методы защиты, которые защищают изображения путем внедрения незаметных враждебных возмущений до распространения, предотвращая тем самым генерацию дипфейков в источнике, предлагают более надежное дополнительное решение. Однако существующие проактивные методы защиты от генераторов дипфейков страдают от трех ключевых ограничений: низкой незаметности, ограниченного воздействия на уровне текстуры и отсутствия контроля над низкоуровневыми структурными возмущениями. Для решения этой проблемы предлагается новая атака с учетом текстуры на уровне фрагментов изображения в качестве проактивного метода защиты, который нарушает генерацию дипфейков. Это связано с тем, что враждебные изображения генерируются путем добавления возмущений к исходным изображениям лиц, поэтому поддержание визуальной незаметности является критически важным требованием; таким образом, наша защита явно фокусируется на ограничении возмущений низкоэнергетическими аспектами текстуры, которые не оказывают существенного влияния на человеческое восприятие. Предложенный метод использует сингулярные векторы хвостовой моды, извлеченные с помощью пошагового сингулярного разложения (SVD), для усиления низкоэнергетических текстурных компонентов, т. е., создавая враждебные возмущения, которые остаются визуально незаметными, но ухудшают качество сгенерированных изображений дипфейков. Кроме того, мы вводим вариант, который выполняет проекцию градиента в подпространство хвостовой моды SVD, гарантируя, что обновления остаются ограниченными тонкими текстурными паттернами и избегают высокочастотного шума. Результаты показывают, что предложенный метод представляет собой более скрытую атаку, которая нарушает генерацию дипфейков. Экспериментальные результаты показывают, что предложенный метод достигает высоких показателей успешности атаки, сохраняя при этом перцептивное сходство, превосходя базовые методы по незаметности и эффективности. Эта работа демонстрирует новый путь к проактивной и незаметной защите от генерации дипфейков. - A Texture-Guided Adversarial Defense Framework Against Deepfake Generation

См. также другие публикации по теме deepfake

Наши дипфейки - самые глубокие фейки

По мере того, как системы обнаружения дипфейков становятся всё более сложными, понимание их уязвимостей становится критически важным для разработки надёжной защиты. Мы представляем комплексное исследование конкурентных атак на детекторы дипфейков на основе изображений, предлагая новый подход, создающий «конкурентную реальность» — синтетические изображения, которые сохраняют визуальное сходство с оригинальными дипфейками, успешно обходя автоматизированные системы обнаружения. Наш метод использует генеративную структуру с архитектурой в стиле UNet для преобразования изображений, сгенерированных GAN, диффузионно-генерированных и обработанных лиц, в варианты, обманывающие детектор, сохраняя при этом визуальную точность. В отличие от традиционных подходов, основанных на возмущениях, которые добавляют шумовые паттерны, наш генеративный метод обучается преобразованиям, специфичным для изображений, без необходимости использования вручную созданных спектральных фильтров. Благодаря обширной оценке различных наборов данных, типов генераторов и архитектур детекторов мы демонстрируем, что наш подход достигает уровня ошибочной классификации до 98,83% на диффузных изображениях и 83,36% на контенте на основе GAN, сохраняя при этом высокое качество восприятия со средними баллами PSNR выше 35. Наши результаты выявляют критические уязвимости в существующих системах обнаружения и дают представление о разработке более надежных детекторов дипфейков. - Adversarial Reality for Evading Deepfake Image Detectors

См. также другие публикации по теме deepfake

Атаки на детекторы дипфейков

Распространение медиаконтента, генерируемого искусственным интеллектом, повысило риски дезинформации, что обусловило необходимость создания надежных систем обнаружения дипфейков. Однако состязательные атаки — тонкие возмущения, предназначенные для уклонения от обнаружения, — остаются серьезной уязвимостью. Для решения этой проблемы мы организовали конкурс AADD-2025, предложив участникам разработать атаки, которые обманывают различные классификаторы (например, ResNet, DenseNet, слепые модели), сохраняя при этом визуальную точность. Набор данных включал 16 подмножеств высококачественных/низкокачественных дипфейков, сгенерированных генеративно-состязательными сетями (GAN) и диффузионными моделями (например, StableDiffusion, StyleGAN3). Команды оценивались по структурному сходству (SSIM) и показателям успешности атак по классификаторам. Тринадцать команд предложили инновационные решения, использующие манипуляцию латентным пространством, ансамблевые градиенты, суррогатное моделирование и возмущения в частотной области. Лучшие участники конкурса — MR-CAS (1-е место, результат: 2740), Safe AI (2-е место, 2709) и RoMa (3-е место, 2679) — достигли высокого SSIM (0,74–0,93), уклоняясь от классификаторов. Инверсия латентной диффузии MR-CAS и структура ансамбля градиентов Safe AI продемонстрировали превосходную переносимость, даже против Vision Transformers. Ключевые выводы показали, что атаки в латентном пространстве превосходят методы на уровне пикселей, ансамблевые стратегии повышают кросс-модельную устойчивость, а гибридные атаки с использованием CNN-трансформеров являются наиболее эффективными. Несмотря на прогресс, сохраняются проблемы с обобщением атак на гетерогенные модели и сохранением качества восприятия. Задача AADD-2025 подчеркивает срочность разработки адаптивной защиты и гибридных систем обнаружения для противодействия развивающимся враждебным угрозам в медиа, генерируемых ИИ. Для облегчения воспроизводимости и дальнейших исследований полный набор данных доступен для скачивания в репозитории конкурса на GitHub: https://github.com/mfs-iplab/aadd-2025. - Adversarial Attacks on Deepfake Detectors: A Challenge in the Era of AI-Generated Media (AADD-2025)

См. также другие публикации по теме deepfake

Детектор, который не детектирует

Пара интересных работ по обходу детекторов дипфейковых изображений

В последние годы было разработано несколько методов обнаружения дипфейковых изображений, причём особым успехом пользуются подходы, использующие аналитические следы (например, признаки в частотной области), например, полученные с помощью дискретного косинусного преобразования (ДКП). Несмотря на свою эффективность, эти детекторы остаются уязвимыми для состязательных атак. В данной статье мы представляем новую состязательную атаку «серого ящика», специально разработанную для обхода детекторов дипфейков на основе ДКП. Наш метод точно настраивает статистику коэффициентов AC синтетических изображений, чтобы максимально приблизиться к реальным, сохраняя при этом высокое визуальное качество. Атака предполагает полное знание процесса извлечения признаков ДКП, но не доступ к внутренним параметрам классификаторов. Мы оцениваем предлагаемый метод на наборе детекторов на основе ДКП, используя дипфейки, сгенерированные как генеративно-состязательными сетями (ГСС), так и диффузионными моделями (ДМ). Экспериментальные результаты показывают значительное снижение эффективности обнаружения, выявляя критические недостатки систем, традиционно считающихся интерпретируемыми и надёжными. Эта работа поднимает важные вопросы относительно надежности детекторов частотной области в криминалистических приложениях и приложениях кибербезопасности. - A Novel Adversarial Gray-Box Attack on DCT-Based Face Deepfake Detectors

Несмотря на значительный прогресс в методологиях обнаружения дипфейков, они по-прежнему подвержены обходным методам, что является критической уязвимостью в криминалистических системах. Большинство подходов к обнаружению, основанных на артефактах, специфичных для генератора, или высокочастотных отпечатках, становятся уязвимыми для обхода при устранении этих отличительных признаков. Для выявления таких «слепых пятен» в современных криминалистических системах мы представляем GenPure – новую многоступенчатую платформу очистки, которая систематически удаляет как низкоуровневые, так и высокоуровневые синтетические сигналы, позволяя сгенерированным изображениям обходить различные детекторы в условиях строгого «черного ящика». В конвейере обходных методов обнаружения GenPure модуль реконструкции на базе U-Net с многомасштабными, пространственно адаптивными гауссовыми ядрами сначала ослабляет синтетические артефакты, сохраняя при этом перцепционную точность. Затем модель, основанная на зрительном восприятии, намеренно не предвзятая в отношении классификации «аутентичный-синтетический», сопоставляет ослабленные изображения с характеристиками аутентичных изображений, минимизируя расхождения в распределении в скрытом пространстве. Наконец, статистическая перекалибровка цвета, основанная на эталонных данных, восстанавливает естественный тон и дополнительно маскирует остаточные криминалистические сигналы. Эта платформа не требует знаний о детекторах или дополнительного обучения и распространяется на все типы генераторов, разрешения и области контента. Многочисленные эксперименты продемонстрировали передовые показатели уклонения от распознаваемых объектов при использовании множества невидимых источников генерации и систем обнаружения без ухудшения качества изображения. Результаты выявили устойчивые структурные недостатки современных криминалистических конвейеров и подчеркивают необходимость семантически обоснованных, инвариантных к манипуляциям защит. - GenPure: Foundation-Model-Guided Multi-Stage Purification Framework for Black-Box Evasion of Deepfake Detectors

P.S. "Нет у вас методов против Кости Сапрыкина" (с)

См. также другие публикации по теме deepfake

Криминалистика дипфейков

DFF '25: Proceedings of the 1st on Deepfake Forensics Workshop: Detection, Attribution, Recognition, and Adversarial Challenges in the Era of AI-Generated Media

См. также другие публикации по теме deepfake

Еще о борьбе с дипфейками

Благодаря широкому применению технологий глубокого обучения, таких как свёрточные нейронные сети (CNN) и генеративно-состязательные сети (GAN), методы подделки лиц быстро развиваются, предлагая инновационные приложения в различных областях, одновременно создавая серьёзные проблемы безопасности. Для решения этой проблемы исследователи разработали различные детекторы дипфейков. Однако эти детекторы продемонстрировали значительные уязвимости при столкновении с соперничающими атаками. Целью данного исследования является систематическая оценка производительности детекторов дипфейков в условиях состязательных атак и проверка эффективности различных методов защиты. В ходе масштабных экспериментов мы проанализировали производительность различных типов детекторов в условиях различных состязательных атак и оценили эффективность существующих стратегий защиты. Результаты показывают, что, хотя некоторые методы защиты хорошо работают в определённых сценариях, общая надёжность детекторов всё ещё нуждается в улучшении. Это исследование не только углубляет наше понимание устойчивости к состязательным атакам при обнаружении дипфейков, но и предоставляет важные экспериментальные данные и теоретические рекомендации для разработки более эффективных стратегий защиты. - Adversarial Attacks and Defense for Deepfake Detection: A Comparative Research of Classical Classification Models

Не очень удачно, судя по экспериментам ...

См. также другие публикации по теме deepfake

Большой Американский План

Укрепление кибербезопасности критически важной инфраструктуры
По мере развития возможностей кодирования и разработки программного обеспечения систем ИИ их полезность в качестве инструментов как кибератаки, так и защиты будет расширяться. Поддержание надежной оборонительной позиции будет особенно важно для владельцев критически важной инфраструктуры, многие из которых работают с ограниченными финансовыми ресурсами. К счастью, сами системы ИИ могут быть отличными защитными инструментами. С продолжающимся внедрением инструментов киберзащиты на основе ИИ поставщики критически важной инфраструктуры смогут опережать возникающие угрозы.

Однако использование ИИ в киберпространстве и критической инфраструктуре подвергает эти системы ИИ угрозам со стороны противника. Любое использование ИИ в критически важных для безопасности или национальной безопасности приложениях должно подразумевать использование безопасных по своей сути, надежных и устойчивых систем ИИ, которые способны обнаруживать изменения производительности и предупреждать о потенциальных вредоносных действиях, таких как искажение данных или атаки с использованием враждебных образцов. Рекомендуемые меры политики
• Создать Центр обмена и анализа информации об ИИ (AI-ISAC) под руководством Министерства внутренней безопасности США (DHS) совместно с CAISI при Министерстве обороны США (CAISI) и Управлением национального директора по кибербезопасности (Office of the National Cyber Director), чтобы содействовать обмену информацией и разведданными об угрозах безопасности, связанных с ИИ, между критически важными секторами инфраструктуры США.
• Под руководством Министерства внутренней безопасности США разработать и поддерживать руководство для организаций частного сектора по устранению и реагированию на уязвимости и угрозы, связанные с ИИ.
• Обеспечить совместный и консолидированный обмен информацией об известных уязвимостях ИИ между федеральными агентствами и частным сектором по мере необходимости. Этот процесс должен использовать существующие механизмы обмена информацией об уязвимостях в киберпространстве.

Продвигать технологии и приложения ИИ, изначально безопасные по своей сути
Системы ИИ уязвимы к некоторым видам вредоносных входных данных (например, искажение данных и атаки на конфиденциальность), что ставит под угрозу их производительность. Правительство США несёт ответственность за обеспечение защиты систем ИИ, на которые оно полагается, особенно в приложениях национальной безопасности, от ложных или вредоносных входных данных. Несмотря на то, что была проделана большая работа по развитию области обеспечения безопасности ИИ, содействие разработке и внедрению отказоустойчивых и безопасных систем ИИ должно стать одним из основных направлений деятельности правительства США.

Отсюда: Winning the Race: AMERICA’S AI ACTION PLAN

И комментарий от MIT (The Algorithm, By James O'Donnell 28.7.2025):

Многие пункты плана не станут сюрпризом, и вы, вероятно, уже слышали о самых важных из них. Трамп хочет ускорить строительство центров обработки данных, резко снизив экологические нормы; приостановить финансирование штатов, которые принимают «обременительные правила в отношении ИИ»; и заключать контракты только с компаниями, занимающимися ИИ, чьи модели «свободны от идеологической предвзятости сверху».

Но если копнуть глубже, некоторые части плана, которые не попали ни в какие заголовки, проливают больше света на планы администрации в области ИИ. Вот три наиболее важных момента, за которыми стоит следить.

Белый дом весьма оптимистичен в отношении ИИ для науки. В начале Плана действий в области ИИ описывается будущее, в котором ИИ будет заниматься всем: от открытия новых материалов и лекарств до «расшифровки древних свитков, когда-то считавшихся нечитаемыми» и совершения прорывов в науке и математике.

Подобный безграничный оптимизм в отношении ИИ для научных открытий перекликается с обещаниями технологических компаний. Отчасти этот оптимизм основан на реальности: роль ИИ в прогнозировании белковых структур действительно привела к существенным научным успехам (а буквально на прошлой неделе Google DeepMind выпустила новый ИИ, предназначенный для расшифровки древних латинских гравюр). Но идея о том, что большие языковые модели — по сути, очень хорошие машины для предсказания текста — будут выступать в роли самостоятельных учёных, пока не столь убедительна.

Тем не менее, план показывает, что администрация Трампа хочет выделить средства лабораториям, пытающимся воплотить его в жизнь, несмотря на то, что она уже пыталась сократить финансирование Национального научного фонда, предоставляемое учёным-людям, некоторые из которых сейчас испытывают трудности с завершением своих исследований.

И некоторые из предлагаемых в плане шагов, вероятно, будут приветствоваться исследователями, например, финансирование создания более прозрачных и интерпретируемых систем искусственного интеллекта.

Мнения Белого дома о дипфейках противоречивы. По сравнению с указами президента Байдена об ИИ, новый план действий практически не содержит ничего, что связано с повышением безопасности ИИ.

Однако есть заметное исключение: раздел плана, посвященный вреду, наносимому дипфейками. В мае Трамп подписал закон о защите людей от неконсенсуальных дипфейков сексуального характера, что вызывает растущую обеспокоенность как знаменитостей, так и обычных людей по мере того, как генеративное видео становится все более совершенным и доступным в использовании. Закон получил двухпартийную поддержку.

Теперь Белый дом заявляет о своей обеспокоенности проблемами, которые дипфейки могут создать для правовой системы. Например, в нем говорится, что «поддельные доказательства могут быть использованы для попытки лишить правосудия как истцов, так и ответчиков». В нем содержится призыв к новым стандартам обнаружения дипфейков и предлагается Министерству юстиции разработать соответствующие правила. Юристы, с которыми я общался, больше обеспокоены другой проблемой: юристы используют модели ИИ, которые допускают ошибки, например, ссылаясь на несуществующие дела, которые судьи могут не заметить. В плане действий это не рассматривается.

Стоит также отметить, что всего за несколько дней до публикации плана, направленного против «злонамеренных дипфейков», президент Трамп опубликовал фейковое видео, созданное с помощью искусственного интеллекта, запечатлевшее арест бывшего президента Барака Обамы в Овальном кабинете.

В целом, План действий в области ИИ подтверждает то, о чём давно заявляли президент Трамп и его окружение: это определяющее социальное и политическое оружие нашего времени. Они считают, что ИИ, при правильном использовании, может помочь им победить во всём, от культурных войн до геополитических конфликтов. Правильный ИИ, утверждают они, поможет победить Китай. Государственное давление на ведущие компании может заставить их избавиться от идеологии «пробуждения» в своих моделях.

План включает в себя привлекательные для широкой публики меры, такие как борьба с дипфейками, но в целом он отражает то, как технологические гиганты сблизились с администрацией Трампа. Тот факт, что в нём практически нет положений, ставящих под сомнение их власть, показывает, как окупаются их инвестиции в эти отношения.

См. также другие публикации по теме deepfake

Что делать с дипфейками?

Дипфейки — гиперреалистичные цифровые подделки — привлекли значительное внимание, поскольку быстрое развитие генеративного ИИ упростило создание убедительно реалистичных видео и аудиозаписей, которые могут обмануть даже самых взыскательных зрителей. Хотя дипфейки являются мощным инструментом социальной инженерии, специалистам по кибербезопасности не нужно обращаться к новым технологиям обнаружения или интенсивным программам обучения «как распознать дипфейк», чтобы снизить риск, который они представляют. Цель этого исследования — предоставить руководство, устойчивое к развивающимся угрозам, усиленным дипфейком, путем применения фундаментальных принципов безопасности.

Ключевые стратегии, которые поддерживает руководство, включают:
– Сосредоточение внимания на соблюдении процесса, а не на визуальном или слуховом обнаружении подделок
– Внедрение и поддержание строгого финансового контроля и процедур проверки
– Развитие культуры осведомленности и скептицизма в отношении необычных запросов.
– Разработка и регулярное обновление планов реагирования на инциденты.

Отсюда: OWASP - Руководство по подготовке и реагированию на события Deepfake

Определить дипфейки уже не удастся. Нужно подготовиться к жизни с ними.

См. также другие публикации по теме deepfake

О борьбе с дипфейками

MIT Technology Review о борьбе с порно-фейками: Three ways we can fight deepfake porn

Эти три способа:
водяные знаки (метки для контента)
модификация изображений для затруднения использования их в генеративном ИИ
законодательство

о детектировании дипфейков речи уже не идет ...

Фейк или нет?

Интересная статья по определению deep fake, созданных диффузионными моделями

См. также другие публикации по теме deepfake

Radar Trends

Некоторые интересные ссылки из октябрьского Radar Trends:

Использование векторной базы данных для представления знаний в LLM

Советы от FBI и NSA по борьбе с deepfake

Про дипфейки

Определять не получается - давайте размечать контент

См. также другие публикации по теме deepfake

Непобедимые deep fake

От технического директора Microsoft: ON THE HORIZON: INTERACTIVE AND COMPOSITIONAL DEEPFAKES. Как их распознать? А никак.
Остается только Authenticity protocols и Content provenance. В первом случае, нужно динамически аутентифицировать участников онлайн-собрания, например. Новое подтверждение подлинности протоколы, такие как проверка подлинности в реальном времени, могут потребоваться для идентификации интерактивных дипфейков через обязательные тесты на компетентность и знания. Новые практики многофакторной аутентификации личности могут стать необходимыми для допуска на онлайн-встречи или появления в видеороликах.

Второе - это размечать медиаданные. Если водяного знака нет - считать фейком.

См. также другие публикации по теме deepfake

Дипфейки атакуют

Растущая угроза от deepfakes

См. также другие публикации по теме deepfake

Interactive and Compositional Deepfakes

Новый уровень. Вот есть twitter-thread с объяснениями

P.S. верить никому нельзя ...

См. также другие публикации по теме deepfake

Дипфейки

Современное состояние механизмов определения Deepfake

ИИ в 2021

Подборка достижений в Искусственном Интеллекте за 2021 год - статьи, код, видео с пояснениями

Пара интересных работ:

DefakeHop: A Light-Weight High-Performance Deepfake Detector
Мы уже представляли эту работу здесь

The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
Вы когда-нибудь настраивались на видео или телешоу, и актеры были совершенно не слышны, или музыка была слишком громкой? Что ж, эта проблема, также называемая проблемой коктейльной вечеринки, может больше никогда не повториться. Mitsubishi и Университет Индианы только что опубликовали новую модель, а также новый набор данных, решающий задачу определения правильного саундтрека. Например, если мы возьмем тот же аудиоклип, который мы только что запустили, со слишком громкой музыкой, вы можете просто увеличить или уменьшить звуковую дорожку, которую хотите придать речи больше, чем музыке.

Проблема здесь в том, чтобы изолировать любой независимый источник звука от сложной акустической сцены, такой как сцена из фильма или видео на YouTube, где некоторые звуки не сбалансированы. Иногда вы просто не слышите некоторых актеров из-за музыки, взрывов или других звуков на заднем плане. Что ж, если вы успешно изолировали разные категории в саундтреке, это означает, что вы также можете повышать или понижать только одну из них, например, немного приглушить музыку, чтобы правильно слышать всех других актеров. Именно этого и добились исследователи. И получилась довольно ясная архитектура

Deep fake космоснимков

Использование GAN для генерации поддельных космических снимков

См. также другие публикации по теме adversarial и deepfake