Исследователи создали экспериментальный процессор, который использует распространение света для одновременной проверки сразу 15 видеопотоков на дипфейки. В испытаниях система определяла поддельные видео с точностью 97,79%, причём часть вычислений выполнялась непосредственно оптическим способом. Технология рассчитана на массовую первичную проверку видео, когда необходимо быстро отбирать подозрительные ролики для последующего более подробного анализа.
Систему разработали Парниан Гапандар Кашани, Шици Чэнь и Айдоган Озджан из Калифорнийского университета в Лос-Анджелесе. Вместо полностью цифровой нейросети исследователи объединили небольшой цифровой модуль с оптическим процессором.
Первый извлекает из видеозаписи необходимые признаки, а второй использует свет для окончательной классификации ролика как настоящего или поддельного. Главная особенность разработки заключается в параллельной обработке данных. Информация сразу от 15 независимых видео кодируется в одной фазовой структуре на пространственном модуляторе света. После этого свет проходит через оптическую систему, а на выходе фотодетекторы регистрируют интенсивность сигнала в областях, соответствующих каждому видеопотоку. Сравнение пар сигналов позволяет определить, к какому классу относится каждый ролик. Таким образом, свет фактически выполняет часть операций, для которых в обычной нейросети потребовались бы электронные вычисления.
При этом все 15 видео проходят через оптический декодер одновременно за один цикл распространения света, а не последовательно одно за другим. Работу экспериментальной установки проверили на Celeb-DF — наборе настоящих и поддельных видео с лицами. Для слепого тестирования исследователи использовали 105 настоящих и 105 поддельных роликов, которые не участвовали в обучении. Из них сформировали 21 тысячу вариантов тестирования с различным выбором кадров и распределением видео между 15 оптическими каналами. При одновременной проверке 15 видео экспериментальная система достигла средней точности 97,79%. Чувствительность, то есть способность правильно обнаруживать поддельные ролики, составила 99,86%, а специфичность — способность правильно распознавать настоящие видео — 95,72%. Численное моделирование той же архитектуры дало близкую точность 98,12%, что показало хорошее соответствие между расчётной моделью и физической оптической установкой. Исследователи попробовали увеличить число одновременно анализируемых роликов до 18.
Система продолжила работать, однако экспериментальная точность снизилась до 96,13%. Причиной стало усиление взаимного влияния оптических каналов при их более плотном размещении. Поэтому вариант с 15 видео оказался более удачным компромиссом между количеством одновременно обрабатываемых данных и качеством распознавания. Отдельно учёные проверили систему на значительно более современных полностью сгенерированных видео. Для этого использовали ролики, созданные моделью Veo 3 через Gemini. Такой тест важен, поскольку методы генерации искусственного видео быстро меняются, а детектор, обученный на старых дипфейках с заменой лиц, может плохо распознавать контент новых генеративных моделей.