Запах тостов вместо напалма. Программисты заменили слова людей на видео так, что заметить подвох невозможно
Эксперты по машинному обучению провели эксперимент, в ходе которого изменили речь людей на видео. Поддельные отрывки создала программа компании Adobe, а героям оригинальных роликов не пришлось произносить новые фразы. Похоже, это плохая новость для знаменитостей и хорошая для мошенников.
Исследовательская группа экспертов по машинному обучению из Стэнфордского и Принстонского университетов совместно со специалистами компании Adobe сделала шаг в мрачное будущее и научилась заменять слова людей в видео так, что зрителям сложно заметить разницу.
Опасный эксперимент получил скучное название «Основанное на тексте редактирование видео с говорящими головами». Его результаты были опубликованы на сайте проекта, а в скором времени будут представлены на научной конференции SIGGRAPH.
В рамках опыта исследователи проанализировали видео с говорящими людьми и изолировали фонемы — мельчайшие единицы звука в речи подопытных. В то же время учёные при помощи программ сканировали лица говорящих, мимику и движения губ, а затем создавали их 3D-модели.
Далее дело было за малым: программы разделяли звуки и движения, а после соединяли их в соответствии с новой фразой. Так, девушка, говорившая фразу «О Romeo, Romeo! Where fore art thou Romeo?», сказала «О Romeo, Romeo! Why are you Romeo?»
Другой подопытный произнёс перед камерой знаменитую фразу из фильма Фрэнсиса Копполы «Апокалипсис сегодня»: «Я люблю запах напалма поутру». После обработки его речь изменилась на «Я люблю запах французских тостов поутру». Ни один из испытуемых не записывал видео со вторым вариантом фразы — его создала программа.
Помимо прочего, специалисты смогли удалить слова из речи говоривших, а также создать компиляции из нескольких отрывков записи. В каждом из случаев итоговое видео выглядело оригинальным роликом. Посмотреть демонстрацию результатов эксперимента можно здесь.
Чтобы отредактированный эпизод сливался с остальным видео, учёные использовали VoCo — программное обеспечение для редактирования голоса, которое компания Adobe представила в 2016 году. Если вы будете внимательно следить за движениями героя в поддельном ролике, то сможете найти подмену. Однако, не зная о подвохе, вы вряд ли заметите несоответствия.
В отчёте о результатах эксперимента исследователи вспомнили об этической части проекта. Любой пользователь компьютера сможет повторить действия экспертов и отредактировать видео по своему желанию. Это не может не волновать специалистов.
Мы признаём, что плохие люди могут использовать данные технологии для фальсификации публичных заявлений и клеветы на известных людей. Мы обеспокоены возможностью обмана и злоупотребления.
Технологии монтажа видео доступны давно, так что не стоит ругать учёных за привлечение излишнего внимания к опыту. По мнению специалистов, своей работой они смогут повысить осведомлённость людей о методах редактирования записей и мотивировать зрителей скептически относиться к тому, что они видят.
Несмотря на потенциальные угрозы, людям не стоит бояться новых технологий. Программистка показала, что искусственный интеллект тоже может стареть и сходить с ума. Для этого ему достаточно забыть всё об окружающем мире.
Современные люди, наоборот, показывают чудеса умственного развития. Канадский турист приехал во Францию и смог открыть таинственный сейф, который у местных жителей не получалось взломать 40 лет. Не зря старался, ведь он спас музей от закрытия.
