Специалисты из Samsung и «Сколково» представили алгоритм, способный превращать единственное фото или портрет человека в видео. В ролике, представленном авторами, разработка заставляет говорить и менять выражение лица как живущих ныне людей, так и уже почивших — среди которых Сальвадор Дали, Альберт Эйнштейн, Мэрилин Монро, Фёдор Достоевский. Также алгоритм протестировали на известных портретах, и теперь у вас есть шанс увидеть, как бы говорили Мона Лиза и девушка с картины «Неизвестная» художника Крамского.
Искусственный интеллект уже умеет многое: например, генерировать изображения несуществующих людей (такие реалистичные, что это жутко), менять знаменитостей лицами и так далее. А в конце мая команда разработчиков из компании Samsung и научно-технического комплекса «Сколково» представила свой алгоритм на основе нейросетей, способный и вовсе оживлять человека с портрета или фото, при этом пользуясь лишь одним кадром.
Чтобы достичь такого результата, специалисты скормили алгоритму две большие базы с тысячами изображений звёзд, взятых из видео на YouTube. На основе фото селебов ИИ научился определять на кадрах ключевые особенности лиц: форму рта, длину носа и так далее. В результате получились так называемые маски. Одна нейросеть в алгоритме сохраняет информацию о том, как маски соотносятся с изначальным фото, пишет N+1. Другая, используя эти данные, накладывает маску на кадр с лицом человека, а третья оценивает реалистичность готового изображения. А само оживление портретов и фото происходит так: алгоритм берёт изображение-источник и изображение-цель (с другой мимикой). Из второго кадра он производит маску, которую наносит на первый.
Чем больше источников у алгоритма, тем более реалистичными получаются готовые ролики. Например, ниже на гифке можно увидеть видео со звёздами, которые алгоритм создал, используя восемь фотографий.
Если предоставить алгоритму вдвое больше изображений, он способен создать ролик, который совсем чуть-чуть отличается от того, какой снял бы сам человек.
Разработку также протестировали на фотографиях знаменитых личностей, которых уже нет с нами: Фёдора Достоевского, Мэрилин Монро, Сальвадора Дали, Альберта Эйнтштейна. Так как для этого использовался один кадр, результат нельзя назвать идеальным, но всё же он впечатляет.
А ещё с помощью алгоритма можно увидеть, как бы говорили герои знаменитых полотен. Разработчики в своём видео оживили Мону Лизу и девушку с портрета «Неизвестная» Ивана Крамского.
Полностью видео, на котором принцип работы алгоритма объясняется подробнее, можно увидеть ниже.
А компания NVIDIA недавно запустила демо-версию своего проекта на основе нейросети, позволяющую узнать, как бы выглядел питомец, будь он львом, волком, медведем и так далее. Этот ИИ не обучен на фотографиях людей, и если вы захотите увидеть себя в облике зверя, то рискуете получить упоротую жуть.
Но японские родители изобрели кое-что ещё более страшное: принялись с помощью FaceSwap менять лицами своих детей и игрушку паровозика Томаса. Осторожно, на ночь лучше эти снимки не смотреть.
