Достоевский и Мона Лиза ожили и заговорили на видео. Магия? Нет, чудо-алгоритм на основе нейросетей

Маргарита Щигарева

Специалисты из Samsung и «Сколково» представили алгоритм, способный превращать единственное фото или портрет человека в видео. В ролике, представленном авторами, разработка заставляет говорить и менять выражение лица как живущих ныне людей, так и уже почивших — среди которых Сальвадор Дали, Альберт Эйнштейн, Мэрилин Монро, Фёдор Достоевский. Также алгоритм протестировали на известных портретах, и теперь у вас есть шанс увидеть, как бы говорили Мона Лиза и девушка с картины «Неизвестная» художника Крамского.

Искусственный интеллект уже умеет многое: например, генерировать изображения несуществующих людей (такие реалистичные, что это жутко), менять знаменитостей лицами и так далее. А в конце мая команда разработчиков из компании Samsung и научно-технического комплекса «Сколково» представила свой алгоритм на основе нейросетей, способный и вовсе оживлять человека с портрета или фото, при этом пользуясь лишь одним кадром.

Чтобы достичь такого результата, специалисты скормили алгоритму две большие базы с тысячами изображений звёзд, взятых из видео на YouTube. На основе фото селебов ИИ научился определять на кадрах ключевые особенности лиц: форму рта, длину носа и так далее. В результате получились так называемые маски. Одна нейросеть в алгоритме сохраняет информацию о том, как маски соотносятся с изначальным фото, пишет N+1. Другая, используя эти данные, накладывает маску на кадр с лицом человека, а третья оценивает реалистичность готового изображения. А само оживление портретов и фото происходит так: алгоритм берёт изображение-источник и изображение-цель (с другой мимикой). Из второго кадра он производит маску, которую наносит на первый.

Чем больше источников у алгоритма, тем более реалистичными получаются готовые ролики. Например, ниже на гифке можно увидеть видео со звёздами, которые алгоритм создал, используя восемь фотографий.


Если предоставить алгоритму вдвое больше изображений, он способен создать ролик, который совсем чуть-чуть отличается от того, какой снял бы сам человек.

Разработку также протестировали на фотографиях знаменитых личностей, которых уже нет с нами: Фёдора Достоевского, Мэрилин Монро, Сальвадора Дали, Альберта Эйнтштейна. Так как для этого использовался один кадр, результат нельзя назвать идеальным, но всё же он впечатляет.

А ещё с помощью алгоритма можно увидеть, как бы говорили герои знаменитых полотен. Разработчики в своём видео оживили Мону Лизу и девушку с портрета «Неизвестная» Ивана Крамского.


Полностью видео, на котором принцип работы алгоритма объясняется подробнее, можно увидеть ниже.

А компания NVIDIA недавно запустила демо-версию своего проекта на основе нейросети, позволяющую узнать, как бы выглядел питомец, будь он львом, волком, медведем и так далее. Этот ИИ не обучен на фотографиях людей, и если вы захотите увидеть себя в облике зверя, то рискуете получить упоротую жуть.

Но японские родители изобрели кое-что ещё более страшное: принялись с помощью FaceSwap менять лицами своих детей и игрушку паровозика Томаса. Осторожно, на ночь лучше эти снимки не смотреть.

Спасатели нашли оленя, но его глаза — сюжет для хоррора. Из них растут волосы, и развидеть это не получится Спасатели нашли оленя, но его глаза — сюжет для хоррора. Из них растут волосы, и развидеть это не получится Космический разгон, но играть можно на диване. 10 признаков хорошего ноутбука для гейминга Космический разгон, но играть можно на диване. 10 признаков хорошего ноутбука для гейминга Пластический хирург нашёл способ избежать штрафа за нарушение ПДД. Он просто сделал свою работу и пришёл в суд Пластический хирург нашёл способ избежать штрафа за нарушение ПДД. Он просто сделал свою работу и пришёл в суд Племянница нашла старый альбом тёти и узнала её тайну. У родственницы в молодости не было отбоя от киноактёров Племянница нашла старый альбом тёти и узнала её тайну. У родственницы в молодости не было отбоя от киноактёров Как получить права в Москве. Учимся онлайн, сдаем с первого раза (но это не точно) Доктор объяснил, почему нужно менять подушку, и брезгливые покинули чат. Ведь после видео её захочется сжечь Доктор объяснил, почему нужно менять подушку, и брезгливые покинули чат. Ведь после видео её захочется сжечь Не носки и не кастрюли. Гид по подаркам к гендерным праздникам Не носки и не кастрюли. Гид по подаркам к гендерным праздникам Коллеги в шутку прошли ДНК-тест и лишились покоя. Оказалось, их связывает не только работа, но и общее прошлое Коллеги в шутку прошли ДНК-тест и лишились покоя. Оказалось, их связывает не только работа, но и общее прошлое Школьницу выгнали с уроков из-за смелого платья. Всё бы ничего, но её папа выбрал самое строгое из возможных Туристка нашла на пляже объект из далёкого космоса, но пришельцы здесь ни причём. В деле замешаны русские Змееловы показали фото травы и озадачили людей. На снимке есть питон, но вы сначала попробуйте его найти Змееловы показали фото травы и озадачили людей. На снимке есть питон, но вы сначала попробуйте его найти Математики вычислили самую красивую породу собак с помощью золотого сечения. Похоже, Круэлла знала, что делала Математики вычислили самую красивую породу собак с помощью золотого сечения. Похоже, Круэлла знала, что делала Вор выхватил сумку у старушки, но сделал это без уважения. В ответ она отбила у него достоинство и честь Вор выхватил сумку у старушки, но сделал это без уважения. В ответ она отбила у него достоинство и честь Водитель думал, что увидел торнадо, пока не подъехал ближе. Из столпа смерча на него посмотрели миллионы глаз Водитель думал, что увидел торнадо, пока не подъехал ближе. Из столпа смерча на него посмотрели миллионы глаз Хозяйка захотела поиграть с рыбкой, и та отстояла честь вида. Чешуйчатая победила кожаную в крестики-нолики Хозяйка захотела поиграть с рыбкой, и та отстояла честь вида. Чешуйчатая победила кожаную в крестики-нолики Если у Слендермена есть сестра, то с лишними суставами на пальцах. Как у реддиторши, показавшей такие на видео Если у Слендермена есть сестра, то с лишними суставами на пальцах. Как у реддиторши, показавшей такие на видео Собаку постригли, и теперь это не пёс, а мем. Фрэнк Галлагер на четырёх лапах выглядел бы именно так Собаку постригли, и теперь это не пёс, а мем. Фрэнк Галлагер на четырёх лапах выглядел бы именно так Блогерша удивилась, что Карлайл Каллен богаче Тони Старка. Но фаны саги уже пояснили, как врач нажил миллиарды Школьник стыдился причёски и не хотел снимать шапку. Так он попал в кабинет директора, а вышел оттуда стилягой Школьник стыдился причёски и не хотел снимать шапку. Так он попал в кабинет директора, а вышел оттуда стилягой Клиентка купила iPhone и такой модели не видела. Яблоко в коробке было, правда, не в том виде, как ей хотелось Клиентка купила iPhone и такой модели не видела. Яблоко в коробке было, правда, не в том виде, как ей хотелось Фаны Билли Айлиш хейтят экс-бойфренда певицы, и дело в документалке. Ведь им не даёт покоя возраст бывшей пары Фаны Билли Айлиш хейтят экс-бойфренда певицы, и дело в документалке. Ведь им не даёт покоя возраст бывшей пары Блогерша превращается в эмодзи, и это косплей нового уровня. Всё, что нужно девушке — свои волосы Блогерша превращается в эмодзи, и это косплей нового уровня. Всё, что нужно девушке — свои волосы Генри Кавилл когда-то встречался с Джиной Карано, и интернет всё помнит. Но «отменить» Супермена фаны не дали Тиктокерша показала три своих лица, и мутации тут ни при чём. Дело в масках, которые проведут даже Шерлока Тиктокерша показала три своих лица, и мутации тут ни при чём. Дело в масках, которые проведут даже Шерлока Студент бросил университет, но родители быстро забыли о переживаниях. Ведь теперь их сыну завидуют все женщины Студент бросил университет, но родители быстро забыли о переживаниях. Ведь теперь их сыну завидуют все женщины Блогер нашёл способ посмотреть сны грибов со звуком. Это натуральный рейв, но танцевать под такое не захочется Блогер нашёл способ посмотреть сны грибов со звуком. Это натуральный рейв, но танцевать под такое не захочется Полиция семь часов осаждала дом, уговаривая хозяина сдаться. Всё это время они болтали со стеной — буквально Смельчак построил антигравитационный дом, и он великолепен. Был, пока гравитация не победила и не сломала его Старик закрылся в однушке с пятью компами, но он не геймер. Его игрушка — марсоход NASA на Красной планете Старик закрылся в однушке с пятью компами, но он не геймер. Его игрушка — марсоход NASA на Красной планете Меломаны узнают рост Леди Гаги и понимают: жизнь была ложью. Теперь певице нужно объяснить свою маленькость Меломаны узнают рост Леди Гаги и понимают: жизнь была ложью. Теперь певице нужно объяснить свою маленькость Фотограф заснял цветущую сакуру, и у него вышел кадр из аниме. Но главным героем оказалась совсем не вишня Фотограф заснял цветущую сакуру, и у него вышел кадр из аниме. Но главным героем оказалась совсем не вишня Блогер взялся за молоток, и к нему пришла слава. То, что он делает инструментом, достойно серии «Рика и Морти» Блогер взялся за молоток, и к нему пришла слава. То, что он делает инструментом, достойно серии «Рика и Морти» Блогер вчитался в текст песни Леди Гаги «Poker Face» и удивил фанатов. Весь мир годами слушал запретные слова Блогер вчитался в текст песни Леди Гаги «Poker Face» и удивил фанатов. Весь мир годами слушал запретные слова Хозяин квартиры увидел в окне соседки напротив странные знаки. Расшифровав их, он оказался на пороге отношений Хозяин квартиры увидел в окне соседки напротив странные знаки. Расшифровав их, он оказался на пороге отношений Полицейский ходит на работу и ловит преступников, но прославился не этим. Вы удивитесь, узнав, сколько ему лет Полицейский ходит на работу и ловит преступников, но прославился не этим. Вы удивитесь, узнав, сколько ему лет Спасатели разлучили лебедей и были готовы к их тоске. Но не к тому, что произошло, когда пара воссоединилась