Новая нейросеть от Facebook превращает людей из видео в управляемых героев. Это магия, но поверить в неё легко

Ксения Шлёнская

Исследователи Facebook разработали нейросеть, которая превращает человека из видео в игрового персонажа. Искусственный интеллект не только делает из вас управляемого героя, но и позволяет перенестись в сцены из других роликов. Ещё немного, и сыграть в теннис можно будет даже на Эвересте.

Специалисты и разработчики со всего мира постоянно радуют любителей технологий новыми изобретениями. Благодаря этим ребятам люди могут попасть в дополненную реальность от Google и даже посмотреть на лица несуществующих человеков. Исследователи Facebook пошли дальше и в середине апреля представили технологию, с помощью которой вы можете стать персонажем видеоигры о собственной жизни.

Разработка на основе искусственного интеллекта получила название Vid2Game, а статья о проекте была опубликована на сайте Корнеллского университета. Действие программы предельно простое, но результат сродни магическому.

Мы берём видео человека, выполняющего определённую деятельность, и извлекаем из него управляемую модель.

Если не вдаваться в технические подробности, программа сканирует человека из видео, а затем на основе образа создаёт героя, которым можно управлять при помощи геймпада. Процесс контролируют нейросети, специально разработанные для проекта, — Pose2Pose и Pose2Frame.

Сначала ролик обрабатывает первый ИИ, который анализирует движения человека. Персонаж может танцевать, играть в теннис или сидеть на стуле — нейросеть, по словам создателей, это вычислит и вырежет героя из видео.

После этого в дело вступает второй ИИ. Pose2Frame берёт вырезанного из ролика человека (тени и предметы в руках прилагаются) и вставляет его в новую сцену. Поздравляем, теперь у вас есть новый управляемый графический персонаж (даже если это вы сами). Только не забывайте — герой в новой локации сможет выполнять лишь те действия, которые продемонстрировал в оригинальном видео.

Оценить новые возможности нейросетей можно здесь.

Как уверяют разработчики, у программы есть много плюсов. Она отлично отделяет выбранного героя от фона и не путает его с другими людьми. Исследователи не рассказали, смогут ли опробовать программу обычные пользователи. Вероятно, эксперты продолжают работу над проектом, так как качество итоговых роликов требует улучшений.

Похожим образом работает нейросеть, созданная учёными из Калифорнийского университета. Технология не перенесёт вас в видеоигру, зато заставит танцевать как профи даже без подготовки.

На фоне развития технологий люди учатся использовать во благо даже фейлы искусственного интеллекта. Например, с некоторых пор вы можете стать Виктором Франкенштейном и создать своего страшного человека. Главное, не перестараться с жутью.

Фермер ехал по своему полю, но вжух — и оказался под ним. Тот случай, когда земля не даёт еду, а ест сама Фермер ехал по своему полю, но вжух — и оказался под ним. Тот случай, когда земля не даёт еду, а ест сама Космический разгон, но играть можно на диване. 10 признаков хорошего ноутбука для гейминга Космический разгон, но играть можно на диване. 10 признаков хорошего ноутбука для гейминга Девушка мечтала о длинных ресницах, но получила больше, чем хотела. Теперь её взгляду позавидует Вий Девушка мечтала о длинных ресницах, но получила больше, чем хотела. Теперь её взгляду позавидует Вий Полицейские 9 лет не могли раскрыть серию поджогов — неспроста. У пиромана была та же форма, что и у них Полицейские 9 лет не могли раскрыть серию поджогов — неспроста. У пиромана была та же форма, что и у них Как получить права в Москве. Учимся онлайн, сдаем с первого раза (но это не точно) Блогер показал, как кормит домашнего питомца, и зрителям не по себе. Один «кусь» – и из мужчины получится обед Блогер показал, как кормит домашнего питомца, и зрителям не по себе. Один «кусь» – и из мужчины получится обед Не носки и не кастрюли. Гид по подаркам к гендерным праздникам Не носки и не кастрюли. Гид по подаркам к гендерным праздникам Блогерша нашла в доме потайной люк и боялась туда спускаться. Но у людей больше вопросов к ней, чем к подвалу Блогерша нашла в доме потайной люк и боялась туда спускаться. Но у людей больше вопросов к ней, чем к подвалу «Кажется, тебе попросту пришел конец». Истории борьбы с паническими атаками и ВСД Модель показала, как уменьшила лоб, а люди удивились чуду хирургии. Но только внимательные увидели результат Эффект «Угол Колесникова» взрывает головы людям. Его можно увидеть в передаче «Фазенда», но название — фейк Эффект «Угол Колесникова» взрывает головы людям. Его можно увидеть в передаче «Фазенда», но название — фейк Златан Ибрагимович рассказал, как победил пробку на дороге. Стоило лишь бросить авто — и трафик ему не помеха Златан Ибрагимович рассказал, как победил пробку на дороге. Стоило лишь бросить авто — и трафик ему не помеха Разрабы Euro Truck Simulator 2 показали карты «Сердце России». А иностранцы шутят: без взяток и ям не обойтись Разрабы Euro Truck Simulator 2 показали карты «Сердце России». А иностранцы шутят: без взяток и ям не обойтись Подруги устали искать спутников жизни и сыграли свадьбу. Правда, в их случае она не по любви, а ради лайфхака Подруги устали искать спутников жизни и сыграли свадьбу. Правда, в их случае она не по любви, а ради лайфхака Люди два года считали коллегу обычным клерком, пока полиция не заглянула к нему домой. Тихоня оказался ниндзя Люди два года считали коллегу обычным клерком, пока полиция не заглянула к нему домой. Тихоня оказался ниндзя Жизнь мамы — настоящий квест. Для того чтобы вспомнить, что было вчера, ей нужно пролистать 34 тысячи фото Жизнь мамы — настоящий квест. Для того чтобы вспомнить, что было вчера, ей нужно пролистать 34 тысячи фото Мама спросила у сына, куда он хочет: в зоопарк или магазин вентиляторов. Ответ порвал шаблон – и не один Мама спросила у сына, куда он хочет: в зоопарк или магазин вентиляторов. Ответ порвал шаблон – и не один Блогер хотел еды из ресторана за рекламу, но просил слишком много. Ответный пранк от владельцев ему не забыть Невеста уверена, что семья мужа её ненавидит. Ещё бы: стоит только взглянуть, в чём они пришли на её свадьбу Невеста уверена, что семья мужа её ненавидит. Ещё бы: стоит только взглянуть, в чём они пришли на её свадьбу Мама думала, что беременна близнецами, но ошиблась. Вместо двух детей она родила одного – гигантского Мама думала, что беременна близнецами, но ошиблась. Вместо двух детей она родила одного – гигантского Родители хотели хорошенько поспать, но у их малыша были другие планы. Поучилось видео, которое выбесит любого Родители хотели хорошенько поспать, но у их малыша были другие планы. Поучилось видео, которое выбесит любого Блогерша пристала к незнакомке на улице, а та и рада. Ведь о такой сталкерше порой мечтают все девушки Блогерша пристала к незнакомке на улице, а та и рада. Ведь о такой сталкерше порой мечтают все девушки Актриса мечтала быть принцессой Disney, но им всем пора подвинуться. Другие дети будут хотеть стать ей самой Блогер добавил на постер «Клика» Адама Сэндлера и сломал людей. Вспомнить, кто играл в кино, теперь не выйдет Блогер добавил на постер «Клика» Адама Сэндлера и сломал людей. Вспомнить, кто играл в кино, теперь не выйдет Блогерша из Японии сбросила 20 лет за 20 минут. Магия и пластика ни при чём, но научиться трюку не так просто Блогерша из Японии сбросила 20 лет за 20 минут. Магия и пластика ни при чём, но научиться трюку не так просто Офисный клерк так увлёкся макияжем, что стал новой версией себя. Узнать в косплеере парня может только паспорт Офисный клерк так увлёкся макияжем, что стал новой версией себя. Узнать в косплеере парня может только паспорт Брат и сестра родились в один день, но с разницей в 9 суток. Таких близнецов в мире меньше, чем друзей Оушена В новом треке Дрейка фаны видят пасхалку о Йе Уэсте. Теперь они точно знают причину развода Ким и Канье Блогер показал, как изменился, а фаны вспомнили Джиджи Хадид. Ведь парень – клон Зейна, и ему нужно в семью Блогер показал, как изменился, а фаны вспомнили Джиджи Хадид. Ведь парень – клон Зейна, и ему нужно в семью Девочка сберегла шоколадное яйцо, и её терпению можно завидовать. Через 100 лет сладость обогатила её потомков Девочка сберегла шоколадное яйцо, и её терпению можно завидовать. Через 100 лет сладость обогатила её потомков Фермер собрал урожай, а он оказался внеземным — буквально. Кларка Кента рядом не было, но учёные заинтригованы Фермер собрал урожай, а он оказался внеземным — буквально. Кларка Кента рядом не было, но учёные заинтригованы Журналист снимал рядовой репортаж, но пришлось стать героем боевика. О таком повороте не мечтал даже Нолан Журналист снимал рядовой репортаж, но пришлось стать героем боевика. О таком повороте не мечтал даже Нолан Блогер снял жильё на Airbnb и решил: за ним следят. Заглянув в вентиляцию, он понял, что беспокоился не зря Блогер снял жильё на Airbnb и решил: за ним следят. Заглянув в вентиляцию, он понял, что беспокоился не зря Пятилетки влюбились друг в друга, и родители сыграли им свадьбу, но перестарались. Церемония вышла настоящей Пятилетки влюбились друг в друга, и родители сыграли им свадьбу, но перестарались. Церемония вышла настоящей Бывший парень обидел девушку, назвав её полной, и она отомстила. Её новая внешность — хэдшот в голову лукиста Бывший парень обидел девушку, назвав её полной, и она отомстила. Её новая внешность — хэдшот в голову лукиста Пёс работал 5 лет на приз за похудение, и теперь его не узнать. Вы только посмотрите на этот шар (да) с лапами