Новая нейросеть от Facebook превращает людей из видео в управляемых героев. Это магия, но поверить в неё легко

Нейросеть от Facebook превращает людей из видео в игровых персонажей

Исследователи Facebook разработали нейросеть, которая превращает человека из видео в игрового персонажа. Искусственный интеллект не только делает из вас управляемого героя, но и позволяет перенестись в сцены из других роликов. Ещё немного, и сыграть в теннис можно будет даже на Эвересте.

Специалисты и разработчики со всего мира постоянно радуют любителей технологий новыми изобретениями. Благодаря этим ребятам люди могут попасть в дополненную реальность от Google и даже посмотреть на лица несуществующих человеков. Исследователи Facebook пошли дальше и в середине апреля представили технологию, с помощью которой вы можете стать персонажем видеоигры о собственной жизни.

Разработка на основе искусственного интеллекта получила название Vid2Game, а статья о проекте была опубликована на сайте Корнеллского университета. Действие программы предельно простое, но результат сродни магическому.

Мы берём видео человека, выполняющего определённую деятельность, и извлекаем из него управляемую модель.

Если не вдаваться в технические подробности, программа сканирует человека из видео, а затем на основе образа создаёт героя, которым можно управлять при помощи геймпада. Процесс контролируют нейросети, специально разработанные для проекта, — Pose2Pose и Pose2Frame.

Сначала ролик обрабатывает первый ИИ, который анализирует движения человека. Персонаж может танцевать, играть в теннис или сидеть на стуле — нейросеть, по словам создателей, это вычислит и вырежет героя из видео.

После этого в дело вступает второй ИИ. Pose2Frame берёт вырезанного из ролика человека (тени и предметы в руках прилагаются) и вставляет его в новую сцену. Поздравляем, теперь у вас есть новый управляемый графический персонаж (даже если это вы сами). Только не забывайте — герой в новой локации сможет выполнять лишь те действия, которые продемонстрировал в оригинальном видео.

Оценить новые возможности нейросетей можно здесь.

Как уверяют разработчики, у программы есть много плюсов. Она отлично отделяет выбранного героя от фона и не путает его с другими людьми. Исследователи не рассказали, смогут ли опробовать программу обычные пользователи. Вероятно, эксперты продолжают работу над проектом, так как качество итоговых роликов требует улучшений.

Похожим образом работает нейросеть, созданная учёными из Калифорнийского университета. Технология не перенесёт вас в видеоигру, зато заставит танцевать как профи даже без подготовки.

На фоне развития технологий люди учатся использовать во благо даже фейлы искусственного интеллекта. Например, с некоторых пор вы можете стать Виктором Франкенштейном и создать своего страшного человека. Главное, не перестараться с жутью.

«Как продавцу, мне смешно и страшно на это смотреть». Консультантка секс-шопа — о порно, вебкаме и технологиях «Как продавцу, мне смешно и страшно на это смотреть». Консультантка секс-шопа — о порно, вебкаме и технологиях 5 самых актуальных профессий-2020, которым можно обучиться онлайн 5 самых актуальных профессий-2020, которым можно обучиться онлайн Как найти дело своей жизни? Пройти дейтинг-игру! Тест. Всё пробовал, всё знаю! Как мне расширить сексуальные горизонты? Тест. Всё пробовал, всё знаю! Как мне расширить сексуальные горизонты? Личный опыт. Чему учить ребенка, чтобы вырастить счастливого взрослого? Личный опыт. Чему учить ребенка, чтобы вырастить счастливого взрослого? Славянскому киберпанку — быть. Люди узнали, что создатели «Киберслава» нашли спонсоров, и их радость не унять Билли Бутчер и Мистер Исключительный сошлись в мем-битве на лазерных младенцах. А жертва — Майк Вазовски Найден самый маленький Человек-паук. Он ещё не умеет разговаривать, но его видео со скалодрома поражают людей Найден самый маленький Человек-паук. Он ещё не умеет разговаривать, но его видео со скалодрома поражают людей Парень выглянул в окно и попал в фильм «Мгла». А вместе с ним — миллионы людей, и их фото вышли страшнее кино Парень выглянул в окно и попал в фильм «Мгла». А вместе с ним — миллионы людей, и их фото вышли страшнее кино Мужчина бросает еду в детей и кричит на них, но те рады. Ведь он не тиран, а лучший отец с синдромом Туретта Мужчина бросает еду в детей и кричит на них, но те рады. Ведь он не тиран, а лучший отец с синдромом Туретта Хозяйка выгуляла пса без поводка, но питомец об этом не знал. Итог: собака забагована, зато видео смешное Хозяйка выгуляла пса без поводка, но питомец об этом не знал. Итог: собака забагована, зато видео смешное Тиктокерша обустроила в шкафу тайное логово (Нарния, ты ли это). Звучит как мечта, решили люди, но не совсем Турист собрал из подручных средств пауэрбанк и перестарался. Девайс поставил на уши спецслужбы в аэропорту Турист собрал из подручных средств пауэрбанк и перестарался. Девайс поставил на уши спецслужбы в аэропорту Жена узнала, что муж поздравил с днём рождения другую женщину. И её дружелюбная реакция — настоящий хоррор Жена узнала, что муж поздравил с днём рождения другую женщину. И её дружелюбная реакция — настоящий хоррор Игра Among Us ворвалась в топы и стала новым мемом. Ведь в ней ложь и коварство уровня «Игры престолов» Девушка впервые за 10 лет постирала подушки парня. Глядя на бельё, люди решили: она живёт с монстром Девушка впервые за 10 лет постирала подушки парня. Глядя на бельё, люди решили: она живёт с монстром Блогер снимал видео о работе в отеле, но лайки обернулись увольнением. И люди уже готовы мстить его боссам Блогер снимал видео о работе в отеле, но лайки обернулись увольнением. И люди уже готовы мстить его боссам Власти Сингапура придумали, как не смущать людей своим богатством. Для лайфхака нужен поезд и трюк из 3020-го Парень показал лайфхак для тайной переписки на айфоне. Привет, новая причина для подозрений любимых Что будет, если выстрелить из одного пистолета прямо в дуло другого? Самый эпичный способ обезвредить оружие Что будет, если выстрелить из одного пистолета прямо в дуло другого? Самый эпичный способ обезвредить оружие «Форсаж» замахнулся на космос, а киноманы включили режим троллей. От таких обидных шуток не увезёт и спорткар «Форсаж» замахнулся на космос, а киноманы включили режим троллей. От таких обидных шуток не увезёт и спорткар Геймеры пытаются заказать PS5 у российских ритейлеров, но терпят фиаско. Вместо консоли их ждёт отмена заказа Геймеры пытаются заказать PS5 у российских ритейлеров, но терпят фиаско. Вместо консоли их ждёт отмена заказа Новым Джеймсом Бондом может стать Том Харди. Пруфов (пока) нет, а вот споров и критики уже хватает Новым Джеймсом Бондом может стать Том Харди. Пруфов (пока) нет, а вот споров и критики уже хватает Блогер изучил «Зону 51» и узнал, чем закончится 2020-й. Нас ждёт «Евангелион» — боевые роботы у ВВС уже есть