Голос человека и руки робота. Учёные дали нейросети новое знание, и, кажется, она слишком быстро учится

Артем Малобенский Артем Малобенский

Учёные из Штатов научили нейросеть по записи человеческого голоса жестикулировать так, как это делал бы реальный человек. И у этого алгоритма всё получается так здорово, будто скоро не будут нужны ни телеведущие, ни актёры (да и вообще, вряд ли роботам будущего понадобятся люди).

Американские учёные под руководством Джитендры Малика из Калифорнийского университета создали нейросеть, ещё сильнее приближающую нас то ли к счастливому будущему, то ли к восстанию машин. Информация об этом появилась на официальном сайте универа, а для создания своего алгоритма разработчики отталкивались от того факта, что в разговоре люди активно используют различные жесты (иногда совершенно неосмысленно), чтобы лучше донести свои мысли до собеседника.

Учёные покадрово проанализировали 144 часа видео с десятью людьми, работу которых сложно представить без активной жестикуляции: от известных телеведущих и университетских преподавателей до религиозных проповедников на ТВ. Конечная цель специалистов же была в том, чтобы после сопоставления всех этих данных нейросеть научилась по одной лишь аудиодорожке предугадывать поведение людей, которых ей показали — точнее, движение их рук.

В итоге учёным удалось добиться того, чтобы алгоритм не только предсказывал движения рук, но и визуализировал их в правдоподобное видео. Вот так выглядит этот процесс: поочерёдно аудио, предполагаемые движения рук и созданное на основе этого сочетания видео.

А теперь можете сравнить созданное нейросетью видео (справа) с реальным (в левом верхнем углу). Спрогнозированные алгоритмом жесты очень похожи на то, как всё было на самом деле, только программа иногда путает руку ведущего, которой он хотел что-то показать.

На гифках вы видели нейросеть, предугадывающую действия комика Джона Оливера в его вечернем шоу Last Week Tonight with John Oliver, но на видео есть и другие примеры работы алгоритма. Так, робот играет в свою странную угадайку с химиком Марком Кубинецом и телеведущим Конаном О’Брайеном.

Важно заметить, что на сгенерированных видео нейросеть не предугадывает мимику человека, а также что подобные алгоритмы учёные уже создавали. Но этот показал самые точные результаты. У него получилось правильно предположить 44 процента движений рук по одной лишь звуковой дорожке.

И далеко не все видят в таком прогрессе повод открывать шампанское.

Чем могут закончиться такие эксперименты с роботами и нейросетями, предположили ютуберы из США. Главным героем их видео стал робот «Атлант» из Boston Dynamics, и вы больше не сможете смотреть, как его обижают.

А в Японии у робота есть власть уже в наше время. Там буддисты собрали робота-бога и уже ему поклоняются.

Журналистка неделю качалась как Джей Ло и не верит зеркалу. «Всё-таки это работает!» — сказал бы Галилей Журналистка неделю качалась как Джей Ло и не верит зеркалу. «Всё-таки это работает!» — сказал бы Галилей «Деление пиццы, сумма просмотров в TikTok». Как научить школьника арифметике? «Деление пиццы, сумма просмотров в TikTok». Как научить школьника арифметике? Журналистка взяла на работу дочь, и что же могло пойти не так? Репортаж вышел не о музыке, а о железных нервах Журналистка взяла на работу дочь, и что же могло пойти не так? Репортаж вышел не о музыке, а о железных нервах Рабочие осушали озеро и увидели под водой ступени. Горло каждого пересохло, когда они поняли, куда те ведут Рабочие осушали озеро и увидели под водой ступени. Горло каждого пересохло, когда они поняли, куда те ведут Из загадок и мармеладок? Нет. Знаешь ли ты, как устроены женщины? Геймер сел за GTA V и сделал то, что не удавалось другим игрокам. Шкала здоровья намекает — парень неуязвим Геймер сел за GTA V и сделал то, что не удавалось другим игрокам. Шкала здоровья намекает — парень неуязвим Близнецы постарели на 20 лет, едва попав в тюрьму. Хейтеры скажут — фотошоп, а братья не могут сдержать слёз Близнецы постарели на 20 лет, едва попав в тюрьму. Хейтеры скажут — фотошоп, а братья не могут сдержать слёз Фермер очень радовался своей курице-несушке, пока не узнал её большой секрет. Да, птицы тоже могут менять пол Фермер очень радовался своей курице-несушке, пока не узнал её большой секрет. Да, птицы тоже могут менять пол Стендапер, помогающий уснуть. Ваня Усович убаюкивает рассказами на ночь Четырёхлетка честно заполнила анкету о папе и отнесла в садик. Теперь отцу стыдно, а у мамы много вопросов Невеста не хотела уезжать от сестры и нашла выход. Что случилось, их общий муж понял только после свадьбы Невеста не хотела уезжать от сестры и нашла выход. Что случилось, их общий муж понял только после свадьбы Небоскрёб в Китае закосплеил «Ходячий замок» и ожил. Хаула на видео, увы, нет, а криповое явление — да Небоскрёб в Китае закосплеил «Ходячий замок» и ожил. Хаула на видео, увы, нет, а криповое явление — да А какой Педро Паскаль сегодня ты. Актёр показал сто оттенков себя в меме, и тренд приносит боль А какой Педро Паскаль сегодня ты. Актёр показал сто оттенков себя в меме, и тренд приносит боль Наоми Кэмпбелл стала мамой в 50 лет, и фаны включили детективов. Они уверены, что знают, откуда у модели дочь Наоми Кэмпбелл стала мамой в 50 лет, и фаны включили детективов. Они уверены, что знают, откуда у модели дочь Дизайнеры выпустили коллекцию джинсов, которая сделает вам больно. Их трудно носить, но ещё труднее развидеть Дизайнеры выпустили коллекцию джинсов, которая сделает вам больно. Их трудно носить, но ещё труднее развидеть Официантка показала, как выглядит идеальный спортзал, и парни в ярости. Ведь узнали, почему их туда не пустят Официантка показала, как выглядит идеальный спортзал, и парни в ярости. Ведь узнали, почему их туда не пустят Комментатор рассказал, почему они не ошибаются в фамилиях игроков. Больше люди не верят в их гениальность Комментатор рассказал, почему они не ошибаются в фамилиях игроков. Больше люди не верят в их гениальность Это пирожок? Это бегемот? Нет — кошка с широкой костью, и, похоже, мемы придумали, чтобы она стала их героиней Блогерша сталкерит чужих парней, а их девушки рады. Ведь так они узнают, когда бойфренда пора бросать Блогерша сталкерит чужих парней, а их девушки рады. Ведь так они узнают, когда бойфренда пора бросать Эмма Уотсон вышла из тени, и 10 баллов идёт Гриффиндору. Ведь её ответ сплетникам лучше отрезвляющей пощёчины Эмма Уотсон вышла из тени, и 10 баллов идёт Гриффиндору. Ведь её ответ сплетникам лучше отрезвляющей пощёчины Лаборант думал, что увидел две луны, но ошибся. Зрелище было ярче — его находку люди не видели 125 лет Лаборант думал, что увидел две луны, но ошибся. Зрелище было ярче — его находку люди не видели 125 лет Полицейские искали школьницу, а попали в X-Files. Девочка растворилась в воздухе и засветилась на видео Полицейские искали школьницу, а попали в X-Files. Девочка растворилась в воздухе и засветилась на видео Адам Сэндлер зарубился в баскетбол, но фанам не даёт покоя его наряд. Полиция моды, алло, для вас есть дело «ДНК-тест по скидке? Беру!» — решила дочка и жалеет. Зная результаты, смотреть в глаза маме у неё не выйдет «ДНК-тест по скидке? Беру!» — решила дочка и жалеет. Зная результаты, смотреть в глаза маме у неё не выйдет Блогерша сняла видео и доказала — произошёл сбой матрицы. Птица застряла в текстурах и висит… висит Блогерша сняла видео и доказала — произошёл сбой матрицы. Птица застряла в текстурах и висит… висит Девочка у горящего дома, подвинься — тут новый мем о коварстве. Тебя переиграл пёс, улыбающийся как человек Девочка у горящего дома, подвинься — тут новый мем о коварстве. Тебя переиграл пёс, улыбающийся как человек Дайверша сделала снимок, и такой есть только у Губки Боба. На её селфи — настоящая миссис Пафф Журналист снял сюжет, но о чём, мало кто помнит. Люди смотрят за спину репортёра и не могут перестать смеяться Мясоед уверен, что нет ничего вкуснее сырой и тухлой говядины. У него есть аргументы за, и мы все их знаем Мясоед уверен, что нет ничего вкуснее сырой и тухлой говядины. У него есть аргументы за, и мы все их знаем Почему не стоит есть полуфабрикаты. Врач показал результаты эксперимента на себе, и других аргументов не надо Почему не стоит есть полуфабрикаты. Врач показал результаты эксперимента на себе, и других аргументов не надо Путешественница думала, что принимает ванны с бомбочкой аромата огня. Пока не поняла, кто горит на самом деле Путешественница думала, что принимает ванны с бомбочкой аромата огня. Пока не поняла, кто горит на самом деле Блогерша сравнивает россиян с американцами и ломает зрителей. Никакой ушанки, только жиза (и треск клише) Блогерша сравнивает россиян с американцами и ломает зрителей. Никакой ушанки, только жиза (и треск клише) Девушка искала свою копию среди семьи Кардашьян, но ой. Удар по самооценке от фильтра она запомнит надолго Девушка искала свою копию среди семьи Кардашьян, но ой. Удар по самооценке от фильтра она запомнит надолго Жених сбежал со свадьбы, но торжество не сорвал. На его место выстроилась очередь, едва гости увидели невесту Жених сбежал со свадьбы, но торжество не сорвал. На его место выстроилась очередь, едва гости увидели невесту Застройщику запретили возводить ВИП-жильё у моря из-за местных. Чтобы спугнуть приезжих, им хватило пары фраз Застройщику запретили возводить ВИП-жильё у моря из-за местных. Чтобы спугнуть приезжих, им хватило пары фраз Подруга увидела детское фото знакомой, и в чат вошла зависть. Автор хита Baby уже тогда мог разбивать сердца