Голос человека и руки робота. Учёные дали нейросети новое знание, и, кажется, она слишком быстро учится

Артем Малобенский

Учёные из Штатов научили нейросеть по записи человеческого голоса жестикулировать так, как это делал бы реальный человек. И у этого алгоритма всё получается так здорово, будто скоро не будут нужны ни телеведущие, ни актёры (да и вообще, вряд ли роботам будущего понадобятся люди).

Американские учёные под руководством Джитендры Малика из Калифорнийского университета создали нейросеть, ещё сильнее приближающую нас то ли к счастливому будущему, то ли к восстанию машин. Информация об этом появилась на официальном сайте универа, а для создания своего алгоритма разработчики отталкивались от того факта, что в разговоре люди активно используют различные жесты (иногда совершенно неосмысленно), чтобы лучше донести свои мысли до собеседника.

Учёные покадрово проанализировали 144 часа видео с десятью людьми, работу которых сложно представить без активной жестикуляции: от известных телеведущих и университетских преподавателей до религиозных проповедников на ТВ. Конечная цель специалистов же была в том, чтобы после сопоставления всех этих данных нейросеть научилась по одной лишь аудиодорожке предугадывать поведение людей, которых ей показали — точнее, движение их рук.

В итоге учёным удалось добиться того, чтобы алгоритм не только предсказывал движения рук, но и визуализировал их в правдоподобное видео. Вот так выглядит этот процесс: поочерёдно аудио, предполагаемые движения рук и созданное на основе этого сочетания видео.

А теперь можете сравнить созданное нейросетью видео (справа) с реальным (в левом верхнем углу). Спрогнозированные алгоритмом жесты очень похожи на то, как всё было на самом деле, только программа иногда путает руку ведущего, которой он хотел что-то показать.

На гифках вы видели нейросеть, предугадывающую действия комика Джона Оливера в его вечернем шоу Last Week Tonight with John Oliver, но на видео есть и другие примеры работы алгоритма. Так, робот играет в свою странную угадайку с химиком Марком Кубинецом и телеведущим Конаном О’Брайеном.

Важно заметить, что на сгенерированных видео нейросеть не предугадывает мимику человека, а также что подобные алгоритмы учёные уже создавали. Но этот показал самые точные результаты. У него получилось правильно предположить 44 процента движений рук по одной лишь звуковой дорожке.

И далеко не все видят в таком прогрессе повод открывать шампанское.

Чем могут закончиться такие эксперименты с роботами и нейросетями, предположили ютуберы из США. Главным героем их видео стал робот «Атлант» из Boston Dynamics, и вы больше не сможете смотреть, как его обижают.

А в Японии у робота есть власть уже в наше время. Там буддисты собрали робота-бога и уже ему поклоняются.

Жена думала, что муж её разлюбил, но правда была печальнее. Расставание не ранило бы её так, как его диагноз Жена думала, что муж её разлюбил, но правда была печальнее. Расставание не ранило бы её так, как его диагноз Космический разгон, но играть можно на диване. 10 признаков хорошего ноутбука для гейминга Космический разгон, но играть можно на диване. 10 признаков хорошего ноутбука для гейминга Семья пошла погулять в лес и больше туда не вернётся. Снова встречать мотылька размером с птицу им не хочется Семья пошла погулять в лес и больше туда не вернётся. Снова встречать мотылька размером с птицу им не хочется Молодой папа хотел обмануть ДНК-тест, но попросил помощи не у того. Посылать двойника для подлога было ошибкой Молодой папа хотел обмануть ДНК-тест, но попросил помощи не у того. Посылать двойника для подлога было ошибкой Как получить права в Москве. Учимся онлайн, сдаем с первого раза (но это не точно) Приступ «аппендицита» сделал девушку мамой. Это была беременность, о которой не знали даже сами родители Приступ «аппендицита» сделал девушку мамой. Это была беременность, о которой не знали даже сами родители Не носки и не кастрюли. Гид по подаркам к гендерным праздникам Не носки и не кастрюли. Гид по подаркам к гендерным праздникам Кошка из Чебоксар решила примкнуть к колонне спецтехники. Военные обнаружили пополнение только через два дня Кошка из Чебоксар решила примкнуть к колонне спецтехники. Военные обнаружили пополнение только через два дня Патрульный разбил нарушительнице сердце, но не суммой штрафа. А словами, услышать которые хочет любой водитель Бизнесмен узнал: конкуренты банкротятся, и взялся за дело. Теперь враги вынуждены не винить, а благодарить его Блогер показал пса-метиса и сломал собачников. У них много вопросов, ведь питомец — лабрадор в теле таксы Блогер показал пса-метиса и сломал собачников. У них много вопросов, ведь питомец — лабрадор в теле таксы Записка долго пылилась за радиатором, а зря: её содержание — космос. Теперь ясно, что обсуждали 50 лет назад Записка долго пылилась за радиатором, а зря: её содержание — космос. Теперь ясно, что обсуждали 50 лет назад Скульптор закосплеил героя Warcraft и сломал реальность. Чтобы стать лордом нежити, пришлось гореть изнутри Скульптор закосплеил героя Warcraft и сломал реальность. Чтобы стать лордом нежити, пришлось гореть изнутри На кадрах с видеоняни малыш заполз под кровать. Но то, как он это сделал, заставило людей поверить в призраков На кадрах с видеоняни малыш заполз под кровать. Но то, как он это сделал, заставило людей поверить в призраков Барак Обама вспомнил, как сломал нос однокласснику. Больше, чем рассказ, людей смешит лишь причина драки Барак Обама вспомнил, как сломал нос однокласснику. Больше, чем рассказ, людей смешит лишь причина драки Ровер Perseverance сломал головы гиков узором парашюта. Самых внимательных там ждёт пасхалка Загадочника NASA Ровер Perseverance сломал головы гиков узором парашюта. Самых внимательных там ждёт пасхалка Загадочника NASA Блогер прогулялся рядом с Чернобыльской АЭС в Google Maps и нашёл нечто. Люди уверены – это отсылка к аварии Блогер прогулялся рядом с Чернобыльской АЭС в Google Maps и нашёл нечто. Люди уверены – это отсылка к аварии Отец показал, почему нельзя говорить по телефону, стоящему на зарядке. После его опыта вы спрячете мобильник Вор проник в дом и создал новую версию «Трёх медведей». Его слова хозяйке могли бы спасти Машу от гнева мишек Вор проник в дом и создал новую версию «Трёх медведей». Его слова хозяйке могли бы спасти Машу от гнева мишек У девушки ростом 144 см высокий парень, и это разрыв шаблона. Они встречаются на расстоянии, даже когда вместе У девушки ростом 144 см высокий парень, и это разрыв шаблона. Они встречаются на расстоянии, даже когда вместе Ким Кардашьян похвастала картиной, и ответ — мемы. Да Винчи вздрогнул: этим художником была Норт Уэст Ким Кардашьян похвастала картиной, и ответ — мемы. Да Винчи вздрогнул: этим художником была Норт Уэст Блогерша показала, как готовить хашбрауны из «Макдоналдса». Нужно три ингредиента, но кулинаров смущает рецепт Блогерша показала, как готовить хашбрауны из «Макдоналдса». Нужно три ингредиента, но кулинаров смущает рецепт Незнакомцы замэтчились в тиндере и ощутили дежавю. Неудивительно, ведь их пара совпала ещё 13 лет назад Фанатка дорам посмотрела 50 серий за сутки и напугала врачей. Новый сезон она видит с закрытыми глазами Фанатка дорам посмотрела 50 серий за сутки и напугала врачей. Новый сезон она видит с закрытыми глазами Студентка надеялась на джекпот и проиграла. Но её удаче можно завидовать — стоит увидеть лотерейный билет Студентка надеялась на джекпот и проиграла. Но её удаче можно завидовать — стоит увидеть лотерейный билет Подруга загорела на пляже и обрадовала бойфренда. Теперь он каждый день видит Диего Марадону в своей постели Подруга загорела на пляже и обрадовала бойфренда. Теперь он каждый день видит Диего Марадону в своей постели Антиквары нашли справочник садовода 1704 года, и птицы его не оценят. В нём — инструкция для пернатого караоке Эрмитаж решил привлечь мужчин к искусству, а вышло обидеть женщин. Ведь в вопросе музея они увидели подвох Студентка взялась красить волосы, и всё пошло не так. Посмотрев в зеркало, девушка поняла: теперь она — Веном Студентка взялась красить волосы, и всё пошло не так. Посмотрев в зеркало, девушка поняла: теперь она — Веном Домохозяйка решила: за уборку нужно платить — и вручила бывшему мужу счёт. Правильно сделала, подтвердил закон Домохозяйка решила: за уборку нужно платить — и вручила бывшему мужу счёт. Правильно сделала, подтвердил закон Реддитор считал соседей-иностранцев милыми. Пока подруга не перевела ему, о чём они говорили на самом деле Реддитор считал соседей-иностранцев милыми. Пока подруга не перевела ему, о чём они говорили на самом деле Официантка оценила поведение звёзд, которых обслуживала. И теперь у людей ещё больше поводов любить Леди Гагу Официантка оценила поведение звёзд, которых обслуживала. И теперь у людей ещё больше поводов любить Леди Гагу В Fortnite открылся портал, и геймеры видят в нём Чужого. Ведь на слитом аудио из игры слышен рык ксеноморфа В Fortnite открылся портал, и геймеры видят в нём Чужого. Ведь на слитом аудио из игры слышен рык ксеноморфа Блогеры мажут лицо зелёнкой, повторяя пранк Instasamka. Но смыть её не так просто, как вышло у рэперши Блогеры мажут лицо зелёнкой, повторяя пранк Instasamka. Но смыть её не так просто, как вышло у рэперши Козлёнок спрятался в канализации и выдал косплей на Пеннивайза. История его спасения — комедия в трёх актах Козлёнок спрятался в канализации и выдал косплей на Пеннивайза. История его спасения — комедия в трёх актах Близнецы выглядели одинаково, но знали: на самом деле они не братья. Спустя годы подозрения подтвердил врач