В дополненную реальность от Google можно попасть с обычного ноутбука. Мы тоже попробовали, но вышло странно

Дмитрий Степин

Специалисты из Google Creative Lab представили новый эксперимент с дополненной реальностью: программа Move Mirror помогает превратить движения человека в гифку из фотографий с людьми в таких же позах, как у него. Проект, который выглядит как обычное развлечение, должен позволить лучше отработать алгоритмы распознавания движений. Medialeaks испытал эту дополненную реальность, и результаты были несколько неожиданными.

Разработчики Джейн Фридхофф и Ирен Альварадо представили новый проект от Google Creative Lab — программу Move Mirror, которая позволяет записывать свои движения и создавать бесполезную, но занятную копию получившегося ролика с помощью библиотеки из 80 тысяч изображений. Пользователю просто нужно зайти на сайт проекта и включить веб-камеру, пишет The Next Web.

Move Mirror распознаёт движения пользователя с помощью системы PoseNet, которая отслеживает расположение рук, ног, головы и очертаний туловища. Затем специальный алгоритм сопоставляет каждый кадр и изображениями из библиотеки фотографий с людьми, стоящими в разных позах. Вот что получается по словам разработчиков.

via Gfycat

Алгоритм распознания движений, задействованный в Move Mirror, позволяет отслеживать действия пользователей даже на размытых изображениях, видео низкого качества и чёрно-белых картинках, утверждают создатели в издании Medium. Тех, кто не хочет делиться своим видео с веб-камеры ноутбука с компанией Google, утешают: данные даже не передаются в интернет, весь процесс происходит в памяти компьютера пользователя. Создатели Move Mirror также выпустили промо-ролик, объясняющий его действие. Похоже на работу приложения дополненной реальности от Apple, которое разработчики планируют выпустить осенью — оно должно позволить управлять iPhone при помощи взгляда.

Автор этого текста попробовал воспользоваться Move Mirror сам. Попасть в дополненную реальность очень просто: достаточно зайти на сайт проекта и разрешить ему задействовать веб-камеру устройства. Move Mirror тут же начнёт подбирать картинки, похожие на то, что он видит — правда, его библиотека не рассчитана на близкую съёмку лиц, так что в правой части экрана будут появляться случайные фотографии.

А вот дальше начинаются сложности. Чтобы программа видела все ключевые точки тела, нужно встать так, чтобы попадать в камеру в полный рост. А в случае с маленькой камерой ноутбука придётся отойти на несколько метров — не в каждой комнате найдётся достаточно ничем не загороженного места. Но тест программы всё же начался. Мы решили начать с простых, но заметных движений: сесть и встать, наклониться, взять в руки случайный предмет. Вот как это увидело Move Mirror.

via GIPHY

Попытку сесть на пол алгоритм не распознал, потому что не рассчитан на определение расстояния до тех или иных предметов. Ноги, вытянутые в сторону камеры, он видит просто как укороченные. В нескольких кадрах Move Mirror переставал правильно отслеживать движения рук. А если посмотреть на сменяющиеся картинки справа, то оказывается, что относительно правильно он передал всего одно движение — наклон всего тела, который сложно пропустить.

Но главная сложность, которую удалось обнаружить после первой попытки — алгоритм отслеживает всего около 10 кадров в секунду, а в готовой гифке они сменяются очень быстро, и все движения кажутся ускоренными. При быстрых движениях метки программы не успевают за движениями тела, поэтому при второй попытке пришлось двигаться медленнее и только в одной плоскости, не приближаясь и не отдаляясь.

via GIPHY

На первый взгляд кажется, что всё прошло ещё хуже: алгоритм теряет из вида руки и ноги, как только они начинают двигаться, а картинки справа — это просто беспорядочный набор стоящих в почти одинаковых позах людей. Но на самом деле более медленные движения помогли увидеть ещё одну ошибку обращения с программой.

Фон был неоднородным — очень тёмная дверь и очень светлая стена. Как только какая-то часть тела пересекала их границу, Move Mirror путался и начинал показывать не то, что нужно. Для третьей попытки понадобилось выбрать другое место с более ровным освещением, чтобы даже на фоне стен и дверей разного цвета все части тела были хорошо видны.

via GIPHY

В левой части гифки всё получилось почти так, как нужно. Метки дополненной реальности поспевали за движениями, а ноги перестали отслеживаться только на то мгновение, когда частично вышли за кадр. Но вот справа…

Там, где герои случайных фотографий должны повторять все движения, снова возникают люди в случайных позах, в основном совершенно непохожих на образцы в левой части. И здесь, скорее всего, проблема в библиотеке изображений: 80 тысяч картинок — не такая уж большая подборка. Возможно, её просто не хватило, чтобы охватить эти простые вобщем-то позы.

Тем не менее, нейросетевой алгоритм программы постоянно обучается, и, возможно, со временем станет работать гораздо лучше. Поиграться с дополненной реальностью самому можно на сайте Move Mirror, только понадобится просторная комната с ярким освещением и хорошая веб-камера.

Тем временем проектам, связанным с дополненной реальностью, уже нашлось много необычных применений. В США с помощью такой технологии смогли поймать преступника, который сбежал от полиции и запутал следы. А британская студия дизайна разработала проект, в котором человек может почувствовать себя в теле животного с органами восприятия, которых нет у людей. Клиенты этой студии узнают, каково видеть углекислый газ или чувствовать движение собственных крыльев за спиной.

Энтузиаст так долго залипал на Google Maps, что спас туриста. Только он знал, что не так с его фото из поездки Энтузиаст так долго залипал на Google Maps, что спас туриста. Только он знал, что не так с его фото из поездки Обустраиваем гнездышко киберспортсмена. Обзор мощнейшего десктопа MEG Trident X от MSI Обустраиваем гнездышко киберспортсмена. Обзор мощнейшего десктопа MEG Trident X от MSI Вейп, кровать и музыка — стартерпак депутата на заседании в Zoom. Скажите ему наконец, что камера уже включена Вейп, кровать и музыка — стартерпак депутата на заседании в Zoom. Скажите ему наконец, что камера уже включена Тиктокер объяснил, почему жизнь — это иллюзия, и сломал людей. Причина нашей галлюцинации печальнее некуда Тиктокер объяснил, почему жизнь — это иллюзия, и сломал людей. Причина нашей галлюцинации печальнее некуда Жажда лучшего. Как работает «умный» напиток idrinq и почему кофеин и гуарана — позавчерашний день Хозяйка отдала грумеру собаку, а получила нечто. Этот пёс явно сделал каминг-аут как лама или чихуахуа Хозяйка отдала грумеру собаку, а получила нечто. Этот пёс явно сделал каминг-аут как лама или чихуахуа «Приходишь на интересе, а потом пашешь на силе воли». Истории людей, резко сменивших профессию «Приходишь на интересе, а потом пашешь на силе воли». Истории людей, резко сменивших профессию Блогер рассказал, почему нельзя спать с мокрыми волосами. Гнездо на голове с утра — меньшее из всех зол Блогер рассказал, почему нельзя спать с мокрыми волосами. Гнездо на голове с утра — меньшее из всех зол Парень не понимал, почему его не берут на работу, и искал причину в себе. Не зря — она и правда была под носом Почему автозагар — зло. Блогерша узнала и теперь может незаметно слиться с умпа-лумпами на шоколадной фабрике Фанатка показала лайфхак, как заполучить в мужья звезду k-pop. Пара трюков, и вы уже в объятьях айдола (почти) Фанатка показала лайфхак, как заполучить в мужья звезду k-pop. Пара трюков, и вы уже в объятьях айдола (почти) Хвостатая лизнула свою хозяйку и превратила её в женщину-кошку. Глядя на язык девушки, хочется достать линейку Хвостатая лизнула свою хозяйку и превратила её в женщину-кошку. Глядя на язык девушки, хочется достать линейку Вилли Вонка, что ты такое сделал с рекой? В Уэльсе водоём внезапно стал молочным, и это не шутка Вилли Вонка, что ты такое сделал с рекой? В Уэльсе водоём внезапно стал молочным, и это не шутка Квартирант спасал соседку из пожара, но героем его не считают. Ведь он показал самый нелепый метод подката Квартирант спасал соседку из пожара, но героем его не считают. Ведь он показал самый нелепый метод подката Ты не ты, когда все вымерли. В детской книге нашёлся динозавр-мем и ваше новое тотемное животное Ты не ты, когда все вымерли. В детской книге нашёлся динозавр-мем и ваше новое тотемное животное Подруги поженились и раскрыли секрет своего брака. В нём нет любви, но именно это сделало их союз счастливым Подруги поженились и раскрыли секрет своего брака. В нём нет любви, но именно это сделало их союз счастливым Блогерша пересекает границу между штатами, не выходя на улицу. А что ещё делать, когда ваш дом — телепорт Блогерша пересекает границу между штатами, не выходя на улицу. А что ещё делать, когда ваш дом — телепорт Фаны узнали, сколько стоят кроссовки Канье Уэста для аукциона. Увидев лот, они поняли, что ему место в секонде Фермерша услышала семейную байку и попала в фильм «Код да Винчи». Теперь она знает, что хотел спрятать прадед Фермерша услышала семейную байку и попала в фильм «Код да Винчи». Теперь она знает, что хотел спрятать прадед Соседка получила записку и поняла, что её отношениям конец. Весомую причину для разрыва подкинули жители дома Соседка получила записку и поняла, что её отношениям конец. Весомую причину для разрыва подкинули жители дома Полицейский давал интервью со сводкой о пожаре, но журналисты смотрят на фон. На нём — новая работа спасателей Полицейский давал интервью со сводкой о пожаре, но журналисты смотрят на фон. На нём — новая работа спасателей Модель уволили из-за размеров, а она всех переиграла. Встречайте — девушка-Халк, у ног которой — сотни людей Модель уволили из-за размеров, а она всех переиграла. Встречайте — девушка-Халк, у ног которой — сотни людей Сын в два года читал, а в три печатал на машинке, но родители не рады. Это были признаки не гения, а болезни Строитель чинил крышу и нашёл под ней ещё один дом. Он был пуст, но его вид заряжен на мурашки по коже Строитель чинил крышу и нашёл под ней ещё один дом. Он был пуст, но его вид заряжен на мурашки по коже Мама оплакивала аквариумную рыбку, но сын решил подбодрить её ужином. Лучше бы она не знала главный ингредиент Мама оплакивала аквариумную рыбку, но сын решил подбодрить её ужином. Лучше бы она не знала главный ингредиент Как бы выглядели города, если бы их построили на Марсе? Чтобы узнать, достаточно посмотреть на фото из Китая Как бы выглядели города, если бы их построили на Марсе? Чтобы узнать, достаточно посмотреть на фото из Китая Дочь думала, что родители подарили ей простой флакон, но эксперт переубедила. Хватило всего шести слов Школьник нажал две кнопки, и банкомат выдал ему 40 тысяч рублей. Распорядился он ими так, что мама заплакала Симулятор Riot Control Simulator расстроил геймеров. Играть за копов, которые бьют протестующих, — не их мечта Симулятор Riot Control Simulator расстроил геймеров. Играть за копов, которые бьют протестующих, — не их мечта Хозяйка стала слышать плач из-за стены, но зря боялась. Увидев, кого рабочий достал оттуда, вы скажете: «Aww» Хозяйка стала слышать плач из-за стены, но зря боялась. Увидев, кого рабочий достал оттуда, вы скажете: «Aww» Тренер преисполнилась и построила бесконечный бассейн. А теперь удивляется бесконечным счетам за электричество Тренер преисполнилась и построила бесконечный бассейн. А теперь удивляется бесконечным счетам за электричество Мадс Миккельсен и поход за утраченными мемами. Фаны узнали, что актёр ворвётся в «Индиану Джонса», и им смешно Мадс Миккельсен и поход за утраченными мемами. Фаны узнали, что актёр ворвётся в «Индиану Джонса», и им смешно Фермер раскрыл правду о сроке годности еды и сломал людей. Ещё бы, ведь мы все понимали эти цифры неправильно Фермер раскрыл правду о сроке годности еды и сломал людей. Ещё бы, ведь мы все понимали эти цифры неправильно Приговор Тиме Белорусских за наркотики рассердил людей в Сети. Они уверены — суд был слишком гуманным Приговор Тиме Белорусских за наркотики рассердил людей в Сети. Они уверены — суд был слишком гуманным Хозяйка играла с псом и случайно сделала его киборгом. Теперь её любимые треки играют прямо в животе питомца Хозяйка играла с псом и случайно сделала его киборгом. Теперь её любимые треки играют прямо в животе питомца Внук нашёл запасы бабули, и её консервы — привет из прошлого. Удивительнее содержимого лишь его подводный вкус