В дополненную реальность от Google можно попасть с обычного ноутбука. Мы тоже попробовали, но вышло странно
Специалисты из Google Creative Lab представили новый эксперимент с дополненной реальностью: программа Move Mirror помогает превратить движения человека в гифку из фотографий с людьми в таких же позах, как у него. Проект, который выглядит как обычное развлечение, должен позволить лучше отработать алгоритмы распознавания движений. Medialeaks испытал эту дополненную реальность, и результаты были несколько неожиданными.
Разработчики Джейн Фридхофф и Ирен Альварадо представили новый проект от Google Creative Lab — программу Move Mirror, которая позволяет записывать свои движения и создавать бесполезную, но занятную копию получившегося ролика с помощью библиотеки из 80 тысяч изображений. Пользователю просто нужно зайти на сайт проекта и включить веб-камеру, пишет The Next Web.
Move Mirror распознаёт движения пользователя с помощью системы PoseNet, которая отслеживает расположение рук, ног, головы и очертаний туловища. Затем специальный алгоритм сопоставляет каждый кадр и изображениями из библиотеки фотографий с людьми, стоящими в разных позах. Вот что получается по словам разработчиков.
Алгоритм распознания движений, задействованный в Move Mirror, позволяет отслеживать действия пользователей даже на размытых изображениях, видео низкого качества и чёрно-белых картинках, утверждают создатели в издании Medium. Тех, кто не хочет делиться своим видео с веб-камеры ноутбука с компанией Google, утешают: данные даже не передаются в интернет, весь процесс происходит в памяти компьютера пользователя. Создатели Move Mirror также выпустили промо-ролик, объясняющий его действие. Похоже на работу приложения дополненной реальности от Apple, которое разработчики планируют выпустить осенью — оно должно позволить управлять iPhone при помощи взгляда.
Автор этого текста попробовал воспользоваться Move Mirror сам. Попасть в дополненную реальность очень просто: достаточно зайти на сайт проекта и разрешить ему задействовать веб-камеру устройства. Move Mirror тут же начнёт подбирать картинки, похожие на то, что он видит — правда, его библиотека не рассчитана на близкую съёмку лиц, так что в правой части экрана будут появляться случайные фотографии.
А вот дальше начинаются сложности. Чтобы программа видела все ключевые точки тела, нужно встать так, чтобы попадать в камеру в полный рост. А в случае с маленькой камерой ноутбука придётся отойти на несколько метров — не в каждой комнате найдётся достаточно ничем не загороженного места. Но тест программы всё же начался. Мы решили начать с простых, но заметных движений: сесть и встать, наклониться, взять в руки случайный предмет. Вот как это увидело Move Mirror.
Попытку сесть на пол алгоритм не распознал, потому что не рассчитан на определение расстояния до тех или иных предметов. Ноги, вытянутые в сторону камеры, он видит просто как укороченные. В нескольких кадрах Move Mirror переставал правильно отслеживать движения рук. А если посмотреть на сменяющиеся картинки справа, то оказывается, что относительно правильно он передал всего одно движение — наклон всего тела, который сложно пропустить.
Но главная сложность, которую удалось обнаружить после первой попытки — алгоритм отслеживает всего около 10 кадров в секунду, а в готовой гифке они сменяются очень быстро, и все движения кажутся ускоренными. При быстрых движениях метки программы не успевают за движениями тела, поэтому при второй попытке пришлось двигаться медленнее и только в одной плоскости, не приближаясь и не отдаляясь.
На первый взгляд кажется, что всё прошло ещё хуже: алгоритм теряет из вида руки и ноги, как только они начинают двигаться, а картинки справа — это просто беспорядочный набор стоящих в почти одинаковых позах людей. Но на самом деле более медленные движения помогли увидеть ещё одну ошибку обращения с программой.
Фон был неоднородным — очень тёмная дверь и очень светлая стена. Как только какая-то часть тела пересекала их границу, Move Mirror путался и начинал показывать не то, что нужно. Для третьей попытки понадобилось выбрать другое место с более ровным освещением, чтобы даже на фоне стен и дверей разного цвета все части тела были хорошо видны.
В левой части гифки всё получилось почти так, как нужно. Метки дополненной реальности поспевали за движениями, а ноги перестали отслеживаться только на то мгновение, когда частично вышли за кадр. Но вот справа…
Там, где герои случайных фотографий должны повторять все движения, снова возникают люди в случайных позах, в основном совершенно непохожих на образцы в левой части. И здесь, скорее всего, проблема в библиотеке изображений: 80 тысяч картинок — не такая уж большая подборка. Возможно, её просто не хватило, чтобы охватить эти простые вобщем-то позы.
Тем не менее, нейросетевой алгоритм программы постоянно обучается, и, возможно, со временем станет работать гораздо лучше. Поиграться с дополненной реальностью самому можно на сайте Move Mirror, только понадобится просторная комната с ярким освещением и хорошая веб-камера.
Тем временем проектам, связанным с дополненной реальностью, уже нашлось много необычных применений. В США с помощью такой технологии смогли поймать преступника, который сбежал от полиции и запутал следы. А британская студия дизайна разработала проект, в котором человек может почувствовать себя в теле животного с органами восприятия, которых нет у людей. Клиенты этой студии узнают, каково видеть углекислый газ или чувствовать движение собственных крыльев за спиной.
