Превратить любой текст в видео за пару кликов? Легко! Учёные разработали систему, которая монтирует лучше вас

Валерий Горшков

Исследователи научили искусственный интеллект превращать текст в видео, и это не какие-то простейшие ролики, а полноценные клипы, которые уже сейчас трудно отличить от смонтированных профессионалами. Но это не значит, что машины стали талантливее людей, ведь чтобы это стало возможно, учёным пришлось привить ИИ чувство прекрасного и научить его смотреть на картинку так же, как мы.

Команда учёных из университетов Цинхуа и Бейхан в Китае, Гарвардского университета (США) и Междисциплинарного центра в Герцлии (Израиль) на научной конференции ACM SIGGRAPH Asia, прошедшей с 17 по 20 ноября в Австралии, представили инновационную разработку. Они сумели создать полностью функционирующий инструмент для редактирования видео, который способен генерировать видео прямо из текста, пишет IBTimes.

Программу назвали Write-A-Video, и справиться с ней сможет абсолютно любой человек. Чтобы смонтировать ролик с помощью нового инструмента, не нужно обладать даже первоначальными навыками обработки и редактирования видео. По словам разработчиков, созданный при помощи программы клип позволит рассказывать историю даже более естественно, чем это сможет сделать человек.

Причём видео можно будет менять в реальном времени: достаточно отредактировать текст, удалить из него лишние фрагменты или добавить новые, и видеоряд сразу же поменяется. Все эти действия искусственный интеллект автоматически переводит в операции видеомонтажа. Происходит это в три простых шага.

Пользователь вводит текст, затем визуально-семантическая нейросеть на основе слов и сочетаний фраз подбирает из библиотеки соответствующий видеоряд, и наконец из него выбираются наиболее точные фрагменты, которые собираются в готовый видеоролик.

Пользователь вводит и редактирует текст. Инструмент автоматически ищет семантически совпадающие кадры-кандидаты из репозитория видео, а затем использует метод оптимизации для сборки видео, автоматически вырезая кадры и изменяя их порядок, — рассказал Ариэль Шамир, один из авторов системы, декан Школы компьютерных наук имени Эфи Арази Междисциплинарного центра в Герцлии.

Таким образом уже на данном этапе технология позволяет создавать видеосопровождение для персональных историй, онлайн-текстов и даже детских развлекательных видео.

Чтобы это стало возможным, учёным потребовалось научить искусственный интеллект понимать разницу в визуальных стилях и кинематографическому принципу построения картинки. Система выбирает из видеохранилища кадры не только на основе их соответствия тексту, но и учитывает их эстетические особенности, выбирая те, которые идеально подходят по свету, фокусу и ракурсам. Иными словами, ИИ научился видеть красоту кадра и понимать, что такое стилистическое единство.

Исследователи уверены, что не отнимают у людей их работу, и благодаря подобным интеллектуальным цифровым инструментам творческий процесс, наоборот, станет более продуктивным.

Наша работа демонстрирует потенциал автоматического визуально-семантического сопоставления в вычислительном редактировании на основе идиом, предлагая интеллектуальный способ сделать монтаж видео более доступным для непрофессионалов.

Посмотреть, как работает система Write-A-Video, вы можете здесь.

Пока побаловаться программой не получится, но в ближайшее время авторы намереваются сделать её доступной для всеобщего использования. А вот другая инновационная видеотехнология уже вовсю применяется в нашей повседневной жизни, но люди об этом даже не догадываются, просматривая в интернете любимые ролики и фильмы и не замечая рекламу, которой раньше в них не было.

Искусственный интеллект с каждым днём становится всё умнее, но опасаться войны с машинами не стоит, ведь они нас даже не заметят, потому что учёные придумали, как стать невидимыми для ИИ. Для этого не нужны сложная электроника и программное обеспечение — достаточно обыкновенной футболки со стильным принтом.

Грабитель влез в дом и показал жильцам свой паспорт. «В первую очередь я гражданин», — вот его позиция в жизни Грабитель влез в дом и показал жильцам свой паспорт. «В первую очередь я гражданин», — вот его позиция в жизни Спецпроект. Как устроены женщины? Спецпроект. Как устроены женщины? Врач подхватила в больнице корону, да не ту. Подруги завидуют, ведь рассчитывать на такую могут лишь красотки Врач подхватила в больнице корону, да не ту. Подруги завидуют, ведь рассчитывать на такую могут лишь красотки Почему нельзя ставить зеркало у окна. Тёща узнала поздно и теперь жалеет, что когда-то плохо учила физику Почему нельзя ставить зеркало у окна. Тёща узнала поздно и теперь жалеет, что когда-то плохо учила физику Жажда лучшего. Как работает «умный» напиток idrinq и почему кофеин и гуарана — позавчерашний день Офицер отработал приёмы на видео, расстроив начальство. Оно не оценило его заявку на участие в Mortal Kombat Офицер отработал приёмы на видео, расстроив начальство. Оно не оценило его заявку на участие в Mortal Kombat «Приходишь на интересе, а потом пашешь на силе воли». Истории людей, резко сменивших профессию «Приходишь на интересе, а потом пашешь на силе воли». Истории людей, резко сменивших профессию Внук показал мебель бабули, а люди не верят. Перед ними — прародитель IKEA, с которого всё началось Внук показал мебель бабули, а люди не верят. Перед ними — прародитель IKEA, с которого всё началось Врачи годами не понимали, почему у школьницы внезапно пожелтело лицо. Пока не заглянули в её холодильник Художница показала свой особняк, и интерьер вызывает зависть. Ещё бы, ведь дом зашёл бы самому Касперу Пациент сделал второй укол вакцины, но не той. Для него есть две новости, и одна хорошая, а вторая — не очень Пациент сделал второй укол вакцины, но не той. Для него есть две новости, и одна хорошая, а вторая — не очень Кондитер положил шоколад Flake в печь и удивился. Теперь мы знаем, из чего строить корабль для полёта к Солнцу Кондитер положил шоколад Flake в печь и удивился. Теперь мы знаем, из чего строить корабль для полёта к Солнцу Тусовщица страдала от лишнего веса, а теперь её не узнать. Худышкой она не стала, и в этом главный парадокс Тусовщица страдала от лишнего веса, а теперь её не узнать. Худышкой она не стала, и в этом главный парадокс Тейлор Свифт, что ты делаешь в тиктоке? Девушка косплеит певицу так, что даже фаны готовы взять у неё автограф Тейлор Свифт, что ты делаешь в тиктоке? Девушка косплеит певицу так, что даже фаны готовы взять у неё автограф Девочка в 12 лет сломала систему, став не блогером, а фермером. Фото её жизни успокаивают, как чай с ромашкой Девочка в 12 лет сломала систему, став не блогером, а фермером. Фото её жизни успокаивают, как чай с ромашкой Вор отнимал телефоны, а мог купить спорткар. Зря он не узнал заранее, сколько стоил изъятый офицерами пистолет Вор отнимал телефоны, а мог купить спорткар. Зря он не узнал заранее, сколько стоил изъятый офицерами пистолет «Леди Димитреску, наступи на меня», — молили геймеры. Но блогер показал, почему об этом лучше не мечтать «Леди Димитреску, наступи на меня», — молили геймеры. Но блогер показал, почему об этом лучше не мечтать Гид сфотографировал остановку и не уверен, что туда вернётся. В кадр попал пассажир, прибывший с того света Билли Айлиш, предъявите пенсионное. Певица показала фото, но вместо девушки фаны увидели бабулю Билли Айлиш, предъявите пенсионное. Певица показала фото, но вместо девушки фаны увидели бабулю Дуэйн Джонсон спросил дочь об Аквамене, и его самооценка уплыла в океан. Видео, боль в котором поймут все отцы Дуэйн Джонсон спросил дочь об Аквамене, и его самооценка уплыла в океан. Видео, боль в котором поймут все отцы Певица из Киргизии станцевала в тиктоке, и зрители нажали «отмену». Не стоило делать мейк из подручных средств Певица из Киргизии станцевала в тиктоке, и зрители нажали «отмену». Не стоило делать мейк из подручных средств Девочка помылась с бомбочкой, а та окрасила не воду. От итога мама схватилась за сердце, но дочь в восторге Девочка помылась с бомбочкой, а та окрасила не воду. От итога мама схватилась за сердце, но дочь в восторге Музыкант увидел себя в «Симпсонах» и отменяет мульт. Ведь этого пухляша певец никогда в зеркале не видел Рыбак узнал, как стать богатым, сидя на месте. Его улов напоминает о хоррорах, но ведёт к безбедному будущему Рыбак узнал, как стать богатым, сидя на месте. Его улов напоминает о хоррорах, но ведёт к безбедному будущему Мама родила сына и сломала законы природы. Глядя на мальчика, люди видят принцессу удивительной красоты Мама родила сына и сломала законы природы. Глядя на мальчика, люди видят принцессу удивительной красоты Невеста купила платье, и теперь она — денежное дерево. Жениху настолько понравилось, что он захотел также Невеста купила платье, и теперь она — денежное дерево. Жениху настолько понравилось, что он захотел также Клиент получил сдачу в «Макдоналдсе» и сорвал джекпот. Это не он заплатил за еду, а она ему Хэнк из Breaking Bad — ваш новый мем на все случаи жизни. И с этим шаблоном фаны пустились во все тяжкие Не успела бабуля выписаться из больницы, как случился плот-твист. Ошибка врачей подарила ей брата и новый дом Не успела бабуля выписаться из больницы, как случился плот-твист. Ошибка врачей подарила ей брата и новый дом Фотография леса таит в себе опасность, но разглядеть её смогут не все. Ведь Cнейк на ней — не Солид, а круче Фотография леса таит в себе опасность, но разглядеть её смогут не все. Ведь Cнейк на ней — не Солид, а круче Собаки тоже жидкие. Хозяйка показала овчарку в переноске, доказав — с котами у псов общего больше, чем кажется Собаки тоже жидкие. Хозяйка показала овчарку в переноске, доказав — с котами у псов общего больше, чем кажется Учёные повесили на волка камеру и сняли день его глазами. Увиденное оказалось сюрпризом даже для них Учёные повесили на волка камеру и сняли день его глазами. Увиденное оказалось сюрпризом даже для них Дочь сдала ДНК-тест и нашла вторую маму. Вопросов стало больше, когда та оказалась генетической копией первой Дочь сдала ДНК-тест и нашла вторую маму. Вопросов стало больше, когда та оказалась генетической копией первой Почему стюардессы осматривают вас с головы до ног на посадке. Они ищут будущего героя, и вы им быть не хотите Почему стюардессы осматривают вас с головы до ног на посадке. Они ищут будущего героя, и вы им быть не хотите «Удали это. Немедленно» — прочитала девушка в чате и покраснела. Так она и узнала, перед кем хвасталась бельём «Удали это. Немедленно» — прочитала девушка в чате и покраснела. Так она и узнала, перед кем хвасталась бельём Жених и невеста позвонили юристу и узнали, что они уже женаты друг на друге. Пару подвела не память, а закон