Превратить любой текст в видео за пару кликов? Легко! Учёные разработали систему, которая монтирует лучше вас

Учёные научили ИИ делать видео из текста, и это уже работает

Исследователи научили искусственный интеллект превращать текст в видео, и это не какие-то простейшие ролики, а полноценные клипы, которые уже сейчас трудно отличить от смонтированных профессионалами. Но это не значит, что машины стали талантливее людей, ведь чтобы это стало возможно, учёным пришлось привить ИИ чувство прекрасного и научить его смотреть на картинку так же, как мы.

Команда учёных из университетов Цинхуа и Бейхан в Китае, Гарвардского университета (США) и Междисциплинарного центра в Герцлии (Израиль) на научной конференции ACM SIGGRAPH Asia, прошедшей с 17 по 20 ноября в Австралии, представили инновационную разработку. Они сумели создать полностью функционирующий инструмент для редактирования видео, который способен генерировать видео прямо из текста, пишет IBTimes.

Программу назвали Write-A-Video, и справиться с ней сможет абсолютно любой человек. Чтобы смонтировать ролик с помощью нового инструмента, не нужно обладать даже первоначальными навыками обработки и редактирования видео. По словам разработчиков, созданный при помощи программы клип позволит рассказывать историю даже более естественно, чем это сможет сделать человек.

Причём видео можно будет менять в реальном времени: достаточно отредактировать текст, удалить из него лишние фрагменты или добавить новые, и видеоряд сразу же поменяется. Все эти действия искусственный интеллект автоматически переводит в операции видеомонтажа. Происходит это в три простых шага.

Пользователь вводит текст, затем визуально-семантическая нейросеть на основе слов и сочетаний фраз подбирает из библиотеки соответствующий видеоряд, и наконец из него выбираются наиболее точные фрагменты, которые собираются в готовый видеоролик.

Пользователь вводит и редактирует текст. Инструмент автоматически ищет семантически совпадающие кадры-кандидаты из репозитория видео, а затем использует метод оптимизации для сборки видео, автоматически вырезая кадры и изменяя их порядок, — рассказал Ариэль Шамир, один из авторов системы, декан Школы компьютерных наук имени Эфи Арази Междисциплинарного центра в Герцлии.

Таким образом уже на данном этапе технология позволяет создавать видеосопровождение для персональных историй, онлайн-текстов и даже детских развлекательных видео.

Чтобы это стало возможным, учёным потребовалось научить искусственный интеллект понимать разницу в визуальных стилях и кинематографическому принципу построения картинки. Система выбирает из видеохранилища кадры не только на основе их соответствия тексту, но и учитывает их эстетические особенности, выбирая те, которые идеально подходят по свету, фокусу и ракурсам. Иными словами, ИИ научился видеть красоту кадра и понимать, что такое стилистическое единство.

Исследователи уверены, что не отнимают у людей их работу, и благодаря подобным интеллектуальным цифровым инструментам творческий процесс, наоборот, станет более продуктивным.

Наша работа демонстрирует потенциал автоматического визуально-семантического сопоставления в вычислительном редактировании на основе идиом, предлагая интеллектуальный способ сделать монтаж видео более доступным для непрофессионалов.

Посмотреть, как работает система Write-A-Video, вы можете здесь.

Пока побаловаться программой не получится, но в ближайшее время авторы намереваются сделать её доступной для всеобщего использования. А вот другая инновационная видеотехнология уже вовсю применяется в нашей повседневной жизни, но люди об этом даже не догадываются, просматривая в интернете любимые ролики и фильмы и не замечая рекламу, которой раньше в них не было.

Искусственный интеллект с каждым днём становится всё умнее, но опасаться войны с машинами не стоит, ведь они нас даже не заметят, потому что учёные придумали, как стать невидимыми для ИИ. Для этого не нужны сложная электроника и программное обеспечение — достаточно обыкновенной футболки со стильным принтом.

Парень показал, как приготовить свинину из кожуры банана. Лайфхак бюджетный, но люди боятся его пробовать Парень показал, как приготовить свинину из кожуры банана. Лайфхак бюджетный, но люди боятся его пробовать Студенты делали задание и получили кое-что получше оценок. Проект помог найти под манускриптом древний текст Студенты делали задание и получили кое-что получше оценок. Проект помог найти под манускриптом древний текст Девочка сказала, что играла в «Папиных дочках», и поставила всех в тупик. Ведь вспомнить её сможет не каждый Девочка сказала, что играла в «Папиных дочках», и поставила всех в тупик. Ведь вспомнить её сможет не каждый Хозяева столетнего особняка услышали вой своей собаки. Посмотрев записи с камер, они решили сменить жильё Хозяева столетнего особняка услышали вой своей собаки. Посмотрев записи с камер, они решили сменить жильё Объясняем на гифках. Как поддержать организм осенью и зимой? Топ продуктов для крепкого здоровья Девушка рассказала иностранцам про Россию и сломала их. И «мясное желе» — не первый пункт в списке потрясений Девушка рассказала иностранцам про Россию и сломала их. И «мясное желе» — не первый пункт в списке потрясений Девушка кинулась на парня в баре и уложила его на лопатки. Узнав причину поступка, люди аплодируют драчунье Девушка кинулась на парня в баре и уложила его на лопатки. Узнав причину поступка, люди аплодируют драчунье Что будет, если изобразить плач рядом с лошадью. Девушка проверила и показала: кони умнее, чем мы думаем Что будет, если изобразить плач рядом с лошадью. Девушка проверила и показала: кони умнее, чем мы думаем 4 грустные английские идиомы: как сказать, что все достало Люди жаловались на странный стук в домах. Испуганный мэр посоветовал не открывать дверь «загадочному молотку» Дети разбили вазу, но мама решила провести расследование. Её хитрый трюк на видео может расколоть кого угодно Дети разбили вазу, но мама решила провести расследование. Её хитрый трюк на видео может расколоть кого угодно Парень купил платёжный терминал, а в нём — забытые деньги. Сумма хорошая, но у людей к нему много претензий Парень купил платёжный терминал, а в нём — забытые деньги. Сумма хорошая, но у людей к нему много претензий 8 товаров, которые поднимут настроение, пока за окном дождь и серость 8 товаров, которые поднимут настроение, пока за окном дождь и серость Девушка исчезла у парня под плащом, и люди поверили в чудо (зря). Но самые зоркие поняли, в чём тут хитрость Девушка исчезла у парня под плащом, и люди поверили в чудо (зря). Но самые зоркие поняли, в чём тут хитрость Девушка 45 дней тренировалась как Томб Райдер, и результаты впечатляют. Так вот почему Лару Крофт не победить Девушка 45 дней тренировалась как Томб Райдер, и результаты впечатляют. Так вот почему Лару Крофт не победить Жених подарил невесте танец, и свадьба стала боевиком. Он хотел сыграть в Тарзана, но вышел косплей Брюса Ли Жених подарил невесте танец, и свадьба стала боевиком. Он хотел сыграть в Тарзана, но вышел косплей Брюса Ли Специалисты разобрали iPhone 12 и 12 Pro и узнали их себестоимость. А люди негодуют из-за эксперимента Специалисты разобрали iPhone 12 и 12 Pro и узнали их себестоимость. А люди негодуют из-за эксперимента Выпускница подала заявку на работу и получила жёсткий отказ. Но когда люди узнали работодателя, всё поняли Председатель Ремесленной палаты Оренбуржья стал героем видеомемов. И зажигает под песню «Польской коровы» Председатель Ремесленной палаты Оренбуржья стал героем видеомемов. И зажигает под песню «Польской коровы» Белль Дельфин дала интервью, и она ещё умеет удивлять. Забудьте воду из ванны, у девушки бизнес-идея похлеще Белль Дельфин дала интервью, и она ещё умеет удивлять. Забудьте воду из ванны, у девушки бизнес-идея похлеще Прохожий оскорбил девушку из-за её внешности, а она рада. Ведь незнакомец сделал ей лучший в жизни комплимент Прохожий оскорбил девушку из-за её внешности, а она рада. Ведь незнакомец сделал ей лучший в жизни комплимент Репортёр пришёл домой и сам стал героем телесюжета. В нём было всё — крылатый разбойник и работа спецслужб Репортёр пришёл домой и сам стал героем телесюжета. В нём было всё — крылатый разбойник и работа спецслужб Блогер показал, как заработать на своей девушке и бесплатно установить охрану жилья. Люди пророчат ему Гарвард Люди показывают зубы до установки виниров. От фото больно, и дантистам страшно: они знают, чем это грозит Люди показывают зубы до установки виниров. От фото больно, и дантистам страшно: они знают, чем это грозит Мальчик боялся провести день рождения один, а получил праздник мечты. Ведь его поздравил сам Райан Рейнольдс Мальчик боялся провести день рождения один, а получил праздник мечты. Ведь его поздравил сам Райан Рейнольдс Девушка сварила рис и высыпала его себе на голову. Правильно сделала: посмотрев в зеркало, она себя не узнала Девушка сварила рис и высыпала его себе на голову. Правильно сделала: посмотрев в зеркало, она себя не узнала Сын пожаловался на загадочный звук из кухни, и мама установила камеру. Так она узнала, как выглядит барабашка Врач показал, что видят пациенты в последние минуты жизни. У вас есть лишь один способ не проверить это лично PewDiePie сыграл My Heart Will Go On так, что Селин Дион бы поплохело. Но этого хватило для проблем на YouTube PewDiePie сыграл My Heart Will Go On так, что Селин Дион бы поплохело. Но этого хватило для проблем на YouTube Миньон на колёсах заставил водителей поверить в мистику. Они ещё не знали безумного гения, сидящего внутри Миньон на колёсах заставил водителей поверить в мистику. Они ещё не знали безумного гения, сидящего внутри Инженеры строили буровую вышку и случайно создали уникальное сооружение. Помогло плохое знание английского Инженеры строили буровую вышку и случайно создали уникальное сооружение. Помогло плохое знание английского Жена послала мужа на чердак за ёлкой, а после — бум. О празднике она позабыла, когда увидела ногу в потолке Жена послала мужа на чердак за ёлкой, а после — бум. О празднике она позабыла, когда увидела ногу в потолке Проводным наушникам нашлось новое применение — они могут спасать. Причём не людей, а попавших в беду зверушек Проводным наушникам нашлось новое применение — они могут спасать. Причём не людей, а попавших в беду зверушек Блогер вручил девушке на годовщину камень (самый обычный). И люди догадываются, зачем он это сделал Блогер вручил девушке на годовщину камень (самый обычный). И люди догадываются, зачем он это сделал Мужчина нашёл сломанную безделушку, но, починив её, чуть не расплакался. Внутри уже 27 лет его ждало послание Мужчина нашёл сломанную безделушку, но, починив её, чуть не расплакался. Внутри уже 27 лет его ждало послание Владелец игрового ПК показал, как использует центральный процессор. Он чешет им кота, и на это больно смотреть