Нейросеть от ElevenLabs переводит видео на русский язык. Пользователи рунета попробовали продублировать сцены из мемов , сериалов и кино. Перевод «Офиса», «Гарри Поттера», мемов «Восемь Ши» и Side Eye напомнил пиратский дубляж 90-х.
Компания ElevenLabs запустила программу, которая создаёт дубляж видео с помощью нейросети с сохранением голоса. В отличие от HeyGen, ElevenLabs не подстраивает артикуляцию говорящего под язык и допускает ошибки, но зато переводит ролики и на русский язык. Пользователи рунета протестировали возможности ElevenLabs в передаче «великого и могучего». Спойлер: с переменным успехом и забавными результатами.
Автор телеграм-канала «Кабачковая икра по акции» перевёл короткий монолог актёра Сэмюэла Л. Джексона в фильме «Змеиный полёт» и обратил внимание, что нейродубляж путается в ударениях и переводит неточно.
Искусственному интеллекту не всегда удаётся сохранить оригинальный голос персонажа, что приводит к комичному итогу. Так, Стив Карелл в образе Майкла Скотта в сериале «Офис» будто бы охрип.
Нейродубляж неплохо справился с мемной песней «Восемь Ши», о значении которой гадали всем тиктоком. Текст получился нескладным, но вполне понятным — китайский блогер поёт о фамилии Ши. Только вот на фоне основной музыкальной дорожки появились какие-то странные звуки, будто парень записывал песню в переполненной людьми квартире.
Популярный английский мем Side Eye («косой взгляд») в исполнении ElevenLabs — фиаско. Нейросеть не убрала оригинальную звуковую дорожку, не переняла голос говорящей и перевела фразу слишком буквально. После обработки мем зазвучал в лучших традициях пиратского перевода 90-х.
Больше всего не повезло героям фильма «Гарри Поттер и Узник Азкабана». Из известной цитаты Сириуса Блэка «Я 12 лет ждал в Азкабане» получился абсурдный набор слов.
По опыту пользователей Сети, ElevenLabs лучше справляется с переводом на английский и французский языки, однако не прочь поиграться с акцентами — то английская речь звучит с сильным русским акцентом, то с индийским. По большей части переводы получаются, скорее, смешными, чем качественными. Но комментаторы считают, что в скором будущем ElevenLabs выйдет на новый уровень.
Ранее Medialeaks рассказывал про AI-ботов Кендалл Дженнер и Пэрис Хилтон. Персонажи с лицами и мимикой звёзд отвечают на вопросы в инстаграме*.
* Инстаграм принадлежит Meta Platforms Inc., которая признана экстремистской организацией и запрещена на территории РФ.
