Искусственный интеллект перевернет индустрию кинодубляжа

Израильский стартап AI Dubbing создал программу, которая не только сама переводит фильмы на 65 языков, не только сама их озвучивает, но и позволяет работать с несколькими переводами одновременно. Об ище одной сфере, где искусственный интеллект способен поменять все, пишет NoCamels. «Детали» публикуют сокращенный перевод.

Дубляж – сложный процесс: надо подобрать подходящего актера, записать, как он читает роль. У классических студий, которые этим занимаются, работа может растянуться на месяцы. А затраты на полноголосый перевод фильма доходят до 150 тысяч долларов.

Программное обеспечение Deepdub AI, разработанное израильским стартапом, значительно упрощает дубляж, потому что переводит и озвучивает искусственный интеллект. Его алгоритм быстро учится определять тон и эмоции актера и передает их в переведенной версии.

Если алгоритм ошибся – не беда. Его можно поправить. Например, написать: «хочу, чтобы эта фраза звучала смешнее». Программа поймет. Она создает дублированный фильм в режиме реального времени, экономя тысячи долларов и часов работы.

Компания, базирующаяся в Тель-Авиве, была основана в 2019 году братьями Офиром и Ниром Краковски, оба с опытом работы с искусственным интеллектом и машинным обучением. Стартап возник как ответ на растущие потребности в потоковом телевидении, обилие контента (не только развлекательного), и нехватку площадок для озвучивания и дубляжа.

• Читайте также:
• Будущее аудиокниг за искусственным интеллектом?
• YouTube начинает тестировать бесплатное дублирование видеороликов при помощи ИИ
• Почти как Netflix – для особых детей

«Мы осознали, что это рынок, на котором можно оказать сильное влияние на людей во всем мире, – говорит Оз Краковски, директор по доходам Deepdub и третий брат соучредителей. – У больших групп населения сейчас нет доступа к звуковому контенту. А как насчет курсов электронного обучения, которе только на английском?».

Голосовое дублирование на разных языках даст дополнительные возможности слабовидящим людям и тем, кто испытывает проблемы с чтением и письмом. Программное обеспечение Deepdub способно делать переводы на 65 языков, включая региональные диалекты.

Диалекты – это очень важно, если вы хотите локадлизовать контент или адаптировать речь с учетом культурных нюансов. Испанский, второй по распространенности родной язык в мире, имеет несколько диалектов в разных регионах Латинской Америки. Но для голосового дубляжа сейчас используется универсальная версия языка под названием «Нейтральный испанский», лишенная части слов и элементов звучания, которая нигде больше не применяется. А Deepdub хочет раздвинуть границы «нейтральных» языков и открыть дорогу диалектам, уникальным для каждого региона.

«Мы помогаем этим странам поддерживать свою собственную идентичность в том смысле, что это «это наша особенная версии испанского, которую мы хотели бы использовать и потреблять контент на ней», – отмечает Оз Краковски.

Более того, такие страны, как Индия (где в ходу более 1900 языков и диалектов), смогут получить контент, адаптированный к каждому конкретному региону.

Краковски объясняет, что это основное отличие Deepdub от конкурентов – способность расширять диапозон языков, что было бы невозможно без их технологии глубокого обучения.

Другие коммерческие решения по дублированию голоса с помощью ИИ также предлагают широкий спектр эмоций и языков. Однако только алгоритм Deepdub способен воспроизводить и локализовать одного и того же говорящего на разных языках, что, по словам Краковски, позволило им ворваться в голливудскую индустрию раньше других компаний.

Стартап сталкивается и с этическими вопросами. Актеры озвучки могут остаться без заработка и упоминания в титрах. Как, например, канадская актриса озвучивания Бев Стэндинг, которая судится с платформой TikTok за якобы использование синтетической версии ее голоса «без компенсации или упоминания».

«Мы работаем этично и это контролируется, – говорит Краковский. По его словам, Deepdub предоставляет платформу, а не технологию, поэтому образцы голоса остаются в безопасности. – Это одна из причин, по которой студии работают с нами. Мы не даем людям возможность начать использовать чей-то голос».

Тем не менее, прогресс искусственного интеллекта в области озвучки предполагает, что индустрии придется адаптироваться. В 2018 году в США работало более 500 тысяч актеров озвучивания. Генеративный ИИ может создать дублированный фильм за считанные минуты. Что это значит для актеров?

Оз Краковски считает, что новая технология искусственного интеллекта создаст для них новые возможности. Кроме того, стартап работает с актерами озвучивания, чтобы гарантировать, что сгенерированные дубли будут «голливудского качества».

Фактически, около половины персонала Deepdub – люди, пришедшие и из этой индустрии. Например, директор по креативу и контролю качества стартапа Майя Мительпункт-Алдор, озвучивала Мирабель в ивритской версии диснеевского мультфильма Encanto 2021 года.

В декабре 2021 года Deepdub объявил о сделке с американским стриминговым сервисом Topic, предлагающим контент из 40 разных стран более чем на 20 языках. В январе 2022 года стартап завершил раунд финансирования серии A, успев привлечь более 20 миллионов долларов.

Компания продолжает расширять свою платформу. Недавно был запущен сервис Deepdub GO, позволяющий любому зарегистрироваться онлайн и получить доступ к платформе озвучивания. Оз говорит, что это позволит производителям контента, от ютуберов до независимых кинематографистов, по доступной цене переозвучивать свои видео с помощью разнообразных дублирующих голосов.

«Традиционно дубляж фильма занимал 6-10 недель. Мы можем сделать это на 30–50% быстрее, в зависимости от типа фильма. А в некоторых случаях можно сделать всю работу за 2–4 дня и при этом перевести одновременно на несколько языков», – говорит он. Кроме того, всего за несколько недель в платформу можно добавить новый язык.

Стартап также позволяет англоязычной аудитории получать доступ к неанглоязычному контенту. Одним из крупнейших проектов Deepdub было дублирование на английский «Ванды», телесериала о грабителей, который изначально вышел на португальском языке.

«Много внимания уделено голосам, синхронизации губ и фоновым звукам, – рассказывает Оз. – Вы можете слышать звуки огня, болтовню по телевизору и детские голоса, как будто фильм с самого начала был снят на английском».

Н.А., Энне Ким, NoCamels. Фото: Depositphotos.com

Больше новостей об инновациях читайте на NoCamels