Перевод видео

У меня появилась интересная задача — как сделать синхронный перевод видео с английского на русский язык.

«По рекомендации Google» я просмотрел тему транскрибации — перевод видео в текст или аудио записи в текст. Оказалось, что программы для транскрибации используются для удобства ввода текста с клавиатуры (нужно слушать аудио и набирать текст на клавиатуре), поэтому мне не подошли эти варианты.

Я нашел несколько вариантов, как с помощью современных технологий сделать перевод видео или аудио в текст и перевод этого текста с озвучиванием. Так получится голосовой перевод любого аудио!

В этой статье я расскажу как перевести любое аудио или видео в текст и сделать синхронный перевод на любой язык. Так же, Вы узнаете больше о сервисах перевода речи в текст, которые сможете использовать отдельно.

Недавно появилась новая технология от Яндекса, которая позволит получать перевод во время просмотра видео — об этом Вы тоже узнаете подробнее!

Голосовой перевод видео онлайн в Яндекс браузере

Автоматический перевод видео с помощью искусственного интеллекта

Теперь вы можете посмотреть с русской озвучкой любой англоязычный ролик с помощью новой технологии от Яндекс и слушать перевод во время просмотра видео!

Технология позволяет перевести англоязычные ролики на YouTube, Vimeo и других платформах при просмотре в Яндекс.Браузере для Windows, macOS, Linux и Android, а также в приложении «Яндекс» для Android и iOS.

Откройте англоязычный ролик, который вы хотите посмотреть. Если у вас установлена последняя версия браузера Яндекс, вы прямо в плеере увидите предложение перевести видео на русский. Чтобы запустить перевод, достаточно нажать на кнопку.

Перевод видео с помощью виртуального аудиодрайвера

Решение для перевода видео или аудио

Этот способ поможет получить текст из любого видео или аудио, который воспроизводится на компьютере. Так же я описал как перевести этот текст и озвучить с помощью онлайн сервисов.

Современные технологии позволяют легко перевести речь через микрофон в текст и сделать перевод. Такие возможности по переводу речи в текст доступны, например, в сервисах Яндекс, Google и различных программах.

В этих программах нет «захвата» звука из видео или аудио, т.е. пользователю не предлагается перевести звук, который идёт на динамики компьютера. Как быть когда нужно перевести видео или аудио трансляцию?

Способ, который я использовал для перевода видео — это установка виртуального аудиодрайвера, который переключает звук динамиков на канал микрофона. После этого можно использовать обычные сервисы перевода речи в текст — они воспринимают звук видео или аудио, как речь идущую через микрофон. В итоге получаем текст из видео или аудио записи!

Недостатки этого метода в том, что во время работы виртуального драйвера динамики отключаются и не слышно исходной речи из видео или аудио файла. И второй момент — после окончания перевода, нужно отключить виртуальный драйвер аудио для восстановления настроек звука компьютера.

Установка программы виртуального аудио драйвера

Нужно скачать Виртуальный аудио драйвер на официальном сайте или Здесь.

Установка драйвера простая — разорхивируйте скачанный файл. Далее, найдите в папке и запустите файл установки VBCABLE_Setup.exe (если этот файл не запустится, используйте VBCABLE_Setup_x64.exe).

После установки драйвера в настройках звука появятся новые устройства Cable Input (Воспроизведение) и Cable Output (Запись).

Как открыть настройки звука

Чтобы открыть Настройки звука и посмотреть устройства используйте команду

mmsys.cpl

Её нужно вставить в Меню Пуск — Выполнить (для открытия окна можно использовать комбинацию клавиш Win + R) или Поиск (будет предложен вариант — нажать на него для запуска настроек звука).

Перевод видео или аудио записи на любой язык

Сейчас я опишу поочерёдно все шаги, которые нужно сделать для онлайн перевода.

Включение виртуальных аудио устройств

Первое что нужно сделать — включить виртуальные устройства. Откройте настройки звука на закладке Воспроизведение запомните какое устройство выбрано по умолчанию (оно подписано и отмечено зелёной галочкой, на моём примере это Динамики) — это потребуется для возврата настроек. Далее, нужно выбрать CABLE Input и нажать кнопку По умолчанию.

После включения виртуального аудио драйвера в закладке Воспроизведение — откройте закладку Запись. Запомните какое устройство выбрано по умолчанию для восстановления настроек (на моём примере это Микрофон). Далее, нужно изменить устройство по умолчанию — выбрать CABLE Output, нажать кнопку По умолчанию и кнопку ОК.

Теперь виртульный аудио драйвер подключен и звук с динамиков перенаправляется в канал микрофона. Можно приступить к переводу видео или аудио. До возврата настроек звука динамики и микрофон не работают — как это сделать подробно описано ниже.

Сервисы перевода речи в текст

Теперь мы можем использовать любой сервис конвертирования речи в текст. После проверки, мне понравились как работают Яндекс переводчик (распознаёт текст на любом языке и может сделать синхронный перевод. Поле для ввода текста до 10 000 символов), Google переводчик (распознаёт текст на любом языке и может сделать синхронный перевод. Поле для ввода текста до 5 000 символов) и сайт Dictation (он хорошо записывает текст без перевода. Поле для ввода текста без ограничения).

Чтобы настроить конвертирование и перевод (если Вам нужно перевести текст) откройте любой из сайтов конвертирования речи в текст. Нужно выбрать исходный язык и язык перевода, включить микрофон. После этого можно включать видео или аудио на компьютере и начнётся автоматическое распознавание, запись текста и его синхронный перевод.

В сервисах Google и Яндекс не нужно нажимать Старт или Стоп — пока идёт аудио поток происходит конвертирование в текст. Когда в левом поле будет достигнут максимум символов, нужно остановить аудио и очистить левое окно с исходным текстом. После можно снова включить аудио и продолжить перевод.

На сайте Dictation для начала или окончания записи нужно нажать кнопку Start/Stop. Сервис работает очень хорошо и без ограничений количества входящего текста. После записи весь текст можно скопировать и перевести в переводчике.

Поздравляю, Вы всё сделали для начала перевода видео или аудио.

Напомню, что на время перевода микрофон и динамики не работают, после перевода нужно вернуть настройки звука.

Настройка сервисов для перевода Яндекс, Google, Dictation:

Возвращение аудио настроек

После перевода, чтобы микрофон и динамики работали как обычно, верните прежние настройки звука на компьютере.

Откройте настройки звука. На закладке Воспроизведение нужно выбрать устройство, которое было по умолчанию до включения виртуального драйвера CABLE Input и нажать на кнопку По умолчанию. Затем, такие же действия нужно сделать на закладке Запись.

Всё готово — настройки звука в исходном состоянии! 

Перевод видео с помощью Youtube

В Youtube появилась возможность включить субтитры с переводом или получить весь текст видео для перевода. Я покажу эти два способа подробнее. 

Перевод видео с помощью субтитров Youtube

Для видео в котором хотите видеть перевод включите субтитры:

Далее, нужно открыть Настройки и нажать на строку Субтитры:

В следующем окне нужно выбрать Перевести:

В следующем окне выберите язык, на который нужно сделать перевод субтитров видео. Всё, теперь субтитры будут с переводом, на понятном вам языке.

Перевод видео с помощью расшифровки текста Youtube

Можно получить весь текст видео. Для этого нужно использовать Расшифровку текста. Нажмите на три точки под видео и выберите Посмотреть расшифровку видео:

Откроется окно с текстом видео (без перевода). Можно скопировать весь текст и после перевести. Чтобы в текст не попали временные метки, их нужно отключить:

Далее, выделите в окне весь текст и скопируйте. 

Скопированный текст можно перевести, например в Google переводчик