Новый голосовой переводчик Google удерживает интонацию и голос исходного языка

Google представила технологию под названием Translatotron.

Translatotron умеет воссоздавать интонации и паузы в речи, а кроме этого голос говорящего при переводе.

Профессионалы компании Google разработали специальный метод, с помощью которого можно перевести речь с одного языка на другой, не используя при всем этом текст и сохраняя голос говорящего. Функция голосового ввода будет обрабатываться нейросетью как спектрограммой.

Система также работает с дополнительным элементом кодировщика динамика для сохранения голоса говорящего. Так как прямая интерпретация речи лишена промежуточных этапов, она работает скорее, уменьшает ошибки интерпретации, которые могут появиться во время преображения, и может даже игнорировать слова, которые не нужно переводить.

Компания Google представила в блоге Google AI новейшую разработку Translatotron. Они переводили устную речь с испанского на британский язык. Таким образом, при наличии достаточной вычислительной мощности Translatotron способен выполнять перевод быстрее. Традиционный переводчик преобразует речь в текст, а потом преобразует текст снова в язык. Поэтому перевод выходит не роботизированный, а с интонацией исходного произношения. Что также поражает, так это то, что Translatotron может сохранять уникальный голос говорящего на выбранном для перевода языке, делая разговор не менее очевидным.

Ежели сравнивать с каскадными системами, новая разработка под названием Translatotron имеет ряд очевидных преимуществ.

Translatotron же пропускает промежуточный этап конвертации в текст и работает напрямую со звуком, трансформируя речь.

Создатели проверили качество работы алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком.

Переводчик не конвертирует услышанную речь