«Яндекс.Браузер» теперь может автоматически переводить прямые трансляций на YouTube. Технология позволит большему числу россиян смотреть презентации и интервью на иностранных языках в режиме онлайн.
Синхронный перевод прямых трансляций Яндекс работает
В настоящее время функция проходит открытое бета-тестирование для нескольких каналов, в том числе Apple, Google, TechCrunch, SpaceX, TED и других. Сейчас браузер может переводить трансляции с английского, немецкого, испанского, итальянского и французского. Далее Яндекс планирует проводить тестирование для азиатских языков.
Уникальный алгоритм перевода в прямом эфире строится таким образом: одна нейросеть распознает аудио и переводит его в текст, другая – определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты. Эти данные переходят в следующую нейросеть, которая и осуществляет перевод на русский язык.
«Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие», — рассказал руководитель приложения «Яндекс» и «Яндекс.Браузер» Дмитрий Тимко.
Закадровый перевод стримов также доступен для некоторых YouTube-каналов, на которых проводят прямые трансляции.
Фото: Firestock.
