«Яндекс» добавил в свой браузер уникальную технологию автоматического закадрового перевода прямых трансляций на видеохостинге YouTube.
Уточняется, что пока технология работает в режиме открытого бета-тестирования, поэтому работает не для всех трансляций. Сейчас перевод доступен для каналов Apple, NASA, SpaceX, а также платформы для выступления спикеров TED и др.
Для быстрой и качественной работы понадобилось перестроить всю архитектуру закадрового перевода видео. При переводе прямой трансляции одна нейросеть распознает аудио и превращает в текст, другая определяет пол спикера по биометрии, а третья нейросеть выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль.
«Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском», — рассказал руководитель «Яндекс Браузера» Дмитрий Тимко. В будущем компания намерена сделать перевод трансляций и видеороликов и на других платформах, сообщил он.