Muse Voice Transcribe превращает речь в текст, определяет, кто говорит и когда закончилась реплика. Meta представила модель 1 сентября, она уже работает в Meta AI для Mac и в Muse Code. Также разработчики могут использовать её через API.
Для голосового помощника недостаточно просто распознавать человеческую речь. Нужно отличать собеседников и понимать, когда один человек закончил говорить и начал другой. Muse объединяет эти задачи в одной модели. Как отмечает TechRepublic в разборе релиза, такой подход может сократить число отдельных систем, которые разработчики используют для обработки речи.
От диктовки до разговоров с несколькими участниками
Систему можно использовать уже сегодня. В Meta AI для Mac пользователь, удерживая клавишу Fn (Function), может наговаривать текст вместо того, чтобы печатать его на клавиатуре. Как пишет 9to5Mac, диктовка работает в любом приложении.
При расшифровке разговора нескольких людей необходимо сохранить связь между словами и их автором. По данным Meta, Muse может работать с аудио длиннее часа и различать более 20 спикеров без отдельной последующей обработки.
Почему модель иногда слушает дольше
Чтобы расшифровывать речь по мере разговора, Muse обрабатывает поступающий звук короткими фрагментами по 80 миллисекунд. После каждого фрагмента модель решает, можно ли уже вывести слово или нужно дождаться продолжения. Если слово понятно, оно появляется быстрее. Если распознать его сложнее, модель слушает дольше, чтобы собрать больше контекста. Поэтому задержка меняется в зависимости от сложности речи.
Согласно описанию Meta, модель обучена на более чем 70 языках, из которых 25 подробно проверены к запуску. Muse также распознаёт речь, когда собеседники переключаются с одного языка на другой.
TechRepublic рекомендует проверять качество на собственных записях: акценты, фоновый шум и специальные термины влияют на распознавание.
