NVIDIA представила модель Nemotron 3.5 Transcribe, которая превращает записанную речь в текст и принимает инструкции на естественном языке. Веса уже доступны для скачивания. Модель распознаёт 40 языков, переводит речь с 31 языка на английский и обратно, а также размечает реплики по говорящим на 13 языках. Она обрабатывает записи продолжительностью до часа и различает до восьми участников

Разработчик может попросить систему расшифровать встречу с обозначением участников, перевести запись или ответить на вопросы о её содержании. Обучение ответам на вопросы по аудио проводилось на английском языке. Подсказки позволяют задавать оформление текста и указывать специальные термины, однако компания рекомендует сверять имена, смену говорящих и ответы с исходной записью. Для работы с речью в прямом эфире эта модель не предназначена

По данным NVIDIA, в англоязычном тесте открытого рейтинга распознавания речи модель показала среднюю долю ошибок в словах 5,33% и заняла первое место среди моделей с открытыми весами. Это результат конкретного набора испытаний, а не гарантия такой же точности на любых записях. Упрощённые версии для локального запуска и соответствующие средства развёртывания компания пока только обещает

Одновременно вышла вторая версия набора Granary с описаниями записей общей длительностью более 463 тысяч часов на 48 языках и инструментами подготовки обучающих данных. Исходное аудио нужно получать отдельно с соблюдением лицензий соответствующих корпусов. В приведённом компанией медицинском исследовании дообучение снизило долю ошибок в словах на 45,8% относительно лучшей подсказки при проверке на записях людей, не участвовавших в подборе настроек

Потокового режима, увы, нет. В Сети подслушано и первое сравнение не в пользу новинки — правда, с оговоркой: проверяли вариант с пониженной точностью вычислений. Такие наблюдения не заменяют сопоставимого тестирования исходной версии

Первоисточник — NVIDIA на Hugging Face