NVIDIA представила Nemotron 3: модель определяет, кто говорит и когда
NVIDIA выпустила Nemotron 3 Diarization - компактную модель для диаризации аудио. Она разделяет запись на временные отрезки и отмечает, какому участнику принадлежит каждый из них. Модель подходит как для заранее сохранённых файлов, так и для обработки речи в реальном времени.
В Nemotron 3 около 100 млн параметров. Система способна отслеживать до восьми собеседников, в том числе в ситуациях, когда они перебивают друг друга или говорят одновременно. Веса модели опубликованы в форматах NeMo и Safetensors. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое применение.
Чем диаризация отличается от распознавания речи
Распознавание речи преобразует аудио в текст и отвечает на вопрос, что было сказано. Диаризация решает другую задачу: устанавливает, кто именно произнёс ту или иную реплику и в какой момент это произошло.
Результат работы Nemotron 3 - временная разметка с условными обозначениями вроде `speaker_0` и `speaker_1`. Участники нумеруются по порядку появления в записи: тот, чей голос прозвучал первым, получает метку `speaker_0`. Если два человека говорят одновременно, их активность может быть отмечена параллельно.
При этом модель не расшифровывает слова и не устанавливает настоящие имена собеседников. Чтобы получить полноценную стенограмму с разделением реплик, Nemotron 3 нужно использовать вместе с системой распознавания речи. Для подтверждения личности человека потребуется отдельная технология идентификации или верификации голоса.
Как модель работает с аудио
На вход Nemotron 3 подаётся одноканальная запись с частотой дискретизации 16 кГц. На выходе система формирует таблицу вероятностей размером `[T, 8]`: восемь столбцов соответствуют возможным говорящим, а строки показывают распределение активности во времени. По умолчанию один временной шаг равен 10 миллисекундам.
Архитектура поддерживает два сценария: анализ завершённой записи и потоковую обработку. В режиме реального времени аудио поступает небольшими блоками. Модель сохраняет контекст уже услышанных голосов, чтобы после паузы или перебивания не перепутать участников и не назначить им новые метки.
Разработчик может выбирать размер буфера в зависимости от требований приложения. NVIDIA рекомендует варианты длительностью 30,4, 1,04, 0,64 и 0,32 секунды. Технически возможна обработка с буфером в 80 миллисекунд, но компания советует не опускаться ниже 320 миллисекунд.
Эти значения показывают, сколько аудио нужно накопить перед запуском очередного шага обработки. Они не включают сетевую задержку, распознавание текста и время, необходимое другим компонентам приложения. Поэтому фактический отклик голосового сервиса будет зависеть не только от выбранного буфера.
Результаты тестирования
В предварительном рейтинге VoiceArena Diarization-Bench Nemotron 3 заняла первое место среди 12 систем и 17 конфигураций. В испытании использовали 139 англоязычных разговоров общей продолжительностью около 22 часов. Показатель ошибки диаризации модели составил 14,72% - против 19,3% у ближайшего конкурента.
DER (diarization error rate) учитывает пропущенные фрагменты речи, ложные срабатывания и ситуации, когда слова приписаны не тому участнику. Чем ниже значение, тем точнее разделение разговора. По сравнению с ближайшим результатом преимущество Nemotron 3 составляет около 24% в относительном выражении. В NVIDIA подчёркивают, что рейтинг пока предварительный, поэтому итоговые показатели могут измениться.
В собственных испытаниях компании новая модель при буфере 1,04 секунды показала меньшую ошибку во всех восьми проверенных условиях относительно предыдущей потоковой системы NVIDIA. Среднее относительное улучшение составило 41%. Кроме того, предел по числу участников вырос с четырёх до восьми.
Особенно заметная разница проявилась в разговорах с большим количеством собеседников. Однако Nemotron 3 не оказалась лучше во всех сценариях без исключения: в одном тесте с двумя участниками предшествующая модель показала немного меньшую ошибку. Это означает, что качество зависит от особенностей записи, числа голосов и условий общения.
Где пригодится Nemotron 3
Модель может стать частью систем автоматической подготовки стенограмм для совещаний, интервью, подкастов и телефонных разговоров. В службах поддержки диаризация помогает понять, где говорит клиент, а где оператор. В голосовых помощниках и агентах она позволяет учитывать не только содержание фразы, но и её источник.
Технология также применима в медицинских консультациях, где важно разделять реплики врача и пациента. При этом сама диаризация не гарантирует правильность медицинской стенограммы: для получения текста и последующей проверки потребуются дополнительные инструменты.
Компактный размер - около 100 млн параметров - делает модель менее ресурсоёмкой по сравнению с крупными генеративными системами. Nemotron 3 можно запускать локально, не передавая аудиозаписи внешнему сервису. Это может быть важно для компаний, работающих с конфиденциальными переговорами и персональными данными. Однако локальный запуск сам по себе не решает вопросы защиты информации: необходимо также контролировать доступ к устройству, хранение файлов и обработку результатов.
Инструменты и запуск
Nemotron 3 поддерживается фреймворками NVIDIA NeMo и Hugging Face Transformers. Для локальной обработки доступен и облегчённый C++-рантайм NeMo-Speech.cpp. Вместе с весами опубликованы примеры кода и интерактивная демонстрация.
Диаризацию можно встроить в собственный конвейер обработки аудио или объединить с распознаванием речи. Во втором случае приложение сможет формировать структурированный результат, например JSON-файл, в котором будут указаны текст реплики, временные границы и условная метка говорящего.
Перед внедрением важно проверить модель на записях, похожих на реальные данные проекта. На точность могут влиять фоновый шум, качество микрофонов, акценты, перебивания и число участников. Отдельно стоит протестировать, насколько выбранная задержка подходит для приложения: для быстрой реакции удобны короткие буферы, тогда как при обработке готовых файлов этот параметр обычно менее критичен.
Nemotron 3 Diarization не заменяет универсальную систему распознавания речи и не определяет личности участников. Её задача уже и конкретнее - надёжно разметить аудио по говорящим и времени. Для разработчиков стенограмм, голосовых интерфейсов и аналитики разговоров это может стать отдельным компонентом, который упрощает обработку диалогов и помогает точнее распределять реплики.
