NVIDIA lança Nemotron 3.5 Transcribe, um modelo de fala aberto para 40 idiomas

A NVIDIA lançou o Nemotron 3.5 Transcribe, um modelo de fala de pesos abertos que lida com transcrição, atribuição de falantes, tradução e resposta a perguntas de áudio em um único checkpoint [1]. Ele está disponível no Hugging Face e no ModelScope, junto com a versão 2 do dataset de fala aberto Granary da NVIDIA, segundo a empresa em 28 de outubro [1][2].

O que o Nemotron 3.5 Transcribe pode fazer?

O modelo Nemotron 3.5 Transcribe da NVIDIA transcreve 40 idiomas, traduz 31 deles e atribui falantes em 13. A NVIDIA afirma que ele lida com gravações de até uma hora e identifica até oito falantes [1]. Os desenvolvedores podem direcionar a saída com prompts em linguagem natural, por exemplo pedindo para rotular cada falante ou traduzir uma gravação para o inglês [1].

O suporte a idiomas varia por tarefa. A resposta a perguntas de áudio é treinada apenas em inglês, de acordo com o post no blog [1]. O TechCrunch observa que o modelo funciona em áudio gravado, não em transmissões ao vivo [2].

Como ele pontua em benchmarks?

A NVIDIA afirma que o modelo ocupa o primeiro lugar entre os modelos de pesos abertos no English Open ASR Leaderboard, com WER médio de 5,33%. No índice de speech-to-text da Artificial Analysis, a NVIDIA relata um AA-WER de 2,8%, empatando em primeiro entre os modelos de pesos abertos [1]. Para atribuição de falantes, ele reivindica a menor taxa de erro de diarização entre 14 sistemas no leaderboard de 21 idiomas da David AI [1].

Apenas cerca de 4 bilhões dos 30 bilhões de parâmetros do modelo são ativos por token, segundo a NVIDIA. O modelo combina um encoder de fala com um modelo de linguagem híbrido Mamba-Transformer de mistura de especialistas, o que a NVIDIA diz colocar na fronteira de precisão versus parâmetros ativos [1].

Os desenvolvedores podem adaptá-lo?

A NVIDIA liberou os dados Granary v2, um pipeline de curadoria e receitas de fine-tuning do NeMo Speech para que os desenvolvedores adaptem o modelo ao vocabulário de domínio e sotaques [1]. Em um estudo de caso médico, o fine-tuning reduziu a taxa de erro de palavra em falantes reservados em 45,8% em relação ao melhor prompt, segundo a NVIDIA [1].

Versões quantizadas chegarão em breve para rodar localmente no RTX Spark, DGX Spark ou Jetson AGX Thor, de acordo com a NVIDIA [1].

Nossa leitura

Opinião: Unir transcrição, rótulos de falantes e tradução em um único checkpoint aberto é útil para quem constrói ferramentas de reuniões ou ditado, e a receita de fine-tuning importa mais que a posição no leaderboard. As vitórias nos benchmarks são reportadas pela própria NVIDIA, então testes independentes em áudio real bagunçado decidirão o quão bom ele realmente é.

O que não pudemos verificar

• Os resultados de benchmark; eles são reportados pela NVIDIA em seu post no blog, e não os reexecutamos.
• Os termos de licença dos pesos abertos; não revisamos a licença do model card.
• Quando as versões quantizadas serão lançadas; a NVIDIA diz apenas que estão chegando em breve.