NVIDIA rilascia Nemotron 3.5 Transcribe, un modello vocale aperto per 40 lingue

NVIDIA ha rilasciato Nemotron 3.5 Transcribe, un modello vocale open-weight che gestisce trascrizione, attribuzione dei parlanti, traduzione e question answering audio in un solo checkpoint [1]. È disponibile su Hugging Face e ModelScope, insieme alla versione 2 del dataset vocale open Granary di NVIDIA, ha dichiarato l'azienda il 28 ottobre [1][2].

Cosa può fare Nemotron 3.5 Transcribe?

Il Nemotron 3.5 Transcribe di NVIDIA trascrive 40 lingue, ne traduce 31 e attribuisce i parlanti in 13. NVIDIA afferma che gestisce registrazioni fino a un'ora e etichetta fino a otto parlanti [1]. Gli sviluppatori possono guidare l'output con prompt in linguaggio naturale, ad esempio chiedendogli di etichettare ogni parlante o di tradurre una registrazione in inglese [1].

Il supporto linguistico varia per compito. Il question answering audio è addestrato solo in inglese, secondo il post sul blog [1]. TechCrunch osserva che il modello funziona su audio registrato, non su livestream [2].

Come si comporta nei benchmark?

NVIDIA afferma che il modello è al primo posto tra i modelli open-weight nella English Open ASR Leaderboard con un WER medio del 5,33%. Nell'indice speech-to-text di Artificial Analysis, NVIDIA riporta un AA-WER del 2,8%, in parità al primo posto tra i modelli open-weight [1]. Per l'attribuzione dei parlanti, afferma il tasso di errore di diarizzazione più basso tra 14 sistemi nella leaderboard multilingue di David AI [1].

Solo circa 4B dei 30B parametri del modello sono attivi per token, secondo NVIDIA. Il modello abbina un encoder vocale a un language model ibrido mixture-of-experts Mamba-Transformer, che NVIDIA afferma posizionarlo sulla frontiera accuracy-versus-active-parameters [1].

Gli sviluppatori possono adattarlo?

NVIDIA ha rilasciato i dati Granary v2, una pipeline di curatela e ricette di fine-tuning NeMo Speech affinché gli sviluppatori possano adattare il modello al vocabolario di dominio e agli accenti [1]. In un caso di studio medico, il fine-tuning ha ridotto il word error rate sui parlanti non visti del 45,8% rispetto al miglior prompt, afferma NVIDIA [1].

Versioni quantizzate arriveranno presto per l'esecuzione locale su RTX Spark, DGX Spark o Jetson AGX Thor, secondo NVIDIA [1].

La nostra lettura

Opinione: Integrare trascrizione, etichette dei parlanti e traduzione in un solo checkpoint aperto è utile per chi crea strumenti per riunioni o dettatura, e la ricetta di fine-tuning conta più del posizionamento in classifica. Le vittorie nei benchmark sono riportate da NVIDIA stessa, quindi test indipendenti su audio reali disordinati decideranno quanto sia davvero buono.

Cosa non abbiamo potuto verificare

• I risultati dei benchmark; sono riportati da NVIDIA nel suo post sul blog e non li abbiamo rieseguiti.
• I termini della licenza dei pesi aperti; non abbiamo esaminato la licenza della model card.
• Quando arriveranno le versioni quantizzate; NVIDIA afferma solo che arriveranno presto.