Uno studio pubblicato su arXiv[1] ha introdotto una nuova frontiera per la comprensione del timbro vocale umano, con un modello in grado di confrontare direttamente due voci per stabilire quale possiede una maggiore intensità in specifici attributi sonori.
Il timbro diventa misurabile
Il progetto presentato da un team della University of Science and Technology of China e del Hong Kong Polytechnic University ha definito per la prima volta un compito preciso: la rilevazione degli attributi del timbro vocale (vTAD). In pratica, l’algoritmo riceve in input due frammenti vocali e stabilisce quale dei due è, ad esempio, più brillante, più roco o più pulito. Gli attributi considerati derivano da sensazioni uditive, visive e tattili, come “coarse” (ruvido), “magnetic” (magnetico), “soft” (morbido), fino a “transparent” (trasparente).
Un confronto tra modelli
Per rendere possibile questa analisi, i ricercatori hanno costruito una rete neurale che sfrutta “speaker embeddings”, ossia rappresentazioni numeriche delle voci. Hanno quindi testato due modelli di codifica vocale: ECAPA-TDNN e FACodec. Il primo ha dimostrato di essere più preciso quando i parlanti testati erano già presenti nel set di addestramento. Il secondo, invece, ha mostrato un’ottima capacità di generalizzazione, funzionando meglio con voci mai sentite prima.
I risultati sperimentali
I test si sono svolti utilizzando il dataset VCTK-RVA, arricchito con annotazioni specifiche per 18 attributi timbrici. Le prove hanno coinvolto oltre 100 speaker e centinaia di migliaia di coppie vocali. I modelli sono stati valutati sia in termini di accuratezza sia in base al tasso di errore (EER). FACodec ha raggiunto il 91,79% di accuratezza nel test con parlanti non visti in fase di training, superando nettamente ECAPA-TDNN, che si è fermato al 73,41%.
Un passo avanti nella comprensione vocale
Questo lavoro apre scenari importanti per il futuro del riconoscimento vocale e della sintesi della voce. Capire le sfumature timbriche non solo migliora la qualità delle interazioni uomo-macchina, ma potenzialmente rende possibili applicazioni come l’editing vocale personalizzato o l’analisi delle emozioni. La disponibilità pubblica del codice e del dataset rende inoltre il progetto un punto di partenza solido per ulteriori ricerche.
