Un nuovo studio pubblicato su arXiv[1] presenta MUFEN, un sistema che migliora in modo significativo la generazione di gesti realistici delle mani partendo da viste multiple tridimensionali invece che da un’unica proiezione frontale.
Gesti complessi e occlusioni: un problema aperto
La generazione di mani fotorealistiche in immagini sintetiche è da tempo un nodo critico nella visione artificiale. La flessibilità estrema delle dita, unita alla loro tendenza a coprirsi l’una con l’altra, ha sempre complicato il lavoro dei modelli generativi. Le soluzioni precedenti si sono affidate a viste singole dei modelli 3D delle mani, ma ciò non basta a catturare le relazioni spaziali complete tra le dita. Il risultato? Dita mancanti, in più, o gesti imprecisi. MUFEN cambia tutto introducendo un approccio basato su sei viste: anteriore, posteriore, destra, sinistra, dall’alto e dal basso.
La chiave: più viste e fusione multimodale
Il cuore del sistema è un encoder dual-stream che seleziona la coppia di viste più ricche di informazioni per ciascun gesto. Questo encoder combina le immagini mesh di due prospettive complementari e ne fonde le caratteristiche, assicurando che nemmeno un dettaglio venga perso. Inoltre, MUFEN integra informazioni da più fonti – testo, profondità, bounding box – potenziando la precisione spaziale grazie a moduli di fusione che sfruttano attenzione e gating per fondere i segnali in modo adattivo.
Risultati impressionanti su gesti difficili
I test mostrano che MUFEN supera tutti i metodi precedenti, sia nella qualità visiva complessiva che nella precisione delle mani. Utilizzando metriche come FID e KID, specializzate anche per le sole mani, il modello si dimostra superiore su quasi tutte le categorie di gesti, con particolare efficacia nei casi più difficili come “mute” o “OK”, dove altre soluzioni falliscono. I miglioramenti sono attribuiti alla rappresentazione più completa resa possibile dalla combinazione di viste multiple e fonti multimodali.
Un nuovo standard nella generazione di mani
Il lavoro si distingue per aver eliminato la necessità di processi in più fasi. MUFEN, infatti, integra tutte le informazioni rilevanti in un’unica rete che guida direttamente il modello di diffusione, evitando l’uso di correzioni o inpainting. In definitiva, questa ricerca segna un passo avanti notevole nel campo della generazione umana fotorealistica, ponendo un nuovo standard per la creazione di mani realistiche in immagini sintetiche.
