Morphologically Plausible Deformation Transfer

Transfert de déformation morphologiquement plausible Avec les progrès de la génération et de la capture de contenu 3D, et la popularité récente des environnements virtuels immersifs, la production d'animations réalistes de personnages virtuels 3D a connu une demande croissante. En particulier, l'application automatique d'animations existantes sur de nouveaux personnages aux morphologies différentes représenterait un gain de temps et de ressources important pour les animateurs. Les méthodes traditionnelles transfèrent la pose de chaque image de l'animation au nouveau personnage. Toutefois, cela implique de pouvoir définir ce qui rend deux poses équivalentes. Ceci n'est pas simple car les poses ont tendance à changer en fonction de la morphologie du personnage qui les exécute, et leur signification est hautement contextuelle. Dans ce manuscrit, nous proposons de nouvelles approches qui transforment l'identité d'un personnage vers une nouvelle identité sans modifier la pose du personnage, ce qui ne nécessite pas de définir des équivalences de pose. Lors du changement d'identité d'un personnage, certains artefacts peuvent apparaître, comme des collisions ou la perte d'auto-contacts entre les surfaces du corps, comme les mains se touchant dans une pose d'applaudissement. Nous étudions comment adapter nos méthodes pour corriger ces artefacts.Nous proposons d'abord une méthode qui transforme de manière itérative l'identité d'un personnage source dans une pose spécifique pour la faire correspondre à l'identité d'un personnage cible. Cette méthode permet d'imiter naturellement la pose du personnage source dans nos résultats, puisque l'optimisation part directement de la pose voulue. Dans cette méthode, nous n'appliquons que des corrections de pose simples afin de préserver les auto-contacts présents dans la source et d'éviter les collisions, ce qui permet à la méthode d'adapter les résultats à des morphologies extrêmes.Nous présentons ensuite une architecture d'encodeur-décodeur profonds qui apprend à partir de données à prédire la déformation de l'identité d'un personnage pour correspondre à l'identité d'un personnage cible, sans changer la pose. Nous proposons des fonctions de pertes sur l'identité auto-supervisées, qui permettent une étape de précision des poids du modèle au moment de l'inférence, permettant le transfert à des identités éloignées de la base de données d'apprentissage, telles que des humains habillés simplement. Notre modèle généralise bien aux poses complexes non vues durant l'entrainement.Enfin, nous étudions l'impact des auto-contacts entre les surfaces du corps sur la perception des équivalences de pose. En effet, nous avons observé que certains auto-contacts n'étaient présents qu'en raison de la morphologie du personnage et n'étaient pas importants pour la pose. La préservation de tous les auto-contacts dans notre première méthode peut donc créer des artefacts dans certains cas où des auto-contacts inutiles ont été préservés, modifiant significativement la pose. Nous réalisons une étude dans laquelle nous présentons aux observateurs deux modèles d'un personnage imitant la pose d'un personnage source, l'un avec les mêmes auto-contacts que la source, et l'autre avec un auto-contact en moins. Nous demandons aux observateurs de choisir le modèle qui imite le mieux la pose de la source. Nous montrons que les poses avec différents auto-contacts sont considérées comme différentes par les observateurs dans la plupart des cas, et que cet effet est plus fort pour les auto-contacts impliquant les mains que pour ceux impliquant les bras.