TripoSplat génère un objet 3D à partir d'une seule image, en open source

Le modèle open source TripoSplat génère un objet 3D en splats gaussiens à partir d'une seule image grâce à un contrôle de densité adaptatif inédit.

TripoSplat reconstruit un objet 3D à partir d'une seule image. Le résultat prend la forme de splats gaussiens, une représentation faite d'une multitude de petites particules, déjà prise en charge par de nombreux moteurs de rendu et de jeu, d'où son usage pour la création d'assets en jeu vidéo, simulation ou réalité virtuelle et augmentée.

L'apport central porte sur le contrôle de densité, soit la répartition de ces particules dans l'espace : nombreuses là où la géométrie est complexe, rares sur les surfaces simples. Les générateurs existants géraient mal cette répartition de façon adaptative et figeaient le nombre de particules. Avec les Density-Sampled Gaussians (DeG), TripoSplat échantillonne la position des particules à partir d'une distribution de densité apprise, qu'il affine selon l'erreur de rendu, en densifiant les zones mal reconstruites et en allégeant les autres.

À budget de particules égal, le rendu gagne en qualité ; à qualité comparable, le nombre de particules chute. L'utilisateur peut d'ailleurs fixer ce nombre au moment de la génération : léger pour un décor, dense pour un élément central, ou en plusieurs versions pour gérer les niveaux de détail. Une étude de préférence humaine place TripoSplat plus de 140 points Elo devant le meilleur concurrent open source (1137 contre 996).

Les poids et le code d'inférence sont publiés sous licence MIT, dans une base volontairement légère (environ 2 000 lignes, principalement du PyTorch natif). L'outil profite par ailleurs d'une prise en charge immédiate dans ComfyUI, dont il devient le premier générateur 3D gaussien officiellement intégré.