Idol transforme vos créations en objets 3D avec un modèle ouvert
Speridlabs présente Idol, un modèle open source capable de transformer une image en objet 3D, avec 7,2 Go de mémoire vidéo et plusieurs niveaux de détail.
Une photographie, une illustration ou une image générée par intelligence artificielle peut désormais devenir un objet tridimensionnel observable sous tous les angles, sans passer par une étape de modélisation manuelle. C'est la proposition d'Idol, un nouveau modèle développé par Speridlabs, capable de reconstruire un objet 3D à partir d'une seule image. Son architecture relativement compacte, ses performances annoncées et la publication de ses poids sous licence Apache 2.0 en font une nouvelle contribution à l'écosystème ouvert de génération 3D.
Développé par Alejandro Cañada et Chema Garabito, Idol repose sur une architecture de diffusion Transformer, ou 3D-DiT, entraînée pour produire directement des représentations tridimensionnelles utilisant la technique du 3D Gaussian Splatting. L'entreprise met à disposition une démonstration interactive, le code d'inférence sur GitHub et les poids du modèle sur Hugging Face. Reconstruire les faces invisibles d'un objet
La difficulté de la génération 3D à partir d'une seule image tient à l'absence d'informations sur les parties cachées. Une photographie montre la face avant d'un objet, mais ne renseigne pas directement sur son dos, son épaisseur ou certaines de ses proportions.
Pour produire une représentation complète, Idol s'appuie sur les connaissances acquises pendant son entraînement et sur les caractéristiques visuelles de l'image fournie. Le modèle estime ainsi la forme générale de l'objet, sa profondeur et l'apparence de ses surfaces, y compris celles qui ne figurent pas dans l'image originale.
Les exemples publiés par Speridlabs couvrent des objets très variés : fauteuils, robots, appareils électroniques, chaussures, meubles, aliments ou personnages stylisés. Chaque génération peut être manipulée dans une visionneuse 3D afin d'examiner les différentes faces de l'objet reconstitué.
Cette reconstruction comporte néanmoins une limite importante. Les parties invisibles ne sont pas retrouvées à partir de mesures physiques : elles sont estimées par le modèle. L'apparence obtenue peut être cohérente sans correspondre exactement à celle de l'objet photographié. Jusqu'à un million de Gaussiennes pour représenter un objet
Contrairement à la modélisation 3D traditionnelle, qui représente généralement les surfaces à l'aide de maillages constitués de sommets et de faces, Idol utilise le 3D Gaussian Splatting.
Cette technique repose sur un ensemble de primitives tridimensionnelles possédant notamment une position, une forme, une orientation, une couleur et une transparence. Leur combinaison permet de restituer l'apparence d'un objet lorsqu'il est observé depuis différents points de vue.
Idol propose plusieurs niveaux de détail, allant de 32 768 à 1 048 576 Gaussiennes. L'utilisateur peut ainsi choisir une représentation plus légère ou plus détaillée selon les contraintes de son projet.
Les exemples présentés par Speridlabs montrent qu'un objet composé de 32 768 Gaussiennes occupe environ 0,4 Mo, contre 3,2 Mo pour 262 144 Gaussiennes et 12,2 Mo pour la configuration dépassant le million.
Le modèle exporte ses résultats au format standard `.ply`, permettant leur ouverture dans des outils compatibles avec le Gaussian Splatting. Il ne produit toutefois pas directement un maillage polygonal prêt à être utilisé dans tous les logiciels de conception ou à être imprimé en 3D. Une conversion et d'éventuelles corrections peuvent être nécessaires pour ces usages. Un modèle compact, mais pas aussi simple qu'il n'y paraît
L'une des caractéristiques mises en avant concerne la taille du modèle. Idol comprend environ 659 millions de paramètres pour ses composants génératifs principaux, répartis entre un Transformer de diffusion de 370,6 millions de paramètres et deux décodeurs totalisant environ 288 millions.
Le système complet utilise cependant plusieurs modèles complémentaires. DINOv3 intervient dans l'analyse visuelle, le VAE de FLUX.2 participe à l'encodage de l'image et BiRefNet assure la suppression de l'arrière-plan.
En comptabilisant ces dépendances, une exécution complète mobilise approximativement 1,8 milliard de paramètres. La consommation maximale de mémoire vidéo annoncée atteint 7,2 Go, permettant théoriquement une utilisation sur certaines cartes graphiques grand public.
Cette architecture distingue Idol de plusieurs solutions commerciales de génération 3D qui reposent principalement sur des plateformes distantes. Avec suffisamment de mémoire graphique et les dépendances nécessaires, le modèle peut être installé et exécuté localement.
Les développeurs peuvent également choisir deux modes d'entrée : real, destiné aux photographies, et synthetic, conçu pour les rendus et les images générées artificiellement. Ces modes adaptent notamment le cadrage utilisé pendant la préparation de l'image. Trois secondes sur un accélérateur professionnel, davantage sur un PC
La rapidité constitue un autre argument de Speridlabs, mais les résultats varient considérablement selon le matériel.
Dans ses mesures de performances, l'entreprise annonce un temps médian de 3,4 secondes pour générer un objet composé de 262 144 Gaussiennes sur un accélérateur NVIDIA B300. Le même traitement nécessite 6,7 secondes sur une H100.
Sur les cartes grand public, les délais sont plus importants. Une RTX 5090 réalise l'opération en 14,1 secondes, contre 19,1 secondes pour une RTX 4090 et 46,2 secondes pour une RTX 3080.
Ces résultats proviennent de tests effectués sur huit images, avec 50 étapes de génération et une configuration identique entre les différentes cartes. Ils concernent le niveau de détail de 262 144 Gaussiennes, et non systématiquement la génération d'un million de Gaussiennes.
La page de présentation évoque également des traitements inférieurs à deux secondes dans certaines configurations optimisées, mais ne fournit pas de protocole comparable permettant d'étendre cette performance à toutes les cartes graphiques et à tous les niveaux de détail. Face à TRELLIS et TripoSplat, des résultats