L’image et sa profondeur réunies dans le modèle Iris-Z

Un même modèle génère des images et estime leur profondeur. Les gains annoncés face à MoGe-3 reposent sur plusieurs prédictions combinées.

Une photographie peut devenir une carte de profondeur, puis cette carte servir à générer une autre image. Ces opérations passent par les mêmes poids dans Iris-Z, le modèle de Speridlabs consacré à l’apparence et à la géométrie des scènes. À partir d’un texte, il produit aussi une image seule ou une image accompagnée de sa profondeur.

La géométrie obtenue décrit des distances relatives. Elle aide à distinguer les éléments proches et éloignés dans la vue, mais ne fournit ni mesures en mètres ni paramètres de caméra. Le périmètre est celui d’une image et de sa profondeur, sans validation de cohérence entre plusieurs points de vue ou entre les images d’une vidéo. Un réseau commun pour l’apparence et la géométrie

L’architecture adapte un générateur d’images de la famille FLUX.2. La profondeur est représentée sous une forme logarithmique normalisée, puis encodée avec le même autoencodeur que l’image. Texte, apparence et profondeur rejoignent une même séquence traitée par le transformeur de diffusion. Les deux représentations peuvent ainsi se conditionner mutuellement pendant la génération, sans réseau séparé réservé à l’estimation de profondeur.

Les deux variantes publiées comptent 9,1 et 32,2 milliards de paramètres. Selon les estimations du SDK, l’ensemble des tâches demande environ 33 Go de mémoire GPU pour la petite et 112 Go pour la grande. L’estimation de profondeur seule peut charger le réseau sans encodeur de texte, puisque cette opération ne nécessite pas de consigne écrite. Une erreur plus faible, au prix de davantage de calcul

Les tableaux d’évaluation publiés avec les poids comparent les résultats selon deux protocoles. Sur les cinq jeux de données repris de Marigold V2, la grande variante obtient une erreur absolue relative moyenne de 2,92, contre 3,12 pour MoGe-3, après multiplication par 100. Plus cette valeur est basse, meilleure est l’estimation. Ce nombre n’est pas un taux d’images correctement analysées.

Sur sept des neuf jeux du protocole MoGe-3, les moyennes sont de 3,56 et 3,70 respectivement. La grande variante gagne sur six de ces sept ensembles, mais reste derrière sur DIODE. La petite atteint 3,84 dans ce même tableau. Les deux protocoles emploient des alignements différents entre prédictions et références ; leurs moyennes ne sont donc pas directement interchangeables.

Ces scores utilisent dix prédictions initialisées différemment, puis combinées par une médiane. Avec quatre étapes par prédiction, le calcul représente quarante passages dans le réseau. Dans le rapport technique, la grande variante demande environ quinze secondes par image de 512 × 512 sur un GPU H200, contre environ 0,4 seconde pour MoGe-3 sur le même matériel. Le SDK indique 1,44 seconde avec une seule initialisation pour cette variante et cette définition : ce réglage plus rapide n’est pas celui des scores mis en avant. La licence Apache 2.0 concerne le code

Le dépôt du SDK contient le code d’exécution et une démonstration sous Apache 2.0. Le message de lancement présente aussi les poids comme relevant de cette licence, mais les documents de distribution établissent une distinction importante.

Le fichier NOTICE précise que les poids dérivent de FLUX.2 et sont distribués sous la FLUX Non-Commercial License. La fiche Hugging Face affiche cette même licence. Il s’agit donc de modèles open weights, avec des restrictions d’usage commercial distinctes des droits accordés sur le code. L’installation nécessite également d’accepter les conditions d’accès à l’autoencodeur FLUX.2 utilisé par le SDK. La génération d’images conserve aussi ses compromis

L’ajustement modifie le rendu du modèle d’origine. Dans les mesures internes du rapport, le score HPSv2.1 de la grande variante, un indicateur appris pour estimer la préférence humaine, passe de 26,71 à 24,30. L’alignement entre texte et image baisse légèrement, tandis que l’indicateur de photoréalisme augmente. Le gain en estimation de profondeur ne se traduit donc pas par une amélioration uniforme des critères de génération.