Génération de modèle 3D à partir d’image

Dans un article précédent, j’avais testé une IA qui était capable de produire des images à partir d’une description. Cette fois-ci, j’ai repris une des images générées pour la transformer en modèle 3D avec texture. Voici le résultat que j’ai obtenu.

Crayon en 3D

Je trouve ça intéressant de voir l’IA essayer de générer l’information qui se trouve dans la partie non visible de l’image. J’ai testé avec quelque images. Je peux dire que les photos avec des visages humains génèrent des textures de mauvaise qualité. J’ai aussi essayer du pixel art et quand l’image n’a pas de perspective 3D, l’IA est incapable de générer la partie non visible. Elle génère plutôt la forme avec un certaine épaisseur, mais avec la même texture des deux cotés.

L’IA utilise une transformation par diffusion pour la génération d’une forme 3D (DiT-3D). Cette technique peut être testée gratuitement par l’outil de Tencent Hunyuan3D disponible sur https://huggingface.co/spaces/tencent/Hunyuan3D-2.

DALL-E une IA intéressante

Tout le monde en parle, donc pourquoi ne pas le faire aussi. L’intelligence artificielle, IA, est de plus en plus utilisée pour accomplir diverses tâches. DALL-E est une IA qui permet de générer des images à partir de texte en langage naturel. J’utilise le pseudo Crayon et j’ai décidé de voir si l’IA serait capable de me créer un avatar. Voici un premier exemple avec le texte qui a servi à la génération dans la légende.

a pencil with a face and arms

Ces temps-ci je joue pas mal au jeu vidéo Red Dead Online, j’ai donc demandé à l’AI de générer un look cowboy à l’avatar.

a pencil with a face, arms with a cowboy hat

Je trouvais qu’il manquait quelque chose… ah oui! L’arrière plan.

A cartoon of a pencil with a face, arms with a cowboy hat in the desert.

DALL-E a beaucoup de difficulté avec les mains. En plus, elle n’est pas capable de générer correctement du texte. En général, si on lui donne les bonnes entrées, on peut vraiment être surpris du résultat. Je trouve ça incroyable que ces images n’existent nulle part et on été entièrement générées par une IA qui comprend ce que je lui dis.