Quelques entraînements custom de nouveaux objets grâce à LoRa , et leur inévitables détournement.

Chat

À partir d’un dizaines de photos d’un chat spécifique:

On peut bien sûr générer de nouvelles images avec ce chat dans le même ou de nouveaux environnements:

Mais aussi forcer l’IA à générer des koalas ou des souris avec son apparence, ou en faire une illustration médiéval-fantastique (style illustration fait en combinant avec un modèle de Civitai A-Zovya RPG Artist Tools

Tire-bouchon

Même processus avec une poignée de photos d’un objet banal comme un tire bouchon (qui ne semble pas exister dans StableDiffusion de base)

Pour un tout premier entraînement aux paramètres pifométriques, le résultat est assez aléatoire, mais l’intérêt vient alors des variations surréalistes plutôt que d’une banale fidélité:

Foutu pour foutu, on va comme d’habitude demander l’impossible à l’IA et de représenter ce tire bouchon comme un robot, une peluche, une arme cyperpunk, un storm-strooper, l’homme de Vitruve de De Vinci, ou un mécanisme complexe d’horlogerie. N’oublions pas non plus que ce modèle de tire-bouchon s’appelle aussi « tire-bouchon Général de Gaulle »

Sélection parmi environ 600 génération, dont l’essentiel ne donne rien de très concluant et parfois une petite pépite émerge.

Les nouvelles aventures de Rabbi Jacob

Une collection d’images source pour entrainement assez compliquée car vidéo « téléchargée » en mauvaise résolution donc inexploitable, et les images du web assez rares, petites et de mauvaise qualité. Néanmoins une vingtaine de références plus ou moins variées.

De nouveau un entraînement de débutant avec des paramètres pas encore trop maîtrisés, pas trop exploitable pour des rendus réalistes, mais OK pour en faire des variations de thème ou de style:

Mériterait d’être ré-entrainé avec plus d’expérience sur les bons paramètres.

À noter que ce LoRa de rabbi jacob peut aussi se combiner avec des modèles tierce-partie, pour donner de meilleurs résutats.

Par exemple le style Archer de Nitrosocke

Ou bien avec le modèle HRL (en recopiant et adaptant un des prompts d’exemple)

Ou le modèle RPG de nouveau

Entraîner un style: Jonas Lundh

LoRa permet aussi d’apprendre non pas un objet, mais un style graphique.

Ici on va apprendre le style semi-abstrait de Jonas Lundh à partir d’environ 25 images tagguées à la main:

Ce style étant fortement abstrait et le thème des images d’entrainement assez répétitif (fermes, voiliers), la génération de nouvelles images s’en écarte assez peu

À noter, l’entraînement a aussi appris la signature dans le coin du tableau qui faisait partie des toutes les images de référence. Les générations la place à gauche ou à droite car l’entraînement a été fait avec symétrie automatique de chaque entrée pour doubler les sources d’apprentissage.

C’est ensuite une histoire de coefficients et de termes de prompting pour que le style s’applique sans tout étouffer (principalement charger le modèle entrainé mais sans expliciter « in the style of jonas lundh »

Quelques portraits ou autre dans ce style:

Et bien sûr le test ultime pour être raccord avec le chapitre précédent : Rabbi Jacob illustré dans ce style.