Hallo Drupal-fanaten! Welkom bij 'Drupal & AI Avonturen'. In deze serie verkennen we de fantastische wereld van Drupal-modules powered by kunstmatige intelligentie. Onze missie? We willen U inspireren en inlichten. We duiken er samen in! Deze keer hebben we het over Afbeeldings generatie. Hoe kunnen we AI inzetten om afbeeldingen te genereren in een CMS setting.

Robot generates image

Image generation?

Hoe werkt dat precies? Er zijn twee (belangrijke) soorten Afbeeldings generatie AI's. 

1 De GAN (Generative Adversarial Networks)  manier werkt met een Generator en een Discriminator. De Generator genereert fake images. De Discriminator bekijkt de afbeelding en zegt: real of fake. Als de Generator een afbeelding kan genereren die de Discriminator niet van fake kan onderscheiden heb je een goed afbeelding gegenereerd. Hoe beter de Discriminator fakes kan onderscheiden, hoe beter de output.

Diffusion Models. Deze genereren een afbeelding door het verspreiden van pixels en door stelselmatig de ruis om te zetten in gestructureerde afbeeldingen. 

De prompt wordt ook geïnterpreteerd met een NLP, er wordt een vector van gemaakt die later zal gebruikt worden als een rulebook om te zien dat alle nodige elementen aanwezig zijn en of ze met mekaar interageren (bijvoorbeeld apple onder boom, appel op hoofd).

 

Did you know?

Wist je dat er twee (grote) stromingen zijn om afbeeldingen te genereren? 

  • Diffusion (van pixel ruis telkens meer en meer naar een afbeelding)
  • Generative Adversarial Networks met een Generator en een Discriminator
Diffusion model

Diffusion model

Brussels atomium thirties style AD

Afbeeldingen genereren, op de plaats waar je het nodig hebt

AI afbeeldingen genereren kan vanuit je favoriete CMS, recht vanuit je WYSIWYG editor.

Bing (die zoekmotor die we allemaal collectief negeren) gegenereerde afbeeldingen zijn doorgaans van zeer hoge kwaliteit.
Jeroen Baert

Opmerkingen bij Drupal modules

 

 

ai_image

Deze module geeft redacteurs vanuit de WYSIWYG de power van afbeeldingsgeneratie in de content (zie screenshot atomium). De module heeft ondersteuning voor volgende afbeeldingsgeneratie modellen: 

  • Stability's Stable diffusion 
  • Openai's DALL-E

openai_image_for_drupal

Deze module voegt een extra widget toe die op basis van input een afbeelding genereert. Je kan de afbeelding dan meteen in de asset library opslaan en gebruiken in je content.

Ondersteund enkel volgend model: 

  • Openai's DALL_E

openai_images

Deze module bied een Admin pagina aan om prompts in te geven. Na de generatie van de afbeelding kan je deze dan toevoegen aan de asset library. 

Module ondersteund enkel 

  • Openai's DALL-E

ai_interpolator_dreamstudio

Deze module past eigenlijk in het AI interpolator ecosysteem (lees hierover de blogpost over AI interpolator LINK). Het gebruikt Stable diffusion (Stability.ai) en kan afbeeldingen genereren: 

  • op basis van text
  • op basis van een door een redacteur ge-uploade afbeelding.