Nederlandse onderzoekers van de Radboud Universiteit werken aan een model waarmee ze schetsen van een gezicht kunnen omzetten naar een realistische foto. Hierbij gebruiken ze neurale netwerken en de resultaten lijken veelbelovend.
Het model werd gemaakt door twee PhD-studenten, Yağmur Güçlütürk en Umut Güçlü, in samenwerking met Marcel van Gerven en Rob van Lier. Volgens de wetenschappers kan het model niet alleen gebruikt worden voor kunst, maar ook voor gerechtelijke onderzoeken. Een schets op basis van de verklaring van een ooggetuige kan zo omgezet worden in een foto en gebruikt worden in een foto-herkenningstool.
“Allereerst maakten we een erg grote dataset met paren van schetsen en foto’s”, leggen Güçlütürk en Güçlü de werking van het model uit. “Vervolgens gaven we het schetsen en vroegen we het om te zetten naar foto’s. Het systeem kiest een willekeurige strategie en gaat ermee aan de slag. In het begin zien de foto’s er niet zo uit als die in mijn dataset, maar op basis van mijn feedback wordt de strategie aangepast. Zo wordt de kwaliteit van de foto’s geleidelijk beter.”
Bij het maken van het model was voornamelijk de herhaling van belang bij het leren welke schetsen en foto’s bij elkaar horen. Maar: “Als alles goed gaat is de nieuw aangeleerde vaardigheid niet alleen te gebruiken om schetsen die het systeem al kent te converteren naar foto’s, maar ook om nieuwe schetsen om te zetten.”
Om het algoritme te testen en trainen gebruikten de wetenschappers schetsen gemaakt door computers op basis van de CelebA dataset. Hierin vind je ruim 200.000 foto’s van bekendheden. Daarnaast werd ook de LFW dataset gebruikt, een collectie van 13.000 afbeeldingen van gezichten op het internet. Alle schetsen kwamen uit de CUFS dataset. Uiteindelijk probeerden de studenten schetsen van hun eigen gezichten te converteren, wat werkte. Daarnaast maakten ze ook realistische foto’s van drie bekende kunstenaars, namelijk Rembrandt, Van Gogh en Escher, gebaseerd op hun zelfportretten.
Nu onderzoeken de wetenschappers hoe ze het model op de markt kunnen brengen. Hierbij denken ze met name aan toepassingen in de kunst en de forensische kunst. “Ons spinoff-bedrijf Neurant werkt al aan zulke applicaties, waarvan we hopen dat ze snel op de markt komen.”