Onderzoekers van Microsoft hebben een interessante manier bedacht waarop computers foto’s kunnen doorgronden. Een kunstmatige-intelligentiesysteem kijkt naar de afbeeldingen, om er vervolgens een kort verhaaltje bij te schrijven. Zo verschijnt bij een foto van een slapende man in de zon bijvoorbeeld het korte tekstje “vermoeid geraakt door de hitte”.
Computers kunnen al langer objecten herkennen die op foto’s staan, maar daar blijft het meestal ook bij. Zo ziet een computer bijvoorbeeld dat er een hond en een mens op een foto staan, maar daarbij wordt zelden doorgrond waarom ze er op staan en wat ze samen doen. Door verhaaltjes te bedenken bij foto’s, moet het neurale netwerk van Microsoft dit wel doen.
De verhaaltjesbot van Microsoft zou groot nieuws kunnen zijn voor blinden en slechtzienden. Op het moment kunnen zij alleen van een computer horen wat er op een foto staat, iets wat Facebook sinds kort toepast.
Dit systeem zou voor deze groep mensen de essentie van een foto kunnen bepalen. Zo kan een computer beter vertellen wat er met een foto gaande is. De tekst “ze hebben het naar hun zin tijdens een feestje” is immers relevanter dan “mannen en vrouwen met glazen in handen in woonkamer”.