Onderzoekers van Deezer hebben een kunstmatige intelligentie ontwikkeld dat bepaalde liedjes kan associeren met specifieke emoties. Dat meldt Venturebeat. “Het bestaat uit het automatisch bepalen welke emotie je voelt als je naar een nummer luistert”, aldus de onderzoekers. Dit wordt bepaald op basis van het audiosignaal en de tekst van het nummer.
Het ontwikkelde neurale netwerk kreeg apart audiosignalen en word2vec-embeds die getraind zijn op 1,6 miljoen songteksten. Om het systeem te leren welke emoties daarbij horen, maakten de onderzoekers gebruik van de Million Song Dataset (MSD). De MSD is een database met tracks geassocieerd met tags van LastFM. Sommige daarvan relateren een gemoedstoestanden.
Ook werden 14.000 Engelse woorden gebruikt die slaan op valantie (van positief naar negatief) en opwinding (van kalm naar energiek). Ook werd de metadata van liedjes van Deezer gebruikt. Daarbij ging het specifiek om de naam van het nummer, de naam van de artiest en de titel van het album.
In totaal werd 60 procent van de overgebleven dataset – 18.644 tracks – gebruikt om het model te trainen. De overgebleven 40 procent werd gebruikt om te zien of het systeem werkten.
Opwinding
Het systeem bleek vooral erg goed te zijn in het detecteren van hoe opwindend een nummer is. Op het gebied van valentie waren er meer gemixte resultaten.
De onderzoekers suggereren dat een vervolgonderzoek een database met labels kan gebruiken om aan te geven welke gemoedstoestand bij een nummer hoort.