Watson: van quizkandidaat tot handige data-analyst

Hij is misschien wel de eerste celebrity onder de computers: Watson van IBM. In februari 2011 deed de supercomputer namelijk mee als kandidaat aan de Amerikaanse televisiequiz Jeopardy! Hij nam het op tegen de twee beste kandidaten uit de historie van het programma. En hij won met een ruime voorsprong.

IBM Watson WeekIn deze artikelenserie gaan we dieper in op de mogelijkheden van IBM Watson Analytics: Een online data-analysetool waarmee iedereen data-analyses kan uitvoeren en visualisaties kan maken. Hiervoor maakt het systeem gebruik van kunstmatige intelligentie.Sindsdien is Watson nog veel slimmer geworden (we zijn volgende maand dan ook vijf jaar verder) en heeft IBM ook een aantal commerciële producten gebouwd op de technologie van Watson, waaronder Watson Analytics. Hiermee kunnen bedrijven de kracht van Watson gebruiken om data te laten analyseren en zelfs voorspellingen te laten doen. Dat is interessant voor bijvoorbeeld analisten in de financiële wereld en voor wetenschappers die grote datasets moeten analyseren, maar bijvoorbeeld ook voor financieel specialisten, journalisten, overheden en pr-medewerkers. Tijdens de Watson Week gaan we dagelijks in op de mogelijkheden van Watson Analytics voor specfieke groepen, maar laten we vandaag bij het begin beginnen: Watson zelf.

Deep Blue

IBM heeft inmiddels een rijke historie als het gaat om de ontwikkeling van kunstmatige intelligentie. Dat begon in de jaren 80 met iets wat toen de ultieme uitdaging was voor ontwikkelaars: het bouwen van een schaakcomputer die de beste schaakspeler ter wereld kan verslaan.

De in Taiwan geboren Feng-hsiung Hsu begon daar in 1985 mee, toen hij nog niet bij IBM werkte. Zijn eerste slimme schaakcomputer was ChipTest, daarna volgde Deep Thought. IBM haalde Feng-hsiung Hsu in 1989 binnen en de ontwikkeling van Deep Thought werd binnen het bedrijf voortgezet om te resulteren in Deep Blue.

In 1996 nam Deep Blue het op tegen regerend wereldkampioen Garry Kasparov, maar verloor uiteindelijk. De computer werd verder verbeterd en ging ruim een jaar later voor de herkansing. Mede door een verkeerde zet van Kasparov won Deep Blue toen.

Deep Blue werkte op een andere manier dan de kunstmatige intelligentie waar we tegenwoordig veelvuldig over praten. Het systeem was namelijk niet zelflerend. Alle schaakregels waren door de ontwikkelaars ingeprogrammeerd en bij elke zet berekende Deep Blue razendsnel alle mogelijke zetten door; om de beste uit te voeren. Tijdens zijn tienduizendste potje zou Deep Blue echter niet beter zijn dan tijdens zijn eerste.

Jeopardy!

Deep Blue was een fantastische uitdaging voor het team bij IBM dat er aan werkte en het leverde, naast een flinke hoeveelheid media-aandacht, een heleboel kennis op. IBM wilde eigenlijk nog wel een keer zo’n uitdaging en het idee daarvoor ontstond in 2004 toen Charles Lickel, een toenmalige onderzoeksleider van het bedrijf, met wat collega’s in een restaurant zat.

Het hele restaurant viel op een gegeven moment stil en keek naar de televisie. Niet omdat er breaking news was of een belangrijke sportwedstrijd, de mensen keken massaal naar Jeopardy!, een kennisquiz waarbij kandidaten de vraag bij een antwoord moeten zien te vinden. Er was namelijk iets bijzonders aan de hand: kandidaat Ken Jennings won aflevering na aflevering en het begon er steeds meer op te lijken dat deze man onverslaanbaar was. Maar het moest toch mogelijk zijn om een computer te bouwen die deze man kon verslaan?

Lickel kreeg toestemming van zijn baas en na een lastige zoektocht naar een groep ontwikkelaars die de bijna onmogelijke uitdaging aandurfde werd Watson gebouwd onder leiding van David Ferrucci. De opdracht die hij kreeg, was simpel: bouw een computer die razendsnel antwoord kan geven op een willekeurige kennisvraag.

Watson moest voor deelname aan Jeopardy! ten eerste het antwoord begrijpen, vervolgens beredeneren welke vraag daarbij hoort en die weer formuleren. In de informatica valt dit onder het specialsme question answering. Met daarbij in dit geval een belangrijke beperkende factor: tijd. Je moet bij Jeopardy! namelijk de snelste zijn om het spel te winnen.

De ontwikkelaars combineerden in Watson technieken als natural language processing, information retrieval, knowledge representation, automated reasoning en machine learning; allemaal vakgebieden die tien jaar geleden allemaal al in onderzoek waren, maar nog lang niet zo ver gevorderd als nu. De technieken werden gecombineerd met voor die tijd ongelofelijk krachtige hardware. En ondanks de fantastische ontwikkeling op het gebied van processoren en opslagchips de afgelopen tien jaar is Watsons hardware uit die tijd nog steeds immens krachtig.

De naam Watson ontleende de computer trouwens aan de oprichter van IBM: Thomas J. Watson.

De eerste versie van Watson was nog niet geschikt om deel te nemen aan Watson. Bij tests in 2006 wist de computer maar 15 procent van de vragen goed te beantwoorden, terwijl menselijke kandidaten uit het verleden 95 procent goed hadden. Het duurde dan ook nog zo’n vijf jaar voordat Watson uiteindelijk zijn eerste televisieoptreden beleefde.

Op 14 en 15 februari 2011 zagen Amerikanen hoe de twee beste spelers uit de historie van Jeopardy! (waaronder Ken Jennings) het opnamen tegen Watson en uiteindelijk verloren van de computer.

Commerciële toepassingen

Na afloop van Watsons televisie-optreden werd het systeem niet aan de kant geschoven, maar is IBM gaan kijken naar nuttige (commerciële) toepassingen van zijn intelligentie. In eerste instatie ging het bedrijf samenwerken met een aantal andere bedrijven om samen toepassingen te ontwikkelen en in 2013 volgde vervolgens Watson API. Hierdoor werd het makkelijker voor IBM-klanten om de kracht van Watson te gaan gebruiken in applicaties. Ook universiteiten kreeg toegang tot Watson-technologie voor onderzoek.

Twee jaar geleden richtte IBM vervolgens een speciale divisie op voor Watson: de IBM Watson Group. En er werden drie clouddiensten in de markt gezet: Watson Discovery Advisor, dat zich richt op farmaceutisch en biotechnologische onderzoek; Watson Explorer dat grote bedrijven helpt om datagedreven inzichten te ontdekken en te delen en Watson Analytics waarmee iedereen grote datasets kan onderzoeken. Al deze diensten maken gebruik van onderdelen uit Watson.

https://www.youtube.com/watch?v=_Xcmh1LQB9I

De grote kracht van Watson Analytics zit in het feit dat je je vragen in gewone mensentaal kunt stellen. Waar je voor data-analyse vaak moeilijke queries moet invoeren, maakt Watson onderzoek een stuk toegankelijker. Als je je data invoert geeft Watson zelfs al suggesties voor onderzoeksvragen waar je direct het antwoord op kunt krijgen of die je verder aan kunt passen aan je eigen wensen. Vervolgens kun je de conclusies die je uit de data trekt makkelijk visualiseren ens delen met anderen.

Daar komt bij dat een basisversie van de dienst gratis te gebruiken is. De mogelijkheden (en vooral de grootte van de datasets) zijn dan wel wat beperkt, maar het is de perfecte manier voor iedereen om kennis te maken met Watson Analytics.

Voor nog geen 30 euro per gebruiker per maand kun je datasets die bestaan uit maximaal 1 miljoen rijen analyseren en heb je bijvoorbeeld ook toegang tot social media data van Twitter, inclusief een analyse van het sentiment van tweets. Voor deze functionaliteit werkt Watson samen met Twitter, zodat het toegang heeft tot zoveel mogelijk publieke data.

In principe kan iedereen die voor zijn werk conclusies zou willen trekken uit grote datasets met Watson Analytics aan de slag. Dit kunnen bedrijven uit de financiële wereld zijn, maar ook uit de chemische industrie, het onderwijs of overheidsinstanties. De komende dagen gaan we verder in op een aantal specifieke mogelijkheden en sectoren om op die manier inzichtelijker te maken wat er kan met Watson Analytics.

De Watson Week is een samenwerking tussen Numrush en IBM. Zelf aan de slag? Je kunt Watson Analytics gratis proberen.