IBM Watson, de supercomputer van IBM, is blijkbaar niet zo goed in zijn werk als gedacht werd. Volgens interne documenten van het bedrijf vonden medische experts die met Watson werken “meerdere voorbeelden van onveilige en incorrecte aanbevelingen voor behandelingen”, blijkt uit een rapport van Stat News.
De documenten waren onderdeel van twee presentaties uit juni en juli 2017. Volgens Stat News werden de rapporten gedeeld met het management van IBM Watson Health.
In de documenten stond sterke kritiek op het Oncology-systeem van Watson. Er worden “vaak incorrecte” suggesties gegeven door het product, die “serieuze vragen opbrengen over het proces voor het bouwen van content en het onderliggende systeem”.
Suggesties
Een voorbeeld is een 65-jarige man die longkanker had. Hij leek ook ernstige bloedingen te hebben. Watson zou gesuggereerd hebben dat de man chemotherapie en de medicatie “Bevacizumab” zou krijgen. Maar die medicatie kan leiden tot “ernstige of dodelijke bloedingen”, aldus een waarschuwing op het product. Om die reden moeten mensen met ernstige bloedingen de medicatie dus niet krijgen.
Een woordvoerder van het Memorial Sloan Kettering (MSK) Cancer Center stelt echter dat dit advies niet aan een echte patiënt gegeven werd, maar onderdeel was van het testen van het systeem.
Hypotethische data
De documenten stellen dat de problemen de schuld zijn van de engineers van IBM en artsen van MSK. MSK sloot in 2012 een samenwerking met IBM om Watson te trainen om meer als een arts te “denken”. Maar volgens de documenten gaven de artsen het systeem geen echte data van patiënten, maar data van hypotetische patiënten.
Dat betekent dat het mogelijk is dat wanneer andere ziekenhuizen Watson gebruikten, artsen adviezen kregen op basis van de voorkeuren van de artsen van MSK. De kunstmatige intelligentie gaf dus geen interpretatie van echte data van patiënten. En daar zijn sommige artsen niet blij mee.
“Dit product is een piece of shit“, zou een arts van het Jupiter Hospital in Florida tegen IBM gezegd hebben. “We kochten het voor marketing en met de hoop dat jullie je visie zouden bereiken. Maar we kunnen het voor de meeste gevallen niet gebruiken.” En er zouden meer artsen geklaagd hebben.
84.000 patiënten
Een woordvoerder van IBM zegt tegenover Gizmodo dat hun systeem getraind is om artsen te helpen bij de behandeling van 13 soorten kanker. Het zou gebruikt worden door 230 ziekenhuizen wereldwijd, en heeft “behandelingen van ruim 84.000 patiënten ondersteund”.
“Tegelijkertijd hebben we geleerd en Watson Health verbeterd gebaseerd op de feedback van cliënten, nieuw wetenschappelijk bewijs, nieuwe soorten kanker en alternatieven voor behandelingen. Daar vallen 11 software-updates onder in het afgelopen jaar, waar onder meer de nationale richtlijnen voor onder meer darmkanker en leverkanker onder vallen.”