Hoe kunnen we begrijpen wat er omgaat in de ‘black box’ van een neuraal netwerk? Met… een tweede neuraal netwerk. Een column.
Niet lang geleden had ik het er in deze column over hoe artificiële intelligentie soms als een ‘black box’ functioneert, of zelfs een soort orakel dreigt te worden. Het kunstmatig intelligente neurale netwerk lost problemen op of beantwoordt vragen, maar geen mens begrijpt hoe het tot zijn antwoorden gekomen is.
Dat is vervelend voor wetenschappers, die niet alleen het antwoord op een vraagstuk willen, maar die vooral willen begrijpen. En het is potentieel gevaarlijk voor de samenleving, als artificiële intelligentie beslissingen gaat nemen die een impact hebben op mensen – een medische diagnose stellen, beslissen of je een lening krijgt, een rechter adviseren over schuld of onschuld, of een wapen afvuren op het slagveld. Mensen zijn misschien wel bereid beslissingen van kunstmatige intelligentie te aanvaarden, op voorwaarde dat ze ook begrijpen hoe de machine tot zijn besluit gekomen is.
Kunstmatige intelligentie van het modieuze type, zogeheten neurale netwerken met ‘deep learning’, werken niet met regels die er door mensen in geprogrammeerd zijn. Ze leren zelf, uit een grote verzameling voorbeelden. Eenmaal het leerproces voltooid, kunnen we wel zien of het netwerk goede resultaten boekt, maar niet hoe; we weten nooit helemaal zeker wát het apparaat precies geleerd heeft uit zijn lesmateriaal en hoe het daaruit conclusies trekt.
De voorbeelden waar het is misgelopen zijn legio. Een neuraal netwerk dat denkt dat een boomtak een vogel is (omdat toevallig alle plaatjes van vogels in zijn oefenmateriaal vogels op takken toonden, bleek naderhand), of iets meer sinister, een netwerk dat een schildpad aanziet voor een geweer (omdat het patroon op zijn schild een beetje lijkt op het hout van een geweerkolf – het netwerk had geleerd geweren te herkennen aan een irrelevant detail.
Het is dus van belang dat we gaan begrijpen hoe kunstmatig intelligente neurale netwerken precies denken, zodat we dergelijke fouten kunnen voorkomen.
Maar hoe kunnen we een ondoorgrondelijke slimme machine gaan begrijpen?
Juist, we sturen ze naar de psychiater. En welke soort psychiater zou een kunstmatig neuraal netwerk kunnen begrijpen? Een tweede kunstmatig neuraal netwerk natuurlijk.
Als u dat een wat twijfelachtige strategie vindt, bent u in goed gezelschap. Het vakblad Science omschreef het onlangs als ‘embracing the darkness’. Afwachten of het wat oplevert. Onder meer aan het Georgia Institute of Technology wordt ermee geëxperimenteerd. Mark Riedl van dat Instituut heeft al één neuraal netwerk getraind om het antieke videogame Frogger te spelen (waarin een kikker moet proberen ongedeerd een drukke straat over te steken), en een tweede netwerk om tijdens het spel uit te leggen wat het eerste aan het doen is (‘even wachten op een opening tussen het aankomend verkeer’).
Natuurlijk wordt daarmee het ‘zwarte doos’-probleem in het beste geval verschoven (en in het slechtste geval verdubbeld).
Riedl zelf omschrijft hetgeen het tweede netwerk doet als ‘rationaliseren’, en dat is waarschijnlijk de nagel op de kop: het is precies wat wij mensen doen als we een goed klinkende uitleg uit onze mouw schudden voor ons eigen gedrag dat we niet begrijpen.
Deze column is op 18 november 2017 verschenen in De Tijd.