Kan een ‘echte’ acteur binnen een gesimuleerde omgeving worden vervangen door een digitale collega? Nullen en enen in plaats van vlees en bloed? Het is binnen het serious gaming-domein een interessante vraag, nu (met quantum-computers in aantocht) de rekenkracht -en daarmee de mogelijkheden- van computers binnen een paar jaar buitengewoon zal toenemen. Is het mogelijk om personages digitaal te construeren die niet meer van echt te onderscheiden zijn?
Deels kan die vraag nu al met ‘ja’ worden beantwoord. Wie ‘De Hobbit’-trilogie heeft gezien kent ongetwijfeld de personage Gollum. Weliswaar werd Gollum mede geconstrueerd door acteur Andy Serkis (wiens bewegingen nauwgezet werden gefilmd en opgeslagen ), maar uiteindelijk was het de computer die het uiterlijk van het personage vormgaf. Hetzelfde gold voor de vele Orks, en andere wezens. En wat voor fantasy-wezens geldt, geldt ook voor echte mensen: ze zijn met een boel rekenkracht op behoorlijk realistische wijze vorm te geven.
Maar mensen zijn meer dan alleen maar een uiterlijk. Ze zijn ook hun geschiedenis, hun gedrag, en hun interactie met de buitenwereld. En vooral dit laatste aspect –interactie- is iets waar computers nog steeds geen raad mee weten.
Enige tijd geleden had ik een interessant gesprek met professor Johan Jeuring, hoogleraar Software Technology for Learning and Teaching aan de Universiteit Utrecht. Hij had een onderzoek gedaan naar de mogelijkheden om een digitale trainingsacteur te construeren. Het idee was om met behulp van algoritmes een ‘acteur’ te creëren die grote groepen studenten psychologie kon helpen om gesprekstechnieken te leren. De digitale acteur bestond uit een avatar, die vragen stelde en opmerkingen maakte, waarna de studenten keuzes konden maken welke reactie er vanuit henzelf het meest gepast en geschikt was.
De digitale training bleek goed aan te slaan bij de studenten (al bleek het in de praktijk moeilijk om te meten wat de resultaten van de training waren bij de deelnemende studenten). Toch liepen de onderzoekers tegen een paar fikse problemen aan, die in mijn ogen goed illustreren waarom op interactief niveau (zoals binnen een rollenspeltraining) ‘echte’ acteurs nog steeds onovertroffen zijn.
Kort samengevat: het menselijk gedrag is zó complex, dat een algoritme al snel in verwarring komt. Een algoritme die menselijk gedrag wil herkennen, vergelijkt het reële gedrag van een mens met een groot aantal voorbeelden die zijn opgeslagen in zijn database. Op die manier kan een algoritme bijvoorbeeld ‘verdacht’ gedrag herkennen op straat: iemand die steeds in dezelfde straat op en neer wandelt is verdacht, omdat zijn gedrag niet overeenkomt met de vele voorbeelden van ‘normaal’ gedrag van mensen op straat die in zijn database zitten. Dit kan werken bij eenvoudig gedrag, maar zodra het gedrag complexer wordt (m.a.w. er zijn meer variabelen in het spel dan alleen maar ‘op en neer lopen’) raakt een computer in de war. Wat bijvoorbeeld te doen met ambivalent gedrag van iemand? Als mijn collega tegen me zegt : “Goed hoor, ik doe het wel”, maar uit zijn intonatie en non-verbale gedrag laat merken er helemaal geen zin in te hebben, dan kan ik die boodschap over het algemeen wel ontcijferen. Ik kan zien dat er een onderscheid is tussen zijn verbale en zijn non-verbale boodschap.
Een computer kan dit niet. Hij neemt de letterlijke boodschap (op basis van de woorden die hij hoort, en wiens betekenis in zijn geheugen zijn opgeslagen), en concludeert dat de persoon in kwestie akkoord gaat met de vraag die wordt gesteld. Immers, hij zegt toch “Ik doe het wel”? De vaardigheden die de meeste mensen hebben om dit soort complexe boodschappen te ontcijferen (en het aantal voorbeelden is legio: bedenk maar een paar voorbeelden uit uw eigen omgeving), zijn vooralsnog niet te evenaren door algoritmes.
Binnen rollenspelen met acteurs speelt de communicatie zich vaak af op verschillende niveau’s: inhoud (wat wordt er gezegd), interactie (wat is de relatie tussen de gesprekspartners) en beleving (hoe wordt het gesprek emotioneel ervaren door de verschillende partijen). Een goede acteur kan tussen deze niveaus schakelen, en reageren vanuit inhoud, interactie of beleving. Wanneer een deelnemer een niet-functionele of niet-effectieve opmerking maakt kan de acteur inschatten op welk niveau hij of zij moet reageren, zodat de kandidaat ziet wat het effect van zijn opmerking is. Wat een acteur hiervoor nodig heeft is een ‘helicopter view’: hij of zij moet op meta-communicatief niveau kunnen opereren, om overzicht te houden op de interactie tussen zichzelf en de ander en daar zijn of haar strategie op aan te passen.
Hier schiet –volgens Jeuring- een computer nog tekort. Een computer kan niet zichzelf op meta-communicatief niveau beschouwen als onderdeel van de interactie. Overigens: een boel mensen kunnen dit helaas ook niet, en dat is in mijn ogen de voornaamste reden dat verkeersruzies, relatieproblemen of de Zwarte-Piet discussie zo uit de hand kunnen lopen. Maar dit terzijde).
Het grote verschil tussen een film en een game is het interactieve karakter. Gollem kan in het productieproces van een film digitaal worden geconstrueerd, omdat hij niet tijdens de filmvertoning interactief hoeft te reageren op onvoorspelbaar gedrag van het publiek (dit zou overigens wel leuk zijn: stel je Gollum voor die ineens reageert op het gerinkel van een mobieltje in een bioscoop: “Oh, master can’t miss his precioussss, can he?”) Binnen een serious game moet dit wel. Het algoritme moet adequaat en logisch reageren op het gedrag van de ander, waarbij hij complexe, multi-interpretabele boodschappen moet kunnen ontcijferen, en een keus met kunnen maken uit de schier oneindige variaties (denk aan intonatie, woordkeus, lichaamshouding) die mogelijk zijn.
Over de wisselwerking tussen digitale simulaties en ‘live’ simulaties (zoals met acteurs) is het laatste woord nog zeker niet gezegd. Integendeel: dit voorjaar organiseer ik mede een bijeenkomst waarin vertegenwoordigers uit de acteurs-, trainings- en game-development-wereld elkaar treffen om ervaringen uit te wisselen. Maar daarover later meer.