Geplaatst op

De computer leert je voelen

Goed nieuws voor wie denkt dat computergames mensen vooral agressiever en meer afgestompt maakt. Slim ontworpen simulaties stimuleren juist de empathie en het inlevingsvermogen.

Een ingenieuze simulatie, ontwikkelt door neurowetenschapster Aline de Borst van de universiteit van Hamburg, toont aan dat digitale simulaties het empatisch vermogen van mensen kan vergroten. Tijdens een experiment ‘zagen’ de proefpersonen -met behulp van een VR-bril- de wereld vanuit het perspectief van een digitaal personage (‘embodiment’). Wanneer ze vervolgens een film te zien kregen waarin ditzelfde personage wordt bedreigd door een schreeuwende man, dan werden in hun hersenen de gebieden geactiveerd die verantwoordelijk zijn voor inleving en empathie. Een controlegroep die de personage op afstand zag (dus als een observant) vertoonde een significant minder grote betrokkenheid bij de gebeurtenissen.

No alt text provided for this image

Ook andere simulaties maken gebruik van embodiment-training om de spelers zich in te laten leven in de positie van een ander. De zintuiglijke beleving, inclusief geuren, smaken en geluiden, maken dat mensen zich beter iets kunnen voorstellen bij hoe het is om in een container over de grens te worden gesmokkeld, of hoe het voelt om als enige met een afwijkende huidskleur in een bepaalde groep te staan.

Het gegeven dat we mee kunnen voelen met niet-bestaande personages is iets waar schrijvers van romans, theaterstukken, en films en televisieseries ruime ervaring mee hebben. Wie heeft niet gesnotterd om Bambi als zijn moeder door jagers wordt doodgeschoten, of is volledig opgegaan in een boek? Door mee te leven met de ervaringen van fictieve personages, wiens angst, ambitie, verlangen of haat we signaleren en herkennen, bouwen we een gezamenlijke cultuur op die weerspiegelt wat onze collectieve normen en waarden zijn. We herkennen onszelf in de ander.

In 1994 ontwikkelde de Amerikaanse psychotherapeut Rita Addison in samenwerking met anderen de VR-game ‘Lock.’ Deze game liet artsen en andere hulpverleners ‘zien’ hoe het is om te moeten leven met een hersenbeschadiging, iets waar Addison na een ernstig ongeluk zelf mee was geconfronteerd. Voor de deelnemers aan de simulatie ging er een wereld voor hen open toen ze daadwerkelijk ervoeren wat voor invloed fysieke en mentale beperkingen met zich meebrachten.

VR en andere vormen van digitale simulaties kunnen een grote bijdrage leveren aan dit proces, Digitale serious games als ‘PeaceKeeper’ en ‘Darfur is Dying’ lieten de speler al kennismaken met de complexiteit van maatschappelijke problemen, zoals de politieke situatie in het Midden Oosten of de hongersnood in Afrika. Virtual Reality kan door zijn waarheidsgetrouwe weergave van de werkelijkheid het empathisch vermogen van de deelnemer nog verder stimuleren.

Wat maakt simulaties en serious games nou zo geschikt om empathisch vermogen te trainen? Hun grote kracht is dat ze ‘veilig’ zijn. Zr dringen -net als kunst- geen boodschap of moraal op, maar ze verleiden de deelnemer om de wereld vanuit een ander perspectief te zien. Een simulatie zegt in feite: “Zo ervaart iemand anders een bepaalde situatie, doe er mee in het echt wat je wilt.” En op die manier houden ze mensen een spiegel voor, zonder in hun gezicht te schreeuwen: “Dit is goed en dat is fout.” De Amerikaanse psychologe PJ Manney zei “Regardless of how it’s accomplished, its most important quality is that it must be entertaining enough to create the seductive-yet-safe qualities for players to want to both engage and lose themselves in the story. What I have in mind is a sophisticated, nuanced game aimed squarely at the collective unconscious of potential players everywhere, helping them understand the point of view of people as unlike themselves as possible. In this way, empathy and technology don’t have to become opposing concepts.” In een wereld waarin de hoeveelheid beschikbare informatie alleen maar toeneemt, maar we paradoxaal genoeg steeds minder contact hebben met andersdenkenden is het je leren verplaatsten in de gezichtspunten van de ander een fundamentele noodzaak.

Bronnen:

De Borst. Aline, Slater, Mel, et al “First person virtual embodiment modulates cortical network that encodes the bodily self and its surrounding space during the experience of domestic violence”, eNeuro 20 April 2020

Manney, PJ “Empathy in the time of technology”, Journal of Evolution and Technology – Vol. 19 Issue 1 pgs 51-61, 2001

Geplaatst op

Tijd voor een terugblik (en een kijkje vooruit): over vragen en antwoorden.

Het is nu een es maanden geleden dat ik mijn masterdiploma ‘Serious games’ behaalde. Zes maanden waarin er veel is gebeurd.

Mijn voornaamste vraag na het behalen van het diploma was: hoe onderscheid ik me in het serious games-domein, en wat is mijn toegevoegde waarde aan het werkveld. Al snel bleek dat ik het gebied waar games, simulaties, acteren en e-learning elkaar raken het meest interessant vind. Simulaties bestaan uit elke vorm van een nagebootste werkelijkheid, games zijn een manier van simulatie die zich kenmerkt door het gebruik van competitie: en allebei deze vormen kunnen worden vormgegeven met behulp van digitale middelen, maar ook door middel van kaart- of bordspelen, of met gebruik van acteurs.

Acteurs in een game. Zo kan het natuurlijk ook.

Mijn onderzoek richtte zich de afgelopen tijd op de vraag wat er kan gebeuren als je digitale (e-learning) en live-elementen met elkaar zou verbinden. En tot mijn grote verbazing – en plezier- bleek deze vraag reuze actueel te zijn. Ik kwam game-ontwikkelaars tegen die met dezelfde vraag bezig waren, maar ook acteurs, trainers, docenten en wetenschappers. Iedereen bleek -vanuit zijn of haar eigen invalshoek, achtergrond en referentiekader- nieuwsgierig te zijn naar nieuwe vormen van leren met gebruik van simulaties. In April gaan we elkaar treffen bij een studiebijeenkomst in Amsterdam of ervaringen uit te wisselen, best-practice voorbeelden te delen, en te kijken hoe we dit nieuwe domein verder kunnen ontwikkelen. En ik ben blij -en trots- deze dag geïnitieerd te mogen hebben, samen met de Nederlandse Vereniging van Trainingsacteurs, en met serious gaming-bedrijf IJsfontein).

In de slipstream van deze onderzoeksvraag kwam er bijvangst. ‘Hoe meet je de effectiviteit van een serious game, en hoe zorg je voor een maximaal effect op de lange termijn?’ was er een van. Er bleken onderzoeken te bestaan naar aanleiding van deze vraag (zij het schrikbarend weinig). ‘Wat is de rol van storytelling, en hoe kun je de spelers maximaal op laten gaan in de game?’, was een andere. Zijn er ethische grenzen aan wat je met een game kunt en wilt begrijpen? (Ja).

Live acteren en computer-generated images (CGI): grenzen vervagen

Ik kwam inspirerende mensen tegen. Oud-collega’s die ik al jaren uit het oog was verloren, en die geïnteresseerd bleken. Docenten van mijn masteropleiding die graag bereid waren mee te denken, en die nieuwe activiteiten wilden organiseren. Net afgestudeerde studenten, jonge theatermakers, psychologen, hoogleraren. Ik kwam ze tegen op de meest uiteenlopende plekken: op een verjaardagsfeest, in het cafe, in een kleedkamer. Ik kreeg er energie van. Het dode punt in mijn carrière -waar ik een paar jaar geleden bang voor was- bleek niet te bestaan; integendeel, er werden allerlei nieuwe ideeën en uitdagingen in mijn schoot geworpen.

Waar sta ik nu? Met een game-concept waar interesse voor is, en wat ik de komende weken verder ga uitwerken. Met een studiemiddag in het vooruitzicht, waar ik me nu al op verheug (en waar ik tot April op moet wachten). Met een stapel boeken en artikelen die gelezen moeten worden. Met het ambitieuze plan zelf een boek te schrijven over de effectiviteit van simulaties en games binnen leersituaties. Met een rits afspraken met inspirerende mensen door heel Nederland. Met een paar bedrijven die interesse hebben om serious games te integreren in hun interne opleidingen. Kortom: met genoeg te doen. Tegelijkertijd betekent het ook: opdrachten afstoten, vaker “Nee” zeggen, kritischer worden waar ik wel en niet mijn tijd en energie aan wil besteden. En dat is voor elke ZZP ‘er – en dus ook voor mij- moeilijk en spannend. Vanaf Januari ga ik minimaal één dag in de week me volledig richten op bovenstaande aandachtsgebieden (als dat niet te krap is, maar dat zal de tijd leren).

Ik heb vertrouwen in de toekomst, en spreek mijn dank uit aan alle mensen die me de afgelopen maanden hebben geholpen, uitgedaagd, tijd voor me vrijmaakten, mee hebben gedacht, mijn visie hebben gescherpt (en soms faliekant ondergraven), en bovenal: me hebben geënthousiasmeerd. Dank jullie wel. Op naar 2020!

Geplaatst op

Digitale acteurs en hun beperkingen: waarom Gollum zijn plek moet kennen.

Kan een ‘echte’ acteur binnen een gesimuleerde omgeving worden vervangen door een digitale collega? Nullen en enen in plaats van vlees en bloed? Het is binnen het serious gaming-domein een interessante vraag, nu (met quantum-computers in aantocht) de rekenkracht -en daarmee de mogelijkheden- van computers binnen een paar jaar buitengewoon zal toenemen. Is het mogelijk om personages digitaal te construeren die niet meer van echt te onderscheiden zijn?

Deels kan die vraag nu al met ‘ja’ worden beantwoord. Wie ‘De Hobbit’-trilogie heeft gezien kent ongetwijfeld de personage Gollum. Weliswaar werd Gollum mede geconstrueerd door acteur Andy Serkis (wiens bewegingen nauwgezet werden gefilmd en opgeslagen ), maar uiteindelijk was het de computer die het uiterlijk van het personage vormgaf. Hetzelfde gold voor de vele Orks, en andere wezens. En wat voor fantasy-wezens geldt, geldt ook voor echte mensen: ze zijn met een boel rekenkracht op behoorlijk realistische wijze vorm te geven.

Andy Serkis en zijn personage Gollum Photo: New Line Cinema

Maar mensen zijn meer dan alleen maar een uiterlijk. Ze zijn ook hun geschiedenis, hun gedrag, en hun interactie met de buitenwereld. En vooral dit laatste aspect –interactie- is iets waar computers nog steeds geen raad mee weten.

Enige tijd geleden had ik een interessant gesprek met professor Johan Jeuring, hoogleraar Software Technology for Learning and Teaching aan de Universiteit Utrecht. Hij had een onderzoek gedaan naar de mogelijkheden om een digitale trainingsacteur te construeren.  Het idee was om met behulp van algoritmes een ‘acteur’ te creëren die grote groepen studenten psychologie kon helpen om gesprekstechnieken te leren. De digitale acteur bestond uit een avatar, die vragen stelde en opmerkingen maakte, waarna de studenten keuzes konden maken welke reactie er vanuit henzelf het meest gepast en geschikt was.

De digitale training bleek goed aan te slaan bij de studenten (al bleek het in de praktijk moeilijk om te meten wat de resultaten van de training waren bij de deelnemende studenten). Toch liepen de onderzoekers tegen een paar fikse problemen aan, die in mijn ogen goed illustreren waarom op interactief niveau (zoals binnen een rollenspeltraining) ‘echte’ acteurs nog steeds onovertroffen zijn.

Kort samengevat: het menselijk gedrag is zó complex, dat een algoritme al snel in verwarring komt. Een algoritme die menselijk gedrag wil herkennen, vergelijkt het reële gedrag van een mens met een groot aantal voorbeelden die zijn opgeslagen in zijn database. Op die manier kan een algoritme bijvoorbeeld ‘verdacht’ gedrag herkennen op straat: iemand die steeds in dezelfde straat op en neer wandelt is verdacht, omdat zijn gedrag niet overeenkomt met de vele voorbeelden van ‘normaal’ gedrag van mensen op straat die in zijn database zitten. Dit kan werken bij eenvoudig gedrag, maar zodra het gedrag complexer wordt (m.a.w. er zijn meer variabelen in het spel dan alleen maar ‘op en neer lopen’) raakt een computer in de war. Wat bijvoorbeeld te doen met ambivalent gedrag van iemand? Als mijn collega tegen me zegt : “Goed hoor, ik doe het wel”, maar uit zijn intonatie en non-verbale gedrag laat merken er helemaal geen zin in te hebben, dan kan ik die boodschap over het algemeen wel ontcijferen. Ik kan zien dat er een onderscheid is tussen zijn verbale en zijn non-verbale boodschap.

‘Siren’ een digitaal personage , ontworpen door het bedrijf Cubic Motion: wel het uiterlijk, niet het gedrag.

Een computer kan dit niet. Hij neemt de letterlijke boodschap (op basis van de woorden die hij hoort, en wiens betekenis in zijn geheugen zijn opgeslagen), en concludeert dat de persoon in kwestie akkoord gaat met de vraag die wordt gesteld. Immers, hij zegt toch “Ik doe het wel”?  De vaardigheden die de meeste mensen hebben om dit soort complexe boodschappen te ontcijferen (en het aantal voorbeelden is legio: bedenk maar een paar voorbeelden uit uw eigen omgeving), zijn vooralsnog niet te evenaren door algoritmes.

Binnen rollenspelen met acteurs speelt de communicatie zich vaak af op verschillende niveau’s: inhoud (wat wordt er gezegd), interactie (wat is de relatie tussen de gesprekspartners) en beleving (hoe wordt het gesprek emotioneel ervaren door de verschillende partijen). Een goede acteur kan tussen deze niveaus schakelen, en reageren vanuit inhoud, interactie of beleving. Wanneer een deelnemer een  niet-functionele of niet-effectieve opmerking maakt kan de acteur inschatten op welk niveau hij of zij moet reageren, zodat de kandidaat ziet wat het effect van zijn opmerking is. Wat een acteur hiervoor nodig heeft is een ‘helicopter view’: hij of zij moet op meta-communicatief niveau kunnen opereren, om overzicht te houden op de interactie tussen zichzelf en de ander en daar zijn of haar strategie op aan te passen.

Hier schiet –volgens Jeuring-  een computer nog tekort. Een computer kan niet zichzelf op meta-communicatief niveau beschouwen als onderdeel van de interactie. Overigens: een boel mensen kunnen dit helaas ook niet, en dat is in mijn ogen de voornaamste reden dat verkeersruzies, relatieproblemen of de Zwarte-Piet discussie zo uit de hand kunnen lopen. Maar dit terzijde).

Het grote verschil tussen een film en een game is het interactieve karakter. Gollem kan in het productieproces van een film digitaal worden geconstrueerd, omdat hij niet tijdens de filmvertoning interactief  hoeft te reageren op onvoorspelbaar gedrag van het publiek (dit zou overigens wel leuk zijn: stel je Gollum voor die ineens reageert op het gerinkel van een mobieltje in een bioscoop: “Oh, master can’t miss his precioussss, can he?”) Binnen  een serious game moet dit wel. Het algoritme moet adequaat en logisch reageren op het gedrag van de ander, waarbij hij complexe, multi-interpretabele boodschappen moet kunnen ontcijferen, en een keus met kunnen maken uit de schier oneindige variaties (denk aan intonatie, woordkeus, lichaamshouding) die mogelijk zijn.

Over de wisselwerking tussen digitale simulaties en ‘live’ simulaties (zoals met acteurs) is het laatste woord nog zeker niet gezegd. Integendeel: dit voorjaar organiseer ik mede een bijeenkomst waarin vertegenwoordigers uit de acteurs-, trainings- en game-development-wereld elkaar treffen om ervaringen uit te wisselen. Maar daarover later meer.  

Geplaatst op

Authenticiteit binnen een leerproces

Momenteel lees ik (als mijn kat tenminste niet op de pagina’s ligt) ‘A guide to authentic e-learning’ van Jan Herrington, Thomas Reeves en Ron Oliver (Uitg. Routledge, 2010). De auteurs beschrijven op grondige en gedegen wijze de rol van authenticiteit binnen gesimuleerde leeromgevingen. Met ‘gesimuleerd’ wordt hier bedoeld ‘nagebootst’, in de zin dat de omstandigheden worden nagebootst waarin de leerstof in de toekomst in de praktijk wordt gebracht. Een vliegsimulator, een gesprekstraining, een nagebouwd oefendorp (zoals wordt gebruikt door defensie) of een fictief bedrijf dat door de studenten wordt gerund: het zijn allemaal voorbeelden van ‘situated learning’ , door Collins (1988) gedefinieerd als “…the notion of learning knowledge and and skills in contexts that reflect the way the knowledge will be used in real life.”

De vraag die meerdere malen in het boek naar voren komt is de vraag in hoeverre ‘authenticiteit’ gekoppeld moet zijn aan ‘realistisch’? Wanneer studenten een fictief bedrijf runnen (met aandacht voor beleid, logistiek, inkoop, financiën, personeelszaken, pr en dergelijke) moet de gesimuleerde omgeving dan ‘realistisch’ zijn? Met planten in de vensterbank? Vakantiekaarten aan de muur? Sky-radio op de achtergrond? En als we al die elementen achterwege laten, is de omgeving dan nog wel ‘authentiek.’? En kan er (zoals o.a. door Petraglia wordt gesteld) er überhaupt wel sprake zijn van een ‘authentieke’ leeromgeving, als die omgeving is ontworpen en bepaald door een docent?

Oefenterrein voor rampenbestrijding

Barab, Squire en Dueber stellen dat authenticiteit ontstaat “…not in the learner, the task, or the environment, but in the dynamic interactions among these various components… authenticity is manifest in the flow itself, and is not an objective feature of any one component in isolation.” (‘A co-evolutionary model for supporting the emergence of authenticity’, Educational Technology Research & Development, 2000). Ik sluit me hier van harte bij aan. ‘Authenticiteit’ wordt mijns inziens bepaalt door de interactie tussen de student/lerende en de omgeving. Als ik dit toepas op serious games, dan betekent dit dat de game-omgeving (de ‘gesimuleerde omgeving’) niet realistisch hoeft te zijn, maar dat het gedrag van de speler op die omgeving (zoals het overwinnen van hindernissen, het aangaan van uitdagingen, het bepalen van strategieën) in het juiste geval ‘authentiek’ is. Ik heb al eerder geschreven over de ‘suspension of disbelief’ binnen leersimulaties; de mate waarin de student zich kan en wil verplaatsen in de simulatie. Wanneer een student zich deze ‘suspension of disbelief’ eigen kan maken (en in essentie kan iedereen dit die ooit als kind zijn knuffeldier als ‘levend’ heeft behandeld, of cowboytje, soldaatje, of vadertje & moedertje heeft gespeeld: kortom, iedereen die wel eens ‘heeft gedaan alsof’) dan kan er sprake zijn van ‘authentiek leren.’

Als het uiteindelijk de interactie van de student met de leeromgeving is die de authenticiteit van de ervaring bepaalt, waar moet die leeromgeving dan minimaal aan voldoen? Macedonia en Rosenbloom noemen 6 gebieden die bepalend zijn voor een effectieve gesimuleerde leeromgeving: ‘immersion’ (realistische ervaringen), ‘networking and databases’ (de kwaliteit van de ‘content’ van de simulatie), ‘story’ (een interactief ‘verhaal’), ‘character’ (de mate waarin de gesimuleerde personages of entiteiten overeenkomen met de werkelijkheid), ‘setup’ (de omgevingen, modellen en ervaringen waar de student mee te maken krijgt) en ‘direction’ (het begeleiden, sturen en inzichtelijk maken van de ervaringen).

Een gesimuleerd bedrijf. Hoeveel relevante kennis heeft de speler nodig over de personages?

Laat ik focussen op één van de gebieden: ‘karakter.’ Waarom deze? Omdat in mijn ogen dit een van de meest ingewikkelde aspecten van een simulatie is, één die het meest lastig is na te bootsen. En hier bedoel ik nog niet eens mee dat het lastig is een geloofwaardig personage na te bootsen (zowel digitaal als met gebruik maken van een acteur), maar dat er één element is wat niet na te bootsen valt, namelijk geschiedenis. Stel dat een student -zoals ik ooit in een digitale game, gericht op het inzichtelijk maken van ethisch handelen, meemaakte- een gesprek moet voeren met een oud-collega die hem of haar voorzichtig wil verleiden onethisch te handelen (“Jouw vrouw werkt toch bij bedrijf X? Kun jij haar niet eens vragen hoe het zit met de omzetcijfers van het laatste kwartaal?”). Stel dat mij zoiets in de praktijk zou overkomen. Dan zou ik een geschiedenis met die oud-collega hebben: ik zou iets weten over zijn ethiek, zijn overtuigingen, zijn omstandigheden, en op grond daarvan zou ik een strategie bepalen om met deze vraag om te gaan. Zonder die voorkennis kan ik moeilijk inschatten hoe ik hem moet benaderen, wat voor verwachting ik heb van zijn handelen in de toekomst, wat hij in het verleden al dan niet voor mij heeft gedaan, etc? Kortom, ik kan moeilijk ‘authentiek’ handelen als er essentiële informatie ontbreekt.

Ik zie dit ook vaak bij rollenspelen. Bij een politietraining waar ik onlangs was werden de agenten-in-opleiding naar een -fictieve- situatie gestuurd waarbij ze onvoldoende kennis hadden van hun bevoegdheden en mogelijkheden. In de praktijk zouden ze deze info wel hebben (al is het maar omdat ze dan gekoppeld zijn aan een meer ervaren collega), maar nu werd de simulatie gebruikt om hen bewust te maken van hun (gebrek aan) kennis. Op zich kan dit een zinnige manier van leren zijn, maar niet als na afloop ze feedback krijgen over hun ‘authentieke’ handelen, terwijl er in essentie geen sprake is van authenticiteit. Essentiële informatie ontbrak (waardoor er ook geen sprake was van effectieve ‘content’ of ‘immersion’), en het eind van het liedje was dat er twee gefrustreerde studenten naar het koffie-apparaat liepen.

Dit betekent ook dat bij serious games er goed moet worden gekeken naar welke informatie er vanuit de -fictieve- personages wordt aangereikt. Is een gezamenlijke geschiedenis relevant (zoals bijvoorbeeld bij een training ‘voortgangsgesprekken’) dan moet deze gedetailleerd en nauwkeurig worden aangereikt (en niet summier met “Jan is altijd een prettige collega geweest, maar nu gaat het minder met hem”). De vraag is of deze mate van nauwkeurigheid sowieso in een simulatie na te bootsen valt.

Kortom: wil er sprake zijn van ‘authentiek’ gedrag binnen een simulatie, dan hoeft die simulatie helemaal niet ‘realistisch’ te zijn, maar wel moet de simulatie (zoals bijvoorbeeld middels de fictieve personages) wél alle relevante informatie bevatten die een authentieke interactie mogelijk maakt.

(Wordt vervolgd)