Beeld en werkelijkheid

Vorige week, in de derde dubbellezing, is door Max Viergever en Paul Ziche vooral ingegaan op de directheid van de waarneming door het oog of d.m.v. een foto en of deze daarmee objectiever is. Hun conclusie was dat dat zo lijkt, maar net zo min waar is als voor taal (zie ook het verslag van de tweede dubbellezing). Psychologisch zijn we voor geprogrammeerd wat we zien. We hebben concepten in ons hoofd en zonder die concepten kunnen we helemaal niet waarnemen. Objectiviteit bestaat dus eigenlijk niet. Anders dus dan in de eerste dubbellezing werd gezegd dat kunstbeelden verwijzen naar iets herkenbaars uit de wereld om ons heen, om ons te kunnen boeien.

De vierde dubbellezing in de Studium Generale-serie 'Geloof je ogen niet' stond in het teken van een verdere verkenning van wat visuele geletterdheid is, en de relatie tussen beeld en werkelijkheid. Wat is beeld precies en hoe verhoudt deze zich tot de werkelijkheid. Professor Peter Werkhoven en professor Frank Kessler vertelden op 6 mei daar meer over vanuit hun specifieke vakgebieden. Peter Werkhoven, wiskundige en computer scientist, is directeur Research van TNO Defensie en Veiligheid en hoogleraar Multimodale Interactie in Virtuele Omgevingen bij het departement Informatica van de Universiteit Utrecht. En daarnaast oprichter van het 'Center for Advanced Gaming and Simulation' (AGS) in Utrecht. Werkhoven vertelde ons dat beeld niet alleen maar onze visuele zintuigen aanspreekt maar veel meer 'senses' nodig heeft om begrepen te worden. Daarnaast vindt hij dat beeld niet geïsoleerd kan worden wanneer we mensen beelden willen voorschotelen bij illusies (als simulaties) om er in te trappen. Als tweede sprak Frank Kessler, hoogleraar Film- en televisiegeschiedenis. Van 2004-2007 was hij directeur van het Instituut voor Media en Re/presentatie en daarna werkte hij als hoofd van het departement Media- en Cultuurwetenschappen aan de Universiteit Utrecht. Kessler houdt zich vooral bezig met de vroege geschiedenis van film en heeft in zijn onderzoek en publicaties gekeken naar de verhouding van illlusie en werkelijkheid. Hij vertelde ons meer over hoe in de vroege film illusies werden gecreëerd en hoe mensen daar in trappen of juist niet. Hij vertelde ons over de de 'werkelijkheid-illusie', de grens tussen doek en werkelijkheid.

Werkhoven noemt visuele geletterdheid een moeilijk begrip en begint daarom zijn lezing met een definitie van John Debes (1969): "Visual literacy refers to a group of vision-competencies a human being can develop by seeing and at the same time having and integrating other sensory experiences".Visuele geletterdheid gaat om het lezen en begrijpen van beelden maar in samenwerking met de andere zintuigen. En juist dat laatste fascineert Werkhoven. Werkhoven vult de andere dubbellezingen aan door het ook te hebben over de multizintuigelijke waarneming en de emotionele respons op beelden. Hoe werken de zintuigen samen? Is dat een aangeboren (reflex) of cultureel bepaald? Door de multizintuigelijke waarneming kunnen we voor de gek worden gehouden en dingen geloven die er niet zijn. Perceptie van beeld is door context stuurbaar, zo stelt Werkhoven. Wat is beeld en wat is werkelijkheid is erg lastig zoals zichtbaar op de hierboven afgebeelde figuur. Maar Werkhoven's antwoord is: werkelijkheid is multimodaal. De zintuigen (zien, horen, voelen, ruiken, ...) vermengen zich bij de multi-zintuigelijke waarneming. Ruimtelijk horen bijvoorbeeld doet ons voor en achter, boven en onder onderscheiden. Er bestaat een interactie tussen zien en horen bijvoorbeeld bij buiksprekers. Het zien van de pop dwingt ons zo dat het beeld en het geluid elkaar beïnvloeden. We gaan door de interactie 'geloven' dat de pop praat. Ook 'voelen' is erg belangrijk bij de multizintuigelijke waarneming. Het zien beïnvloedt het voelen, denk aan braille etc. En ook ruiken is van grote invloed bij een zintuigelijk waarneming. Maar waarom dat multi-zintuigelijk waarnemen? Heeft dat nu zin? Ja, want niet alleen het auditieve deel maar ook het visuele deel van de hersenen wordt tegelijkertijd geactiveerd en daarom waarnemen we sneller en duidelijker.

Er bestaat ook een 'naast'-zintuigelijke waarneming: de synesthetische waarneming. Het is soms niet eens nodig iets in je mond te hebben om te proeven. Synestheten hebben bijvoorbeeld kleurassociaties bij letters en cijfers. Er werd eerst gedacht dat het een medische afwijking was, maar dat blijkt toch anders te liggen. Bij synestheten ploppen de 2-n in de afbeelding hiernaast eruit. En in ons taalgebruik delen we veel synesthesische metaforen als 'schreeuwende kleur', 'zoete geur' en bv. 'scherp geluid'. Als dat zo in ons taalgebruik zit, zijn we dan niet allemaal een beetje synestheet?

Een van de vormen hier rechts heet Kiki de ander Buba. De linker figuur wordt vaak de naam Kiki gegeven, en de rechter Buba, los van de culturele achtergrond. Dat komt omdat we eigenlijk allemaal een vorm van synesthesie hebben. De scherpte in de hoeken vertalen we naar de hardere klank van 'Kiki'. Een integratie van tast en klank, waarbij de sensorische dimensies elkaar beïnvloeden. Computers proberen we tegenwoordig deze dimensies ook te laten integreren (beeld-voelen, geluid-zien etc.). Er is een ontwikkeling gaande dat computers ervaringsmachines worden zoals de 'Sensorama'. Dat was een filmopname van een motorrijder met camera's op zijn helm. Door je hoofd in de sensorama te steken kon je de rit nog een keer beleven. Echter was deze beleving niet interactief. Tegenwoordig is dat wel mogelijk zoals bij de Wii, tactiele stoelen bij games etc.

Zien, voelen, horen etc. wordt ook gecombineerd in simulatoren zoals dat gebeurt bij simulaties voor F16 vliegers. Een echte vlucht is bijna niet te onderscheiden van de simulatie. Maar het bewustzijn is nog altijd zo aanwezig dat je weet dat je in een simulator stapt. Omdat verschil op te heffen moet er emotie bij komen kijken. Wanneer het affect met de emotionele wereld wordt gecombineerd wordt de representatie echter en werkelijker. Affectieve beoordeling is te meten door schaalmeting (SMB-scale door middel van vragen als aangenaam?, comlex?, origineel? etc.). Uit onderzoek blijkt dat associaties een sterker effect hebben dan de kwaliteit van het model. De associaties maken het echter. Het invullen van de associaties door de proefpersonen maken de virtuele wereld echter. Dus een sterke persoonlijke betrokkenheid en mate van inleving zijn nodig om de elementen daadwerkelijk te 'ervaren'. Hoe echt moet het nu werkelijk zijn om een simulatie te geloven? Virtuele mensen in een gesimuleerde wereld moeten bv. de juiste natuurlijk bewegingen maken en juiste duidelijke uitdrukking uitstralen. De vraag is eigenlijk hoe realistisch wil je het hebben? Werkhoven benadrukt de curve van emotionele respons. Een robot moet of helemaal niet realistisch zijn of juist wel. De tussenliggende robot doet ons eng aan en lijkt meer op een zombie dan dat deze emoties teweegbrengt. Dus niet allen realistisch maar ook prettig.

Peter Werkhoven besluit zijn verhaal met enkele conclusies. Volgens hem is de werkelijkheid multimodaal en misschien zouden we dan ook wel van perceptual literacy moeten spreken in plaats van visual literacy. Daarnaast kan de werkelijkheid, volgens Werkhoven, ervaren worden door alternatieve zintuiglijke modaliteiten. Het affect van 3D presentaties wordt sterker bepaald door de eigen invulling (associaties) dan door het realisme van de virtuele wereld en de 'bijna' werkelijkheid kan soms onprettiger zijn dan de werkelijkheid.

Frank Kessler begint zijn lezing met de opmerking dat 'Geloof je ogen niet' naast een waarschuwing ook feitelijk een belofte is dat er iets uitzonderlijks gaat gebeuren. Kessler laat een afbeelding zien van een haai die de bioscoop zaal binnenkomt zwemmen. Als reclame voor de 3d film die op dit moment als toekomst van de film en de bioscoopervaring wordt gezien. In de vroege periode van de film was er een groot discours gaande over de illusie van het daadwerkelijk aanwezig zijn van het afgebeelde in de bioscoop. Zo ook in de affiche hiernaast wordt gesuggereerd dat de ervaring van 'werkelijkheid' of illusie daarvan wordt gecreëerd. In de afbeelding zie je bioscoopbezoekers wegrennen bij het aan komen rijden van een auto op het grote scherm. Wat Kessler met de reeks van voorbeelden wilt laten zien is dat idee van simulatie op de voorgrond staat. De visuele prikkel zou dermate sterk zijn dat de toeschouwer geen onderscheid kan maken tussen het afgebeelde en de werkelijkheid.

Maar er is een soort scheidslijn tussen enerzijds het gebruik van bewegende beelden voor simulatie doeleinden als chauffeursopleiding tot en met disney-rides (multimodale ervaring, niet alleen zien maar ook voelen), terwijl aan de andere kant de narratieve film, de verhalende film, juist een scheiding tussen de toeschouwer en de fictieve wereld in de film wordt gezien als basis voor ons geloof in de fictie, terwijl we weten dat we veilig in een bioscoopstoel zitten. Wel geloven we onze ogen als het gaat om documentaire waarde. We geloven dat hetgeen dat door de camera is vastgelegd daadwerkelijk heeft plaatsgevonden. Vervalsing is echter ook mogelijk, denk maar aan allerhande gebruik van Photoshop en de manipulatie, verwijdering van personen uit foto's. Maar ook zonder manipulatie is elk beeld of filmbeeld altijd maar een uitsnede van de werkelijkheid. Niet het beeld liegt, maar het discours wat met het beeld wordt verteld, zoals bijvoorbeeld op de afbeelding hiernaast. Dus geloof je ogen niet zomaar, zegt Kessler, blijf bewust van het feit dat we te maken hebben met een beeld, een beeld dat gemaakt is en dat gebruikt wordt om iets te zeggen. Dat hoort bij de visuele geletterdheid: beeld is gemedieerd, we moeten dat beseffen en bewust zijn van dergelijke effecten en de manier waarop ze tot stand zijn gekomen.

In deze vierde dubbellezing kunnen we positief zijn over visuele geletterdheid. Er is heel veel mogelijk. Het geloof in simulaties verrijkt misschien wel ons leven. Daarnaast heeft de simulatie een bijzonder lange geschiedenis. Beide sprekers gingen in op wat aangeleerd en aangeboren is. En welke rol de verwachting speelt bij het ervaren van realisme zowel op cognitief niveau als op perceptueel niveau. En daarnaast bespraken Werkhoven en Kessler wat gezichtsuitdrukkingen en emoties zowel in film als bij virtual humans bewerkstelligd.