Gps-blunders en veiligheidsrisico’s: waarom volgen we blindelings de technologie?
Computer says no: einde verhaal. Twintig jaar geleden een hilarische uitspraak in de Britse tv-serie Little Britain, nu de werkelijkheid. We volgen allemaal weleens blind de technologie, met wisselende gevolgen. Voor ISGA-docent en onderzoeker Daan Weggemans een onderwerp om op te promoveren.
Ben je zelf ooit in de problemen gekomen door het blind volgen van technologie?
‘Ja, heel vaak! Om een voorbeeld te geven: de dag dat ik mijn boek inleverde in mei, wilde ik vieren in de stad. Het was erg bewolkt, dus ik keek op Buienradar of het ging regenen. Daar stond van niet, dus ik ging zonder jas de stad in. Nou, ik ben in m’n leven nog nooit zo natgeregend. En dat na al die jaren aan een boek te hebben gewerkt over blind vertrouwen in technologie en verregaande gehoorzaamheid. Wat ik ervan heb geleerd? Het zit zo sterk in ons, het is daarom belangrijk dat we dit fenomeen begrijpen. Ook al ben je er nog zo bewust van, je volgt blijkbaar vaak alsnog de technologie. Het is veel meer dan een instrument en veel leidender dan mensen vaak denken.’
En het gaat nu heel snel met digitale ontwikkelingen.
‘Nieuwe digitale ontwikkelingen helpen ons vaak bij het maken van betere keuzes. Hierdoor wordt het leven echt makkelijker en helpt het ons om te kunnen gaan met de complexiteit van deze wereld. Nadeel is dat technologie ook fouten kan maken, of dat we deze verkeerd gebruiken en vervolgens blind volgen. Dat word je dus nat of kom je op de verkeerde bestemming aan met je gps. Alleen heb je deze technologieën nu ook op hele kritieke plekken, zoals in de zorg en bij de politie, douane, belastingdienst. Daar kunnen de gevolgen van diezelfde foutjes heel groot of zelfs levensgevaarlijk zijn.’
Tijd voor jouw onderzoek dus.
‘We moeten juist nú nadenken over de impact van digitale technologieën, want dit is het begin. Overal om ons heen vinden we adviserende en communicerende technologieën die zeggen wat we moeten denken of doen.
'Er is een soort culturele leegte ontstaan waar technologie in is gesprongen'
Met nieuwe systemen moet je er altijd voor zorgen dat de mens enige controle houdt, zeker bij belangrijke organisaties. De mens moet de beslissing nemen, maar het komt ook voor dat de mens helemaal niet kan controleren. Een voorbeeld is de parkeerwachter in een scanauto, die veel afhankelijker is geworden van de technologie. Dan kun je wel zeggen: de mens is aanwezig, maar wat kan die mens nog?’
De technologie maakt geen uitzondering, las ik in je boek.
‘Ja, die is erg consequent. Nee is nee. De vraag in mijn boek is: hoe kunnen we onze interacties met dergelijke technologieën beter begrijpen en duiden? Mijn antwoord hierop is: misschien moeten we eens naar de technologie kijken als autoriteit. Dat klinkt misschien gek, want autoriteiten zijn toch mensen? Zoals agenten, leraren, mensen met een belangrijke positie of kennis.
Autoriteiten zijn geen dingen, leek heel lang het idee te zijn. We denken bij technologie aan dingen die passief zijn: instrumenten die voor ons handelen. Dat klopt eigenlijk niet. Ze kunnen ons misleiden, overreden, of ons dwingen ons op een bepaalde manier te gedragen. Maar voor het overboord zetten van je eigen beoordelingsvermogen, zonder dwang of discussie, daar hadden we niet echt een verklaring voor. Daarover gaat dit boek. Autoriteit kan dingen gedaan krijgen, op basis van vertrouwen of respect. Kunnen technologieën deze capaciteit óók hebben? Als het antwoord ja is, hoe dan?’
Heb je nu ook voor de toekomst dat je denkt van: waar gaat dit heen?
‘Het wordt alleen maar extremer. Het idee van autoriteit kent een negatieve lading. Denk aan de Milgram-onderzoeken en oorlogen, waarbij zichtbaar werd hoever mensen konden gaan met het gehoorzamen van autoriteit. Maar: gezagsrelaties zijn vaak juist ook heel nuttig. Sommige dingen weet je gewoon niet. Dus dan is het heel handig dat een hoogleraar, ouder of agent antwoord geeft. Of dat een rechter een oordeel kan vellen.
'Het idee van autoriteit kent een negatieve lading, denk aan de oorlog'
Nu zien we dat ook dat de sturende rol van digitale technologieën in onze levens steeds groter, zelfstandiger en beter wordt. Zij gaan zich steeds gezaghebbender gedragen en het wordt steeds moeilijker om daar nee tegen te zeggen in een complexe wereld. Organisaties beschikken over zoveel data, dus als je op je scherm krijgt dat iemand een gevaar vormt en een vliegtuig niet in mag, of mogelijk een fraudeur is: hoe controleer je dat dan als mens?’
Maar dan wordt er een menselijke uitzondering gemaakt?
‘Lang niet altijd. Er zijn internationale voorbeelden van jonge kinderen die vliegtuigen niet in mochten omdat zij aangemerkt stonden als terrorist. Als de douanier dan besluit tóch te volgen, hoe zit het dan met al die andere gevallen, bijv. als ík daar aankom? Met de digitalisering van onze maatschappij ga je dit soort gevallen veel meer zien. Technologieën beschikken over unieke informatieposities en daarnaast geven we ze steeds meer namen die gezag uitstralen: ‘Expert System’, ‘Socrates’, etc. Nou, die zal het dan weten, denk je dan. En dan is er ook een culturele laag onder deze wereld van technologie. Om antwoorden te geven op vragen over onzekerheid in ons dagelijks bestaan. Vroeger hadden we het geloof; de priester, dominee of dorpsoudste gaf de antwoorden. Er is een soort culturele leegte ontstaan waar technologie in is gesprongen.’
Is technologie de nieuwe dominee?
‘Ergens misschien wel, of de nieuwe agent, leraar. De technologie kan al die rollen innemen en dat is best intrigerend.’
Hoe kunnen we het best met deze ontwikkeling omgaan?
‘Voor landen of organisaties ligt nu de taak om in te regelen hoe je hier effectief mee om kunt gaan: wanneer is volgzaamheid goed en wanneer moeten we deze begrenzen omwille de mogelijke fouten die daaruit kunnen ontstaan? Door mensen te trainen, in te zetten op bewustzijn, door mensen de ruimte te geven om andere keuzes te maken: computer says no, but I don’t care. Maar ook accepteren dat fouten gemaakt worden. Als het dan fout gaat moet je een mechanisme hebben in de maatschappij om het zo snel mogelijk om te lossen, om mensen te compenseren als ze op een bepaalde lijst komen. Daar zijn we nog niet. Hoe regel je de verantwoording en aansprakelijkheid?’
Little Britain: Computer zegt altijd nee tegen Carol Beer
Vanwege de gekozen cookie-instellingen kunnen we deze video hier niet tonen.
Bekijk de video op de oorspronkelijke website of