Hybride inlichtingen: Het onbekende zichtbaar maken voor mens en AI
Een consortium bestaande uit Universiteit Leiden (Instituut Bestuurskunde/Digitalisation & Public Policy Bram Klievink, Sarah Giest en Bart Schermer), VU (Prof. Fabio Massacci), TU Delft, TNO en Thales heeft een NWO subsidie gekregen van bijna 1,5 miljoen euro. Dit project onderzoekt de ‘metadata van onzekerheid’ op machine-leesbare en door mensen te interpreteren vorm met als doel het verantwoord toepassen van kunstmatige intelligentie voor een veiligere samenleving.
Hoogleraar Digitalisation & Public Policy, Bram Klievink, legt uit: ‘In allerlei analyse processen binnen de overheid, bijvoorbeeld bij intelligence ten aanzien van veiligheidsdreigingen, werken mensen en kunstmatige intelligentie vaak samen in een ‘hybride’ proces om bruikbare informatie te verkrijgen en te verwerken. Dit gaat gepaard met aanzienlijke onzekerheden en vertekeningen. Dan kan je denken aan modellen die niet perfect zijn of dat er om operationele of strategische redenen bepaalde data niet - of niet volledig- worden gedeeld, of dat er (on)bewust misleidende bronnen inzitten.’
Professionals, zoals analisten, zijn zich bewust van die onzekerheden en vertekeningen, maar missen een werkbare weergave van die onzekerheden en wat dat betekent voor hun werk. Klievink: ‘Deze onzekerheden en vertekeningen zijn haast onvermijdelijk, zeker in de situatie waarin data en inzichten over de grenzen van afdelingen, organisaties en domeinen heen reizen.’
Bij iedere schakel verlies je informatie over keuzes
Het project waar het consortium mee aan de slag gaat, ontwikkelt de ‘metadata van onzekerheid’ op machine-leesbare en door mensen te interpreteren vorm en onderzoekt dit empirisch. Klievink: ‘Bij ieder van die stappen zit er een stukje machine verwerking in en een stukje menselijk verwerking en expertise; dat is dat hybride karakter. En bij iedere schakel, verlies je ook informatie over keuzes, beperkingen, onzekerheden. In dit project werken wij (The Hague Centre for Digital Governance) samen met computerwetenschappers aan die ‘metadata van onzekerheid’. Dit stelt je in staat om in intelligence werk expliciet te redeneren over afweging tussen onder andere nauwkeurigheid, proportionaliteit, uitlegbaarheid, privacy en kosteneffectiviteit.’
Wat betekenen innovaties voor de werkvloer
Klievink: ‘Binnen dat multidisciplinaire werk zijn wij als sociale wetenschappers erg geïnteresseerd in wat dit soort innovaties betekenen op de werkvloer. Wat is de impact op de intelligence professional en het proces waarin die intelligence professionals werken. En wat het vraagt van de aansturing en wat nu effectieve organisatie-inrichtings-keuzes zijn ten aanzien van data science en AI, ook in relatie tot allerhande primaire processen. Het organiseren van die leerprocessen en de daarvoor benodigde feedback mechanismen, is een vraag die ons bij het Centre erg interesseert, en die complexer wordt als je binnen zo'n hybride keten wilt leren. Over de grenzen tussen mens en machine en over de grenzen van organisaties heen, is de feedback keten vaak wat langer.’
Volgens Klievink draagt de combinatie van die twee facetten, het formaliseren van de meta-data die mee moet reizen in hybride intelligence ketens en het begrijpen en ondersteunen van die formalisatie in het proces, bij aan een verantwoorde toepassing van kunstmatige intelligentie voor een veiligere samenleving.