“Tijdens de RC-opleiding worden allerlei handvatten aangereikt voor het verkrijgen van een redelijke mate van controle op het gewenste resultaat,” aldus Thomas Steinbusch, head of asset controlling en financieel directeur bij een internationaal energiebedrijf. “Dit gaat voor een groot deel over mensen. Dat is logisch, want mensen maken de organisatie. De controls moeten ervoor zorgen dat mensen voldoende empowered zijn om zelf keuzes te kunnen maken binnen duidelijk aangegeven grenzen.” Hiervoor zijn enorm veel verschillende tools en modellen ontwikkeld en die worden ook behandeld in de RC-studie. “Maar”, zo vervolgt hij, “de huidige trend binnen organisaties is de ontwikkeling van autonome businessapplicaties. Een hele nieuwe technologie, gebaseerd op kunstmatige intelligentie, waarbij bepaalde keuzes en beslissingen aan systemen worden overgelaten. Dat vond ik een interessant control-vraagstuk. Als wij nou zo ontzettend veel controle uitvoeren op de mens, hoe gaan we dat dan toepassen op systemen die straks dezelfde autonomie genieten?”

Predictive maintenance

Steinbusch bekijkt het vraagstuk vanuit risicoperspectief. “Als je op het punt staat dit soort autonome applicaties te implementeren, of je hebt ze net geïmplementeerd; met welke additionele risico’s moet je dan rekening houden? En wat voor soort responses zijn er op die risico’s? Daarnaast was er een specifieke casus uit mijn bedrijf. We zijn aan het kijken hoe we predictive maintenance kunnen toepassen. Dat is een toepassing waarbij niet meer de engineers of het management zegt wanneer onderhoud dient plaats te vinden, maar waar slimme algoritmes op basis van grote hoeveelheid sensordata storingen voorspellen en een optimaal onderhoudsschema geven. Deze casus heb ik gebruikt om een risicoassessment uit te voeren. Vervolgens heb ik de uitkomsten van het risicoassessment getoetst met experts op het gebied van predictive maintenance.”

Risico/respons-universum

Eerst maakte hij een theoretisch framework. Op basis van de literatuur vond Steinbusch acht risicocategorieën (zie kader). Daar verzamelde hij risico’s en responses bij, zodat er een soort risico-universum ontstond voor bedrijven die autonome businessapplicaties willen implementeren. Interviews met experts op het gebied van implementatie van autonome businessapplicaties scherpten het risico-universum nog verder aan. Steinbusch: “Vervolgens hebben we, met behulp van het risico-universum een risicoassessment gedaan op de predictive maintenance applicatie die we intern willen uitrollen. Wat zijn voor onze applicatie de relevante risico’s? Welke responses zouden daarbij passen?”

Na nog een sessie met experts en een aantal verfijningen van het risico/respons-universum is er een academisch resultaat: een algemeen risk/respons-universum dat je voor elk willekeurig bedrijf zou kunnen gebruiken die met autonome businessapplicaties aan de slag gaat. En daarnaast heeft hij een risk assessment, specifiek voor de toepassing van predictive maintenance binnen zijn eigen organisatie.

“Het is een risico dat mensen klakkeloos slechte adviezen van een algoritme overnemen en daardoor zelf stoppen met nadenken.”

Hoogste risico exposure: de mens

“De risicocategorieën hebben bij het assessment goed standgehouden,” vertelt Steinbusch. “Interessant is dat de risico’s met de hoogste exposure, vaak over menselijk gedrag gaan. Met name ‘Explainability of the outcomes’ en ‘Knowledge degredation’ uit de risicocategorie ‘Gebruik’. Toen ik ermee begon had ik eerder verwacht dat het grootste risico in de data en de algoritmes zou zitten. Dat is ook heel belangrijk, maar daar zijn vrij gemakkelijk responsmaatregelen voor te treffen.”

Goede uitleg is belangrijk

“Neem Explainability of the outcomes”, vervolgt hij. “Als zo’n algoritme zegt dat je nu die klep moet vervangen, maar zonder verdere achtergrond over waarom dat moet, dan is er een risico dat mensen goede adviezen van het algoritme negeren. Tegelijkertijd is er ook het risico dat mensen klakkeloos slechte adviezen van een algoritme overnemen en daardoor zelf stoppen met nadenken. Dat is ook niet goed voor de organisatie. Daarnaast kwamen motivational issues uit de bus: als het algoritme allerlei taken gaat overnemen, hoe zit het dan met het personeel wat ervoor is aangenomen om dit te doen?”

Respons vooral gebaseerd op voorkomen problemen

Steinbusch analyseerde ook de mogelijke risicomaatregelen. “Wat heel interessant is, is dat bijna alle voorgestelde risicomaatregelen zijn gebaseerd op het verlagen van de mogelijkheid dat het risico optreedt en niet zozeer op het verlagen van de impact. Hoe dat komt? Als je de impact van zo’n autonome businessapplicatie wil verlagen, betekent dit vaak dat er eenvoudigere algoritmes moeten worden gebruikt. Hiermee verzwak je de applicatie. Machine learning algoritmes zijn juist zo sterk doordat ze iets kunnen wat wij niet kunnen volgen. Als je daarvan wil profiteren, moet je de complexiteit accepteren.”

“Ik geloof dat assets straks voor een heel groot deel autonoom worden bedreven. Wij als controllers moeten daar wel op voorbereid zijn.”

Management en domeinexperts

Wat ook opvalt, is dat de risicoresponses hoofdzakelijk zitten bij het management en de domeinexperts. Data scientists en IT spelen een veel kleinere rol bij het mitigeren van risico’s. Steinbusch: “Vooraf had ik verwacht dat wij vooral data scientists zouden moeten aannemen om de risico’s te managen, maar we komen eigenlijk tot de conclusie dat met name het management en de domeinexperts aan de bak moeten om te zorgen dat de risico’s goed worden beheerst.”

Impact financiële functie

Steinbusch voorziet dat het gebruik van autonome applicaties de nodige impact zal hebben op de financiële functie. “Finance en control is zelf onderdeel van een aantal processen dat nu niet autonoom verloopt, maar in de toekomst wellicht wel. Denk aan trading execution, fraudebeheersing, kredietwaardigheidsonderzoek, forecasting en planning. Daarin zitten allerlei processen die algoritmes prima kunnen overnemen. Dan zullen controllers ook een soort gebruikersafhankelijkheid krijgen van dergelijke systemen. Dus dat heeft direct impact.
Daarnaast is er de algemene control-uitdaging als belangrijke onderdelen in de operations van je onderneming van mensen naar autonome applicaties gaan. De controller heeft dan een breder instrumentarium nodig om control te kunnen uitvoeren. Industrie 4.0 is iets waar binnen mijn branche veel over gesproken wordt, maar ik geloof er in dat straks assets voor een heel groot deel autonoom worden bedreven. Wij als controllers moeten daar wel op voorbereid zijn.”

 Barbara Baarsma

Expertsystemen

In veel organisaties zijn expertsystemen in gebruik. Daarbij is de operator in control. Naarmate je complexere algoritmes gaat gebruiken, die ook nog eens zelflerend zijn, wordt het meer en meer een autonome applicatie. En gaat het risk/responsframe meer en meer gelden, aldus Steinbusch. “Interessant is dat het voor een heel groot deel van de risico’s in mijn onderzoek gaat om een perceived level of autonomy. Je kunt een technische schaal maken: er zijn algoritmes die totaal niet zelflerend zijn en er zijn deep learning algoritmes. Maar als een gebruiker bij een beperkt autonoom algoritme al het gevoel heeft dat het systeem heel autonoom is, dan gelden heel veel van de risico’s uit het risk/responsframework dat ik heb opgesteld ook al.”