Black-box algoritme vindt ‘geboren leider’

Complexe data gebruiken voor het selecteren van leiders is ‘tricky’ zonder ethische correctie, want algoritmen die worden gevoed met en leren van historische data komen als vanzelfsprekend uit op autochtone mannen. Door een black-box algoritme te laten corrigeren op sekse, etniciteit of leeftijd komen andere mensen bovendrijven die zich ontpoppen als leiders, vertelt hr-onderzoeker Paul van der Laken.

Met hr-onderzoeker Brian Doornenbal en Brian Spisak (Harvard University) vormt Van der Laken een onderzoeksgroep die onderzoek doet naar en publiceert over machine learning, leiderschap en persoonlijkheidsgegevens. Om te ontrafelen welke samenstelling aan persoonlijkheidskenmerken voorspellend zijn voor leiderschap gebruikten de drie een black-box algoritme.

Waarom zijn jullie dit gaan onderzoeken?
‘Er wordt al lang onderzoek gedaan naar de persoonlijkheid van leiders en de karaktereigenschappen daarvoor. Er is al rijke data voorhanden, we hebben leiders honderden vragen gesteld om er inzicht in te krijgen. Maar dan reduceren we het tot vijf schalen, waar we scores voor berekenen en dan proberen we lineaire verbanden te vinden tussen die schalen en goed leiderschap. Logisch, maar we hebben nu zoveel meer rekenkracht, dat we veel beter kunnen grasduinen en op zoek kunnen naar rijkere patronen. Dat hebben we in twee papers gedaan. In de eerste paper zetten we alle machine learning-algoritmes tegen vragenlijsten aan om te zien of we dan beter goede van slechte leiders konden onderscheiden. Dat ging al beter dan op de traditionele manier, maar nog niet zo goed als gehoopt. In het tweede paper met een Nederlandse dataset, kijken we niet naar prestaties, maar naar wie zich ontpopt als leider.’

En wat vonden jullie?
‘We hadden gegevens van 3000 werkende mensen en keken of we mensen die leider zijn geweest konden terugvinden in deze dataset. Op complexe patronen met machine learning vonden we veel meer leiders terug dan op de traditionele manier. Maar wat kunnen we ermee? Je kunt machine learning niet vertrouwen, want je hebt geen zicht op wat er achter de schermen gebeurt. We zijn met visualisatietechnieken in de machine gaan kijken naar waarom die besluit dat een persoon geen leider is. En dan blijkt dat het dus niet uitmaakt of iemand ‘open’ of ‘gesloten’ is, maar ‘zeer open’ en ‘zeer gesloten’ hangen wel samen met goed leiderschap. Hetzelfde zagen we bij ‘nauwkeurig te werk gaan’: sommige leiders zijn heel nauwkeurig, anderen helemaal niet, maar er was ook een verband met goed leiderschap. Er is dus niet per se één lijn van ‘hoe opener, hoe beter’, maar het is meer archetypisch.’

Het zijn meer de ‘extremen’ in persoonskenmerken die de doorslag geven bij goed leiderschap?
‘Ja, het klassieke voorbeeld is: hoe extraverter, hoe beter de leider. Maar uit machine learning blijkt dat er geen lineair effect is, maar een ‘afscheiding’. Als je hoger scoort dan 4 op extraversie, dan gaat de kans dat je leider bent geweest met een sprong omhoog.’

Wat moeten we daarvan denken?
‘Het denken in lineaire reacties is dus niet de slimste manier om met leiderschap en persoonlijkheid om te gaan. En als je dit toepast in je organisatie, dan kun je machine learning gebruiken, maar dan moet je wel goed kijken wat ze doen. Daar bieden wij een tutorial voor: door deze ‘black box’ te openen kun je de technieken doorlopen en leren hoe je die kunt visualiseren. Een van onze reviewers vroeg: waarom hebben jullie ‘geslacht’ niet toegevoegd aan de voorspellende variabelen? Toen we dat deden konden we ineens veel beter voorspellen wie leiders waren en wie niet. Machine learning is discriminerend van zichzelf, dus het is het gevaarlijk als je het maar op zijn beloop laat.’

Hoe is dat discrimineren te verklaren?
‘Historisch gezien hebben mannen meer leiderschapsposities dan vrouwen, dus als je die data voedt en je balanceert niet tussen mannen en vrouwen, dan maken mannen meer kans. Eigenlijk geldt het voor die kenmerken: etniciteit, leeftijd, noem maar op. Bij jonge vrouwen voorspelde het algoritme zonder correctie minder vaak dat het om een leider ging.’

Maar het black-box algoritme kan discriminatie in het selectieproces van leiders voorkomen?
‘Je kunt leren van historische data, maar je moet er wel een ethische laag omheen bouwen. In Nederland valt het wel mee met dat algoritmegebruik, maar ik weet wel dat grote bedrijven zeer complexe data gebruiken en ook algoritmes om te bepalen wie doorgaan naar de volgende ronde. Op basis van video- en tekstbeelden wordt bepaald wie op interview mag komen. Of met complexe computertesten wordt onderzocht hoe mensen omgaan met onduidelijkheid. Met complexere data komen complexere algoritmen kijken en dus is er ook meer kans op bias. Dat sluipt heel gemakkelijk erin. Steeds meer bedrijven kijken hoe ze deze voorspellende algoritmen kunnen gebruiken voor hr-beslissingen. Mensen die beslissen moeten hier bekend mee zijn en met de manieren om dit op te lossen. Het hoofddoel van onze paper was kennis vanuit het data science domein overhevelen naar de hr- en personeelscontext, want daar is dit nog een ver-van-mijn-bed-show.’

In hoeverre is dit algoritme inzetbaar in het openbaar bestuur?
‘Ik heb niet heel goed zicht op het gebruik ervan aldaar en op de ontwikkeling van bestuurders, maar bij corporates doen ze veel aan 360 graden leiderschapsontwikkeling, word je flink door de mangel gehaald en een persoonlijkheidsschets gemaakt. Daar gaan ze er toch vaak van uit dat een leider consciëntieus moet zijn, maar niet te erg, open en extravert. Misschien zou je eens moeten testen of effectieve leiders wel zulke persoonlijkheid vertonen.’

Hoe zou zo’n leiderschapsalgoritme uitwerken in de politiek?
‘Extravert doet het waarschijnlijk beter dan introvert. Rutte is de laatste tijd veel in opspraak over zijn openheid. Moet een leider open zijn of is het beter van niet? Is er ook een patroon te trekken tussen hoe goed leiders het doen en persoonlijkheidskenmerken? Het zou heel leuk zijn om een persoonlijkheidskaart te maken van alle lijsttrekkers.’