Samenvatting
De overheid heeft veel verschillende taken. Deze taken worden bij wet toegekend aan een bestuursorgaan. Een deel van deze wettelijke taken wordt geautomatiseerd uitgevoerd met algoritmen. Denk aan het opleggen van boetes voor te hard rijden, het terugvorderen van toeslagen of het verlenen van AOW of kinderbijslag. Net als bij een meer zichtbare uitvoering van taken zoals het ophogen van dijken, is het belangrijk om te weten hoe deze processen verlopen en welke keuzen daarbij gemaakt zijn. Want ook de geautomatiseerde uitvoering van wetten is publiek handelen en moet legitiem zijn.
In opdracht van het ministerie van BZK hebben experts nu De LegitiMaat ontwikkeld. Dit is een visitatie-instrument om de geautomatiseerde uitvoering van wetten door de overheid op een gestandaardiseerde manier inzichtelijk te maken en te (laten) beoordelen. De De LegitiMaat gaat uit van drie perspectieven: juridisch, ontwikkel en accountperspectief.
Het gaat dus om algoritmen, maar ook om de context waarbinnen die worden gebruikt. Bij algoritmen wordt vaak gedacht aan Machine Learning (ML). De LegitiMaat ziet vooral op kennisgebaseerde algoritmen waarmee de wet wordt uitgevoerd en burgers een individueel besluit (in de zin van de Algemene wet bestuursrecht) ontvangen.
Het bereik van De LegitiMaat
De LegitiMaat gaat het om het gehele proces van wet tot aan individueel besluit en daarna, reactie van de ontvangers (telefoontjes, klachten, bezwaren) en de keteneffecten. Het is maatschappelijk zeer relevant dat dit proces beter inzichtelijk wordt. Daarmee verhogen we de transparantie. Met de LegitiMaat kan beoordeeld worden of de wetten, de algemene beginselen van behoorlijk bestuur en het verbod van discriminatie zijn nageleefd.
Onderdelen van de LegitiMaat
De LegitiMaat bevat een analyse van de gebruikelijke stappen die worden gezet bij overheidsorganisaties. Dit is de procesplaat.
Aan de hand van de procesplaat is er een Documentenlijst gemaakt. Dit zijn de documenten die nodig zijn voor het onderzoek.
Dan zijn vragenlijsten aan de hand van de procesplaat. Deze kunnen door de overheidsorganisatie zelf worden beantwoord.
Op basis van de verkregen informatie en antwoorden kan een visitatieteam aan de slag.
Met De LegitiMaat hebben we de praktijk, de technologie en het recht een stap dichter bij elkaar gebracht.
Meer weten?
Wij werkten zelf ook zo open mogelijk. Hoe de De LegitiMaat tot stand is gekomen vind je in deze slides. Documenten en literatuur staan op Pleio.
Voor Engelstalige informatie over The LegitiMate, kijk hier: A cool experiment in NL: The LegitiMate. Working method to judge the use of algorithms in ADM from 3 perspectives. – Automated administrative decisions and the law
ABBB de Algemene beginselen van behoorlijk bestuur (**on)geschreven regels waar de overheid en ambtenaren zich aan moeten houden bij handelingen en besluiten.
Algoritme Een procedure of reeks regels die worden gebruikt bij het berekenen en oplossen van problemen; een nauwkeurig gedefinieerde reeks wiskundige of logische bewerkingen voor de uitvoering van een bepaalde taak.
Algoritmeregister Een voorziening waarin een verzameling van algoritmen die worden gebruikt, openbaar wordt gemaakt.
Auditor iemand die zich beroepsmatig bezighoudt met het controleren van een organisatie volgens een vaste methodiek.
Awb Algemene wet bestuursrecht. Een wet die de algemene regels bevat voor de verhouding tussen de overheid en de burger.
Beleidsregels Op grond van artikel 4:81, eerste lid, van de Awb kan een bestuursorgaan beleidsregels vaststellen met betrekking tot een hem toekomende of onder zijn verantwoordelijkheid uitgeoefende, dan wel door hem gedelegeerde bevoegdheid.
Beoordelingsruimte Omdat er eigenlijk nooit voor alle gevallen precies bij wet is voorgeschreven wat er moet gebeuren, heeft een bestuursorgaan doorgaans beoordelingsruimte bij het toepassen van algemene regels in individuele omstandigheden. Het bestuursorgaan maakt van deze ruimte gebruik in de uitvoering, dus ook in een geautomatiseerde uitvoering.
Bereik van de LegitiMaat De LegitiMaat ziet op het gehele proces van wet tot aan individueel besluit en daarna, reactie van de ontvangers (telefoontjes, klachten, bezwaren).
Beslisambtenaar De ambtenaar die bevoegd is te beslissen in een individueel geval.
Beslisregels de waarmee variabelen worden getoetst op waar/niet waar, waarna het tot een beslissing komt.
Broncode (source code) de originele tekst waaruit de software voorkomt. Dit is een voor programmeurs leesbare tekst en bevat de programma-instructies over de werking van de functionaliteit van de code.
Decision mining techniek waarbij aan de hand van de resultaten, de besluiten, kan worden geanalyseerd langs welke routines de besluiten feitelijk zijn genomen.
Discretionaire bevoegdheid Bij een discretionaire bevoegdheid heeft de wetgever aan het bestuursorgaan een bevoegdheid verleend om in tot op zekere hoogte zelf te bepalen welke besluit wordt genomen (beleidsruimte). Sinds 2022 toetst de bestuursrechter het gebruik van deze ruimte bij een belastend (nadelig) besluit voor de burger indringender aan het evenredigheidsbeginsel van 3:4 van de Awb. In de context van geautomatiseerde uitvoering van wetten wordt wel gezegd dat dit vooral geschikt is voor wetgeving met gebonden bevoegdheden. Dit betekent dat uit de wettelijke bepalingen voortvloeit wat het bestuur moet besluiten.
Functioneel ontwerp hierin worden alle eisen en wensen waaraan een product moet voldoen verzameld en geordend. Er wordt beschreven op welke manier, welke verwachten de gebruiker heeft, welke handelingen hij uitvoert en welke resultaten die oplevert.
Information Technology Infrastructure Library (ITIL) een referentiekader ontwikkeld voor het inrichten van de beheersprocessen binnen een ICT-organisatie.
Intercoder reliability In de context van kwantitatief onderzoek is intercoder reliability de mate waarin 2 verschillende onderzoekers het eens zijn over het coderen van dezelfde inhoud. Het zorgt ervoor dat wanneer meerdere onderzoekers een set gegevens coderen, ze tot dezelfde conclusies komen.
Interdisciplinair het integreren van inzichten uit meerdere vakgebieden (disciplines).
Interne controller medewerker die belast is met het monitoren en controleren van bedrijfsprocessen.
Keteneffecten Binnen de overheid worden veel data en systemen aan elkaar verbonden. Dit betekent dat zowel de invoer (data) als het resultaat (een besluit) relaties hebben met andere processen, andere werkvelden, andere wetten en andere instanties. Het inzicht bieden in deze relaties en beoordelen of deze uitvoering volgens de wet, ABBB en het verbod van discriminatie is, hoort ook bij De LegitiMaat.
Machine learning Een machine learning (ML) algoritme moet worden getraind met een dataset. Het trainen houdt in dat het ML algoritme deze dataset analyseert en leert patronen en correlaties in deze dataset herkennen. Na het trainen, is het ML algoritme in staat de geleerde patronen en correlaties toe te passen op een nieuwe (onbekende) dataset. Doorgaans moeten ML algoritmes op grote hoeveelheden data getraind worden voordat zij accurate patronen en correlaties kunnen herkennen.
Open source beleid beleid waarin is bepaald dat de broncode vrij beschikbaar is. Iedereen kan de broncode lezen, aanpassen en verspreiden.
Process mining techniek om met behulp van event logs in applicaties processen te visualiseren en te analyseren. Het is een objectief, op feiten gebaseerd hulpmiddel is om processen te analyseren en te verbeteren.
Procesvertegenwoordigers mensen die het bestuursorgaan vertegenwoordigen in beroep of hoger beroep bij de bestuursrechter.
Rechtmatigheid het is bij de overheid gebruikelijk om een onderscheid te maken tussen juridische rechtmatigheid en financiële rechtmatigheid in het kader van controle-en verantwoording. Het juridische begrip rechtmatigheid gaat over alle geldende wetten en regels. Er wordt beoordeeld of het handelen in overeenstemming is met deze wetten en regels. Het begrip rechtmatigheid dat door de accountant voor de overheid wordt gehanteerd is beperkter. Dan gaat het om een directe relatie met het financiële beheer. In de LegitiMaat geven we daarom steeds aan welke vorm van rechtmatigheid we bedoelen.
Regelexpert medewerker die wetten vertaalt in regels.
Rekenregels regels waarmee een som gemaakt wordt met de variabelen
Repository een ICT/-architectenterm voor een bewaarplaats of magazijn.
Selectieregels met selectieregels kan worden geselecteerd welke zaken geautomatiseerd worden afgehandeld en welke door een medewerker moeten worden bekeken.
Softwareontwikkelaar een persoon die zich bezighoudt met het programmeren van software. Een softwareontwikkelaar wordt ook wel programmeur, computerprogrammeur of applicatieontwikkelaar genoemd.
Statistische algoritmen Een statistisch algoritme is een ML algoritme dat op basis van trainingsdata een voorspelling maakt voor nieuwe data. Deze voorspelling is een kansberekening en geeft de kans weer dat een bepaalde situatie zich voor zal doen. Dit kan gebaseerd zijn op data uit het verleden, maar ook op data uit vergelijkbare situaties.
Uitvoeringsbeleid Consistente gedragslijn die is neergelegd in interne werkinstructies en waarin wordt bepaald hoe wordt omgegaan met bepaalde gevallen en hoe de beoordelingsruimte wordt ingevuld.
Uitworp/uitval/niet glad geval bij geautomatiseerde uitvoering van wetten is het gebruikelijk dat bepaald wordt welke zaken volledig geautomatiseerd worden afgehandeld en welke zaken door een medewerker nader bekeken moeten worden. Dit bepalen wordt soms aan de hand van selectieregels gedaan.
Valideren iets geldig verklaren.
Verfiëren onderzoeken of iets juist is.
Vernietigd als een besluit bij de burger bekend is, kan de burger binnen 6 weken in bezwaar gaan. Krijgt de burger gelijk, dan wordt het besluit soms vernietigd: het bestaat juridisch dan niet meer. Ook de rechter kan het besluit vernietigen. Een besluit is dus in ieder geval tijdens zes weken niet definitief. Is er bezwaar gemaakt, dan staat het besluit niet in rechte vast totdat de beslissing op bezwaar is genomen. Of tot de rechter uitspraak heeft gedaan.
Voorbereidingshandelingen Op grond van de Awb leidt een aanvraag tot een besluit. Om tot dit besluit te komen worden voorbereidingshandelingen verricht. Een deel van het proces dat met De LegitiMaat wordt getoetst, valt samen met deze voorbereidingshandelingen.
