Survey

Geplaatst op by juni

Alleen wat je kan meten kan je besturen. Managementconsultant Peter Drücker heeft in het verleden expliciet de relatie gelegd tussen de meetbaarheid en stuurbaarheid van processen. Dat principe geldt ook voor veiligheid en kwaliteit. Zonder een duidelijke feedback kunnen we slechts intuïtief te werk gaan. Feedback stuurt onze aandacht. Het juiste meten is derhalve van groot belang om resultaten te bereiken.

De OSHA-incident-rate

Binnen de veiligheidswereld kent men een aantal geëigende meetmethodes. De meest gebruikte is de OSHA-incident-rate. Deze stelt de mate van onveiligheid in de organisatie vast. De OSHA-incident-rate is een resultante van het aantal maal de ernst van ongevallen vermenigvuldigd met 200.000 gedeeld door het aantal werkuren in een bepaalde periode. Vaak wordt aan ieder van de ongevallen een factor toegekend, bijvoorbeeld factor 1 bij first aid, factor 5 bij lost time injury / adjusted work case en een factor 50 bij serious incidents/fatalities. In essentie toont deze indicator in de achteruitkijkspiegel waar het beleid mislukt is. Daarom noemen we dit een “lagging indicator”. Het doel is om de waarde van deze indicator te verlagen tot liefst nul.

De beperktheid van de OSHA-incident-rate

Lagging indicators hebben twee zwaktes. De ene is dat naarmate de onveiligheid afneemt, de aantallen kleiner worden. Er komt dus steeds minder informatie uit het systeem en het wordt daardoor steeds moeilijker de cijfers te analyseren en op basis hiervan acties te ondernemen. Het toeval gaat dan een steeds belangrijkere rol spelen. Het tweede probleem is dat het ontbreken van incidenten niet wil zeggen dat de organisatie daarmee veilig is. Het registreren van de mislukkingen van het beleid laten alleen zien wat men moet laten om zo’n incident in de toekomst te vermijden. Dat is iets anders dan het onderzoeken van wat men juist moet doen om de veiligheid te verhogen. Voor het versterken van veiligheid zijn andere indicatoren nodig.

Wat is het alternatief?

Vanuit deze gedachte is de wens ontstaan om een meetinstrument te ontwikkelen dat juist een voorspellende kijk geeft op de mate van veiligheid van een organisatie. Dat betekent dat deze indicator condities van de organisatie moet weergeven die ertoe leiden dat er veiliger gewerkt kan worden. We noemen dit een “leading indicator”. Deze kunnen vooral gevonden worden in het gedrag van medewerkers, leidinggevenden en management.

Wat is de relatie met Brain Based Safety?

De theorie van Brain Based Safety wijst op een aantal relevante elementen die alle een bijdrage kunnen leveren aan de totstandkoming van veilig gedrag. Deze elementen zijn weergegeven in het nevenstaande bollenmodel en komen voort uit neuropsychologisch onderzoek.
Model van veilig gedrag

De cruciale vragen
zijn:

  1. kunnen de elementen uit dit model gemeten worden en
  2. levert die meting een indicator op van de veiligheid van de organisatie.

Wat zegt de wetenschappelijke literatuur?

De literatuur (o.a. Zohar & Luria 2005) bevestigt dat een aantal elementen van dit model reeds eerder met succes zijn gemeten via een vragenlijst. Zo’n vragenlijst meet het perspectief van de medewerker. Het blijkt dat op basis van de uitkomsten van de vragenlijst een valide inschatting gemaakt kon worden van de (toekomstige) veiligheid van de organisatie. Deze literatuur heeft zich met name gericht op het effect van de sociale omgeving op veiligheid (“safety climate”). Er is een aangetoonde relatie tussen de feitelijke veiligheid van de organisatie en de beleving van de medewerker over de prioriteit die de teamleider geeft aan veiligheid. Daarnaast is er ook een positieve relatie tussen veiligheid en de beleving van de organisatie inzake haar veiligheidsbeleid. De relatie tussen de beleving van het veiligheidsgedrag van teamgenoten en feitelijke veiligheid wordt in de literatuur zeer aannemelijk geacht maar behoeft nog verdere wetenschappelijke onderbouwing. Het zijn dus met name de drie bollen aan de rechterzijde van het model die reeds het best geoperationaliseerd zijn.

Hoe sterk zijn de gemeten verbanden?

Op basis van de metastudie van Zohar en Luria wordt een factor van 0.40 toegekend aan de kracht van de relatie tussen de perceptie van de leider en de veiligheid van de organisatie. Daarmee is het een valide en redelijk sterke voorspeller. De perceptie van de organisatie komt uit op een 0.20 en is ook valide. Die lagere score is niet verwonderlijk als we de directe leider zien als een vooruitgeschoven post van de organisatie. Van de perceptie van het team zijn nog te weinig data beschikbaar om een betrouwbare relatie vast te stellen.

Brain Based Safety Survey

Brain Based Safety SurveyDe bestaande meetmethodiek is goed uit te breiden naar andere gebieden. Dat betekent dat risicodetectie, risico-evaluatie, paraatheid en regelgeving ook meegenomen worden, waardoor we hier over enkele jaren ook valide resultaten van kunnen presenteren.

Hoe werkt het meetinstrument in de praktijk?

Het instrument is ontworpen voor online afname maar kan desgewenst aangevuld worden met een papieren versie van de vragenlijst indien respondenten niet over een mailadres beschikken.

De medewerker ontvangt een mail met daarin een link naar een online tool (SurveyMonkey). Daar beoordeelt hij/zij 50 stellingen op een schaal die varieert van “helemaal mee eens” tot “helemaal mee oneens”.

Voorbeeld:

Mijn leidinggevende benadrukt veilig werken ook als we achterlopen op schema.

De beantwoording kan plaatsvinden op een PC, laptop, tablet of smartphone. Afhankelijk van de leessnelheid duurt dit ongeveer 10 minuten. Voor een papieren versie wordt gewerkt met een antwoordenveloppe. De verwerking is anoniem en de resultaten worden geclusterd per team, liefst met een minimum van 10 personen om zo de anonimiteit ook in de data te waarborgen.

Is er maatwerk mogelijk?

Het is mogelijk om vragen toe te voegen om zo specifieke aspecten te onderzoeken. De standaardvragen kunnen dan dienen als referentie. Uit de literatuur blijkt dat de validiteit van de resultaten omhoog gaat als er veiligheidsvragen worden toegevoegd die specifiek op een bepaalde doelgroep zijn toegespitst. Er zijn voorbeelden van chauffeurs, verpleegsters, brandweermensen, installatiemonteurs en soldaten.

Maatwerk naar aanverwante activiteiten zoals kwaliteit of de evaluatie van een specifieke actie is zeker ook mogelijk.

Welke resultaten levert het op?

De resultaten worden per thema (bijvoorbeeld team of leiderschap) en per vraag weergegeven, waarbij de gemiddelde scores binnen een team worden afgezet tegen die van een afdeling en eventueel van een organisatie. Dat geeft een intern referentiekader. Een externe vergelijking van verschillende soorten organisaties met elkaar wordt niet aanbevolen. Dat valt in het hoofdstuk “how to lie with statistics”.

Hoe kan men de resultaten benutten?

  • Allereerst kunnen de resultaten in elk team besproken worden. Deze bespreking werkt als een “priming moment”, veiligheid wordt weer onder de aandacht gebracht, nu met zelf geproduceerde scores. Het gaat over henzelf. Het doel van de bespreking is het geven van de betekenis aan resultaten en vooral aan afwijkende, lage of hoge scores.
  • Een tweede manier is bespreking op beleidsniveau. De directie kan onderzoeken of ze op basis van de scores gericht actie wil ondernemen, zodat de condities voor een hogere veiligheid versterkt worden.
  • Daarnaast kunnen de resultaten een startpunt vormen voor een training leiding geven aan veilig gedrag.
  • Bovendien kunnen er meerdere metingen in de tijd worden gedaan. Een gebruikelijke manier is het doen van een nulmeting en na verloop van tijd (bijvoorbeeld een jaar) een vervolgmeting.
  • Een speciale vorm van regelmatig meten is om elk kwartaal of elke maand te meten. Hiervoor deelt men de groep van respondenten op in subgroepen (bijvoorbeeld 4 of 12) en vervolgens ontvangt elke subgroep op een ander moment een vragenlijst (bijvoorbeeld kwartaalsgewijs of maandelijks). Zo verkrijgt men vaker resultaten, terwijl iedereen toch maar een keer per jaar de vragen invult. De meetresultaten kunnen geïntegreerd worden in de kwartaalsgewijze/maandelijkse veiligheidsrapportage.