Meningen, gevoel en perceptie meten (deel 2)

In mijn eerste blog over het meten van adoptie en verandering heb ik verschillende tools beschreven die het mogelijk maken om feitelijke data en cijfers op te halen. Hiermee krijg je inzicht in het gebruik van een omgeving om deze vervolgens te interpreteren. Dergelijke inzichten helpen bij uitstek voor een project en of een klant om een goed beeld te krijgen van hoe de transitie of de adoptie van een oplossing zich ontwikkelt of heeft ontwikkeld.

Echter zijn er ook trajecten waarbij het meten van een verandering niet zo eenvoudig is. Soms zijn bepaalde adoptievraagstukken niet altijd op te halen via bijvoorbeeld standaard rapportages. Puur door het meten van hoe vaak een intranet, DMS of extranet is geopend, is moeilijk vast te stellen of de werkzaamheden sneller en of efficiënter zijn geworden. In zo’n geval kun je alleen concluderen of het aantal keer dat een omgeving bekeken wordt meer of minder is geworden.

Om dit soort vraagstukken te meten en te vertalen naar ‘hoe de verandering loopt’ moet je het op een andere manier benaderen dan bij het meten van feitelijke data en cijfers. Bij het vaststellen van wat gebruikers denken en ervaren is het belangrijk om een aanpak te kiezen, waarin je zo objectief mogelijk hun feedback meet. Om deze vervolgens in een uitkomst te verwerken die met overige gebruikers vergeleken kan worden.

Hoe meet je meningen, gevoel en (gebruikers)perceptie?

Het lastige van het meten van dergelijke abstracte waarden is dat de resultaten niet absoluut zijn, doordat een mening van een persoon kan veranderen. Dergelijke data is helaas – zover mij bekend – niet via een rapportagetool op te halen. Methoden die ik het afgelopen jaar heb gebruikt en waar ik een visie op gevormd heb, zijn:

1. Interviews
2. Informele gesprekken
3. Enquêtes

1. Interviews

Waarschijnlijk de meest effectieve manier om feedback te krijgen, maar ook een van de meest tijdsintensieve manier is het in gesprek gaan met de business. Door meerdere gesprekken te voeren met verschillende personen kun je op een zeer persoonlijke manier achterhalen welke knelpunten bestaan en horen welke verbeterpunten belangrijk zijn. Hoe meer verschillende personen je spreekt hoe meer feedback je krijgt. Hierbij kun je de volgende stelregels hanteren:

• Hoe meer van dezelfde punten je hoort, hoe waarschijnlijker het is dat dit vraagstuk breder binnen de gehele organisatie speelt
• Blijf scherp zodat je geen persoonlijke wens of knelpunt interpreteert als een organisatie breed probleem
• Neem de tijd voor de interviews. Het geeft niet als jullie soms van het onderwerp afdwalen. Dit kan zelfs leiden tot thema’s die onverwachts een hoop inzicht bieden.
• Voer gesprekken in alle lagen van de organisatie
  • Uitvoerend personeel
  • Ondersteunend personeel
  • Management
  • Stakeholders

Klantvoorbeeld:
Bij een klant zijn onlangs een aantal interviews georganiseerd waarmee we inzicht wilden krijgen in wat de gebruikers verstaan onder ‘samenwerken’, en welke knelpunten en verbeterpunten ze graag willen zien. Voordat de interviews gestart waren hebben wij al een verwachting uitgedacht over welke punten eruit zouden komen:

• Gezamenlijk aan een document werken
• Makkelijk documenten delen intern
• Makkelijk documenten delen extern
• Minder duplicaten genereren door te delen samen met links
• Versiebeheer

Echter kwam tijdens een off-topic onderwerp uit de gesprekken naar voren dat tablets geen toegang hebben tot de netwerkschijf. En dat gebruikers documenten naar zichzelf mailen om de documenten op de tablet beschikbaar te hebben voordat ze naar een klantmeeting gaan. Het gevolg is dat veel versies opgeslagen en beheerd worden vanuit mailboxen, omdat de gebruikers op deze manier de documenten op de pc en de tabel beschikbaar hebben. Deze gewoonte van werken bleek door een grote groep te worden gehanteerd, maar vrijwel door niemand als knelpunt of issue werd benoemd. Dit was in de tussentijd een ‘normale’ manier geworden.

Op basis van een off-topic onderwerp is wel een ‘huidige manier van samenwerken’ boven water gehaald, waarmee enorm veel duplicaten gegenereerd worden en waardoor documenten op een oneigenlijke locatie worden bewaard.

Een groot deel van de vervolg business case die nu is opgezet houdt rekening met het toegankelijk maken van documenten vanaf allerlei devices, waardoor de noodzaak om documenten in je mailbox te bewaren wordt weggenomen.

2. Informele gesprekken (Langs lopen / samen lunchen / mening vragen)

Door informeel in gesprek te gaan met verschillende personen kan je veel informatie vergaren vanaf de werkvloer. Hoewel veel van dergelijke informatie in vertrouwen wordt verteld, is het toch mogelijk om op basis van deze feedback wel een gevoel en richting te krijgen, waaraan extra aandacht gegeven kan worden.

Dit is tevens een aanpak die pas echt werkt als je de mensen vaker ziet en spreekt. Je moet eerst tijd investeren in de relatie, voordat je hier echt baat van kunt hebben. Ben je maar een beperkte periode inzetbaar bij deze organisatie of afdeling, dan is dit waarschijnlijk een minder geschikte methode.

3. Enquêtes

Een tool die ikzelf onlangs voor het eerst heb gebruikt: het opzetten van een enquête. De eerste keer heb ik gebruik gemaakt van een externe tool, namelijk SurveyMonkey.

Door het aanmaken van een account krijg je veel functionaliteiten, waarmee je snel en simpel een enquête kunt maken zonder veel technische kennis vooraf. Wanneer de klant een Office 365 omgeving heeft kun je natuurlijk ook gebruik maken van Microsoft Forms.

Ongeacht de tooling die je gebruikt, maakt een enquête het mogelijk om in één keer een groot deel van de organisatie te bevragen. Het inzetten van enquêtes heeft echter wel een aantal voor- en nadelen.

Voordelen

• Met een vragenlijst is het mogelijk om een grote groep mensen in één keer te bevragen.
• De antwoorden kunnen niet worden beïnvloed, waardoor de objectiviteit gewaarborgd wordt.
• De manier van vragen is voor iedereen gelijk, waardoor interpretatieverschillen tot het minimum worden gebracht.

Nadelen

• De response kan laag zijn.
• De respondent kan zijn/haar verhaal niet vrij vertellen (men moet antwoorden binnen de parameters van de enquête, tenzij er een open tekstveld is).
• Respondenten zijn geneigd sociaal wenselijk te antwoorden.
• Er is geen mogelijkheid tot doorvragen.
• Bij veel vragen kan een enquête te lang worden, waardoor respondenten kunnen afhaken.
• Denk goed na over welke vragen je wilt stellen en bedenken in welk format je de feedback terug wilt krijgen.

Let op: een enquête is niet per definitie een besparing in tijd ten opzichte van het organiseren van interviews. Het maken van een goede enquête kost namelijk tijd, heel veel tijd. Tevens dien je rekening te houden met het verwerken van de feedback. Hoe meer feedback, hoe meer je moet verwerken. Maar eenmaal goed opgezet betaalt het zich enorm terug, doordat de enquête snel en veelvoudig inzetbaar is.

Klantvoorbeeld:
Bij het uitrollen van een nieuwe digitale werkplek die meerdere vestigingen door Nederland behelst, hebben we een enquête samengesteld om de mening en gereedheid van de gebruikers te meten. Deze enquête werd als laatste onderdeel tijdens de training ingevuld.

Na de livegang van een vestiging had het projectteam nog een nazorgfase met verschillende activiteiten en ondersteuning. Bij de afsluiting van deze nazorgfase werd de vestiging verzocht om nogmaals, vier weken na de trainingen, dezelfde enquête in te vullen. De voordelen van een dergelijke aanpak waren:

• Na de initiële (tijds)investering kon de enquête snel en eenvoudig op verschillende vestigingen ingezet worden.
• Het was mogelijk om per uitrol (per vestiging) twee meetmomenten te maken. Deze konden we vervolgens naast elkaar leggen om te zien hoe de resultaten zich hadden ontwikkeld.
  • Meer positieve of negatieve feedback na livegang en nazorg
  • Hier kon het projectteam op acteren en bijsturen
  • Met deze data kon de gehele aanpak gefinetuned worden

Feedback vertalen naar iets meetbaars

Eenmaal alle feedback verzameld, is het zaak om deze data op een bepaalde manier te structureren waarmee een antwoord gegeven kan worden op vragen als “Hoe is de verandering ontvangen?” en “Hoe wordt het systeem nu echt gebruikt?”

Ongeacht de keuze van hoe je feedback ophaalt is het van belang om de data die je wilt vergaren op een dusdanige manier te structureren, zodat het mogelijk is om de antwoorden van de verschillende personen met elkaar te kunnen vergelijken en meten. Sterker nog, ik vind dit een vereiste. Als je dit niet doet eindig je met een grote hoeveelheid data die je niet met elkaar kunt vergelijken, en dus ook geen conclusies kunt trekken wat ‘men’ vindt of denkt.

Om de vertaling te maken heb ik gekozen om de feedback te verwerken op basis van het ‘Moeten, Willen en Kunnen’-model. Met dit model wordt getracht de beeldvorming van gebruikers ten opzichte van de verandering in drie onderdelen op te delen.

Door gelijksoortige vragen onder te verdelen in deze drie categorieën wordt het mogelijk om de antwoorden van vragen van dezelfde categorie met elkaar te vergelijken en inzichtelijk te maken. Hierdoor kun je achterhalen welke categorieën sterk positief zijn en welke niet, op welk gebied(en) de verandering niet goed loopt en of het mogelijk is om gericht daarop een actie te adviseren of uit te voeren.

De onderstaande tabel toont hoe het ‘Moeten, Willen, Kunnen’-model kan helpen inzoomen op welk vlak(en) de knelpunten liggen en met de interpretatie hiervan.

Vragen meetbaar maken

Om de input van verschillende interviews, gesprekken en enquêtes met elkaar te kunnen vergelijken is het noodzakelijk om de vragen een score te geven. Door iedere vraag een waarde te geven kun je per vlak (moeten, willen of kunnen) een totaalscore bepalen, waardoor de input van verschillende personen vergelijkbaar wordt.

Een mogelijke uitwerking is als volgt:

Door iedere vraag een score te geven – bijvoorbeeld 1, 2 of 3 punten – kun je per vlak een totaalscore bepalen.

De totaalscore kun je nu opnemen in een tabel met een schaal van tussen de 5 en 15 punten.

• Het minimale aantal punten per vlak is 5 punten
• Het maximale aantal punten per vlak is 15 punten

Hierbij is het nu mogelijk om of via cijfers of visueel de feedback te bekijken. Het voordeel van deze methode, vind ik zelf, is dat het ook toepasbaar is om resultaten van verschillend groepen te vergelijken. Dit kun je eenvoudig uitvoeren door de gemiddelde totaalscores van de groepen te nemen en met elkaar te vergelijken.

Bevindingen bij de bovenstaande aanpak:

• Ieder vlak moet precies evenveel vragen bevatten
• De puntenscore moeten identiek zijn per vlak
• Iedere vraag moet hetzelfde aantal punten krijgen [1]
• Punten geven werkt beter bij vragen met gestandaardiseerde antwoorden dan met open antwoorden.
  • Enquêtes zijn daarom veel geschikter hiervoor dan interviews
  • Bij een interview dien je zelf de scorelijst bij te houden om deze later te kunnen verwerken
• Bepaal van tevoren goed vanaf welke punt de adoptie voldoende is
• Toets de eerste bevindingen met een aantal mensen om vast te stellen of de score aansluit of dat de acceptabele adoptiepunt verhoogd of verlaagd moet worden

[1] Zorg dat iedere vraag ongeveer even belangrijk is. Indien een vraag in de praktijk veel meer impact heeft dan de overige vragen, dan dien je dit ook in je puntenscore op te nemen. Dit is om te voorkomen dat je een vertekend beeld gaat creëren. Bijvoorbeeld: vier vragen zijn positief beantwoord, maar de belangrijkste vraag heel negatief. Als de vragen dezelfde punten reeks aanbieden dan kan dit een te rooskleurig beeld scheppen.

Conclusies en interpretatie

Net als bij mijn eerste blog blijft het noodzakelijk om de cijfers goed te interpreteren. Dit geldt vooral bij het (proberen) concretiseren van het gevoel.

Let overigens goed op bij het trekken van conclusies op basis van gemiddelden. Er kunnen mogelijke uitschieters in de feedback zijn, die de waarde van het gemiddelde zowel positief als negatief kunnen beïnvloeden. Bekijk daarom altijd hoe het gemiddelde cijfer tot stand is gekomen en waar eventuele uitschieters zijn.

Door het analyseren van de gegevens kan een goed beeld gevormd worden van de scores van de individuele vragen. Dit inzicht zal helpen bij het vaststellen van de mogelijke redenen waarom één (of meerdere) vlak(en) niet goed scoren. Wanneer je inzicht hebt verkregen over de adoptie en of de verandering van je traject, dan kan deze data samen met het ‘Moeten, Willen, Kunnen’-model je bij uitstek helpen om een goed advies en een vervolgstrategie te vormen omtrent adoptie en verandering.