Zonder een goede steekproef geen goed onderzoek!

In de wereld van onderzoek is het trekken van conclusies over hele populaties een uitdaging. Dit artikel richt zich op het belang van steekproeven en de kunst van het vormen van een representatieve steekproef. We verkennen verschillende steekproefmethoden en onthullen de geheimen achter het bepalen van de juiste steekproefgrootte. Ben je er klaar voor om de sleutel tot datagedreven beslissingen nemen te ontdekken?

Het belang van een goede steekproef

Onderzoek is de poort naar inzicht, maar de hele populatie onderzoeken is vaak onmogelijk. Hier komt de steekproef om de hoek kijken - een deel van de populatie dat wordt geanalyseerd om generaliseerbare conclusies te trekken. De crux ligt in een representatieve steekproef, waardoor de resultaten de gehele populatie kunnen weerspiegelen.

In acht stappen naar een representatieve steekproef

Het vormen van een representatieve steekproef vereist een strategische aanpak. Het is als het samenstellen van een puzzel; elke stap is een cruciaal stukje om een duidelijk beeld te krijgen. Wanneer je de volgende stappen volgt, heb je de basis voor goed onderzoek gelegd:

1. Definieer de populatie: definieer de essentiële kenmerken voor je onderzoek

Neem de tijd om de doelgroep van je onderzoek te definiëren. Welke kenmerken zijn cruciaal? Wat maakt deze populatie uniek? Door een gedegen definitie creëer je de basis voor een effectieve steekproef.

2. Kies een geschikte methode: onderzoek verschillende steekproefmethoden

Verken de wereld van steekproefmethoden. Begrijp hoe elke methode werkt en welke het beste past bij je onderzoeksvraag. Overweeg aselecte toewijzing, dit betekent het willekeurig toewijzen van deelnemers aan verschillende groepen of condities, waardoor de kans op vooroordelen in de resultaten wordt geminimaliseerd. Het streven naar onbevooroordeelde resultaten is cruciaal voor de betrouwbaarheid van je bevindingen.

3. Representatieve kenmerken: zorg voor evenredige vertegenwoordiging van belangrijke kenmerken

Denk aan je steekproef als een spiegel van de gehele populatie. Zorg ervoor dat belangrijke kenmerken in de steekproef evenredig vertegenwoordigd zijn. Dit voorkomt scheefgetrokken conclusies en versterkt de algemene toepasbaarheid van je resultaten. Bijvoorbeeld, stel dat je een onderzoek uitvoert naar de tevredenheid van inwoners over de afhandeling van hun Wmo-aanvraag. Verschillende inwoners kunnen Wmo-aanvragen indienen voor diverse vormen van ondersteuning, zoals hulp bij het huishouden, aanpassingen in de woning, vervoersvoorzieningen, of andere sociale voorzieningen. Het type Wmo-aanvraag kan een cruciaal kenmerk zijn, omdat de behoeften en tevredenheid van inwoners sterk kunnen variëren afhankelijk van het soort ondersteuning dat zij nodig hebben.

Door te kijken naar de tevredenheid per specifiek type Wmo-aanvraag kun je inzicht krijgen in welke gebieden van de dienstverlening goed functioneren en waar eventuele knelpunten of verbetermogelijkheden liggen. Het kan ook helpen bij het aanpassen van de dienstverlening aan de specifieke behoeften van verschillende groepen inwoners.

Als een belangrijk bepalende kenmerk leeftijd is, zou een representatieve steekproef evenredig moeten zijn aan de verschillende leeftijdsgroepen in de gehele stad. Dit vermijdt het risico dat de voorkeuren van een specifieke leeftijdsgroep worden overdreven of genegeerd, wat de geldigheid van je bevindingen in twijfel zou kunnen trekken.

4. Bewustzijn van bias: identificeer en verminder vertekeningen zoveel mogelijk

Wees je bewust van vooroordelen of vooringenomenheid die je onderzoek kunnen beïnvloeden. Identificeer mogelijke bronnen van ‘bias’ zoals dit wordt genoemd, zoals zelfselectie of nonrespons, en ontwikkel strategieën om deze te elimineren. Een objectieve benadering is essentieel voor betrouwbare resultaten. Bias kan optreden wanneer de steekproef niet volledig willekeurig is of wanneer er systematische fouten in het onderzoeksproces sluipen. Het elimineren van bias is misschien niet altijd mogelijk, maar het beperken ervan is essentieel voor betrouwbare resultaten. Je doet dit door eerst de mogelijke bronnen van bias te identificeren, zoals zelfselectie waar deelnemers zichzelf vrijwillig aanmelden, of nonrespons waar bepaalde groepen niet reageren op je oproep om mee te doen aan het onderzoek. Andere vormen van bias kunnen voortkomen uit de manier waarop vragen worden gesteld, de omgeving waarin het onderzoek plaatsvindt, of de kenmerken van de onderzoeker. Vervolgens ontwikkel je strategieën om de bias zoveel mogelijk te elimineren. Bij zelfselectie kun je bijvoorbeeld aanvullende outreach-inspanningen overwegen om een breder scala van deelnemers te bereiken. Voor nonrespons kunnen follow-upmaatregelen worden genomen om de betrokkenheid te vergroten. Het gebruik van gestandaardiseerde en neutraal geformuleerde vragen kan ook helpen om onbewuste beïnvloeding van de onderzoeker te minimaliseren. Een objectieve benadering is van het grootste belang. Zorg ervoor dat de onderzoekers zich bewust zijn van hun eigen mogelijke vooroordelen en neigingen. Dubbelblindonderzoek, waarbij zowel de deelnemers als de onderzoekers niet op de hoogte zijn het doel van het onderzoek of andere informatie over het onderzoek, kan helpen bij het verminderen van onderzoeksgerelateerde bias.

5. Aselecte toewijzing: gebruik idealiter willekeurige toewijzing voor onbevooroordeelde resultaten

Probeer een willekeurige toewijzing te handhaven bij het selecteren van deelnemers. Dit minimaliseert de kans op vertekening en verhoogt de betrouwbaarheid van je bevindingen. Aselecte toewijzing is de sleutel tot representativiteit.

6. Voldoende steekproefgrootte: de grootte maakt het verschil

Bedenk dat grootte ertoe doet. Het ‘verschil’ dat de grootte van de steekproef hier maakt (het aantal deelnemers van het onderzoek), heeft betrekking op de nauwkeurigheid, representativiteit en geldigheid van je onderzoeksresultaten. Een grotere steekproef vergroot de precisie van je resultaten en vermindert de kans op toevallige variaties. Bij complexere onderzoeken, waarbij meerdere variabelen betrokken zijn of waar subgroepen worden geanalyseerd, is een grotere steekproef vaak vereist. Als je streeft naar een hoge mate van nauwkeurigheid in je resultaten, is een voldoende grote steekproef essentieel. Het verschil dat de grootte maakt, kan worden beschouwd als het verschil tussen een geslaagde en niet-geslaagde steekproef. Een onvoldoende steekproefgrootte kan leiden tot vertekende resultaten, gebrek aan representativiteit en beperkte mogelijkheden om conclusies te generaliseren naar de gehele populatie. Een voldoende grote steekproef vergroot de kans op robuuste, betrouwbare bevindingen die een bredere relevantie hebben.

7. Documenteer de procedure: transparantie vergroot de geloofwaardigheid

Houd een gedetailleerd verslag bij van hoe je de steekproef hebt afgenomen. Documenteer de criteria die je hebt gebruikt, eventuele uitval en andere relevante informatie. Transparantie vergroot de geloofwaardigheid van je onderzoek.

8. Bewust van beperkingen: analyseer en rapporteer eventuele vertekeningen

Geen enkele steekproef is perfect. Analyseer je bevindingen kritisch en rapporteer eventuele beperkingen. Wees open over de uitdagingen die je bent tegengekomen en hoe deze mogelijk de resultaten hebben beïnvloed.

Soorten steekproeven: een duik in de methodologie

Er zijn twee soorten steekproeven: de aselecte en selecte steekproef. Bij aselecte steekproef worden de respondenten willekeurig toegewezen; iedereen heeft evenveel kans om in de steekproef te komen. Bij selecte steekproeven worden de respondenten bewust geselecteerd, vaak op basis van bepaalde eigenschappen van een persoon. Op die manier wordt ervoor gezorgd dat de steekproef genoeg representatief is voor de betreffende populatie. Omdat hier bewust populatieleden wel of niet worden toegevoegd aan een steekproef is de kans op bias groot. De voorkeur gaat uit naar een aselecte steekproef, vanwege hun potentieel lagere mate van menselijke beïnvloeding en minder kans op bias. Maar de keuze tussen aselect en select toewijzing hangt af van de aard van het onderzoek en de onderzoeksvraag. Er zijn situaties waarin selecte steekproeven relevanter en passender kunnen zijn

• Diepgaand begrip:
  Bij onderzoeken waar diepgaand inzicht in specifieke groepen of fenomenen nodig is, kan een selecte steekproef geschikter zijn. Dit is vaak het geval bij kwalitatieve onderzoeken.
• Beperkte middelen:
  In situaties waarin tijd en middelen beperkt zijn, kan een selecte steekproef efficiënter zijn. Het stelt onderzoekers in staat zich te concentreren op specifieke doelgroepen zonder de uitgebreide dataverzameling van aselecte steekproeven.
• Specifieke doelstellingen:
  Als het onderzoek zich richt op specifieke kenmerken of eigenschappen van de populatie, kan een doelgerichte selecte steekproef relevant zijn.

Er zijn verschillende manieren om een steekproef aselect toe te wijzen:

Bij het selecteren van een aselecte steekproefmethode is het cruciaal om je onderzoeksdoelstellingen en de aard van je populatie in overweging te nemen. Voor homogene populaties met weinig variatie kan een enkelvoudige aselecte steekproef de voorkeur hebben, waarbij elk individu een gelijke kans krijgt. Bij complexere situaties, zoals vergelijking van subgroepen, kan een gestratificeerde steekproef meer nauwkeurige resultaten opleveren door de populatie in homogene subgroepen te verdelen. Als geografische spreiding een rol speelt, kan een clustersteekproef praktisch zijn. Het cruciale aspect is om de methode te kiezen die het beste past bij de specifieke kenmerken en doelstellingen van je onderzoek, waarbij zorgvuldige afweging en planning de sleutel zijn tot een succesvolle aselecte steekproef.

De juiste steekproefgrootte bepalen: een wetenschap op zichzelf

Wanneer je de juiste steekproefmethode hebt gekozen is het tijd voor de volgende stap; het bepalen van de juiste steekproefgrootte met deze ingrediënten:

• Het betrouwbaarheidsniveau:
  Het betrouwbaarheidsniveau geeft aan hoe zeker je wilt zijn dat de antwoorden van het onderzoek onder de steekproef ook zouden overeenkomen met de antwoorden van de gehele doelgroep waarover je uitspraken doet. Als je het onderzoek zou herhalen, zou je dezelfde antwoorden moeten krijgen. Een betrouwbaarheidsniveau van 95% betekent dat als je hetzelfde onderzoek herhaalt met meerdere steekproeven, je in 95% van de gevallen verwacht dat de verkregen resultaten binnen hetzelfde betrouwbaarheidsinterval vallen. Het kiezen van een niveau (meestal 90%, 95%, of 99%) is afhankelijk van praktische overwegingen, gevoeligheid van besluitvorming, verwachte variabiliteit in de populatie, en het vertrouwen in de resultaten. Wanneer je kiest voor een hoog betrouwbaarheidsniveau is een grotere steekproefomvang nodig, wat resulteert in meer tijd en kosten voor gegevensinzameling en analyse. Aan de andere kant levert het meer zekerheid en een verhoogde nauwkeurigheid op over de geldigheid van de conclusies. Vooral in belangrijke besluitvormingssituaties kan het verstandig zijn om te kiezen voor een hoog betrouwbaarheidsniveau van minimaal 95%.
• De foutmarge:
  De foutmarge bepaalt het maximale verschil dat je bereid bent te accepteren tussen hoe een steekproef scoort in het onderzoek en hoe de werkelijke populatiewaarde zal scoren. Een kleinere foutmarge vereist over het algemeen een grotere steekproefgrootte. Wanneer je kiest voor een betrouwbaarheidsniveau van 95%, betekent dit dat je 95% zekerheid hebt dat de resultaten binnen het aangegeven interval vallen. De overige 5% wordt beschouwd als het risico van het maken van een fout (alfa-fout), wat aanvaardbaar is in veel onderzoekssituaties.
• Variabiliteit in de populatie:
  Als de populatievariabiliteit hoog is, heb je over het algemeen een grotere steekproefgrootte nodig. Variabiliteit wordt vaak uitgedrukt in de standaarddeviatie, wat de spreiding van gegevens aangeeft.
• Verwachte populatieproportie:
  Dit is het geschatte percentage van de populatie dat een bepaalde eigenschap heeft. Het beïnvloedt de steekproefgrootte, waarbij hogere verwachte proporties een grotere steekproef vereisen.
• De populatieomvang:
  Wanneer de populatie klein is, zal een aanzienlijk deel van de populatie meegenomen moeten worden in de steekproef. Immers,  als de populatie klein is, is er minder variabiliteit tussen de individuen en is het dus belangrijk om een groot deel van de populatie te bestrijken om een representatieve steekproef te waarborgen.

Er zijn verschillende formules om de grootte van een benodigde steekproef te berekenen. De juiste formule is afhankelijk van de specifieke onderzoeksvraag en het type analyse dat je uitvoert. Als je bijvoorbeeld het gemiddelde van een populatie wilt schatten, gebruik je de formule voor steekproefgrootte voor het populatiegemiddelde. Als je geïnteresseerd bent in een verschil tussen twee populatiegemiddelden, gebruik je de formule voor het verschil in populatiegemiddelden, enzovoort. De keuze hangt ook af van de beschikbaarheid van informatie over de populatieparameters zoals standaarddeviatie en proportie. Voor uitgebreide informatie over de juiste formules per soort steekproef, zie Banning, Camstra & Knottnerus (2010).

Zelf aan de slag

Je kan ook zelf aan de slag met een van de volgende algemene formules (Bron: Myrelab).

De formule voor de steekproefomvang wanneer de populatie onbekend is

n0 = (Z^2 * p * (1-p)) / E^2

n0      De steekproefomvang
Z        De z-score (bijvoorbeeld 1,96 voor een betrouwbaarheidsniveau van 95%*)
P        De verwachte populatieproportie (bijvoorbeeld 0,5 voor 50%)
(1-p)   De complementaire populatieproportie,
E        De gewenste foutmarge (bijvoorbeeld 0,05 voor 5%)

* De z-score is een statistische term en er is een apart artikel nodig om dit volledig uit te leggen. De meeste eigenschappen van mensen komen voor in een normaalverdeling. De meeste mensen scoren op of rond het gemiddelde, en daarnaast zijn er uitschieters naar links en rechts van het gemiddelde. De afwijkingen van het gemiddelde worden in de statistiek in z-scores gegoten. Als je ongeveer 95% van de metingen wilt vangen, moet je een bepaalde afstand vanaf het midden nemen. Deze afstand wordt uitgedrukt in de z-score, en die is in dit geval is 1,96.

In deze formule wordt de populatiegrootte niet meegenomen. Deze formule is alleen van toepassing wanneer de populatiegrootte groot is. En niet geschikt als de populatiegrootte klein is. Wanneer de populatie kleiner is dan 30 is de kans groter dat er geen sprake is van een normale verdeling van gemeten eigenschap(pen) in de steekproef. De verdeling van de steekproefgemiddelden kan dan meer variabel zijn, waardoor de nauwkeurigheid van de schattingen kan afnemen. In dergelijke gevallen is het belangrijk om de populatiegrootte mee te nemen in de berekeningen voor de steekproefgrootte. Wanneer de populatie groter is dan 30 wordt er in de statistiek aangenomen dat de verdeling, ook al is deze in eerste instantie niet normaal is, de neiging heeft te verschuiven naar een normale verdeling wanneer de steekproefgrootte toeneemt.

Stel je wilt onderzoek doen naar het aantal mensen uit een gemeente dat zal stemmen op een specifieke partij, waarbij de verwachting is dat 40% zal stemmen op die partij, dan ziet de formule voor de steekproefomvang er als volgt uit:

Z= 1,96
P= 0,40 (verwacht percentage dat op de specifieke partij zal stemmen, 40%)
(1-p) = 0,60
E= 0,05

Dan is de formule als volgt: n0=1,96^2 * 0,40 * (0,60)) / 0,05^2  

= 3,841 X 0,24 / 0,0025
= 0,9224/0,0025
= 368,96=369

Om de hypothese dat 40% van de mensen op een bepaalde partij gaat stemmen te toetsen, zul je dus (minimaal) 369 mensen moeten bevragen in de steekproef om deze representatief te maken.”

De formule voor de steekproef wanneer de populatie bekend is

n= n0/ 1+ (n0-1/N)

Om het voorbeeld van eerder (aantal mensen uit een gemeente dat zal stemmen op een specifieke partij) uit te werken aan de hand van de formule voor de steekproefomvang met een bekende én kleine populatie, gaan we als volgt te werk. We kiezen voor één van de kleinste gemeenten van Nederland: Persingen met 90 inwoners. N = de populatiegrootte=90.

Dan is de formule als volgt: n= 369/ 1+(369-1)/90)

= 369/ 1+( 368/90)
= 369/ 1+ 4,089
= 369/5,089
= 72,51

73 van de 90 inwoners moeten in dit geval worden meegenomen in de steekproef om de resultaten betrouwbaar te kunnen generaliseren naar de populatie.

En om het nog makkelijker te maken zijn er op verschillende sites berekentools voor de steekproefgrootte te vinden, zoals:

• Steekproefcalculator:
  berekening op basis van populatieomvang, betrouwbaarheidsniveau, foutmarge en mate van spreiding.
• Social science statistiscs:
  berekent de steekproefgrootte op basis van het betrouwbaarheidsniveau, foutmarge, mate van spreiding, én als er sprake is van een kleine populatie, ook de populatiegrootte.

Conclusie

In dit artikel hebben we de essentie van steekproeven besproken, de kunst van het vormen van een representatieve steekproef verkend en de wetenschap achter het bepalen van de juiste steekproefgrootte onthuld. Het nemen van beslissingen op basis van data vereist niet alleen kennis, maar ook een doordachte aanpak. Efficiënt onderzoek is hierbij essentieel, omdat ondanks de beschikbaarheid van enorme datasets, specifiek onderzoek vaak nodig is om cruciale vragen te beantwoorden. Van Dam Datapartners voert veelal aanvullend onderzoek uit voor opdrachtgevers om deze vragen te beantwoorden. We delen kennis graag, zodat elke organisatie datagedreven kan werken. Het volgende deel van dit artikel gaat dieper in op het ontwikkelen van een effectieve vragenlijst voor onderzoek.