Onderzoeks­verantwoording

In deze publicatie is hoofzakelijk gebruik gemaakt van data uit de Veiligheidsmonitor 2021. Hieronder wordt de opzet en uitvoering van dit onderzoek, uitgevoerd in opdracht van het ministerie van J&V en het CBS, toegelicht. Aanvullend zijn data gebruikt uit het CBS-onderzoek ‘Sociale samenhang en welzijn’ (voor trends en voor een vergelijking van het vertrouwen in de politie en het vertrouwen in andere organisaties) en de ‘European Social Survey (ESS)’ (voor Europese vergelijking). Hierover wordt aan het eind van deze onderzoeksverantwoording gerapporteerd.

Veiligheidsmonitor

De aspecten van opzet en uitvoering die aan de orde komen, zijn:

• Veldwerk;
• Steekproef;
• Respons;
• Vragenlijst;
• Weging;
• Betrouwbaarheidsmarges;
• Methodebreuken.

Voor geïnteresseerden zijn separate notities over het veldwerk, het steekproefontwerp en de weging van de Veiligheidsmonitor 2021, en de methodebreukanalyse op aanvraag beschikbaar.

Veldwerk

Het onderzoeksontwerp van de Veiligheidsmonitor heeft als uitgangspunt dat minimaal 65 000 personen aan het onderzoek meedoen. Dit aantal is vereist om ook op laagregionaal niveau betrouwbare uitspraken te kunnen doen. Het streven is om voor elk politiedistrict minimaal 750 responsen te behalen en voor elk basisteam van politie en voor elke zeventig-duizend-plus-gemeente telkens 300 responsen. Het veldwerk voor dit ‘vaste’ deel gebeurt gezamenlijk door het CBS en onderzoeksbureau I&O Research.

Daarnaast kunnen lokale partijen zoals gemeenten, samenwerkingsverbanden van gemeenten, of politie-eenheden de steekproef voor hun eigen gebied laten ophogen (dit heet ‘lokale oversampling’) om op nog lager regionaal niveau (denk bijvoorbeeld aan wijken of buurten) betrouwbare onderzoeksresultaten te verkrijgen. Deze lokale oversampling gebeurt door I&O Research.

Het veldwerk van zowel het CBS als I&O Research startte in 2021 vanaf 11 augustus en eindigde op 31 oktober. Bij de uitvoering ervan is uitsluitend gebruik gemaakt van internetwaarneming. De steekproefpersonen ontvingen bij aanvang van de veldwerkperiode een aanschrijfbrief met daarin het verzoek om via internet deel te nemen aan het onderzoek, en de bijbehorende inloggegevens. Drie weken na de aanschrijfbrief is aan steekproefpersonen een eerste rappelbrief verstuurd met daarin opnieuw het verzoek om via internet deel te nemen aan het onderzoek. Deze brief is alleen verstuurd aan steekproefpersonen waarvan geen respons is ontvangen. Drie weken daarna is een tweede rappelbrief verstuurd aan de steekproefpersonen die op dat moment de internetvragenlijst nog niet hebben ingevuld. Om de respons te verhogen is er volgens CBS-beleid gebruik gemaakt van een incentive (kans om bij deelname een IPad of cadeaubonnen te winnen). De steekproef is uitgezet in drie porties. Dit in verband met risicospreiding bijvoorbeeld door problemen met de postbezorging en/of servers die niet goed werken.

Respons

In 2021 werden bijna 550 duizend personen voor deelname aan de Veiligheidsmonitor benaderd. In totaal hebben ruim 170 duizend personen meegedaan, waarvan ruim 77 duizend in het vaste deel en 96 duizend in de lokale oversampling. Het landelijke responspercentage bedroeg 31,7 procent. De responspercentages lopen uiteen van 26,7% in de regionale eenheid Amsterdam tot 36,0% in Oost-Brabant.

	Uitzet	Respons
			%
Nederland totaal	546 773	173 473	31,7
Regionale eenheid
Noord-Nederland	42 287	13 950	33,0
Oost-Nederland	59 382	20 755	35,0
Midden-Nederland	70 217	21 088	30,0
Noord-Holland	61 181	19 064	31,2
Amsterdam	25 661	6 859	26,7
Den Haag	100 397	29 937	29,8
Rotterdam	54 245	16 099	29,7
Zeeland – West-Brabant	33 602	11 156	33,2
Oost-Brabant	46 640	16 804	36,0
Limburg	53 161	17 761	33,4

Van alle 43 politiedistricten is de target van 750 responsen gehaald. Ook alle 167 basisteams van de politie en alle 52 zeventig-duizend-plus-gemeenten hebben de target van 300 responsen gehaald.

Vragenlijst

Voor de Veiligheidsmonitor is een gestandaardiseerde vragenlijst ontwikkeld. De vragenlijst is modulair opgebouwd en bevat de volgende vraagblokken:

1. Leefbaarheid woonbuurt
2. Beleving overlast in de buurt
3. Veiligheidsbeleving
4. Slachtofferschap van criminaliteit (zowel traditioneel als online) en aangiftegedrag
5. Tevredenheid laatste politiecontact
6. Oordeel functioneren politie in de buurt
7. Oordeel functioneren politie algemeen
8. Oordeel functioneren gemeente
9. Preventie
10. Respectloos gedrag
11. Achtergrondkenmerken.

Voor deelnemers aan de Veiligheidsmonitor die gebruik maken van lokale oversampling is aan het eind van de vragenlijst enige vrij ruimte beschikbaar voor eigen vragen passend binnen de thematiek van de Veiligheidsmonitor.

De data in deze publicatie zijn afkomstig uit de vraagblokken 5 tot en met 8 (voor de thema’s contact met politie, tevredenheid functioneren politie in buurt, tevredenheid gemeentelijke handhavers in buurt, tevredenheid politie in algemeen, vertrouwen in politie) en vraagblok 11 (voor persoonskenmerken).

Aanpassingen in onderzoeksopzet en in vragenlijst 2021

Op verzoek van en in overleg met de opdrachtgevers en partners van de Veiligheidsmonitor is de onderzoeksopzet van de Veiligheidsmonitor 2021 aangepast: voortaan worden de enquêtes van de Veiligheidsmonitor alleen nog via internet afgenomen en – om kosten- en milieuoverwegingen – niet meer via papieren vragenlijsten. Bovendien wordt er niet meer telefonisch gerappelleerd. Deze andere manier van enquêteren leidt tot een trendbreuk: de uitkomsten van de Veiligheidsmonitor 2021 zullen niet zonder meer vergelijkbaar zijn met die van de Veiligheidsmonitor 2019 en eerdere edities. Deze trendbreuk veroorzaakt door aanpassingen in de onderzoeksopzet maakt dit een geschikt moment om ook aanpassingen in de vragenlijst van de Veiligheidsmonitor door te voeren. Vragenlijstaanpassingen leiden immers ook tot trendbreuken. Deze aanpassingen zijn nodig om de Veiligheidsmonitor goed aan te laten sluiten op actuele ontwikkelingen op het gebied van veiligheid en criminaliteit (denk bijvoorbeeld aan het snel veranderende terrein van online criminaliteit). Op de CBS-site is een document beschikbaar met een overzicht van de verschillen tussen de vragenlijst van de Veiligheidsmonitor 2021 en die van eerdere edities.

Om de trendbreuk zo goed mogelijk te repareren heeft in 2021 een zogeheten ‘dubbeldraai’ plaatsgevonden. Parallel aan de ‘nieuwe’ Veiligheidsmonitor werd een beperkte Veiligheidsmonitor volgens de ‘oude’ opzet uitgevoerd, dus zonder aanpassingen in de onderzoeksopzet en de vraagstellingen. Door de uitkomsten van beide onderzoeken te vergelijken konden omrekenfactoren worden berekend waardoor, ten minste voor de belangrijkste indicatoren, de uitkomsten van de Veiligheidsmonitor 2021 zoveel mogelijk vergelijkbaar zijn met die van eerdere jaren.

Weging

De weging van de VM 2021 is grotendeels vergelijkbaar met die van de vorige jaren en houdt rekening met geografische, demografische en sociaaleconomische kenmerken. De weging is aangepast aan de flexibele oversampling.

Betrouwbaarheidsmarges

Bij elk gegeven uit de VM is de betrouwbaarheidsmarge bepaald, waarbij rekening is gehouden met de steekproefomvang en het onderzoeksdesign. De marges zijn zowel beschikbaar bij de uitkomsten die op StatLine (CBS databank) worden geplaatst. In de elektronische versie van deze publicatie zijn verwijzingen naar StatLine opgenomen, waarmee het mogelijk is om meer specifieke tabelinformatie in te zien. Bij elk getoond percentage hoort een betrouwbaarheidsmarge die, behalve van het gekozen betrouwbaarheids­niveau en het onderzoeksdesign, vooral afhankelijk is van de spreiding in de antwoorden en van het aantal ondervraagde personen. Meestal wordt een betrouwbaarheidsniveau van 95 procent gekozen. Dit betekent dat de werkelijke waarde in 95 van de 100 steekproeven tussen de grenzen zal liggen van de marges behorende bij de gevonden waarde en de steekproefomvang.

Bij de Veiligheidsmonitor is in het algemeen sprake van kleine betrouwbaarheidsmarges. Dit komt door het grote aantal landelijke waarnemingen in de steekproef, aangevuld met de waarnemingen op basis van lokale oversampling. In 2021 gaat het in totaal om ruim 170 duizend personen die aan het onderzoek hebben meegedaan. Puntschattingen die op een dergelijke steekproefomvang zijn gebaseerd hebben een marge van +/– 0,24 procentpunt bij een schatting van 50 procent. Dit betekent dat met een waarschijnlijkheid van 95 procent de werkelijke waarde van deze schatting ligt tussen de 49,76 procent en de 50,24 procent. Op het niveau van de regionale eenheden en districten zijn de marges uiteraard groter, vanwege het lagere aantal waarnemingen dat hiervoor beschikbaar is.

Methodebreuken

De eerdergenoemde wijzigingen in de onderzoeksopzet en de vragenlijst van de Veiligheidsmonitor 2021 hebben tot gevolg dat er systematische effecten optreden in de uitkomsten. Dit fenomeen wordt aangeduid met de term methodebreuken. Om de continuïteit van de belangrijkste variabelen zo goed mogelijk te waarborgen, is in 2021 de Veiligheidsmonitor met het oude design en de oude vragenlijst van 2019 en eerder (met een steekproefomvang van circa 8 000 personen) parallel uitgevoerd aan de nieuwe, herontworpen Veiligheidsmonitor 2021.noot1

Door de parallelle uitvoering van de twee ontwerpen is het mogelijk om de verschillen te kwantificeren, en daarmee correcties toe te passen op de oude VM-cijfers om ze naar het nieuwe VM-niveau te brengen. Op die manier worden uitkomsten van de oude VM-edities vergelijkbaar met die van de nieuwe VM. Deze correcties van de methodebreuken zijn in dit rapport toegepast op trendcijfers voor de periode 2012–2021. Aangezien de cijfers voor de jaren 2012 tot en met 2019 gecorrigeerd zijn, komen deze niet overeen met eerder gepubliceerde cijfers voor deze jaren.

In onderstaande tabellen zijn de omrekenfactoren opgenomen om de variabelen met betrekking tot het onderwerp politiewaardering die zijn waargenomen in de edities van voor 2021 om te rekenen naar het niveau van 2021. Dit kan worden gedaan door een cijfer uit een eerdere editie te vermenigvuldigen met de bijbehorende omrekenfactor uit de tabel. Het gaat hier om landelijke omrekenfactoren en om omrekenfactoren voor de regionale eenheden van politie.

(Zeer) tevreden laatste politiecontact in gemeente	1,059
(Zeer) tevreden functioneren politie in buurt	1,370
(Zeer) tevreden functioneren politie in algemeen	1,381
Vertrouwen in politie	0,962

	(Zeer) tevreden functioneren politie in buurt	(Zeer) tevreden laatste politiecontact in gemeente
Regionale eenheid
1 – Noord-Nederland	1,605	1,175
2 – Oost-Nederland	1,326	1,036
3 – Midden-Nederland	1,196	0,971
4 – Noord-Holland	1,548	1,029
5 – Amsterdam	1,191	1,013
6 – Den Haag	1,320	1,068
7 – Rotterdam	1,348	1,124
8 – Zeeland – West-Brabant	1,400	1,096
9 – Oost-Brabant	1,593	1,278
10 – Limburg	1,372	1,083

Met modelgebaseerde technieken zijn ook omrekenfactoren geconstrueerd waarmee cijfers op het niveau van de politiedistricten en basisteams teruggelegd kunnen worden. Deze omrekenfactoren zijn hier te vinden.

Sociale samenhang en welzijn

Doel

Het onderzoek beoogt het vaststellen van ontwikkelingen in sociale samenhang en welzijn. Bij sociale samenhang gaat het om de sociale, maatschappelijke en politieke participatie van de Nederlandse bevolking en om het vertrouwen in anderen en in instellingen. Bij welzijn gaat het om de tevredenheid met verschillende aspecten van de leefsituatie.

Doelpopulatie en uitvoering

Personen van 15 jaar en ouder in particuliere huishoudens in Nederland. De vragen over politieke participatie zijn aan personen van 18 jaar en ouder gesteld. Het onderzoek is gestart in april 2012. Een groot deel van de gegevens is eerder verzameld in het Permanent Onderzoek LeefSituatie (POLS)  en in de module Participatie en Milieu (P&M). De frequentie is jaarlijks.

Waarnemingsmethode, steekproefomvang en controles

Het onderzoek wordt onder een steekproef van personen uitgevoerd met een ‘mixed-mode-design’: steekproefpersonen wordt eerst in een brief gevraagd om via internet deel te nemen (CAWI- Computer Assisted Web Interviewing). Non-respondenten worden telefonisch opnieuw benaderd (CATI – Computer Assisted Telephone Interviewing). Is er geen telefoonnummer bekend, dan worden zij door een interviewer persoonlijk benaderd (CAPI-Computer Assisted Personal Interviewing). De netto steekproef bedraagt jaarlijks circa 7 500 personen. Jaarlijks wordt een plausibiliteitsanalyse op interne consistentie en volledigheid uitgevoerd.

Weging

Voor verschillen tussen de samenstelling van de steekproef en de totale bevolking wordt een correctie toegepast met een wegingsfactor. Deze is gebaseerd op de kenmerken geslacht, leeftijd, herkomst, burgerlijke staat, stedelijkheid, provincie, landsdeel, huishoudgrootte, inkomen en enquêtemaand.

Nauwkeurigheid

Omdat de enquête is voorgelegd aan een steekproef, zijn de cijfers onderhevig aan toevalsfluctuaties. Als het aantal steekproefpersonen voor een bepaalde indelingscategorie kleiner is dan 100 worden geen resultaten gepresenteerd vanwege te grote marges.

Volgtijdelijke vergelijkbaarheid

De cijfers vanaf 2012 zijn niet vergelijkbaar met eerdere cijfers uit het Permanent Onderzoek Leefsituatie (POLS) en het onderzoek Participatie en Milieu (P&M). Het nieuwe onderzoeksdesign (mixed-mode in plaats van volledig CAPI) en de aangepaste opbouw van de vragenlijst hebben geleid tot trendbreuken. Daarnaast zijn sommige vragen gereviseerd. Ook hierdoor kunnen trendbreuken zijn opgetreden.

In de statistiekjaren 2020 en 2021 werd de waarneming voor de enquête Sociale samenhang en welzijn verstoord door de coronacrisis. In delen van deze jaren was het niet mogelijk om aan huis interviews af te nemen en kwam er dus alleen via internet en telefoon respons binnen. Om hiermee om te kunnen gaan is het weegmodel van de enquête sociale samenhang en welzijn aangepast voor de jaren 2020 en 2021. Daarbij is gebruikgemaakt van tijdreeksmodellen om te kunnen corrigeren voor het wegvallen van een deel van de waarneming. Hierdoor zijn de cijfers zo goed mogelijk vergelijkbaar gemaakt met die van eerdere jaren.

Vragenlijst

Voor de vragen die in het onderzoek Sociale samenhang en welzijn sinds 2012 zijn gesteld over het vertrouwen in de politie zie hier (Blok Vertrouwen).

European Social Survey

De European Social Survey (ESS), in Nederland ook bekend als het onderzoek ‘Waar staat Nederland’, is een internationaal vergelijkend enquêteonderzoek dat sinds 2001 iedere twee jaar wordt gehouden in Europa. De ESS wordt uitgevoerd in opdracht van de Europese Commissie, de European Science Foundation en de verschillende nationale organisaties voor wetenschappelijk onderzoek. De ESS meet de houdingen, overtuigingen en gedragspatronen van de bevolking in meer dan dertig landen. Voor meer informatie over de ESS zie hier en voor meer informatie over de vragenlijst zie hier (met name vraag B8).