Deze opdracht is uitgevoerd door:

Sanne van der Zwet,
Bonaventuracollege Vestiging Mariënpoelstraat

Mark van der Velde,
Bonaventuracollege Vestiging Mariënpoelstraat

Wiep Teeuwisse,
Bonaventuracollege Vestiging Mariënpoelstraat

Anne-Floor de Kanter,
Bonaventuracollege Vestiging Mariënpoelstraat

Maxim Faber,
Bonaventuracollege Vestiging Mariënpoelstraat

Politicologisch onderzoek

Inleiding

De wetenschappelijke publicaties die in kranten en in de boekhandel verschijnen, zijn afgeronde verhalen die duidelijk een geheel vormen. De inleiding, het middenstuk en het slot sluiten op elkaar aan als waren ze voor elkaar gemaakt en bij de meeste onderzoeken ligt het aantal fouten rond de nul. Wat deze publicaties echter niet laten zien, is het proces dat eraan vooraf is gegaan. Onderzoeken zijn geen voorgefabriceerde producten die je in de winkel kunt kopen. Onderzoeksresultaten verkrijg je niet door de computer aan te zetten en te gaan Googlen. Onderzoekshypothesen komen niet op maat gesneden uit de lucht vallen. Onderzoek doen is een kwestie van vallen en opstaan, ook al is dat in het eindresultaat vaak niet te zien.

Nu is dit proces van trial and error bij het ene type onderzoek beter voor te stellen dan bij het andere. Bij het ontwikkelen van een geneesmiddel kunnen we ons bijvoorbeeld allerlei complicaties voorstellen: het nieuwe medicijn blijkt bijwerkingen te hebben of mensen met een bepaalde allergie blijken het middel niet te mogen gebruiken. In zulke gevallen zal de onderzoeker zijn resultaten telkens opnieuw moeten bekijken en het medicijn zelf er telkens op aanpassen. Maar hoe zit dat bij politicologisch onderzoek? Daar is alles toch veel meer rechttoe, rechtaan? Daar heb je toch niet het soort problemen als die van het medisch onderzoek? Om op deze vragen antwoord te krijgen, gingen wij in gesprek met professor Ingrid van Biezen.

Wie is Ingrid van Biezen?

Ingrid van Biezen (1969) is momenteel hoogleraar in de Vergelijkende Politicologie aan de Universiteit Leiden. Aan die universiteit heeft zij ook haar Master en Ph.D gehaald, waarna ze tot 2009 een vaste aanstelling had aan de universiteit van Birmingham. Daarnaast is ze gastdocent en gastonderzoeker geweest op een aantal universiteiten, waaronder de John Hopkins University en Yale University. Haar interesses liggen vooral in de vergelijkende politicologie: politieke partijen en partijsystemen. Van Biezen heeft ruim dertig onderzoeken op haar naam staan, waaronder Political Parties in New Democracies: Party Organization in Southern and East-Central Europe (2003). Gezien haar uitgebreide ervaring als onderzoekster en hoogleraar was zij de aangewezen persoon om ons uitleg te geven over hoe onderzoeken gedaan worden en waar je als onderzoeker zoal tegenaan loopt bij het doen van dat onderzoek.

Het vormen van een hypothese

Een onderzoek begint natuurlijk met een vraagstelling.  De manier waarop die wordt bedacht, verschilt per onderzoek, aldus Van Biezen: “Een idee voor een onderzoek kan overal vandaan komen. Soms wilde je het al jaren onderzoeken, maar een vraagstelling kan ook aan de borreltafel bedacht worden.” Een vraagstelling op zich is slechts één helft van de basis van het onderzoek: de hypothese is immers net zo belangrijk. Je kunt een vraagstuk immers in het wilde weg gaan onderzoeken, maar het bespaart een hoop tijd om een richting te geven aan het onderzoek door middel van een hypothese. Deze hypothese is vaak gebaseerd op literatuuronderzoek en op eigen ervaringen. Zodra de hypothese gevormd is, kan het onderzoek beginnen.

Wij zullen de volgende stappen illustreren met het onderzoek dat Van Biezen enkele jaren geleden met Peter Mair deed naar het lidmaatschap van politieke partijen in twintig Europese landen, genaamd Party membership in twenty European democracies (2001). Hun hypothese luidde: “We verwachtten op basis van eerder verschenen onderzoeken dat het ledenaantal van politieke partijen de afgelopen twintig jaar is gedaald. Ook hadden we een deelhypothese opgesteld, namelijk dat in Oost-Europa de daling minder sterk zou zijn.”
 
Het is van groot belang bij het gebruik van een hypothese om je niet te veel door de vooronderstellingen te laten leiden, dat wil zeggen het onderzoek niet in de richting van de hypothese te sturen. De vooraanname dient slechts om het onderzoek richting te geven en niet om het geforceerd in die richting te duwen. Te veel vertrouwen op de hypothese kan ertoe leiden dat je je onderzoeksresultaten gaat interpreteren zodat ze in de hypothese passen en dat je resultaten die de vooronderstelling onderuit halen, gaat bagatelliseren. Het is volgens Van Biezen dan ook van groot belang om ‘open-minded’ je onderzoek in te gaan, want het is beter om te concluderen dat je hypothese niet klopt dan om een onderzoek te presenteren dat weliswaar de vooronderstellingen bevestigt, maar niet geheel waar is.

Data verkrijgen

Een hypothese dient getoetst te worden aan de werkelijkheid en zodra je hiermee begint, kun je zeggen dat het daadwerkelijke onderzoek is gestart. Dat het doen van onderzoek niet kan worden beschreven als een lineair proces merkten we al bij het opstellen van de hypothese, maar het wordt eens te meer duidelijk als je data moet gaan verzamelen. Immers, politicologische vraagstukken draaien over het algemeen om kwantitatieve gegevens en het onderzoek van Van Biezen is hier een uitstekend voorbeeld van.
 
Hoewel je in eerste instantie zou denken dat kwantitatieve gegevens de meeste betrouwbare bron van wetenschappelijk onderzoek vormen, blijkt dat niet altijd het geval.
In Nederland hebben we het Documentatiecentrum Nederlandse Politieke Partijen (DNPP) dat veel benodigde data kon verschaffen. In veel landen in West-Europa was het ook niet een groot probleem om juiste informatie te verkrijgen, alles werd al goed bijgehouden. Er was ook al vaak onderzoek naar gedaan waardoor Van Biezen van deze informatie gebruik kon maken. Hier lag het probleem dus niet.
Het ging echter niet in alle landen zo: “In Oostbloklanden was dit echter niet gemakkelijk. Veel van deze landen kenden geen instantie als het DNPP. In dit soort landen hebben we gebruik gemaakt van ons netwerk van politicologen. Zij hebben persoonlijk politieke partijen gevraagd naar hun ledenaantal.” En juist op dit punt kun je niet altijd even zeker zijn van de waarheid van je gegevens: “Soms overdrijven partijen het om electorale redenen, en soms zijn zelfs überhaupt geen gegevens bekend en doen de partijen maar een gok.”
 
Hier lag dus het grootste probleem van het onderzoek. In de relatief nieuwe democratieën in het Oosten en Zuiden was het moeilijk om gegevens te verkrijgen en de authenticiteit van de gegevens was ook nog eens niet zeker. Zoals gezegd door Van Biezen kunnen de gegevens om wat voor reden dan ook gemanipuleerd worden. Aangezien het hele onderzoek gebaseerd is op de verschillende gegevens, vormt dit een behoorlijk groot probleem in het onderzoek.

Data analyseren en interpreteren

Zelfs als al deze gegevens juist zouden zijn, zegt dat eigenlijk nog heel weinig: de data moeten nog geanalyseerd worden om er conclusies aan te verbinden. Het analyseren en interpreteren van deze gegevens is misschien wel het ‘gevaarlijkste’ gedeelte van het onderzoek, aangezien daar het meeste fout kan gaan.
In het geval van het onderzoek van Van Biezen konden de data door een speciaal systeem genaamd SPSS (Statistical Package for the Social Sciences) worden geanalyseerd. De ‘conclusie’ van het programma was dat nog maar 4,7% van de bevolking van de landen lid was van een politieke partij, tegenover 15-20% in de jaren ’60.  Op zich had Van Biezen nog niets aan deze gegevens: zonder interpretatie waren de op zichzelf staande getallen nutteloos.
 
Hier begint de interpretatie door de onderzoekers, het gedeelte dat kan worden beschouwd als het meest feilbare gedeelte van politicologisch onderzoek. Van Biezen kwam tot drie conclusies: “Ten eerste hebben partijen hun leden niet meer nodig voor hun financiële bijdragen, deze krijgen de partijen nu vaak van de overheid. Daarnaast zijn de leden niet meer nodig voor de communicatie. Tegenwoordig haalt iedereen overal z’n informatie vandaan, en niet meer zoals vroeger uit het partijblad. Als laatste wíllen partijen soms helemaal geen leden meer. Het kan namelijk ook lastig zijn om veel leden te hebben. Deze moeten allemaal tevreden gesteld worden en dat kost veel moeite.”

Altijd weer nieuwe vragen

Hoe goed het artikel ook in elkaar zit, aan het eind van elk wetenschappelijk onderzoek zorgt ieder verkregen antwoord voor weer nieuwe vragen. Prof. Van Biezen spreekt uit eigen ervaring: “Toen we met dit onderzoek bezig waren, wilden we eigenlijk ook nog onderzoeken of er verschil is tussen gevestigde en protest partijen of tussen links en rechts. Maar je moet ergens stoppen, anders kan je wel eeuwig doorgaan. Wij hebben toen besloten om alleen naar landen als geheel te kijken.”  Zoals Prof. Van Biezen al heeft gezegd zorgde hun onderzoek ook voor nieuwe vragen. Bijvoorbeeld: als het ledenaantal van politieke partijen de afgelopen twintig jaar is gedaald, betekent dat ook dat de relatie tussen partijen en belangenorganisaties verslechterd is?
 
De resultaten van een onderzoek kunnen dus onder andere leiden tot meer gedetailleerde vragen. Anders dan bij een onderzoek naar een nieuw geneesmiddel, waarbij de onderzoeker bij nieuwe resultaten zijn medicijn moet aanpassen, kunnen de resultaten van een politicologisch onderzoek niet tot een vernieuwing van een product leiden; er is namelijk geen product. Deze resultaten kunnen alleen maar meer vragen oproepen waarom bepaalde resultaten zijn gevonden en of de conclusie zou verschillen bij nader onderzoek.

Eindstation: publicatie

Nadat het onderzoek is afgerond, de probleemstelling is beantwoord en er een conclusie is gevormd, eindigt een onderzoek met de publicatie in een wetenschappelijk tijdschrift. Het artikel moet daarvoor aan een aantal voorwaarden voldoen. Ten eerste moet hetzelfde onderzoek, met de gegevens die duidelijk in het artikel beschreven staan, reproduceerbaar zijn voor andere onderzoekers. Daarnaast moet het artikel voor publicatie eerst door andere wetenschappers gecontroleerd worden aan de hand van het zogenaamde “peer review”.  Prof. Van Biezen zegt hierover: “In de peer review krijg je commentaar op je onderzoek. Wat heb je over het hoofd gezien? Waar ga je te kort door de bocht? Dit zijn vaak nuttige toevoegingen.” Het peer review is een anoniem proces gebaseerd op het idee dat verschillende mensen verscheidene fouten kunnen ontdekken. Op deze manier kan men er zeker van zijn dat de getoonde informatie uiteindelijk juist is. Als alle wetenschappers akkoord zijn, dan is het onderzoek klaar op gepubliceerd te worden.

Representativiteit

In hoeverre het onderzoek van Van Biezen representatief is voor ‘de’ wetenschap, daar valt over te twisten. Het is een voorbeeld van een sociaalwetenschappelijk onderzoek en kan dus vooral als afspiegeling van onderzoek in die tak van de wetenschap worden beschouwd.
Ondergetekenden hebben zelf ook een onderzoek gedaan en kunnen daarom de bevindingen van Van Biezen vergelijken met die van henzelf. Zo blijkt dat de problemen waar men in politicologisch onderzoek tegenaan loopt, overlappen met de problemen uit het historisch onderzoek. Ook daar blijkt dat je telkens met nieuwe vragen komt te zitten: maar hoe zit het dan met? En wat als we? Toch is ook bij geschiedkundig onderzoek de tijd op een gegeven moment op: het onderzoek moet afgesloten worden en je moet met een eindpublicatie op de proppen komen.
 
Bij geneeskundig onderzoek werden naast overeenkomsten vooral verschillen gevonden. Het grootste verschil zit in de regelgeving. Politicologen zijn nauwelijks aan regels gebonden. Medici moeten zich echter aan vele medisch-ethische regels houden. Hun onderzoek wordt nauwlettend in de gaten gehouden door commissies zoals de Medisch Ethische Toetsings Commissie (METC). Het protocol van het onderzoek moet eerst goed gekeurd worden door de METC, wat veel tijd kan kosten. Zo kan een onderzoek maanden uitgesteld worden omdat de METC nog geen toestemming wil verlenen.
 
Juist deze tegenstelling bleek zeer leerzaam en interessant: het gaf aan het onderzoek in de verschillende takken van de wetenschap sterk verschillen. Dat dat inhoudelijk gold, was natuurlijk allang bekend, maar dat ook het onderzoeksproces zodanig verschilt dat er meer verschillen dan overeenkomsten ontstaan, dat was nieuw voor ons.