We gebruiken regressieanalyse wanneer we één numerieke (interval of ratio meetniveau) afhankelijke variabele hebben en een of meer numerieke onafhankelijke variabelen. Regressie betekent hier ‘herleiden tot’: we proberen de scores op de afhankelijke variabele te herleiden tot scores op de onafhankelijke variabele(n). Meestal zeggen we dat we proberen om de scores op de afhankelijke variabele te voorspellen of verklaren op grond van de scores op de onafhankelijke variabelen.
Wanneer je één onafhankelijke variabele hebt, voer je een enkelvoudige regressieanalyse uit. Dit is een bivariate analyse om een onderzoeksvraag te beantwoorden. Met twee of meer onafhankelijke variabelen spreken we van een meervoudige regressieanalyse. Daarmee beantwoord je een multivariate onderzoeksvraag: meestal een serie van hypothesen.
Bij een regressieanalyse kunnen we ook categorische onafhankelijke variabelen gebruiken. Deze moeten we dan omzetten in dummyvariabelen: een of meer dichotome variabelen met de waarden 0 en 1. Een variabele met maar twee categorieën, bijvoorbeeld sekse, kan omgezet worden in één dummyvariabele, bijvoorbeeld een variabele met 0 voor mannen en 1 voor vrouwen. De geschatte helling voor de dummyvariabele in de regressieanalyse (ruwe regressiecoëfficiënt b en gestandaardiseerde regressiecoëfficiënt b*) geeft dan aan wat vrouwen (categorie 1) gemiddeld hoger of lager scoren dan mannen (categorie 0).
Een variabele met 3 of meer categorieën moet omgezet worden in 2 of meer dummyvariabelen. Het aantal dummyvariabelen dat je nodig hebt, is het aantal categorieën op de oorspronkelijke onafhankelijke variabele min één. Wanneer je bijvoorbeeld sociale status hebt met drie categorieën (1 = laag, 2 = midden, 3 = hoge sociale klasse), heb je genoeg aan twee dummyvariabelen: bijvoorbeeld de dummy MiddenKlasse (0 = niet, 1 = wel) en de dummy HogeKlasse (0 = niet, 1 = wel). De derde categorie (hier; lage sociale klasse) zijn dan automatisch de respondenten die 0 scoren op zowel MiddenKlasse als HogeKlasse. De geschatte helling voor een dummyvariabele in de regressieanalyse (b en b*) geeft dan aan wat respondenten uit die categorie (1 = wel) gemiddeld hoger of lager scoren dan de respondenten in de categorie waarvoor geen dummyvariabele is gemaakt. In dit voorbeeld geeft de helling van de dummyvariabele MiddenKlasse dus aan hoeveel respondenten uit de middenklasse gemiddeld hoger of lager scoren dan respondenten uit de lage sociale klasse.
In een regressieanalyse is het mogelijk om het interactie-effect van twee onafhankelijke variabelen te toetsen. Hiervoor moet je een nieuwe variabele maken - de interactievariabele - die het produkt (de vermenigvuldiging) is van de twee oorspronkelijke onafhankelijke variabelen. Deze nieuwe variabele kan net als elke andere onafhankelijke variabele toegevoegd worden aan het regressiemodel. LET OP: wanneer je een interactievariabele toevoegt, moet je altijd ook de twee oorspronkelijke variabelen in het model opnemen.
Dit valt echter buiten de stof van de cursus Inferentiële Statistiek; in de Research Master kun je hier meer over leren. Binnen de cursus Inferentiële Statistiek gebruiken we alleen variantieanalyse om interactie-effecten te bepalen.
Voordat je een regressieanalyse uitvoert, moet je alle relevante voorgaande uni- en bivariate stappen hebben gezet: