POLI 205

12/20/2018

1

Chapter 13: Correlation and Linear Regression

Introduction to the Concept of Correlation

• Throughout the course so far, we’ve  tested differences among groups

– Categorical IV(s) with continuous DV

• In this chapter, we discuss research  designs where both the IV and DV are  continuous

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

12/20/2018

2

• Correlation – Relationship between two variables such  that changes in the values of one variable  are accompanied by changes in the values  of the other variable

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

Introduction to the Concept of Correlation

• Describing the relationship between  variables – Nature:  Linear vs. nonlinear relationships

Introduction to the Concept of Correlation

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

12/20/2018

3

• Describing the relationship between  variables

– Direction: positive vs. negative relationship

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

Introduction to the Concept of Correlation

• Describing the relationship between variables – Strength of the relationship

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

Introduction to the Concept of Correlation

12/20/2018

4

• Measuring the relationship between  variables: Pearson correlation coefficient  (r)

– Measures linear relationship

– Sign (+ or ‐) indicates direction of  relationship

– Numeric value (ranging from ‐1.00 to +1.00)  indicates strength of relationship

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

Introduction to the Concept of Correlation

• Pearson correlation coefficient (r)

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

Introduction to the Concept of Correlation

12/20/2018

5

• Pearson correlation coefficient (r) – Calculation based on variance and  covariance: See chapters 11 & 12.

– Variance: Differences in scores for each  variable

– Covariance:  Extent to which two variables  vary together

• Height and weight have variance (individuals  differ in how tall they are and how much they  weigh) and also covariance (ie, people who are  taller than average also weigh more than average)

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

Introduction to the Concept of Correlation

Predicting One Variable from  Another: Linear Regression

• Regression: using the relationship  between variables to predict values of  one variable from values of the other

• You might remember the following  equation from previous coursework:

Y = mX + b

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016

12/20/2018

6

Guessing Game

With no information:

Age of a person

Guessing Game

With no information: Guess the measure  of central tendency (mean, median, or  mode).

CIA Factbook: 38.5 years

I will give you one piece of information  about me in order to guess my wife’s age.

12/20/2018

7

OLS History

A.M. Legendre (1805) – comet orbits

C.F. Gauss claims he developed it in 1794.

Legendre wins: “Méthode des moindres carrés”

Method of least squares

See:  Stephen M. Stigler, "Gauss and the Invention  of Least Squares," Ann. Statist., 9(3), 1981: 465– 474.

12/20/2018

8

The Math

y = 0 + 1x1 +  0 = y‐intercept (constant, a.k.a. alpha) 1 = Beta (coefficient)  = error (residuals) 

= predicted value of y ( = 0 + 1x1) = mean value of y

Beta ()

 is the amount that y increases as x  increases by 1 unit.

The sign of the indicates the direction of  the slope of the prediction line.

Works best when y is a continuous  variable.

12/20/2018

9

Explained & Unexplained 

12/20/2018

10

Correlational Statistics vs. Correlational Research

• Correlational research are designs that  examine the relationship between  variables, but without the ability to infer  causality

– Variables are measured rather than  manipulated by researchers

– Causation can only be established when IVs  are isolated and manipulated

Howard T. Tokunaga, Fundamental Statistics for the Social and Behavioral Sciences © SAGE Publications, 2016