06257 -3 Pages within 12 hrs

Previous section

Next section

6

Analysis of Variance

Peter Ginter/Science Faction/Corbis

Chapter Learning Objectives

After reading this chapter, you should be able to do the following:

1. Explain why it is a mistake to analyze the differences between more than two groups with multiple t tests.

2. Relate sum of squares to other measures of data variability.

3. Compare and contrast t test with analysis of variance (ANOVA).

4. Demonstrate how to determine significant differences among groups in an ANOVA with more than two groups.

5. Explain the use of eta squared in ANOVA.

Introduction

From one point of view at least, R. A. Fisher was present at the creation of modern statistical analysis. During the early part of the 20th century,Fisher worked at an agricultural research station in rural southern England. Analyzing the effect of pesticides and fertilizers on crop yields, he wasstymied by independent t tests that allowed him to compare only two samples at a time. In the effort to accommodate more comparisons, Fishercreated analysis of variance (ANOVA).

Like William Gosset, Fisher felt that his work was important enough to publish, and like Gosset, he met opposition. Fisher’s came in the form of afellow statistician, Karl Pearson. Pearson founded the first department of statistical analysis in the world at University College, London. He also beganpublication of what is—for statisticians at least—perhaps the most influential journal in the field, Biometrika. The crux of the initial conflict betweenFisher and Pearson was the latter’s commitment to making one comparison at a time, with the largest groups possible.

When Fisher submitted his work to Pearson’s journal, suggesting that samples can be small and many comparisons can be made in the same analysis,Pearson rejected the manuscript. So began a long and increasingly acrimonious relationship between two men who became giants in the field ofstatistical analysis and who nonetheless ended up in the same department at University College. Gosset also gravitated to the department but managedto get along with both of them. Joined a little later by Charles Spearman, collectively these men made enormous contributions to quantitative researchand laid the foundation for modern statistical analysis.

6.1 One-Way Analysis of Variance

In an experiment, measurements can vary for a variety of reasons. A study to determine whetherchildren will emulate the adult behavior observed in a video recording attributes the differencesbetween those exposed to the recording and those not exposed to viewing the recording. Theindependent variable (IV) is whether the children have seen the video. Although changes in behavior(the DV) show the IV’s effect, they can also reflect a variety of other factors. Perhaps differences inage among the children prompt behavioral differences, or maybe variety in their backgroundexperiences prompt them to interpret what they see differently. Changes in the subjects’ behavior notstemming from the IV constitute what is called error variance.

When researchers work with human subjects, some level of error variance is inescapable. Even undertightly controlled conditions where all members of a sample receive exactly the same treatment, thesubjects are unlikely to respond identically because subjects are complex enough that factors besidesthe IV are involved. Fisher’s approach was to measure all the variability in a problem and thenanalyze it, thus the name analysis of variance.

Try It!: #1

To what does the one in one-way ANOVArefer?

Any number of IVs can be included in anANOVA. Initially, we are interested in thesimplest form of the test, one-way ANOVA.The “one” in one-way ANOVA refers to thenumber of independent variables, and in thatregard, one-way ANOVA is similar to theindependent t test. Both employ just one IV. Thedifference is that in the independent t test the IVhas just two groups, or levels, and ANOVA canaccommodate any number of groups more thanone.

ANOVA Advantage

Joanna Zielska/Hemera/Thinkstock

If a researcher is analyzing howchildren’s behavior changes as a resultof watching a video, the independentvariable (IV) is whether the childrenhave viewed the video. A change inbehavior is the dependent variable(DV), but any behavior changes otherthan those stemming from the IV reflectthe presence of error variance.

The ANOVA and the t test both answer the samequestion: Are there significant differences betweengroups? When one sample is compared to a population(in the study of whether social science students studysignificantly different numbers of hours than do alluniversity students), we used the one-sample t test.When two groups are involved (in the study of whetherproblem-solving measures differ for married people thanfor divorced people), we used the independent t test. Ifthe study involves more than two groups (for example,whether working rural, semirural, suburban, and urbanadults completed significantly different numbers ofyears of post-secondary education), why not justconduct multiple t tests?

Suppose someone develops a group-therapy program forpeople with anger management problems. The researchquestion is Are there significant differences in thebehavior of clients who spend (a) 8, (b) 16, and (c) 24hours in therapy over a period of weeks? In theory, wecould answer the question by performing three t tests asfollows:

1. Compare the 8-hour group to the 16-hour group.

2. Compare the 16-hour group to the 24-hour group.

3. Compare the 8-hour group to the 24-hour group.

The Problem of Multiple Comparisons

The three tests enumerated above represent all possible comparisons, but this approach presents twoproblems. First, all possible comparisons are a good deal more manageable with three groups than,say, five groups. With five groups (labeled a through e) the number of comparisons needed to coverall possible comparisons increases to 10, as Figure 6.1 shows. As the number of comparisons to makeincreases, the number of tests required quickly becomes unwieldy.

Figure 6.1 Comparisons needed for five groups

Comparing Group A to Group B is comparison 1. Comparing Group D to Group Ewould be the tenth comparison necessary to make all possible comparisons.

The second problem with using t tests to make all possible comparisons is more subtle. Recall that thepotential for type I error (α) is determined by the level at which the test is conducted. At p = 0.05, anysignificant finding will result in a type I error an average of 5% of the time. However, the errorprobability is based on the assumption that each test is entirely independent, which means that eachanalysis is based on data collected from new subjects in a separate analysis. If statistical testing isperformed repeatedly with the same data, the potential for type I error does not remain fixed at 0.05(or whatever level was selected), but grows. In fact, if 10 tests are conducted in succession with thesame data as with groups labeled a, b, c, d, and e above, and each finding is significant, by the timethe 10th test is completed, the potential for alpha error grows to 0.40 (see Sprinthall, 2011, for how toperform the calculation). Using multiple t tests is therefore not a good option.

Variance in Analysis of Variance

When scores in a study vary, there are two potential explanations: the effect of the independentvariable (the “treatment”) and the influence of factors not controlled by the researcher. This lattersource of variability is the error variance mentioned earlier.

The test statistic in ANOVA is called the F ratio (named for Fisher). The F ratio is treatment variancedivided by error variance. As was the case with the t ratio, a large F ratio indicates that the differenceamong groups in the analysis is not random. When the F ratio is small and not significant, it meansthe IV has not had enough impact to overcome error variability.

Variance Among and Within Groups

If three groups of the same size are all selected from one population, they could be represented by thethree distributions in Figure 6.2. They do not have exactly the same mean, but that is because evenwhen they are selected from the same population, samples are rarely identical. Those initialdifferences among sample means indicate some degree of sampling error.

The reason that each of the three distributions has width is that differences exist within each of thegroups. Even if the sample means were the same, individuals selected for the same sample will rarelymanifest precisely the same level of whatever is measured. If a population is identified—for example,a population of the academically gifted—and a sample is drawn from that population, the individualsin the sample will not all have the same level of ability despite the fact that all are gifted students. Thesubjects’ academic ability within the sample will still likely have differences. These differenceswithin are the evidence of error variance.

The treatment effect is represented in how the IV affects what is measured, the DV. For example,three groups of subjects are administered different levels of a mild stimulant (the IV) to see the effecton level of attentiveness. The subsequent analysis will indicate whether the samples still representpopulations with the same mean, or whether, as is suggested by the distributions in Figure 6.3, theyrepresent unique populations.

The within-groups’ variability in these three distributions is the same as it was in the distributions inFigure 6.2. It is the among-groups’ variability that makes Figure 6.3 different. More specifically, thedifference between the group means is what has changed. Although some of the difference remainsfrom the initial sampling variability, differences between the sample means after the treatment aremuch greater. F allows us to determine whether those differences are statistically significant.

Figure 6.2: Three groups drawn from the same population

A sample of three groups from the same population will have similar—but notidentical—distributions, where differences among sample means are a result ofsampling error.

Figure 6.3: Three groups after the treatment

Once a treatment has been applied to sample groups from the same population,differences between sample means greatly increase.

The Statistical Hypotheses in One-Way ANOVA

The statistical hypotheses are very much like they were for the independent t test, except that theyaccommodate more groups. For the t test, the null hypothesis is written

H0: µ1 = µ2

It indicates that the two samples involved were drawn from populations with the same mean. For aone-way ANOVA with three groups, the null hypothesis has this form:

H0: µ1 = µ2 = µ3

It indicates that the three samples were drawn from populations with the same mean.

Things have to change for the alternate hypothesis, however, because three groups do not have justone possible alternative. Note that each of the following is possible:

a. HA: µ1 ≠ µ2 = µ3 Sample 1 represents a population with a mean value different from the meanof the population represented by Samples 2 and 3.

b. HA: µ1 = µ2 ≠ µ3 Samples 1 and 2 represent a population with a mean value different from themean of the population represented by Sample 3.

c. HA: µ1 = µ3 ≠ µ2 Samples 1 and 3 represent a population with a mean value different from thepopulation represented by Sample 2.

d. HA: µ1 ≠ µ2 ≠ µ3

All three samples represent populations with different means.

Try It!: #2

How many t tests would it take to make allpossible pairs of comparisons in aprocedure with six groups?

Because the several possible alternativeoutcomes multiply rapidly when the number ofgroups increases, a more general alternatehypothesis is given. Either all the groupsinvolved come from populations with the samemeans, or at least one of them does not. So theform of the alternate hypothesis for an ANOVAwith any number of groups is simply HA: not so.

Measuring Data Variability in the One-Way ANOVA

We have discussed several different measures of data variability to this point, including the standarddeviation (s), the variance (s2), the standard error of the mean (SEM), the standard error of thedifference (SEd), and the range (R). Analysis of variance presents a new measure of data variabilitycalled the sum of squares (SS). As the name suggests, it is the sum of the squared values. In theANOVA, SS is the sum of the squares of the differences between scores and means.

· One sum-of-squares value involves the differences between individual scores and the mean ofall the scores in all the groups. This is the called the sum of squares total (SStot) because itmeasures all variability from all sources.

· A second sum-of-squares value indicates the difference between the means of the individualgroups and the mean of all the data. This is the sum of squares between (SSbet). It measuresthe effect of the IV, the treatment effect, as well any differences between the groups and themean of all the data preceding the study.

· A third sum-of-squares value measures the difference between scores in the samples and themeans of those samples. These sum of squares within (SSwith) values reflect the differencesamong the subjects in a group, including differences in the way subjects respond to the samestimulus. Because this measure is entirely error variance, it is also called the sum of squareserror (SSerr).

All Variability from All Sources: Sum of Squares Total (SStot )

An example to follow will explore the issue of differences in the levels of social isolation people insmall towns feel compared to people in suburban areas, as well as people in urban areas. The SStotwill be the amount of variability people experience—manifested by the difference in social isolationmeasures—in all three circumstances: small towns, suburban areas, and urban areas.

There are multiple formulas for SStot. Although they all provide the same answer, some make moresense to consider than others that may be easier to follow when straightforward calculation is theissue. The heart of SStot is the difference between each individual score (x) and the mean of all scores,called the “grand” mean (MG). In the example to come, MG is the mean of all social isolationmeasures from people in all three groups. The formula will we use to calculate SStot follows.

Formula 6.1

SStot = ∑(x − MG)2

Where

x = each score in all groups

MG = the mean of all data from all groups, the “grand” mean

To calculate SStot, follow these steps:

1. Sum all scores from all groups and divide by the number of scores to determine the grandmean, MG.

2. Subtract MG from each score (x) in each group, and then square the difference: (x − MG)2

3. Sum all the squared differences: ∑(x − MG)2

The Treatment Effect: Sum of Squares Between (SSbet )

In the example we are using, SSbet is the differences in social isolation between rural, suburban, andurban groups. SSbet contains the variability due to the independent variable, or what is often called thetreatment effect, in spite of the fact that it is not something that the researcher can manipulate in thisinstance. It will also contain any initial differences between the groups, which of course representerror variance. Notice in Formula 6.2 that SSbet is based on the square of the differences between theindividual group means and the grand mean, times the number in each group. For three groupslabeled A, B, and C, the formula is below.

Formula 6.2

SSbet = (Ma − MG)2na + (Mb − MG)2nb + (Mc − MG )2nc

where

Ma = the mean of the scores in the first group (a)

MG = the same grand mean used in SStot

na = the number of scores in the first group (a)

To calculate SSbet,

1. Determine the mean for each group: Ma, Mb, and so on.

2. Subtract MG from each sample mean and square the difference: (Ma − MG)2.

3. Multiply the squared differences by the number in each group: (Ma − MG)2na.

4. Repeat for each group.

5. Sum (∑) the results across groups.

The Error Term: Sum of Squares Within

When a group receives the same treatment but individuals within the group respond differently, theirdifferences constitute error—unexplained variability. These differences can spring from anyuncontrolled variable. Since the only thing controlled in one-way ANOVA is the independentvariable, variance from any other source is error variance. In the example, not all people in any groupare likely to manifest precisely the same level of social isolation. The differences within the groupsare measured in the SSwith, the formula for which follows.

Formula 6.3

SSwith = ∑(xa − Ma )2 + ∑(xb − Mb)2 + ∑(xc − Mc)2

where

SSwith = the sum of squares within

xa = each of the individual scores in Group a

Ma = the score mean in Group a

To calculate SSwith, follow these steps:

1. Retrieve the mean (used for the SSbet earlier) for each of the groups.

2. Subtract the individual group mean (Ma for the Group A mean) from each score in the group(xa for Group A)

3. Square the difference between each score in each group and its mean.

4. Sum the squared differences for each group.

5. Repeat for each group.

6. Sum the results across the groups.

The SSwith (or the SSerr) measures the fluctuations in subjects’ scores that are error variance.

All variability in the data (SStot) is either SSbet or SSwith. As a result, if two of three are known, thethird can be determined easily. If we calculate SStot and SSbet, the SSwith can be determined bysubtraction:

SStot − SSbet = SSwith

Try It!: #3

When will sum-of-squares values benegative?

The difficulty with this approach, however, isthat any calculation error in SStot or SSbet isperpetuated in SSwith/SSerror. The other value ofusing Formula 6.3 is that, like the two precedingformulas, it helps to clarify that what is beingdetermined is how much score variability iswithin each group. For the few problems doneentirely by hand, we will take the “high road”and use Formula 6.3.

To minimize the tedium, the data sets here are relatively small. When researchers complete largerstudies by hand, they often shift to the alternate “calculation formulas” for simpler arithmetic, but inso doing can sacrifice clarity. Happily, ANOVA is one of the procedures that Excel performs, andafter a few simple longhand problems, we can lean on the computer for help with larger data sets.

iStockphoto/Thinkstock

People may experience differences insocial isolation when they live in smalltowns instead of suburbs of large cities.

Calculating the Sums of Squares

Consider the example we have been using: A researcheris interested in the level of social isolation people feel insmall towns (a), suburbs (b), and cities (c). Participantsrandomly selected from each of those three settings takethe  A ssessment  L ist  o f  N on-normal  E nvironments( ALONE ), for which the following scores are available:

a. 3, 4, 4, 3

b. 6, 6, 7, 8

c. 6, 7, 7, 9

We know we will need the mean of all the data (MG) aswell as the mean for each group (Ma, Mb, Mc), so wewill start there. Verify that

∑x = 70 and N = 12, so MG = 5.833.

For the small-town subjects,

∑xa = 14 and na = 4, so Ma = 3.50.

For the suburban subjects,

∑xb = 27 and nb = 4, so Mb = 6.750.

For the city subjects,

∑xc = 29 and nc = 4, so Mc = 7.250.

For the sum-of-squares total, the formula is

SStot = ∑(x − MG)2

         = 41.668

The calculations are listed in Table 6.1.

Table 6.1: Calculating the sum of squares total (SStot)

SS tot = ∑ (x − M G )2 = 5.833
For the town data:
x − M 3 − 5.833 = −2.833 4 − 5.833 = −1.833 4 − 5.833 = −1.833 3 − 5.833 = −2.833	(x − M)2 8.026 3.360 3.360 8.026
For the suburb data:
x − M 6 − 5.833 = 0.167 6 − 5.833 = 0.167 7 − 5.833 = 1.167 8 − 5.833 = 2.167	(x − M)2 0.028 0.028 1.362 4.696
For the city data:
x − M 6 − 5.833 = 0.167 6 − 5.833 = 0.167 7 − 5.833 = 1.167 9 − 5.833 = 3.167	(x − M)2 0.028 0.028 1.362 10.030
SStot = 41.668

For the sum of squares between, the formula is:

SSbet = (Ma − MG)2na + (Mb − MG)2nb + (Mc − MG)2nc

The SSbet for the three groups is as follows:

SSbet = (Ma − MG)2na + (Mb − MG)2nb + (Mc − MG)2nc

= (3.5 − 5.833)2(4) + (6.75 − 5.833)2(4) + (7.25 − 5.833)2(4)

= 21.772 + 3.364 + 8.032

= 33.168

The SSwith indicates the error variance by determining the differences between individual scores in agroup and their means. The formula is

SSwith = ∑(xa − Ma)2 + ∑(xb − Mb)2 + ∑(xc − Mc)2

SSwith = 8.504

Table 6.2 lists the calculations for SSwith.

Table 6.2: Calculating the sum of squares within (SSwith)

SSwith = ∑(xa − Ma)2 + ∑(xb − Mb)2 + ∑(xc − Mc)2 3,4,4,3 6,6,7,8 6,7,7,9 Ma = 3.50, Mb = 6.750, Mc = 7.250
For the town data:
x − M 3 − 3.50 = –0.50 4 − 3.50 = 0.50 4 − 3.50 = 0.50 3 − 3.50 = –0.50	(x − M)2 0.250 0.250 0.250 0.250
For the suburb data:
x − M 6 − 6.750 = –0.750 6 − 6.750 = –0.750 7 − 6.750 = 0.250 8 − 6.750 = 1.250	(x − M)2 0.563 0.563 0.063 1.563
For the city data:
x − M 6 − 7.250 = 1.250 7 − 7.250 = –0.250 7 − 7.250 = –0.250 9 − 7.250 = 1.750	(x − M)2 1.563 0.063 0.063 3.063
SS with = 8.504

Because we calculated the SSwith directly instead of determining it by subtraction, we can now checkfor accuracy by adding its value to the SSbet. If the calculations are correct, SSwith + SSbet = SStot. Forthe isolation example, 8.504 + 33.168 = 41.672.

The calculation of SStot earlier found SStot = 41.668. The difference between that value and the SStotthat we determined by adding SSbet to SSwith is just 0.004. That result is due to differences fromrounding and is unimportant.

Try It!: #4

What will SStot − SSwith yield?

We calculated equivalent statistics as early asChapter 1, although we did not term them sumsof squares. At the heart of the standarddeviation calculation are those repetitive x − Mdifferences for each score in the sample. Thedifference values are then squared and summed,much as they are when calculating SSwith and SStot. Incidentally, the denominator in thestandard deviation calculation is n − 1, whichshould look suspiciously like some of the degrees of freedom values we will discuss in the nextsection.

Interpreting the Sums of Squares

The different sums-of-squares values are measures of data variability, which makes them like thestandard deviation, variance measures, the standard error of the mean, and so on. Also like the othermeasures of variability, SS values can never be negative. But between SS and the other statistics is animportant difference. In addition to data variability, the magnitude of the SS value reflects the numberof scores involved. Because sums of squares are in fact the sum of squared values, the more valuesthere are, the larger the value becomes. With statistics like the standard deviation, if more values areadded near the mean of the distribution, s actually shrinks. This cannot happen with the sum ofsquares. Additional scores, whatever their value, will always increase the sum-of-squares value.

The fact that large SS values can result from large amounts of variability or relatively large numbersof scores makes them difficult to interpret. The SS values become easier to gauge if they becomemean, or average, variability measures. Fisher transformed sums-of-squares variability measures intomean, or average, variability measures by dividing each sum-of-squares value by its degrees offreedom. The SS ÷ df operation creates what is called the mean square (MS).

In the one-way ANOVA, an MS value is associated with both the SSbet and the SSwith (SSerr). There isno mean-squares total. Dividing the SStot by its degrees of freedom provides a mean level of overallvariability, but since the analysis is based on how between-groups variability compares to within-groups variance, mean total variability would not be helpful.

The degrees of freedom for each of the sums of squares calculated for the one-way ANOVA are asfollows:

· Though we do not calculate a mean measure of total variability, degrees of freedom total allowsus to check the other df values for accuracy later; dftot is N − 1, where N is the total number ofscores.

· Degrees of freedom for between (dfbet) is k − 1, where k is the number of groups: SSbet ÷ dfbet = MSbet

· Degrees of freedom for within (dfwith) is N – k, total number of scores minus number of groups: SSwith ÷ dfwith = MSwith

c. The sums of squares between and within should equal total sum of squares, as notedearlier: SSbet + SSwith = SStot

c. Likewise, sum of degrees of freedom between and within should equal degrees of freedomtotal: dfbet + dfwith = dftot

The F Ratio

The mean squares for between and within groups are the components of F, the test statistic inANOVA:

Formula 6.4

F = MSbet/MSwith

This formula allows one to determine whether the average treatment effect—MSbet—is substantiallygreater than the average measure of error variance—MSwith. Figure 6.4 illustrates the F ratio, whichcompares the distance from the mean of the first distribution to the mean of the second distribution,the A variance, to the B and C variances, which indicate the differences within groups.

If the MSbet / MSwith ratio is large—it must be substantially greater than 1.0—the difference betweengroups is likely to be significant. When that ratio is small, F is likely to be nonsignificant. How large F must be to be significant depends on the degrees of freedom for the problem, just as it did for the ttests.

Figure 6.4: The F ratio: comparing variance between groups(A) to variance within groups (B + C)

The distance from the mean of the first distribution to the mean of the seconddistribution, the A variance, to the B and C variances indicates the differences withingroups.

The ANOVA Table

The results of ANOVA analysis are summarized in a table that indicates

· the source of the variance,

· the sums-of-squares values,

· the degrees of freedom,

· the mean square values, and

· F.

With the total number of scores (N) 12, and degrees of freedom total (dftot) = N − 1; 12 − 1 = 11. Thenumber of groups (k) is 3 and between degrees of freedom (dfbet) = k − 1, so dfbet = 2. Within degreesof freedom (dfwith) are N – k; 12 − 3 = 9.

Recall that MSbet = SSbet/dfbet and MSwith = SSwith/dfwith. We do not calculate MStot. Table 6.3 showsthe ANOVA table for the social isolation problem.

Table 6.3: ANOVA table for social isolation problem

Source	SS	df	MS	F
Total	41.672	11
Between	33.168	2	16.584	17.551
Within	8.504	9	0.945

Verify that SSbet + SSwith = SStot, and dfbet + dfwith = dftot. The smallest value an SS can have is 0,which occurs if all scores have the same value. Otherwise, the SS and MS values will always bepositive.

Understanding F

The larger F is, the more likely it is to be statistically significant, but how large is large enough? Inthe ANOVA table above, F = 17.551.

The fact that F is determined by dividing MSbet by MSwith indicates that whatever the value of F isindicates the number of times MSbet is greater than MSwith. Here, MSbet is 17.551 times greater than MSwith, which seems promising; to be sure, however, it must be compared to a value from the criticalvalues of F (Table 6.4; Table B.3 in Appendix B).

As with the t test, as degrees of freedom increase, the critical values decline. The difference between tand F is that F has two df values, one for the MSbet, the other for the MSwith. In Table 6.3, the criticalvalue is at the intersection of dfbet across the top of the table and dfwith down the left side. For thesocial isolation problem, these are 2 (k − 1) across the top and 9 (N − k) down the left side.

The value in regular type at the intersection of 2 and 9 is 4.26 and is the critical value when testing at p = 0.05. The value in bold type is for testing at p = 0.01.

· The critical value indicates that any ANOVA test with 2 and 9 df that has an F value equal to orgreater than 4.26 is statistically significant.

· The social isolation differences among the three groups are probably not due to samplingvariability.

· The statistical decision is to reject H0.

The relatively large value of F—it is more than four times the critical value—indicates that thedifferences in social isolation are affected by where respondents live. The amount of within-groupvariability, the error variance, is small relative to the treatment effect.

Try It!: #5

If the F in an ANOVA is 4.0 and the MSwith= 2.0, what will be the value of MSbet?

Table 6.4 provides the critical values of F for avariety of research scenarios. When computersoftware completes ANOVA, the answer itgenerates typically provides the exactprobability that a specified value of F couldhave occurred by chance. Using the mostcommon standard, when that probability is 0.05or less, the result is statistically significant.Performing calculations by hand withoutstatistical software, however, requires theadditional step of comparing F to the critical value to determine statistical significance. When thecalculated value is the same as, or larger than, the table value, it is statistically significant.

Table 6.4: The critical values of F

df denominator	df numerator
	1	2	3	4	5	6	7	8	9	10
2	18.51 98.49	19.00 99.01	19.16 99.17	19.25 99.25	19.30 99.30	19.33 99.33	19.35 99.36	19.37 99.38	19.38 99.39	19.40 99.40
3	10.13 34.12	9.55 30.82	9.28 29.46	9.12 28.71	9.01 28.24	8.94 27.67	8.89 27.49	8.85 27.49	8.81 27.34	8.79 27.23
4	7.71 21.20	6.94 18.00	6.59 16.69	6.39 15.98	6.26 15.52	6.16 15.21	6.09 14.98	6.04 14.80	6.00 14.66	5.96 14.55
5	6.61 16.26	5.79 13.27	5.41 12.06	5.19 11.39	5.05 10.97	4.95 10.67	4.88 10.46	4.82 10.29	4.77 10.16	4.74 10.05
6	5.99 13.75	5.14 10.92	4.76  9.78	4.53  9.15	4.39  8.75	4.28  8.47	4.21  8.26	4.15  8.10	4.10  7.98	4.06  7.87
7	5.59 12.25	4.74  9.55	4.35  8.45	4.12  7.85	3.97  7.46	3.87  7.19	3.79  6.99	3.73  6.72	3.68  6.72	3.64  6.62
8	5.32 11.26	4.46  8.65	4.07  7.59	3.84  7.01	3.69  6.63	3.58  6.37	3.50  6.18	3.44  6.03	3.39  5.91	3.64  6.62
9	5.12 10.56	4.26  8.02	3.86  6.99	3.63  6.42	3.48  6.06	3.37  5.80	3.29  5.61	3.23  5.47	3.18  5.35	3.14  5.26
10	4.96 10.04	4.10  7.56	3.71  6.55	3.48  5.99	3.33  5.64	3.22  5.39	3.14  5.20	3.07  5.06	3.02  4.94	2.98  4.85
11	4.84  9.65	3.98  7.21	3.59  6.22	3.36  5.67	3.20  5.32	3.09  5.07	3.01  4.89	2.95  4.74	2.90  4.63	2.85  4.54
12	4.75  9.33	3.89  6.93	3.49  5.95	3.26  5.41	3.11  5.06	3.00  4.82	2.91  4.64	2.85  4.50	2.80  4.39	2.75  4.30
13	4.67  9.07	3.81  6.70	3.41  5.74	3.18  5.21	3.03  4.86	2.92  4.62	2.83  4.44	2.77  4.30	2.71  4.19	2.67  4.10
14	4.60  8.86	3.74  6.51	3.34  5.56	3.11  5.04	2.96  4.69	2.85  4.46	2.76  4.28	2.70  4.14	2.65  4.03	2.60  3.94
15	4.54  8.68	3.68  6.36	3.29  5.24	3.06  4.89	2.90  4.56	2.79  4.32	2.71  4.14	2.64  4.00	2.59  3.89	2.54  3.80
16	4.49  8.53	3.63  6.23	3.24  5.29	3.01  4.77	2.85  4.44	2.74  4.20	2.66  4.03	2.59  3.89	2.54  3.78	2.49  3.69
17	4.45  8.40	3.59  6.11	3.20  5.19	2.96  4.67	2.81  4.34	2.70  4.10	2.61  3.93	2.55  3.79	2.49  3.68	2.45  3.59
18	4.41  8.29	3.55  6.01	3.16  5.09	2.93  4.58	2.77  4.25	2.66  4.01	2.58  3.84	2.51  3.71	2.46  3.60	2.41  3.51
19	4.38  8.18	3.52  5.93	3.13  5.01	2.90  4.50	2.74  4.17	2.63  3.94	2.54  3.77	2.48  3.63	2.42  3.52	2.38  3.43
20	4.35  8.10	3.49  5.85	3.10  4.94	2.87  4.43	2.71  4.10	2.60  3.87	2.51  3.70	2.45  3.56	2.39  3.46	2.35  3.37
21	4.32  8.02	3.47  5.78	3.07  4.87	2.84  4.37	2.68  4.04	2.57  3.81	2.49  3.64	2.42  3.51	2.37  3.40	2.32  3.31
22	4.30  7.95	3.44  5.72	3.05  4.82	2.82  4.31	2.66  3.99	2.55  3.76	2.46  3.59	2.40  3.45	2.34  3.35	2.30  3.26
23	4.28  7.88	3.42  5.66	3.03  4.76	2.80  4.26	2.64  3.94	2.53  3.71	2.44  3.54	2.37  3.41	2.32  3.30	2.27  3.21
24	4.26  7.82	3.40  5.61	3.01  4.72	2.78  4.22	2.62  3.90	2.51  3.67	2.42  3.50	2.36  3.36	2.30  3.26	2.25  3.17
25	4.24  7.77	3.39  5.57	2.99  4.68	2.76  4.18	2.60  3.85	2.49  3.63	2.40  3.46	2.34  3.32	2.28  3.22	2.24  3.13
26	4.21  7.68	3.35  5.49	2.96  4.60	2.74  4.14	2.59  3.82	2.47  3.59	2.39  3.42	2.32  3.29	2.27  3.18	2.22  3.09
27	4.21  7.68	3.35  5.49	2.96  4.60	2.73  4.11	2.57  3.78	2.46  3.56	2.37  3.39	2.31  3.26	2.25  3.15	2.20  3.06
28	4.20  7.64	3.34  5.45	2.95  4.57	2.71  4.07	2.56  3.75	2.45  3.53	2.36  3.36	2.29  3.23	2.24  3.12	2.19  3.03
29	4.18  7.60	3.33  5.42	2.93  4.54	2.70  4.04	2.55  3.73	2.43  3.50	2.35  3.33	2.28  3.20	2.22  3.09	2.18  3.00
30	4.17  7.56	3.32  5.39	2.92  4.51	2.69  4.02	2.53  3.70	2.42  3.47	2.33  3.30	2.27  3.17	2.21  3.07	2.16  2.98

Values in regular type indicate the critical value for p = .05; Values in bold type indicate the critical value for p = .01

Source: Critical values of F. (n.d.). Retrieved from  http://faculty.vassar.edu/lowry/apx_d.html

6.2 Locating the Difference: Post Hoc Tests and Honestly SignificantDifference (HSD)

When a t test is statistically significant, only one explanation of the difference is possible: the firstgroup probably belongs to a different population than the second group. Things are not so simple whenthere are more than two groups. A significant F indicates that at least one group is significantlydifferent from at least one other group in the study, but unless the ANOVA considers only two groups,there are a number of possibilities for the statistical significance, as we noted when we listed all thepossible HA outcomes earlier.

The point of a post hoc test, an “after this” test conducted following an ANOVA, is to determinewhich groups are significantly different from which. When F is significant, a post hoc test is the nextstep.

There are many post hoc tests. Each of them has particular strengths, but one of the more common,and also one of the easier to calculate, is one John Tukey developed called HSD, for “honestlysignificant difference.” Formula 6.5 produces a value that is the smallest difference between the meansof any two samples that can be statistically significant:

Formula 6.5

HSD=xMSwithn‾‾‾‾‾‾‾‾√

where

x = a table value indexed to the number of groups (k) in the problem and thedegrees of freedom within (dfwith) from the ANOVA table

MSwith = the value from the ANOVA table

n = the number in any group when the group sizes are equal

As long as the number in all samples is the same, the value from Formula 6.5 will indicate theminimum difference between the means of any two groups that can be statistically significant. Analternate formula for HSD may be used when group sizes are unequal:

Formula 6.6

HSD=x(MSwith2)(1n1+1n2)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

The notation in this formula indicates that the HSD value is for the group-1-to-group-2 comparison(n1, n2). When sample sizes are unequal, a separate HSD value must be completed for each pair ofsample means in the problem.

To compute HSD for equal sample sizes, follow these steps:

1. From Table 6.5, locate the value of x by moving across the top of the table to the number ofgroups/treatments (k = 3), and then down the left side for the within degrees of freedom (dfwith =9). The intersecting values for 3 and 9 are 3.95 and 5.43. The smaller of the two is the valuewhen p = 0.05. The post hoc test is always conducted at the same probability level as theANOVA, p = 0.05 in this case.

2. The calculation is 3.95 times the result of the square root of 0.945 (the MSwith) divided by 4 (n).

3.950.9544‾‾‾‾‾‾√=1.920

This value is the minimum absolute value of the difference between the means of two statisticallysignificant samples. The means for social isolation in the three groups are as follows:

Ma = 3.50 for small town respondents

Mb = 6.750 for suburban respondents

Mc = 7.250 for city respondents

To compare small towns to suburbs this procedure is as follows:

Ma − Mb = 3.50 − 6.75 = −3.25.

This difference exceeds 1.92 and is significant.

To compare small towns to cities, note that

Ma − Mc = 3.50 − 7.25 = −3.75.

This difference exceeds 1.92 and is significant.

To compare suburbs to cities,

Mb − Mc = 6.75 − 7.25 = −0.50.

This difference is less than 1.92 and is not significant.

When several groups are involved, sometimes it is helpful to create a table that presents all thedifferences between pairs of means. Table 6.6 repeats the HSD results for the social isolation problem.

Table 6.5: Tukey’s HSD critical values: q (alpha, k, df)

df	k = Number of Treatments
	2	3	4	5	6	7	8	9	10
5	3.64 5.70	4.60 6.98	5.22 7.80	5.67 8.42	6.03 8.91	6.33 9.32	6.58 9.67	6.80 9.97	6.99 10.24
6	3.46 5.24	4.34 6.33	4.90 7.03	5.30 7.56	5.63 7.97	5.90 8.32	6.12 8.61	6.32 8.87	6.49 9.10
7	3.34 4.95	4.16 5.92	4.68 6.54	5.06 7.01	5.36 7.37	5.61 7.68	5.82 7.94	6.00 8.17	6.16 8.37
8	3.26 4.75	4.04 5.64	4.53 6.20	4.89 6.62	5.17 6.96	5.40 7.24	5.60 7.47	5.77 7.68	5.92 7.86
9	3.20 4.60	3.95 5.43	4.41 5.96	4.76 6.35	5.02 6.66	5.24 6.91	5.43 7.13	5.59 7.33	5.74 7.49
10	3.15 4.48	3.88 5.27	4.33 5.77	4.65 6.14	4.91 6.43	5.12 6.67	5.30 6.87	5.46 7.05	5.60 7.21
11	3.11 4.39	3.82 5.15	4.26 5.62	4.57 5.97	4.82 6.25	5.03 6.48	5.20 6.67	5.35 6.84	5.49 6.99
12	3.08 4.32	3.77 5.05	4.20 5.50	4.51 5.84	4.75 6.10	4.95 6.32	5.12 6.51	5.27 6.67	5.39 6.81
13	3.06 4.26	3.73 4.96	4.15 5.40	4.45 5.73	4.69 5.98	4.88 6.19	5.05 6.37	5.19 6.53	5.32 6.67
14	3.03 4.21	3.70 4.89	4.11 5.32	4.41 5.63	4.64 5.88	4.83 6.08	4.99 6.26	5.13 6.41	5.25 6.54
15	3.01 4.17	3.67 4.84	4.08 5.25	4.37 5.56	4.59 5.80	4.78 5.99	4.94 6.16	5.08 6.31	5.20 6.44
16	3.00 4.13	3.65 4.79	4.05 5.19	4.33 5.49	4.56 5.72	4.74 5.92	4.90 6.08	5.03 6.22	5.15 6.35
17	2.98 4.10	3.63 4.74	4.01 5.14	4.30 5.43	4.52 5.66	4.70 5.85	4.86 6.01	4.99 6.15	5.11 6.27
18	2.97 4.07	3.61 4.70	4.00 5.09	4.28 5.38	4.49 5.60	4.67 5.79	4.82 5.94	4.96 6.08	5.07 6.20
19	2.96 4.05	3.59 4.67	3.98 5.05	4.25 5.33	4.47 5.55	4.65 5.73	4.79 5.89	4.92 6.02	5.04 6.14
20	2.95 4.02	3.58 4.64	3.96 5.02	4.23 5.29	4.45 5.51	4.62 5.69	4.77 5.84	4.90 5.97	5.01 6.09
24	2.92 3.96	3.53 4.55	3.90 4.91	4.17 5.17	4.37 5.37	4.54 5.54	4.68 5.69	4.81 5.81	4.92 5.92
30	2.89 3.89	3.49 4.45	3.85 4.80	4.10 5.05	4.30 5.24	4.46 5.40	4.60 5.54	4.72 5.65	4.82 5.76
40	2.86 3.82	3.44 4.37	3.79 4.70	4.04 4.93	4.23 5.11	4.39 5.26	4.52 5.39	4.63 5.50	4.73 5.60

*The critical values for q corresponding to alpha = 0.05 (top) and alpha = 0.01 (bottom)

Source: Tukey’s HSD critical values (n.d.). Retrieved from  http://www.stat.duke.edu/courses/Spring98/sta110c/qtable.html

Table 6.6: Presenting Tukey’s HSD results in a table

HSD=xMSwithn‾‾‾‾‾‾‾‾√ 3.950.9544‾‾‾‾‾‾√=1.920 Any difference between pairs of means 1.920 or greater is a statistically significant difference.
Small towns M = 3.500	Suburbs M = 6.750	Cities M = 7.250
Small towns M = 3.500	Diff = 3.250	Diff = 3.750
Suburbs M = 6.750		Diff = 0.500
Cities M = 7.250

The mean differences of 3.250 and 3.750 are statistically significant.

The values in the cells in Table 6.6 indicate the results of the post hoc test for differences between eachpair of means in the study. Results indicate that the respondents from small towns expressed asignificantly lower level of social isolation than those in either the suburbs or cities. Results from thesuburban and city groups indicate that social isolation scores are higher in the city than in the suburbs,but the difference is not large enough to be statistically significant.

Analysis of Variance (ANOVA)

6.3 Completing ANOVA with Excel

iStockphoto/Thinkstock

Using Excel to complete ANOVA makesit easier to calculate the means,differences, and other values of datafrom studies such as the level ofoptimism indicated by people indifferent vocations during a recession.

The ANOVA by longhand involves enough calculatedmeans, subtractions, squaring of differences, and so onthat letting Excel do the ANOVA work can be veryhelpful. Consider the following example: A researcher iscomparing the level of optimism indicated by people indifferent vocations during an economic recession. Thedata are from laborers, clerical staff in professionaloffices, and the professionals in those offices. Theoptimism scores for the individuals in the three groupsare as follows:

Laborers: 33, 35, 38, 39, 42, 44, 44, 47, 50, 52

Clerical staff: 27, 36, 37, 37, 39, 39, 41, 42, 45, 46

Professionals: 22, 24, 25, 27, 28, 28, 29, 31, 33, 34

1. First create the data file in Excel. Enter“Laborers,” “Clerical staff,” and “Professionals” in cells A1, B1, and C1 respectively.

2. In the columns below those labels, enter the optimism scores, beginning in cell A2 for thelaborers, B2 for the clerical workers, and C2 for the professionals. After entering the data andchecking for accuracy, proceed with the following steps.

3. Click the Data tab at the top of the page.

4. On the far right, choose Data Analysis.

5. In the Analysis Tools window, select ANOVA Single Factor and click OK.

6. Indicate where the data are located in the Input Range. In the example here, the range is A2:C11.

7. Note that the default setting is “Grouped by Columns.” If the data are arrayed along rowsinstead of columns, change the setting. Because we designated A2 instead of A1 as the pointwhere the data begin, there is no need to indicate that labels are in the first row.

8. Select Output Range and enter a cell location where you wish the display of the output tobegin. In the example in Figure 6.5, the output results are located in A13.

9. Click OK.

Widen column A to make the output easier to read. The result resembles the screenshot in Figure 6.5.

Figure 6.5: ANOVA in Excel

Results of ANOVA performed using Excel

Source: Microsoft Excel. Used with permission from Microsoft.

Completing ANOVA with Excel

00:00

00:00

Results appear in two tables. The first provides descriptive statistics. The second table looks like thelonghand table we created earlier, except that the column titled “P-value” indicates the probability thatan F of this magnitude could have occurred by chance.

Note that the P-value is 4.31E-06. The “E-06” is scientific notation, a shorthand way of indicating thatthe actual value is p = 0.00000431, or 4.31 with the decimal moved 6 decimals to the left. Theprobability easily exceeds the p = 0.05 standard for statistical significance.

Apply It! Analysis of Variance and Problem-Solving Ability

A psychological services organization is interested in how long a group of randomly selecteduniversity graduates will persist in a series of cognitive tasks they are asked to complete whenthe environment is varied. Forty graduate students are recruited from a state university and toldthat they are to evaluate the effectiveness of a series of spatial relations tasks that may beincluded in a test of academic aptitude. The students are asked to complete a series of tasks,after which they will be asked to evaluate the tasks. What is actually being measured is howlong subjects will persist in these tasks when environmental conditions vary. Group 1’streatment is recorded hip-hop in the background. Group 2 performs tasks with a newscast inthe background. Group 3 has classical music in the background, and Group 4 experiences a no-noise environment. The dependent variable is how many minutes subjects persist beforestopping to take a break. Table 6.7 displays the measured results.

Table 6.7: Results of task persistence under varied background conditions

1: Hip-hop	2: Newscast	3: Classical music	4: No noise
49	57	77	65
57	53	82	61
73	69	77	73
68	65	85	81
65	61	93	89
62	73	79	77
61	57	73	81
45	69	89	77
53	73	82	69
61	77	85	77

Next, the test results are analyzed in Excel, which produces the information displayed in Table6.8.

Table 6.8: Excel analysis of task persistence results

Summary
Group	Count	Sum	Average	Variance
1: Hip-hop	10	594	59.4	73.82
2: Newscast	10	654	65.4	65.60
3: Classical music	10	822	82.2	36.40
4: No noise	10	750	75.0	68.44

ANOVA
Source of variation	SS	df	MS	F	P-value	F crit
Between groups	3063.6	3	1021.1	16.72	5.71E-07	2.87
Within groups	2198.4	36	61.07
Total	5262.0	39

The research organization first asks: Is there a significant difference? The null hypothesis statesthat there is no difference in how long respondents persist, that the background differences areunrelated to persistence. The calculated value from the Excel procedure is F =16.72. That valueis larger than the critical value of F0.05 (3,36) = 2.87, so the null hypothesis is rejected. Those inat least one of the groups work a significantly different amount of time before stopping thanthose in other groups.

The significant F prompts a second question: Which group(s) is/are significantly different fromwhich other(s)? Answering that question requires the post hoc test.

HSD=xMSwithn‾‾‾‾‾‾‾‾√

x = 3.81 (based on k = 4, dfwith = 36, and p = 0.05)

MSwith = 61.07, the value from the ANOVA table

n = 10, the number in one group when group sizes are equal

HSD=3.8161.0710‾‾‾‾‾‾√

= 9.42

This value is the minimum difference between the means of two significantly differentsamples. The difference in means between the groups appears below:

A − B = −6.0

A − C = −22.8

A − D = −15.6

B − C = −16.8

B − D = −9.6

C − D = 7.2

Table 6.9 makes these differences a little easier to interpret. The in-cell values are thedifferences between the respective pairs of means:

Table 6.9: Mean differences between pairs of groups in task persistence

A. Hip-hop M 1 = 59.4	B. Newscast M 2 = 65.4	C. Classical music M 3 = 82.2	D. No noise M 4 = 75.0
1: Hip-hop M1 = 59.4	6.0	22.8	15.6
2: Newscast M2 = 65.4		16.8	9.6
3: Classical music M3 = 82.2			7.2
4: No noise M4 = 75.0

The differences in the amount of time respondents work before stopping to rest are notsignificant between environments A and B and between C and D; the absolute values of thosedifferences do not exceed the HSD value of 9.42. The other four comparisons (in red) are allstatistically significant.

The data indicate that those with hip-hop as background noise tended to work the least amountof time before stopping, and those with the classical music background persisted the longest,but that much would have been evident from just the mean scores. The one-way ANOVAcompleted with Excel indicates that at least some of the differences are statistically significant,rather than random; the type of background noise is associated with consistent differences inwork-time. The post hoc test makes it clear that two comparisons show no significantdifference, between classical music and no background sound, and between hip-hop and thenewscast.

Apply It! boxes written by Shawn Murphy

6.4 Determining the Practical Importance of Results

Try It!: #6

If the F in ANOVA is not significant,should the post hoc test be completed?

Potentially, three central questions could beassociated with an analysis of a variance.Whether questions 2 and 3 are addresseddepends upon the answer to question 1:

1. Are any of the differences statisticallysignificant? The answer dependsupon how the calculated F valuecompares to the critical value from the table.

2. If the F is significant, which groups are significantly different from each other? Thatquestion is answered by a post hoc test such as Tukey’s HSD.

3. IfF is significant, how important is the result? The question is answered by an effect-size calculation.

If F is not statistically significant, questions 2 and 3 are nonissues.

Daniel Gale/Hemera/Thinkstock

In a study of social isolationbased on where people live(i.e., the respondents’location, such as a busycity) what is theindependent variable (IV)?What is the dependentvariable (DV)?

After addressing the first two questions, we now turn ourattention to the third question, effect size. With the t test inChapter 5, omega-squared answered the question about howimportant the result was. There are similar measures foranalysis of variance, and in fact, several effect-size statisticshave been used to explain the importance of a significantANOVA result. Omega-squared (ω2) and partial eta-squared (η2) (where the Greek letter eta [η] is pronouncedlike “ate a” as in “ate a grape”) are both quite common insocial-science research literature. Both effect-size statisticsare demonstrated here, the omega-squared to be consistentwith Chapter 5, and—because it is easy to calculate andquite common in the literature—we will also demonstrateeta-squared. Both statistics answer the same question:Because some of the variance in scores is unexplained, inother words error variance, how much of the score variancecan be attributed to the independent variable which, in thisrecent example, is the background environment? Thedifference between the statistics is that omega-squaredanswers the question for the population of all such problems,while the eta-squared result is specific to the particular dataset.

In the social isolation problem, the question was whetherresidents of small towns, suburban areas, and cities differ intheir measures of social isolation. The respondents’ location is the IV. Eta-squared estimateshow much of the difference in social isolation is related to where respondents live.

The η2 calculation involves only two values, both retrievable from the ANOVA table.Formula 6.7 shows the eta-squared calculation:

Formula 6.7

η2=SSbetSStot

The formula indicates that eta-squared is the ratio of between-groups variability to totalvariability. If there were no error variance, all variance would be due to the independentvariable, and the sums of squares for between-groups variability and for total variabilitywould have the same values; the effect size would be 1.0. With human subjects, this effect-size result never happens because scores always fluctuate for reasons other than the IV, but itis important to know that 1.0 is the upper limit for this effect size and for omega-squared aswell. The lower limit is 0, of course—none of the variance is explained. But we also neversee eta-squared values of 0 because the only time the effect size is calculated is when F issignificant, and that can only happen when the effect of the IV is great enough that the ratioof MSbet to MSwith exceeds the critical value; some variance will always be explained.

For the social isolation problem, SSbet = 33.168 and SStot = 41.672, so

η2=31.16841.672=0.796

According to these data, about 80% of the variance in social isolation scores relates towhether the respondent lives in a small town, a suburb, or a city. Note that this amount ofvariance is unrealistically high, which can happen when numbers are contrived.

Omega-squared takes a slightly more conservative approach to effect sizes and will alwayshave a lower value than eta-squared. The formula for omega-squared is:

Formula 6.8

ω2=SSbet−(k−1)MSwithSStot+MSwith

Compared to η2, the numerator is reduced by the value of the df between times MSwith, andthe denominator is increased by the SStot plus MSwith. The error term plays a more prominentpart in this effect size than in η2, thus the more conservative value. Completing thecalculations for ω2 yields the following:

ω2=SSbet−(k−1)MSwithSStot+MSwith=33.168−(2).94541.672+.945=29.27841.617=0.687

The omega-squared value indicates that about 69% of the variability in social isolation can beexplained by where the subject lives. This value is 10% less than the eta-squared valueexplains. The advantage to using omega-squared is that the researcher can say, “in allsituations where social isolation is studied as a function of where the subject lives, thelocation of the subject’s home will explain about 69% of the variance.” On the other hand,when using eta-squared, the researcher is limited to saying, “in this instance, the location ofthe subject’s home explained about 79% of the variance in social isolation.” Those statementsindicate the difference between being able to generalize compared to being restricted to thepresent situation.

Apply It! Using ANOVA to Test Effectiveness

Wavebreakmedia Ltd/WavebreakMedia/Thinkstock

A researcher is interested in the relative impactthat tangible reinforcers and verbal reinforcershave on behavior. The researcher, whodescribes the study only as an examination ofhuman behavior, solicits the help of universitystudents. The researcher makes a series ofpresentations on the growth of thepsychological sciences with an invitation tolisteners to ask questions or make commentswhenever they wish. The three levels of theindependent variable are as follows:

1. no response to students’ interjections, except to answer their questions

2. a tangible reinforcer—a small piece of candy—offered after eachcomment/question

3. verbal praise offered for each verbal interjection

The volunteers are randomly divided into three groups of eight each and asked toreport for the presentations, to which students are invited to respond. Note that thereare three independent groups: Those who participate are members of only one group.The three options described represent the three levels of a single independentvariable, the presenter’s response to comments or questions by the subjects. Thedependent variable is the number of interjections by subjects over the course of thepresentations.

The null hypothesis (H0: µ1 = µ2 = µ3) maintains that response rates will not varyfrom group to group, that in terms of verbal comments, the three groups belong to thesame population. The alternate hypothesis (HA: not so) maintains that non-randomdifferences will occur between groups—that, as a result of the treatment, at least onegroup will belong to some other population of responders.

Each subject’s number of responses during the experiment is indicated in Table 6.10.

Table 6.10: Number of responses given three different levels of reinforcer

No response	Tangible reinforcers	Verbal reinforcers
14	18	13
13	15	15
19	16	16
18	18	15
15	17	14
16	13	17
12	17	13
12	18	16

Completing the analysis with Excel yields the following summary (Table 6.11), withdescriptive statistics first:

Table 6.11: Summary of Excel analysis for the reinforcer study

Group	Count	Sum	Average	Variance
No Response	8	119	14.875	6.982143
Tangible Reinf.	8	132	16.500	3.142857
Verbal Reinf.	8	119	14.875	2.125000

ANOVA
Source ofvariation	SS	df	MS	F	P-value	F crit
Betweengroups	14.0833333	2	7.041666667	1.72449	0.202565	3.4668
Within groups	85.75	21	4.083333333

With an F = 1.72, results are not statistically significant for a value less than F0.05(2,21) = 3.47. The statistical decision is to “fail to reject” H0. Note that the p valuereported in the results is the probability that the particular value of F could haveoccurred by chance. In this instance, there is a 0.20 probability (1 chance in 5) that an F value this large (1.72) could occur by chance in a population of responders. That pvalue would need to be p ≤ 0.05 in order for the value of F to be statisticallysignificant. There are differences between the groups, certainly, but those differencesare more likely explained by sampling variability than by the effect of theindependent variable.

Apply It! boxes written by Shawn Murphy

6.5 Conditions for the One-Way ANOVA

As we saw with the t tests, any statistical test requires that certain conditions be met. Theconditions might include characteristics such as the scale of the data, the way the data aredistributed, the relationships between the groups in the analysis, and so on. In the case of theone-way ANOVA, the name indicates one of the conditions. Conditions for the one-wayANOVA include the following:

· The one-way ANOVA test can accommodate just one independent variable.

· That one variable can have any number of categories, but can have only one IV. Inexample of rural, suburban, and city isolation, the IV was the location of therespondents’ residence. We might have added more categories, such as rural, semirural,small town, large town, suburbs of small cities, suburbs of large cities, and so on (all ofwhich relate to the respondents’ residence) but like the independent t test, we cannotadd another variable, such as the respondents’ gender, in a one-way ANOVA.

· The categories of the IV must be independent.

· The groups involved must be independent. Those who are members of one groupcannot also be members of another group involved in the same analysis.

· The IV must be nominal scale. Because the IV must be nominal scale, sometimes dataof some other scale are reduced to categorical data to complete the analysis. Ifsomeone wants to know whether differences in social isolation are related to age, agemust be changed from ratio to nominal data prior to the analysis. Rather than usingeach person’s age in years as the independent variable, ages are grouped into categoriessuch as 20s, 30s, and so on. Grouping by category is not ideal, because by reducingratio data to nominal or even ordinal scale, the differences in social isolation between20- and 29-year-olds, for example, are lost.

· The DV must be interval or ratio scale. Technically, social isolation would need to bemeasured with something like the number of verbal exchanges that a subject has dailywith neighbors or co-workers, rather than using a scale of 1–10 to indicate the level ofisolation, which is probably an example of ordinal data.

· The groups in the analysis must be similarly distributed, that is, showing homogeneityof variance, a concept discussed in Chapter 5. It means that the groups should all havereasonably similar standard deviations, for example.

· Finally, using ANOVA assumes that the samples are drawn from a normally distributedpopulation.

To meet all these conditions may seem difficult. Keep in mind, however, that normality andhomogeneity of variance in particular represent ideals more than practical necessities. As itturns out, Fisher’s procedure can tolerate a certain amount of deviation from theserequirements, which is to say that this test is quite robust. In extreme cases, for example,when calculated skewness or kurtosis values reach ±2.0, ANOVA would probably beinappropriate. Absent that, the researcher can probably safely proceed.

6.6 ANOVA and the Independent t Test

The one-way ANOVA and the independent t test share several assumptions although theyemploy distinct statistics—the sums of squares for ANOVA and the standard error of thedifference for the t test, for example. When two groups are involved, both tests will producethe same result, however. This consistency can be illustrated by completing ANOVA and theindependent t test for the same data.

Suppose an industrial psychologist is interested in how people from two separate divisions ofa company differ in their work habits. The dependent variable is the amount of workcompleted after hours at home, per week, for supervisors in marketing versus supervisors inmanufacturing. The data follow:

Marketing: 3, 4, 5, 7, 7, 9, 11, 12

Manufacturing: 0, 1, 3, 3, 4, 5, 7, 7

Calculating some of the basic statistics yields the results listed in Table 6.12.

Table 6.12: Statistical results for work habits study

	M	s	SE M	SE d	M G
Marketing	7.25	3.240	1.146
				1.458	5.50
Manufacturing	3.75	2.550	0.901

First, the t test gives

t=M1−M2SEd=7.25−3.754.9511458=2.401;t0.05(14)=2.145

The difference is significant. Those in marketing (M1) take significantly more work homethan those in manufacturing (M2).

The ANOVA test proceeds as follows:

· For all variability from all sources (SStot), verify that the result of subtracting MG fromeach score in both groups, squaring the differences, and summing the squares = 168:

SStot = ∑(x − MG)2 = 168

· For the SSbet, verify that subtracting the grand mean from each group mean, squaringthe difference, and multiplying each result by the number in the particular group = 49:

SSbet = (Ma − MG)2na + (Mb − MG)2nb = (7.25 − 5.50)2(8) + (3.75 − 5.50)2(8) = 24.5

· For the SSwith, take each group mean from each score in the group, square thedifference, and then sum the squared differences as follows to verify that SSwith = 119:

SSwith = ∑(xa1 − Ma)2 + . . . (xa8 − Ma)2 + ∑(xb1 − Mb)2 . . . (xb8 − Ma)2 = 119

Table 6.13 summarizes the results.

Table 6.13: ANOVA results for work habit study

Source	SS	df	MS	F	F crit
Total	168	15
Between	49	1	49	5.765	F0.05(1,14) = 4.60
Within	119	14	8.5

Try It!: #7

What is the relationship between thevalues of t and F if both are performedfor the same two-group test?

Like the t test, ANOVA indicates that thedifference in the amount of work completedat home is significantly different for the twogroups, so at least both tests draw the sameconclusion, statistical significance. Even so,more is involved than just the statisticaldecision to reject H0.

Consider the following:

· Note that the calculated value of t = 2.401 and the calculated value of F = 5.765.

· If the value of t is squared, it equals the value of F: 2.4012 = 5.765.

· The same is true for the critical values:

T0.05(14) = 2.145, 2.1452 = 4.60

F0.05(1,14) = 4.60

Gosset’s and Fisher’s tests draw exactly equivalent conclusions when two groups are tested.The ANOVA tends to be more work, so people ordinarily use the t test for two groups, butboth tests are entirely consistent.

6.7 The Factorial ANOVA

In the language of statistics, a factor is an independent variable, and a factorial ANOVA isan ANOVA that includes multiple IVs. We noted that fluctuations in the DV scores notexplained by the IV emerge as error variance. In the t-test/ANOVA example above, anydifferences in the amount of work taken home not related to the division between marketingand manufacturing—differences in workers’ seniority, for example—become part of SSwithand then the MSwith error. As long as a t test or a one-way ANOVA is used, the researchercannot account for any differences in work taken home that are not associated with whetherthe subject is from marketing or manufacturing, or whatever IV is selected. There can only beone independent variable.

The factorial ANOVA contains multiple IVs. Each one can account for its portion ofvariability in the DV, thereby reducing what would otherwise become part of the errorvariance. As long as the researcher has measures for each variable, the number of IVs has notheoretical limit. Each one is treated as we treated the SSbet: for each IV, a sum-of-squaresvalue is calculated and divided by its degrees of freedom to produce a mean square. Eachmean square is divided by the same MSwith value to produce F so that there are separate F values for each IV.

The associated benefit of adding more IVs to the analysis is that the researcher can moreaccurately reflect the complexity inherent in human behavior. One variable rarely explainsbehavior in any comprehensive way. Including more IVs is often a more informative view ofwhy DV scores vary. It also usually contributes to a more powerful test. Recall from Chapter4 that power refers to the likelihood of detecting significance. Because assigning what wouldotherwise be error variance to the appropriate IV reduces the error term, factorial ANOVAsare often more likely to produce significant F values than one-way ANOVAs; they are oftenmore powerful tests.

In addition, IVs in combination sometimes affect the DV differently than they do when theyare isolated, a concept called an interaction. The factorial ANOVA also calculates F valuesfor these interactions. If a researcher wanted to examine the impact that marital status andcollege graduation have on subjects’ optimism about the economy, data would be gathered onsubjects’ marital status (married or not married) and their college education (graduated or didnot graduate). Then SS values, MS values, and F ratios would be calculated for

· marital status,

· college education, and

· the two IVs in combination, the interaction of the factors.

In the manufacturing versus marketing example, perhaps gender and department interact sothat females in marketing respond differently than females in manufacturing, for example.

The factorial ANOVA has not been included in this text, but it is not difficult to understand.The procedures involved in calculating a factorial ANOVA are more numerous, but they arenot more complicated than the one-way ANOVA. Excel accommodates ANOVA problemswith up to two independent variables.

6.8 Writing Up Statistics

Any time a researcher has multiple groups or levels of a nominal scale variable (ethnicgroups, occupation type, country of origin, preferred language) and the question is about theirdifferences on some interval or ratio scale variable (income, aptitude, number of days sober,number of parking violations), the question can be analyzed using some form of ANOVA.Because it is a test that provides tremendous flexibility, it is well represented in researchliterature.

To examine whether a language is completely forgotten when exposure to that language issevered in early childhood, Bowers, Mattys, and Gage (2009) compared the performance ofsubjects with no memory of exposure to a foreign language in their early childhood to othersubjects with no exposure when the language is encountered in adulthood. They comparedthe performance with phonemes of the forgotten language (the DV) by those exposed toHindi (one group of the IV) or Zulu (a second group of the IV) to the performance of adultsof the same age who had no exposure to either language (a third group of the IV). They foundthat those with the early Hindi or Zulu exposure learned those languages significantly morequickly as adults.

Butler, Zaromb, Lyle, and Roediger III (2009) used ANOVA to examine the impact thatviewing film clips in connection with text reading has on student recall of facts when some ofthe film facts are inconsistent with text material. This experiment was a factorial ANOVAwith two IVs. One independent variable had to do with the mode of presentation includingtext alone, film alone, film and text combined. A second IV had to do with whether studentsreceived a general warning, a specific warning, or no warning that the film might beinconsistent with some elements of the text. The DV was the proportion of correct responsesstudents made to questions about the content. Butler et al. found that learner recall improvedwhen film and text were combined and when subjects received specific warnings aboutpossible misinformation. When the film facts were inconsistent with the text material,receiving a warning explained 37% of the variance in the proportion of correct responses.The type of presentation explained 23% of the variance.

Summary and Resources

Chapter Summary

This chapter is the natural extension of Chapters 4 and 5. Like the z test and the t test,analysis of variance is a test of significant differences. Also like the z test and t test, the IV inANOVA is nominal, and the DV is interval or ratio. With each procedure—whether z, t, or F—the test statistic is a ratio of the differences between groups to the differences withingroups (Objective 3).

ANOVA and the earlier procedures, do differ, of course. The variance statistics are sums ofsquares and mean squares values. But perhaps the most important difference is that ANOVAcan accommodate any number of groups (Objectives 2 and 3). Remember that trying to dealwith multiple groups in a t test introduces the problem of increasing type I error whenrepeated analyses with the same data indicate statistical significance. One-way ANOVA liftsthe limitation of a one-pair-at-a-time comparison (Objective 1).

The other side of multiple comparisons, however, is the difficulty of determining whichcomparisons are statistically significant when F is significant. This problem is solved with thepost hoc test. This chapter used Tukey’s HSD (Objective 4). There are other post hoc tests,each with its strengths and drawbacks, but HSD is one of the more widely used.

Years ago, the emphasis in scholarly literature was on whether a result was statisticallysignificant. Today, the focus is on measuring the effect size of a significant result, a statisticthat in the case of analysis of variance can indicate how much of the variability in thedependent variable can be attributed to the effect of the independent variable. We answeredthat question with eta squared (η2). But neither the post hoc test nor eta squared is relevant ifthe F is not significant (Objective 5).

The independent t test and the one-way ANOVA both require that groups be independent.What if they are not? What if we wish to measure one group twice over time, or perhapsmore than twice? Such dependent group procedures are the focus of Chapter 7, which willprovide an elaboration of familiar concepts. For this reason, consider reviewing Chapter 5and the independent t-test discussion before starting Chapter 7.

The one-way ANOVA dramatically broadens the kinds of questions the researcher can ask.The procedures in Chapter 7 for non-independent groups represent the next incremental step.

Chapter 6 Flashcards

Key Terms

analysis of variance (ANOVA)

error variance

eta squared

factor

factorial ANOVA

F  ratio

interaction

mean square

one-way ANOVA

post hoc test

sum of squares

sum of squares between

sum of squares error

sum of squares total

sum of squares within

Review Questions

Answers to the odd-numbered questions are provided in Appendix A.

1. Several people selected at random are given a story problem to solve. They take 3.5,3.8, 4.2, 4.5, 4.7, 5.3, 6.0, and 7.5 minutes. What is the total sum of squares for thesedata?

2. Identify the following symbols and statistics in a one-way ANOVA:

b. The statistic that indicates the mean amount of difference between groups.

b. The symbol that indicates the total number of participants.

b. The symbol that indicates the number of groups.

b. The mean amount of uncontrolled variability.

1. A study theorizes that manifested aggression differs by gender. A researcher finds thefollowing data from  M easuring  E xpressed  A ggression  N umbers (MEAN):

Males: 13, 14, 16, 16, 17, 18, 18, 18 Females: 11, 12, 12, 14, 14, 14, 14, 16

Complete the problem as an ANOVA. Is the difference statistically significant?

1. Complete Question 3 as an independent t test, and demonstrate the relationshipbetween t2 and F.

d. Is there an advantage to completing the problem as an ANOVA?

d. If there were three groups, why not just complete three t tests to answer questionsabout significance?

1. Even with a significant F, a two-group ANOVA never needs a post hoc test. Why not?

1. A researcher completes an ANOVA in which the number of years of education completed is analyzed by ethnic group. If η2 = 0.36, how should that be interpreted?

1. Three groups of clients involved in a program for substance abuse attend weeklysessions for 8 weeks, 12 weeks, and 16 weeks. The DV is the number of drug-freedays.

8 weeks: 0, 5, 7, 8, 8 12 weeks: 3, 5, 12, 16, 17 16 weeks: 11, 15, 16, 19, 22

g. Is F significant?

g. What is the location of the significant difference?

g. What does the effect size indicate?

1. For Question 7, answer the following:

h. What is the IV?

h. What is the scale of the IV?

h. What is the DV?

h. What is the scale of the DV?

1. For an ANOVA problem, k = 4 and n = 8.

If SSbet = 24.0

and SSwith = 72

i. What is F?

i. Is the result significant?

1. Consider this partially completed ANOVA table:

SS	df	MS	F	F crit
Between		2
Within	63		3
Total	94

j. What must be the value of N − k?

j. What must be the value of k?

j. What must be the value of N?

j. What must the SSbet be?

j. Determine the MSbet.

j. Determine F.

j. What is Fcrit?

Answers to Try It! Questions

1. The one in one-way ANOVA refers to the fact that this test accommodates just oneindependent variable. One-way ANOVA contrasts with factorial ANOVA, which caninclude any number of IVs.

2. A t test with six groups would need 15 comparisons. The answer is the number ofgroups (6) times the number of groups minus 1 (5), with the product divided by 2: 6 ×5 = 30 / 2 = 15.

3. The only way SS values can be negative is if there has been a calculation error.Because the values are all squared values, if they have any value other than 0, theymust be positive.

4. The difference between SStot and SSwith is the SSbet.

5. If F = 4 and MSwith = 2, then MSbet must = 8 because F = MSbet ÷ MSwith.

6. The answer is neither. If F is not significant, there is no question of which group issignificantly different from which other group because any variability may be nothingmore than sampling variability. By the same token, there is no effect to calculatebecause, as far as we know, the IV does not have any effect on the DV.

7. t2 = F

Repeated Measures Designs forInterval Data

Karen Kasmauski/Corbis

Chapter Learning Objectives

After reading this chapter, you should be able to do the following:

1. Explain how initial between-groups differences affect t test or analysis ofvariance.

2. Compare the independent t test to the dependent-groups t test.

3. Complete a dependent-groups t test.

4. Explain what “power” means in statistical testing.

5. Compare the one-way ANOVA to the within-subjects F.

6. Complete a within-subjects F.

Introduction

Tests of significant difference, such as the t test and analysis of variance, take two basicforms, depending upon the independence of the groups. Up to this point, the text has focusedonly on independent-groups tests: tests where those in one group cannot also be subjects inother groups. However, dependent-groups procedures, in which the same group is usedmultiple times, offer some advantages.

This chapter focuses on the dependent-groups equivalents of the independent t test and theone-way ANOVA. Although they answer the same questions as their independent-groupsequivalents (are there significant differences between groups?), under particularcircumstances these tests can do so more efficiently and with more statistical power.

7.1 Reconsidering the t and F Ratios

The scores produced in both the independent t and the one-way ANOVA are ratios. In thecase of the t test, the ratio is the result of dividing the difference between the means of thegroups by the standard error of the difference:

t=M1−M2SEd

With ANOVA, the F ratio is the mean square between (MSbet) divided by the mean squarewithin (MSwith):

F=MSbetMSwith

With either t or F, the denominator in the ratio reflects how much scores vary within (ratherthan between) the groups of subjects involved in the study. These differences are easy to seein the way the standard error of the difference is calculated for a t test. When group sizes areequal, recall that the formula is

SEd=(SEM1)2+(SEM2)2‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

with

SEM=sn‾‾√

and s, of course, a measure of score variation in any group.

So the standard error of the difference is based on the standard error of the mean, which inturn is based on the standard deviation. Therefore, score variance within in a t test has its rootin the standard deviation for each group of scores. If we reverse the order and work from thestandard deviation back to the standard error of the difference, we note the following:

Try It!: #1

If the size of the group affects the sizeof the standard deviation, what then isthe relationship between sample sizeand error in a t test?

· When scores vary substantially in agroup, the result is a large standarddeviation.

· When the standard deviation isrelatively large, the standard error ofthe mean must likewise be largebecause the standard deviation is thenumerator in the formula for SEM.

· A large standard error of the meanresults in a large standard error of thedifference because that statistic is the square root of the sum of the squared standarderrors of the mean.

· When the standard error of the difference is large, the difference between the meanshas to be correspondingly larger for the result to be statistically significant. The tableof critical values indicates that no t ratio (the ratio of the differences between themeans and the standard error of the difference) less than 1.96 to 1 is going to besignificant, and even that value requires an infinite sample size.

Error Variance

The point of the preceding discussion is that the value of t in the t test—and for F in anANOVA—is greatly affected by the amount of variability within the groups involved. Otherfactors being equal, when the variability within the groups is extensive, the values of t and Fare diminished and less likely to be statistically significant than when groups have relativelylittle variability within them.

These differences within groups stem from differences in the way individuals within thesamples react to whatever treatment is the independent variable; different people responddifferently to the same stimulus. These differences represent error variance—the outcomewhenever scores differ for reasons not related to the IV.

But within-group differences are not the only source of error variance in the calculation of tand F. Both t test and ANOVA assume that the groups involved are equivalent before theindependent variable is introduced. In a t test where the impact of relaxation therapy onclients’ anxiety is the issue, the test assumes that before the therapy is introduced, thetreatment group which receives the therapy and the control group which does not both beginwith equivalent levels of anxiety. That assumption is the key to attributing any differencesafter the treatment to the therapy, the IV.

Confounding Variables

Greg Smith/Corbis

In a study of the impact of substanceabuse programs on addicts’behavior, confounding variablescould include ethnic background,age, or social class.

In comparisons like the one studying the effects ofrelaxation therapy, the initial equivalence of thegroups can be uncertain, however. What if thegroups had differences in anxiety before thetherapy was introduced? The employmentcircumstances of each group might differ, andperhaps those threatened with unemployment aremore anxious than the others. What if age-relateddifferences exist between groups? These otherinfluences that are not controlled in an experimentare sometimes called confounding variables.

A psychologist who wants to examine the impactthat a substance abuse program has on addicts’behavior might set up a study as follows. Twogroups of the same number of addicts are selected,and one group participates in the substance-abuseprogram. After the program, the psychologist measures the level of substance abuse in bothgroups to observe any differences.

The problem is that the presence or absence of the program is not the only thing that mightprompt subjects to respond differently. Perhaps subjects’ background experiences aredifferent. Perhaps ethnic-group, age, or social-class differences play a role. If any of thosedifferences affect substance-abuse behavior, the researcher can potentially confuse theinfluence of those factors with the impact of the substance-abuse program (the IV). If thoseother differences are not controlled and affect the dependent variable, they contribute to errorvariance. Error variance exists any time dependent-variable (DV) scores fluctuate for reasonsunrelated to the IV.

Thus, the variability within groups reflects error variance, and any difference between groupsthat is not related to the IV represents error variance. A statistically significant result requiresthat the score variance from the independent variable be substantially greater than the errorvariance. The factor(s) the researcher controls must contribute more to score values than thefactors that remain uncontrolled.

7.2 Dependent-Groups Designs

Ideally, any before-the-treatment differences between the groups in a study will be minimal.Recall that random selection entails every member of a population having an equal chance ofbeing selected. The logic behind random selection dictates that when groups are randomlydrawn from the same population, they will differ only by chance; as sample size increases,probabilities suggest that they become increasingly similar in characteristic to the population.No sample, however, can represent the population with complete fidelity, and sometimes thechance differences affect the way subjects respond to the IV.

Try It!: #2

How does the use of random selectionenable us to control error variance instatistical testing?

One way researchers reduce error varianceis to adopt what are called dependent-groups designs. The independent t test andthe one-way ANOVA required independentgroups. Members of one group could notalso be members of other groups in thesame study. But in the case of the t test, ifthe same group is measured, exposed to atreatment, and then measured again, thestudy controls an important source of error variance. Using the same group twice makes theinitial equivalence of the two groups no longer a concern. Other aspects being equal, anyscore difference between the first and second measure should indicate only the impact of theindependent variable.

The Dependent-Samples t Tests

One dependent-groups test where the same group is measured twice is called the before/aftert test. An alternative is called the matched-pairs t test, where each participant in the firstgroup is matched to someone in the second group who has a similar characteristic. Thebefore/after t test and the matched-pairs t test both have the same objective—to control theerror variance that is due to initial between-groups differences. Following are examples ofeach test.

· The before/after design: A researcher is interested in the impact that positivereinforcement has on employees’ sales productivity. Besides the sales commission, theresearcher introduces a rewards program that can result in increased vacation time. Theresearcher gauges sales productivity for a month, introduces the rewards program, andgauges sales productivity during the second month for the same people.

· The matched-pairs design: A school counselor is interested in the impact that verbalreinforcement has on students’ reading achievement. To eliminate between-groupsdifferences, the researcher selects 30 people for the treatment group and matches eachperson in the treatment group to someone in a control group who has a similar readingscore on a standardized test. The researcher then introduces the verbal reinforcementprogram to those in the treatment group for a specified period of time and thencompares the performance of students in the two groups.

Try It!: #3

How do the before/after t test and thematched-pairs t test differ?

Although the two tests are set up differently,both calculate the t statistic the same way.The differences between the twoapproaches are conceptual, notmathematical. They have the same purpose—to control between-groups score variationstemming from nonrelevant factors.

Calculating t in a Dependent-GroupsDesign

The dependent-groups t may be calculated using several methods. Each method takes intoaccount the relationship between the two sets of scores. One approach is to calculate thecorrelation between the two sets of scores and then to use the strength of the correlation as amechanism for determining between-groups error variance: the higher the correlationbetween the two sets of scores, the lower the error variance. Because this text has yet todiscuss correlation, for now we will use a t statistic that employs “difference scores.” Thedifferent approaches yield the same answer.

The distribution of difference scores came up in Chapter 5 when it introduced the independent t test. Recall that the point of that distribution is to determine the point at whichthe difference between a pair of sample means (M1 − M2) is so great that the most probableexplanation is that the samples came from different populations.

Dependent-groups tests use that same distribution, but rather than the difference between themeans of the two groups (M1 − M2), the numerator in the t ratio is the mean of the differencesbetween each pair of scores. If that mean is sufficiently different from the mean of thepopulation of difference scores (which, recall, is 0), the t value is statistically significant; thefirst set of measures belongs to a different population than the second set of measures. Thatmay seem odd since in a before/after test, both sets of measures come from the samesubjects, but the explanation is that those subjects’ responses (the DV) were altered by theimpact of the independent variable; their responses are now different.

The denominator in the t ratio is another standard error of the mean value, but in this case, itis the standard error of the mean of the difference scores. The researcher checks forsignificance using the same criteria as for the independent t:

· A critical value from the t table, determined by degrees of freedom, defines the point atwhich the calculated t value is statistically significant.

· The degrees of freedom are the number of pairs of scores minus 1 (n − 1).

The dependent-groups t test statistic uses this formula:

Formula 7.1

t=MdSEMd

where

Md = the mean of the difference scores

SEMd = the standard error of the mean for the difference scores

The steps for completing the test are as follows:

1. From the two scores for each subject, subtract the second from the first to determinethe difference score, d, for each pair.

2. Determine the mean of the d scores:

Md=∑dnumber of pairs

3. Calculate the standard deviation of the d values, sd.

4. Calculate the standard error of the mean for the difference scores, SEMd, by dividing sdby the square root of the number of pairs of scores,

SEMd=sdnumber of pairs‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

5. Divide Md by SEMd, the standard error of the mean for the difference scores:

t=MdSEMd

Figure 7.1: Steps forcalculating thebefore/after t test

Figure 7.1 depicts these steps.

The following is an example of a dependent-measures t test: Apsychologist is investigating the impact that verbalreinforcement has on the number of questions universitystudents ask in a seminar. Ten upper-level students participatein two seminars where a presentation is followed by students’questions. In the first seminar, the instructor provides nofeedback after a student asks the presenter a question. In thesecond seminar, the instructor offers feedback—such as“That’s an excellent question” or “Very interesting question”or “Yes, that had occurred to me as well”—after each question.

Is there a significant difference between the number ofquestions students ask in the first seminar compared to thenumber of questions students ask in the second seminar?Problem 7.1 shows the number of questions asked by eachstudent in both seminars and the solution to the problem.

Problem 7.1: Calculating the before/after t test

	Seminar 1	Seminar 2	d
1	1	3	−2
2	0	2	−2
3	3	4	−1
4	0	0	0
5	2	3	−1
6	1	1	0
7	3	5	−2
8	2	4	−2
9	1	3	−2
10	2	1	1
			∑d = −11

1. Determine the difference between each pair of scores, d, using subtraction.

2. Determine the mean of the difference, the d values (Md).

Md=∑d10=1110=−1.1

3. Calculate the standard deviation of the d values (Sd). Verify that 

Sd = 1.101.

4. Just as the standard error of the mean in the earlier test was s√n, determinestandard error of the mean for the difference scores (SEMd) by dividing theresult of step 3 by the square root of the number of pairs. Verify that

SEMd=sdnp‾‾‾√=1.10110‾‾‾√=0.348

5. Divide Md by SEMd to determine t. 

t=MdSEMd=1.10.348=−3.161

6. As noted earlier, the degrees of freedom for the critical value of t for this testare the number of pairs of scores, np − 1.

t0.05(9) = 2.262

The calculated value of t exceeds the critical value from Table 5.1 (Table B.2 in AppendixB). Therefore, the result is statistically significant. Note that we are interested in the absolutevalue of the calculated t. Because the question was whether there is a significant difference inthe number of questions, it is a two-tailed test. It does not matter which session had thegreater number—whether Session 1 is larger than Session 2 or the other way around. Thestudents in the second session, where questions were followed by feedback, askedsignificantly more questions than the students in the first session, when no feedback wasoffered by the instructor.

Degrees of Freedom, the Dependent-Groups Test, and Power

When Md = −1.1, the two sets of scores show comparatively little difference. What makessuch a small mean difference statistically significant? The answer is in the amount of errorvariance in this problem. When there is minimal error variance—for example, the standarderror of the difference scores is just 0.348—comparatively small mean differences can bestatistically significant. The ability to detect such small differences, which are neverthelessstatistically significant, is the rationale for using dependent-groups tests, which brings usback to power in statistical testing, a topic first raised in Chapter 6.

Table B.2 in Appendix B, the critical values of t, indicates that critical values decline asdegrees of freedom increase. That occurs not only in the critical values for t, but also for F inanalysis of variance and, in fact, for most tables of critical values for statistical tests.

· For the dependent-groups t test, the degrees of freedom are the number of pairs ofrelated scores, −1.

· For the independent-groups t test (Chapter 5),

df = n1 + n2 −2

Try It!: #4

What does it mean to say that thewithin-subjects test has more powerthan the independent t test?

With the smaller numerical value for df, thedependent-groups test has the higherstandard to meet for statistical significance,even though the number of raw scores is thesame. But even a test with a larger criticalvalue can produce significant results whenit has less error variance. This is whatdependent-groups tests do. The centralpoint is that when each pair of scores comesfrom the same participant, or from amatched pair of participants, the randomvariability from nonequivalent groups is minimal because scores tend to vary similarly foreach pair, resulting in relatively little error variance. The reduced error more thancompensates for the fewer degrees of freedom and the associated larger critical value.

Recall that in statistical testing, power is defined as the likelihood of detecting a significantdifference when it is present. The more powerful statistical test is the one that will mostreadily detect a significant difference. As long as the sets of scores are closely related, thedependent-measures, or dependent-groups, test is more powerful than the independent-groups equivalent.

A Matched-Pairs Example

The other form of the dependent-groups t test is the matched-pairs design. In this approach,rather than measure the same people repeatedly, each participant in one group is paired with aparticipant who is similar from the other group.

For example, consider a psychologist who wants to determine whether a video on domesticviolence will prompt viewers to be less tolerant of domestic violence. The psychologistselects a group of subjects, introduces them to the video which they view, and measures theirattitudes toward domestic violence. A second group does not view the video. Reasoning thatage and gender might be relevant to attitudes about domestic violence, the psychologistselects people for the second group who match these characteristics of those in the firstgroup. Problem 7.2 shows subjects’ scores from an instrument designed to measure attitudesabout domestic violence and the matched-pairs t solution.

Problem 7.2: Calculating a matched-pairs t test

Subject	Viewed	Did not view	d
1	1.5	3	−1.5
2	4	0	4
3	3	2	1
4	0	0	0
5	2	0	2
6	4.5	4	0.5
7	6	2	4
8	0	1	−1.0
9	5.25	2	3.25
10	2	3	−1.0

Verify that Md = 1.125

Sd=2.092SEMd=sdnp‾‾‾√=2.09210‾‾‾√=0.662t=MdSEMd=−1.1250.662=1.700t0.05(9)=2.262

The absolute value of t is less than the critical value from Table 5.1 (or Table B.2 inAppendix B) for df = 9. The difference is not statistically significant. There are probablyseveral ways to explain the outcome, but we will explore just three.

1. The most obvious explanation is that the video was ineffective. Subjects’ attitudeswere not significantly altered as a result of the viewing.

2. Another explanation has to do with the matching. Perhaps age and gender are notrelated to individuals’ attitudes. Prior experience with domestic violence may be themost important characteristic, a factor left uncontrolled in the pairing.

3. Another explanation is related to sample size. Small samples tend to be more variablethan larger samples, and variability is what the denominator in the t ratio reflects.Perhaps if this had been a larger sample, the SEMd would have had a smaller value andthe t would have been significant.

The second explanation points out the disadvantage of matched-pairs designs compared torepeated-measures designs. The individual conducting the study must be in a position toknow which characteristics of the participants are most relevant to explaining the dependentvariable so that they can be matched in both groups. Otherwise it is impossible to knowwhether a nonsignificant outcome reflects an inadequate match, control of the wrongvariables, or a treatment that just does not affect the DV.

Comparing the Dependent-Samples t Test to the Independent t Test

To compare the dependent-samples t test and the independent t more directly, we will applyboth tests to the same data to illustrate how each test deals with error variance. Beforebeginning, a necessary caution: Once data are collected, there is no situation where someonecan choose which test to use. Either the groups are independent, or they are not. Ourcomparison is purely an academic exercise.

A university program encourages students to take a service-learning class that emphasizes theimportance of community service as a part of the students’ educational experience. Data aregathered on the number of hours former students spend in community service per month afterthey complete the course and graduate from the university.

· For the independent t test, the students are divided between those who took a service-learning class and graduates of the same year who did not.

· For the dependent-groups t test, those who took the service-learning class are matchedto a student with the same major, age, and gender who did not take the class.

The data and the solutions to both tests are listed in Problem 7.3.

Problem 7.3: The before/after t versus the independent t test

Student	Class	No class	d
1	4	3	1
2	3	2	1
3	3	2	1
4	2	2	0
5	3	2.5	0.5
6	4	3	1
7	1	2	−1
8	5	4	1
9	6	5	1
10	4	3	1
M	3.50	2.850	0.650
s	1.434	1.001	0.669
SEM	0.453	0.316	0.211

For an independent t test, the results show:

SEd=(SEM12+SEM22)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=0.4532+0.3162‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=0.553

t=M1−M2SEd=3.50−2.8500.553=1.175;t0.05(18)=2.101.

The result is not significant.

For a matched-pairs t test, the results show:

t=MdSEMd=0.650+0.211=3.081;=2.262.

The result is significant.

Because the differences between the scores are quite consistent, as they tend to be whenparticipants are matched effectively, very little variation exists between the individuals ineach pair. Minimal variation results in a comparatively small standard deviation of differencescores and a small standard error of the mean for the difference scores. The small standarddeviation and standard error of the mean make it more likely that t ratios with even relativelysmall numerators will be statistically significant. Since the independent t test does not assumethat the two groups are related, error variance is based on the differences within the groups ofraw scores, rather than between the individuals in each pair, and the denominator is largeenough that in that test, the t value is not significant.

Computing the Dependent-Groups t Test Using Excel

To use Excel to complete Problem 7.3 as a dependent-groups test, follow this procedure:

1. Create the data file in Excel.

2.

b. Label Column A “Class” to indicate those who had the service learning class, andlabel column B “No Class.”

b. Enter the data, beginning with cell A2 for the first group and cell B2 for the second group.

1. Click the Data tab at the top of the page.

1. At the extreme right, choose Data Analysis.

1. In the Analysis Tools window, select  ttest: Paired Two Sample for Means and click OK.

1. In the blanks for Variable 1 Range and Variable 2 Range, enter A2:A11 for the datain the first (Class) group (cells A2 to A11), and enter B2:B11 for the No Class data(cells B2 to B11).

1. Indicate that the hypothesized mean difference is 0. This reflects the value for the meanof the distribution of difference scores.

1. Indicate A13 for the output range so that the results do not overlay the data scores.

1. Click OK.

Widen column A so that all the output is readable. Figure 7.2 shows the resulting screenshot.

In the Excel solution, t = 3.074 rather than the 3.081 from the manually calculated solution.Excel calculates the correlation between scores to find a solution, rather than determining thedifference between scores as we did. In any event, the very minor difference, 0.007, betweenthe solution shown in Problem 7.3 and the Excel solution in Figure 7.2 is not relevant to theoutcome. The Excel output also indicates results for one-tailed and two-tailed tests. At p =0.05, the outcome is statistically significant in either case.

Figure 7.2: Excel output for thedependent-samples t test using datafrom Problem 7.3

Source: Microsoft Excel. Used with permission fromMicrosoft.

Comparing the Two Dependent t Tests

The before/after and matched-pairs approaches to calculating a dependent-groups t test havetheir individual advantages. The before/after design provides the greatest control over theextraneous variables that can confound the results in a matched-pairs design. The matchingapproach always has the chance that subjects in Group 2 are not matched closely enough onsome relevant variable to minimize the error variance. In the service-learning example,students were matched according to age, major, and gender. But if marital status affectsstudents’ willingness to be involved in community service and that variable is not controlled,an imbalance of married/not-married students could confound results. The before/afterprocedure involves the same subjects, and unless their status on some important variablechanges between measures (a rash of marriages between the first and second measurement,for example), that approach will better control error variance.

Note that the matched-pairs approach relies on a large sample from which to draw to selectparticipants who match those in the first group. As the number of variables on whichparticipants must be matched increases, so must the size of the sample from which to draw tofind participants with the correct combination of characteristics.

Apply It! Repeated Measures

mbot/iStock/Thinkstock

A research team is investigating the impact offixed-ratio reinforcement on laboratory rats.Initially, the rats receive food reinforcers eachtime they make a correct turn in a maze. Thecontrol rats receive no reinforcement. Thedependent variable is the amount of time inseconds it takes each rat to complete the maze.Table 7.1 shows the results of the investigation.

Table 7.1: Impact of fixed-ratio reinforcement on laboratory rats

Rat	Time(s)
	With reinforcement	Without reinforcement
A	112	120
B	85	82
C	103	116
D	154	168
E	65	75
F	52	51
G	85	96
H	72	79
I	167	178
J	123	141
K	142	153

Table 7.2 shows the Excel solution to the t test.

Table 7.2: Summary statistics from the Excel t test

	Variable 1	Variable 2
Mean	105.45	114.45
Variance	1428.67	1736.27
Observations	10	10
Pearson Correlation	0.99
Hypothesized Mean Difference	0.00
df	9
t Stat	−4.817
P(T←t) one-tail	0.0003
t Critical one-tail	1.8331
P(T←t) two-tail	0.0007
t Critical two-tail	2.2622

The magnitude of the calculated value of t = −4.817 exceeds the critical two-tail valuefrom the table of tcrit = 2.26. The result indicates that providing reinforcement forcorrect decisions has a statistically significant effect on the time it takes a rat tocomplete the maze.

Apply It! boxes written by Shawn Murphy

The advantage of the matched-pairs design, on the other hand, is that it takes less time toexecute. The treatment group and the control group can both be involved in the study at thesame time. By way of a summary, note the comparisons among t tests in Table 7.3.

Table 7.3: Comparing the t tests

	Independent t	Before/after	Matched-pairs
Groups	Independentgroups	One groupmeasuredtwice	Two groups: each subject fromthe first group matched to onein the second
Denominator/errorterm	Within-groups andbetween-groupsvariability	Within-groupsvariabilityonly	Within-groups variability only

7.3 The Within-Subjects F

Sometimes two measures of the same group are not enough to track changes in the dependent variable.Maybe the researchers conducting the service-learning study want to compare how much time studentsdevoted to community service the year they graduated, one year later, and then two years aftergraduation. The within-subjects F  is a dependent-groups procedure for two or more groups of scoreswhen the DV is interval or ratio scale. Because the dependent-groups t test is the repeated-measuresequivalent of the independent t test, the within-subjects F is the repeated-measures or matched-pairsequivalent of the one-way ANOVA. The same Ronald Fisher who developed analysis of variance alsodeveloped this test, which is a form of ANOVA, and the test statistic is still F.

Here too, the dependent groups can be formed either by repeatedly measuring the same group or bymatching separate groups of participants on the relevant variables. When more than two groups areinvolved, matching becomes increasingly problematic, however. Although it is theoretically possibleto match the participants across any number of groups, to match more than one or two relevantvariables across more than two or three groups of subjects is a highly complex undertaking. Imaginethe difficulty, for example, of matching subjects on some measure of aptitude, their income, and theirlevel of optimism in three or more different groups. Even matching these variables for two groupsmight prove quite difficult. For this reason, repeatedly measuring the same participants is much morecommon than matching across several groups.

Managing Error Variance in the Within-Subjects F

Recall from Chapter 6 that when Fisher developed ANOVA, he shifted away from calculating scorevariability with the standard deviation, standard error of the mean, and so on and used sums of squaresinstead. The particular sums of squares computed are the key to the strength of this procedure.

If a researcher measures a group of participants in a study on a dependent variable at three differentintervals and records their scores in parallel columns, the result is a data sheet similar to Table 7.4.

· The column scores for the first, second, and third measures are treated the way scores from threedifferent groups were treated in a one-way ANOVA; the differences from column to columnreflect the effect of the IV, the treatment.

· The participant-to-participant differences, which are like the within-group differences in a one-way ANOVA, are reflected in the differences in the scores from row to row. Those differencesare error variance, just as they were in the one-way ANOVA.

Table 7.4: A data sheet

	1st measure	2nd measure	3rd measure
Participant 1	.	.	.
Participant 2	.	.	.

· The within-subjects F calculates the variability between rows (the within-groups variance), andthen, because that variance comes from participant-to-participant differences that will be thesame in each group, eliminates it from further analysis.

· The only error variance that remains is that which does not stem from initial person-to-persondifferences. It will be from such sources as inaccurate measures of the DV, mistakes in codingthe DV, or differences in how sensitive the subjects are to the DV that change from treatment totreatment.

In the dependent-samples t test, the within-subjects variance—error variance—is reduced by usingsubjects in two groups that are highly similar to begin with or because they are the same peoplemeasured before and after a treatment. In either case, initial between-groups differences, an importantsource of variance, are minimized, and attributing differences to the effect of the independent variablebecomes easier.

In the within-subjects F, the variability within groups is calculated and then simply discarded so that itis no longer a part of the analysis. That cannot be done in the one-way ANOVA because the amount ofvariability within groups is different for each group, and there is no way to separate it from the balanceof the error variance in the problem.

A Within-Subjects F Example

A psychologist is studying practice effect in connection with the ability of 12-year-olds to solve aseries of puzzles involving logic and reasoning. The study has five subjects, who solve as manypuzzles as they can during a 30-minute period. The psychologist conducts three trials an hour apart.Although the puzzles are similar, each trial involves different puzzles. The researcher wants to answerthe question whether greater familiarity with the puzzles is associated with solving more puzzlescorrectly. Table 7.5 shows the study’s results.

Table 7.5 Data from puzzle-solving study

	Number of puzzles solved
	1st trial	2nd trial	3rd trial
Diego	2	5	4
Harold	4	7	7
Wilma	3	6	5
Carol	4	5	6
Moua	5	8	9

The independent variable (the IV, the treatment) is the particular trial. The dependent variable (the DV)is the number of puzzles successfully solved. The research question is whether the second or thirdtrials will result in significantly more puzzles solved than in the first trial. In Chapter 6, the sum ofsquares between (SSbet) measured the variability related to the IV. This study gauges the same sourceof variance, except that it is called the sum of squares between columns (SScol).

The Components of the Within-Subjects F

Calculating the within-subjects F begins just as the one-way ANOVA begins, by determining allvariability from all sources with the sum of squares total (SStot). It is calculated the same way as it wasin Chapter 6:

1. The formula for the sum of squares total is

SStot =∑(x − MG)2

a. Subtract each score (x) from the mean of all the scores from all the groups (MG),

a. square the difference, and then

a. sum the squared differences.

The balance of the problem is completed with the following steps:

0. The equation for the sum of squares between columns (SScol) is much like SSbet in the one-wayANOVA. The scores in each column are treated the same way the different groups were treatedin the one-way ANOVA. For columns 1, 2, and through k:

Formula 7.2

SScol = (Mcol 1 − MG)2ncol 1 + (Mcol 2 − MG)2ncol 2 + . . . + (Mcol k − MG)2ncol k

a. calculate the mean for each column of scores (Mcol),

b. subtract the mean for all the data (MG) from each column mean,

c. square the result, and

d. multiply the squared result by the number of scores in the column (ncol).

1. The sum of squares between rows is also like the SSbet from the one-way problem except that ittreats the scores for each row as a separate group. For rows 1, 2, and through i:

Formula 7.3

SSrows = (Mrow 1 − MG)2nrow 1 + (Mrow 2 − MG)2nrow 2 + . . . + (Mrow i − MG)2nrow i

a. calculate the mean for each row of scores (Mrow),

b. subtract the mean for all the data (MG) from each row mean,

c. square the result, and

d. multiply the squared result by the number of scores in the row.

2. The residual sum of squares is the error term in the within-subjects F. It is the equivalent of SSwith or the SSerr in the one-way ANOVA. With the within-subjects F, the person-to-persondifferences within each measure are calculated and eliminated since they are the same for eachset of measures. Unexplained variance is what remains after the treatment effect (the effect ofthe IV) and the person-to-person differences within in each group are eliminated:

Formula 7.4

SSresid = SStot − SScol − SSrows

a. If from all variance from all sources (SStot),

b. the treatment effect (SScol) is subtracted

c. and the person-to-person differences (SSrows) are subtracted,

d. what remains is unexplained variance, error.

Completing the Within-Subjects F Calculations

Just as with one-way problems, the mean square values are calculated by dividing the sums of squaresby their degrees of freedom. The degrees of freedom values are as follows:

· df total = N − 1

· df columns = number of columns − 1

· df rows = number of rows − 1

· df residual = df columns × df rows

Although we listed the degrees of freedom values for total and rows, as well as for columns andresiduals, there are no MS values for total and rows. The df values for those two variance measures arelisted because the sum of all df values must equal df for total; they allow for a quick check of dfvalues. The next step is to complete the ANOVA table, including the calculation of F. We candetermine the test statistic, F, in the within-subjects ANOVA by dividing the treatment effect (MScol)by the error term (MSresid); F = MScol / MSresid

Problem 7.4 shows the calculations and the table for the impact of the practice-effects study.

As with one-way ANOVA, the first step is to calculate the SStot. It is the sum of the squared differencesbetween each individual score (x) and the grand mean (MG). The SStot is followed by the SS for thedifferences between columns (SScol). It is the sum of the squared differences between each columnmean (Mcol1, for example) and the grand mean (MG), times the number of scores in the column (ncol1,for example). Next, calculate the SS for the differences from row to row. For each row, square thedifference between the row mean (Mr1, for example) and the grand mean (MG), and then multiply thesquared difference by the number of scores in the row (nr1, for example). Finally, find the error term—the residual sum of squares—which is what remains from SStot − SScol − SSrows.

Problem 7.4: A within-subjects F example

Puzzles completed

	1st trial	2nd trial	3rd trial	Row means
Diego	2	5	4	3.667
Harold	4	7	7	6.0
Wilma	3	6	5	4.667
Carol	4	5	6	5.0
Moua	5	8	9	7.333
Column means	3.60	6.20	6.20
Grand mean (Md)	5.333

1. SStot = ∑(x − MG)2

(2 − 5.333)2 + (4 − 5.333)2 + . . . + (9 − 5.333)2 = 49.333

2. SScol = (Mcol 1 – MG)2ncol 1 + (Mcol 2 – MG)2ncol 2 + . . . + (Mcol k – MG)2ncol k

(3.6 − 5.333)25 + (6.2 − 5.333)25 + (6.2 − 5.333)25 = 22.533

3. SSrows = (Mr1 – MG)2nr1 + (Mr2 – MG)2nr2 + . . . + (Mri – MG)2nri

(3.667 − 5.333)23 + (6.0 − 5.333)23 + (4.667 − 5.333)23 + (5.0 − 5.333)23 + (7.333 −5.333)23 = 23.333

4. The residual sum of squares.

SSresid = SStot − SScol − SSrows = 49.333 − 22.533 − 23.333 = 3.467

The ANOVA table

Source	SS	df	MS	F	F crit
Total	49.333	14
Columns	22.533	2	11.267	26.0	4.46
Rows	23.333	4
Residual	3.467	8	0.433

The calculated value of F exceeds the critical value of F from the table. The number of puzzlescompleted is significantly different for the different trials. The significant F indicates that differencesof this magnitude are unlikely to have occurred by chance.

Completing the Post Hoc Test

Ordinarily, the calculation of F leaves unanswered the question of which set of measures issignificantly different from which. However, in this particular problem there is only one possibility.Because both the second trial and the third trial measures have the same mean (M = 6.20), they mustboth be significantly different from the only other group of measures in the problem, the first trialmeasures, for which M = 3.6. As a demonstration of how we would determine which groups weresignificantly different from which were it otherwise, honestly significant difference (HSD) iscompleted anyway.

Try It!: #5

How is the error term in the within-subjects F different from that in the one-wayANOVA?

The HSD procedure is the same as for the one-way test, except that the error term is now MSresid. Substituting MSresid for MSwith in theformula provides

HSD=xMSresidn‾‾‾‾‾‾‾‾√

where x is a value from Table B.4 in AppendixB. It is based on the number of means, which is the same as the number of groups of measures, 3 in theexample, and the df for MSresid, which is 8. n = the number of scores in any one measure, 5 in thisinstance.

For the number-of-puzzles-solved correctly study,

4.040.4335‾‾‾‾‾‾√=1.19

A difference of 0.306 or greater between any pair of means is statistically significant.

Using the same approach used in Chapter 6, the matrix in Table 7.6 indicates how the differencebetween each pair of means helps us determine which differences are statistically significant.

Table 7.6: Matrix of differences of means

	1st trial (3.6)	2nd trial (6.2)	3rd trial (6.2)
1st trial (3.6)	diff = 0	diff = 2.6*	diff = 2.6*
2nd trial (6.2)			diff = 0.00
3rd trial (6.2)

*Indicates a significant difference

The first trial measures are significantly different from the second and third measures. Because themean values for the second and third trial measures are the same, neither of those two is significantlydifferent from the other. For these 12-year-old subjects working with this kind of logic/reasoningpuzzle, practice effect is greatest from first to subsequent trials.

Calculating the Effect Size

The final question for a significant F is the question of the practical importance of the result. Usingeta-squared as the measure of effect size produces the following:

η2=SScolSStot

with SScol taking the place of SSbet in the one-way ANOVA.

For the problem just completed, SScol = 22.533 and SStot = 49.333, so

η2=22.53349.333=0.457

The eta-squared value indicates that approximately 46% of the variance in the number of puzzlessolved successfully by these subjects can be explained by whether it was the first or some subsequenttrial.

Apply It! The Meditation Pilot Program Revisited

Recall Chapter 5’s example of the middle school that adopted a meditation program in an effortto relieve stress among students, increase their test scores, and improve student behavior. In theearlier chapter, we used a one-sample t test to determine that a statistically significant increasein GPAs occurred among participating students. Now, we will use a within-subject F test to seeif their stress levels have decreased over successive intervals.

Ten randomly chosen students selected for the program filled out questionnaires about theirstress levels. Scores ranged from 1 to 10, with 10 indicating the most stress. The survey wasgiven before the start of the program and at three-month intervals. The time elapsed representsthe independent variable, the treatment effect that drives this analysis. The dependent variableis the stress score. This example includes four groups of DV scores.

Results of the stress questionnaires appear in Table 7.7.

Table 7.7: Stress over time for 10 students

Student	Time (months)
	0	3	6	9
1	7	6	6	6
2	9	6	5	5
3	7	5	5	4
4	5	3	3	2
5	7	6	4	4
6	8	5	7	5
7	5	4	4	3
8	7	5	6	5
9	6	6	4	4
10	7	5	5	5

Table 7.8 shows results of the within-subject F test calculations.

Table 7.8: Within-subject F test calculations for changes in stress over time

Source	SS	df	MS	F
Total	82.000	39
Columns	34.475	3	11.492	26.36
Subjects	35.725	9
Residual	11.775	27	0.436
f.05(3,27)	2.96

The F value of 26.36 is greater than the critical F value of 2.96, results that are unlikely to haveoccurred by chance. It seems clear that the length of time during which students practicemeditation has a significant effect on stress levels.

The significant value of F indicates the need for a post hoc test to determine which group(s) ofstress measures are significantly different from which others. Recall that the HSD formula is asfollows:

HSD=xMSresidn‾‾‾‾‾‾‾‾√

Entering the MSresid value from the ANOVA table and relevant value of x from the Tukey’stable gives us

HSD=3.8750.43610‾‾‾‾‾‾√=0.81

A difference of 0.81 or greater between any two means indicates that the difference betweenthose intervals is statistically significant. A matrix that shows the difference between each pairof means makes interpreting the HSD value easier, as in Table 7.9.

Table 7.9: Detecting significant differences among multiple groups

	0 month (6.8)	3 months (5.1)	6 months (4.9)	9 months (4.3)
0 month (6.8)		diff = 1.7*	diff = 1.9*	diff = 2.5*
3 months (5.1)			diff = 0.2	diff = 0.8
6 months (4.9)				diff = 0.6
9 months (4.3)

*Indicates a significant difference

Comparing the means reveals that the greatest decrease in stress occurs during the first threemonths of the meditation program, a difference between the means of 1.7. It is also apparentthat the stress scores for any interval are significantly different from the stress recorded beforethe experiment began.

To determine the practical importance of the decline in stress measures requires an effect-sizecalculation. Once again, we will use eta squared. For the problem just completed, Icol = 34.475,and SStot = 82.000. Therefore,

η2=34.47582.000=0.42.

About 42% of the variance in stress can be explained by how long the student has beenenrolled in the meditation program.

The within-subjects F test allowed analysis of students’ stress levels at multiple timesthroughout the year and showed that the program was reducing stress levels by significantamounts from the stress recorded among subjects before the program began.

Apply It! boxes written by Shawn Murphy

Comparing the Within-Subjects F and the One-Way ANOVA

In the one-way ANOVA, within-group variance is different for each group because each group is madeup of different participants. With no way to distinguish between the subject-to-subject variabilitywithin groups from other sources of error variance, the subject-to-subject variance cannot becalculated and eliminated from further analysis, as it can be in the within-subjects F. The smaller errorterm that is the result in the within-subjects test (which, remember, is the divisor in the F ratio) allowsrelatively small differences between sets of measures to be statistically significant.

The effect of eliminating some sources of error is illustrated by using the same data in the study ofpractice effect on problem solving. If those same data were treated as the number of problems solvedby separate groups, rather than by the same group over time, the researcher analyzes using a one-wayANOVA instead of the within-subjects F. We caution that this approach is for illustration only becausegroups are either independent or dependent, and one set of data cannot fit both scenarios. We use ithere to allow us to compare the error terms for each approach.

The SStot and the SSbet will be the same as the SStot and the SScol in the within-subjects problem.

SStot = 49.333

SSbet = 22.533

But with no way to isolate the participant-to-participant differences from the balance of the errorvariance in the one-way ANOVA, the SSwith amount in a one-way ANOVA ends up the same as SSrows+ SSresid in the within-subjects F in Problem 7.4.

SSwith = ∑(xa − Ma)2 + ∑(xb − Mb)2 + ∑(xc − Mc)2 = (2 − 3.60)2 + (4 − 3.60)2 + . . . + (9 −6.20)2 = 26.80

From Table 7.10, we can make the following observations:

· The number of degrees of freedom for “within” changes from the 8 for residual to 12, whichresults in a smaller critical value for the independent-groups test, but that adjustment does notcompensate for the additional error in the term.

Table 7.10: The within-subjects F example repeated as a one-way ANOVA

The ANOVA table
Source	SS	df	MS	F	F crit
Total	49.333	14
Between	22.533	2	11.267	5.045	3.89
Within	26.800	12	2.233

· Note that the sum of squares for the error term jumps from 3.467 in the within-subjects test to26.80 in the independent-groups test.

· The F value is reduced from 26.0 in the within problem to 5.046 in the one-way problem, afactor of about one-fifth.

Although calculating both one-way ANOVA and with-subjects F results for the same data is notrealistic, the comparison illustrates what can be gained by setting up a dependent-groups test. That isan option that researchers do have at the planning level.

Another Within-Subjects F Example

A psychologist working at a federal prison is interested in the relationship between the amount of timea prisoner is incarcerated and the number of violent acts in which the prisoner is involved. Using self-reported data, inmates respond anonymously to a questionnaire administered one month, three months,six months, and nine months after incarceration. Problem 7.5 shows the data and the solution.

Try It!: #6

How do the eta squared values compare forthe one-way ANOVA/within-subjects Fproblem?

The results (F) indicate that there are significantdifferences in the number of violent actsdocumented for the inmate related to the lengthof time the inmate has been incarcerated. TheHSD results indicate that those incarcerated forone month are involved in a significantlydifferent number of violent acts than those whohave been in for three or six months. Those whohave been in for six months are involved in asignificantly different number of violent actsthan those who have been in for nine months.The eta squared value indicates that about 37% of the variance in number of violent acts is a functionof how long the inmate has been incarcerated.

Problem 7.5: Another within-subjects F example: Violent acts and time ofincarceration

Percentile improvement

Inmate	1 month	3 months	6 months	9 months	Row means
1	4	3	2	5	3.50
2	5	4	3	4	4.0
3	3	1	1	2	1.750
4	4	2	1	3	2.50
5	2	1	2	3	2.0
Column means	3.60	2.20	1.80	3.40

MG = 2.750

Verify that

1. SStot = ∑(x − MG)2 = 31.750

2. SScol = (Mcol 1 − MG)2ncol 1 + (Mcol 2 − MG)2ncol 2 + (Mcol 3 − MG)2ncol 3 + (Mcol 4 − MG)2ncol 4

(3.6 − 2.75)25 + (2.2 − 2.75)25 + (1.8 − 2.75)25 + (3.4 − 2.75)25 = 11.750

3. SSsubj = (Mr1 − MG)2nr1 + (Mr2 − MG)2nr2 + (Mr3 − MG)2nr3 + (Mr4 − MG)2nr4 + (Mr5 − MG)2n5

(3.6 − 2.75)24 + (4.0 − 2.75)24 + (1.75 − 2.75)24 + (2.5 − 2.75)24 + (2.0 − 2.75)24 = 15.0

4. SSresid = SStot − SScol − SSsubj = 31.75 − 11.75 − 15 = 5.0

The ANOVA table

Source	SS	df	MS	F
Total	31.75	19
Columns	11.75	3	3.917	9.393
Subjects	15.00	4
Residual	5.0	12	0.417

F0.05(3.12) = 3.49. F is significant.

The post hoc test:

HSD=x0.05(MSwn)‾‾‾‾‾‾‾‾‾√=4.20(0.4175)‾‾‾‾‾‾‾‾‾‾√=1.213

	M 1 = 3.6	M 2 = 2.2	M 3 = 1.8	M 4 = 3.4
M1 = 3.6		1.4*	1.8*	0.2
M2 = 2.2			0.4	1.2
M3 = 1.8				1.6*
M4 = 3.4

*The differences marked with an asterisk are significant.

n2=SScolSStot=11.7531.75=0.370%

of the variance in violence witnessed is related to how long the inmate has been incarcerated.

Computing Within-Subjects F Using Excel

In spite of the important increase in power that is available compared to independent-groups tests, adependent-groups ANOVA is not one of the more common tests. Excel does not offer it as an option inthe list of Data Analysis Tools, for example. However, like many statistical procedures the dependent-groups ANOVA involves a number of repetitive calculations, which Excel can simplify. We willcomplete the second problem as an example.

1. Set the data up in four columns just as they appear in Problem 7.5, but insert a blank column tothe right of each column of data. With a row at the top for the labels, begin entering data in cellA2.

2. Calculate the row and column means as well as a grand mean as follows:

b. For the column means, place the cursor in cell A7 just beneath the last value in the firstcolumn and enter the formula =average(A2:A6), then press Enter.

b. To repeat this for the other columns, left click on the solution that is now in A7, drag thecursor across to G7, and release the mouse button. In the Home tab, click Fill and then Right. This will repeat the column-means calculations for the other columns. Delete theentries that populate cells B7, D7, and F7, which are still empty at this point.

b. For the row means, place the cursor in cell I2 and enter the formula =average(A2, C2, E2,G2) followed by Enter.

b. To repeat this for the other rows, left click on the solution that is now in I2, drag the cursordown to I6, and release the mouse button. In the Home tab, click Fill and then Down. Thiswill repeat the calculation of means for the other rows.

b. For the grand mean, place the cursor in cell I7 and enter the formula =average(I2:I6) followed by Enter (the mean of the row means will be the same as the grand mean—thesame could have been done with the column means).

1. To determine the SStot:

c. In cell B2, enter the formula =(A2−2.75)^2 and press Enter. This will square thedifference between the value in A2 and the grand mean. To repeat this for the other data inthe column, left-click the cursor in cell B2, and drag down to cell B6. Click Fill and Down.Place the cursor in cell B7, click the summation sign (∑) at the upper right of the screen,and press Enter. Repeat these steps for columns D, F, and H.

c. Place the cursor in H9, type  SStot=, and click Enter. In cell I9, enter the formula =Sum(B7,D7,F7,H7) and press Enter. The value will be 31.75, which is the total sum ofsquares.

1. For the SScol:

d. In cell A8, enter the formula =(3.6−2.75)^2*5 and press Enter. This will square thedifference between the column mean and the grand mean and multiply the result by thenumber of measures in the column, 5. In cells C8, E8, G8, repeat this for each of the othercolumns, substituting the mean for each column for the 3.60 that was the column 1 mean.

d. With the cursor in H10, type in  SScol= and click Enter. In cell I10, enter the formula =Sum(A8,C8,E8,G8) and press Enter. The value will be 11.75, which is the sum ofsquares for the columns.

1. For the SSrows:

e. In cell J2, enter the formula =(I2−2.75)^2*4 and press Enter. Repeat this in rows I3–I6 byleft-clicking on what is now I2 and dragging the cursor down to cell I6. Click Fill and Down.

e. With the cursor in H11, type  SSrow= and click Enter. In cell I11, enter the formula =Sum(J2:J6) and press Enter. The value will be 15.0, which is the sum of squares for theparticipants.

1. For the SSresid, in cell H12, enter  SSresid= and click Enter. In cell I12, enter the formula =I9–I10–I11. The resulting value will be 5.0.

We used Excel to determine all the sums-of-squares values. Now, the mean squares are determined bydividing the sums of squares for columns and for residual by their degrees of freedom:

MScol=11.753=3.917MSresid=512=0.417F=MScolMSresid=3.9170.417=9.393, which agrees with the earlier calculations done by hand.

To create the ANOVA table, enter the following data:

· Beginning in cell A10, type in Source; in B10 SS; df in C10; MS in D10; F in E10; and Fcrit inF10.

· Beginning in cell A11 and working down, type in total, columns, rows, residual.

For the sum-of-squares values:

· In cell B11, enter =I9.

· In cell B12, enter =I10.

· In cell B13, enter =I11.

· In cell B14, enter =I12.

For the degrees of freedom:

· In cell C11, enter 19 for total degrees of freedom.

· In cell C12, enter 3 for columns degrees of freedom.

· In cell C13, enter 4 for rows degrees of freedom.

· In cell C14, enter 12 for residual degrees of freedom.

For the mean squares:

· In cell D12, enter =B12/C12. The result is MScol.

· In cell D14, enter =B14/C14. The result is MSresid.

For the F value in cell E12, enter =D12/D14.

In cell F12, enter the critical value of F for 3 and 12 degrees of freedom, which is 3.49.

Figure 7.3: Screenshot of a within-subjects F problem

Source: Microsoft Excel. Used with permission from Microsoft.

Computing Within-Subjects F Using Excel

00:00

00:00

The list of commands looks intimidating, but mostly because every keystroke has been included. Withsome practice, using Excel in this way will become second nature. Figure 7.3 shows a screenshot ofthe result of the calculations.

Writing Up Statistics

Because of some of the strengths noted earlier, repeated-measures designs are a fixture inpsychological research. Lambert-Lee et al. (2015) used a before/after t test to evaluate autisticchildren’s basic language progress during a 12-month period. They concluded that an applied behavioranalysis approach to teaching basic-language skills to autistic children results in a statisticallysignificant improvement in their language skills. One of the difficulties in a study such as this,however, is knowing whether factors other than the treatment—applied behavior analysis in this case—might have prompted the significant improvement. There is always the possibility, particularly withyounger subjects, that simply the passage of time explains the change.

Sometimes when using the within-subjects F, the dependent variable measure is the amount ofdifference between the various measures, called “change scores,” rather than the raw scores uponwhich the researcher ordinarily relies. One of the criticisms of repeated-measures designs is thatchange scores—the amount of improvement between measures—tend to be unreliable. In ameasurement context, this unreliability means that the scores may not be repeatable; someonereplicating the experiment with new subjects under similar conditions might find substantiallydifferent amounts of score improvement. Thomas and Zumbo (2012) examined this criticism ofchange scores using a within-subjects F (also called a repeated measures ANOVA) and found thecriticism unwarranted.

Summary and Resources

Chapter Summary

Any statistical procedure has advantages and disadvantages. The downside of the differentindependent-groups designs is that subjects within the individual groups often respond to theindependent variable differently. Those differences are a source of error variance that isunique to each group. Even with random selection and fairly large groups, there will bedifferences in the way that people in the same group respond to whatever stimulus is offered.The before/after t and within-subjects F tests eliminate that source of error variance by eitherusing the same people repeatedly or by matching subjects on the most importantcharacteristics. Controlling error variance results in a test that is more likely to detect asignificant difference (Objectives 1 and 5).

In dependent-groups designs, using the same group repeatedly allows for a smaller number ofparticipants involved (Objectives 1, 2, 3, 4, and 6). One of the downsides to repeated-measures designs, however, is that they take more time to complete. Unless subjects arematched across measures, the different levels of the independent variable cannot beadministered concurrently as they can in independent-groups tests. More time increases thepotential for attrition. If one of the participants drops out of a repeated-measures study, all thedata measures of the dependent variable for that subject are lost (Objectives 2 and 4).

Another potential problem stems from the “practice effect.” In an experiment where a groupis measured multiple times, each time with an increasing amount of the IV, early exposuremay change the way subjects respond later. Dependent-groups also present the relatedproblem of carry-over effects. Exposure to a level of the independent variable may alter theway the subject responds later to a different level of that same variable; exposure to a modestamount of positive reinforcement may affect the way the same individual responds to asubstantial amount of positive reinforcement later, an effect that is not a problem for studiesinvolving independent groups.

Independent-groups and dependent-groups tests have important, underlying consistencies.Whether the test is independent t, before/after t, one-way ANOVA, or a within-subjects F, ineach case the independent variable is nominal scale, and the dependent variable is interval orratio scale (Objective 2). Furthermore, all of these test significant differences. In the formallanguage of statistics, they “test the hypothesis of difference.” Sometimes, however, the testquestions the strength of the association rather than the difference. That discussion willintroduce correlation, which is the focus of Chapter 8.

Chapter 7 Flashcards

Key Terms

before/after t test

confounding variables

dependent-groups designs

matched-pairs t test

within-subjects F

Review Questions

Answers to the odd-numbered questions are provided in Appendix A.

1. A group of clients is being treated for a compulsive behavior disorder. The number oftimes in an hour that each one manifests the compulsivity is gauged before and after amild sedative is administered. The data are as follows: 

Client	Before	After
1	5	4
2	6	4
3	4	3
4	9	5
5	5	6
6	7	3
7	4	2
8	5	5

a. What is the standard deviation of the difference scores?

a. What is the standard error of the mean for the difference scores?

a. What is the calculated value of t?

a. Are the differences statistically significant?

1. A researcher is examining the impact that a political ad has on potential donors’willingness to contribute. The data indicate the amount (in dollars) each is willing todonate before viewing that advertisement and after viewing the advertisement.

Potential donor	Before	After
1	0	10
2	20	20
3	10	0
4	25	50
5	0	0
6	50	75
7	10	20
8	0	20
9	50	60
10	25	35

b. Do the amounts represent significant differences?

b. What is the value of t if this study is an independent t test?

b. Explain the difference between before/after and independent t tests.

1. Participants attend three consecutive sessions in a business seminar. The first has noreinforcement when participants respond to the session moderator’s questions. In thesecond, those who respond are provided with verbal reinforcers. In the third session,responders receive pieces of candy as reinforcers. The dependent variable is thenumber of times the participants respond in each session.

Participant	None	Verbal	Token
1	2	4	5
2	3	5	6
3	3	4	7
4	4	6	7
5	6	6	8
6	2	4	5
7	1	3	4
8	2	5	7

c. Are the column-to-column differences significant? If so, which groups aresignificantly different from which?

c. Of what data scale is the dependent variable?

c. Calculate and explain the effect size.

1. In the calculations for Question 3, what step is taken to minimize error variance?

d. What is the source of that error variance?

d. If Question 3 had been a one-way ANOVA, what would have been the degrees offreedom for the error term?

d. How does the change in degrees of freedom for the error term in the within-subjects F affect the value of the test statistic?

1. Because SScol in the within-subjects F contains the treatment effect and measurementerror, if there is no treatment effect, what will be the value of F?

1. Why is matching uncommon in within-subjects F analyses?

1. A group of nursing students is approaching the licensing test. Their level of anxiety ismeasured at 8 weeks prior to the test, then 4 weeks, 2 weeks, and 1 week before thetest. Assuming that anxiety is measured on an interval scale, are there significantdifferences?

Student	8 weeks	4 weeks	2 weeks	1 week
1	5	8	9	9
2	4	7	8	10
3	4	4	4	5
4	2	3	5	5
5	4	6	6	8
6	3	5	7	9
7	4	5	5	4
8	2	3	6	7

g. Is anxiety related to the time interval?

g. Which groups are significantly different from which?

g. How much of anxiety is a function of test proximity?

1. A psychology department sponsors a study of the relationship between participation ina particular internship opportunity and students’ final grades. Eight students in theirsecond year of graduate study are matched to eight students in the same year by grade.Those in the first group participate in the internship. The study compares students’grades after the second year.

Student	Internship	No Internship
1	3.6	3.2
2	2.8	3.0
3	3.3	3.0
4	3.8	3.2
5	3.2	2.9
6	3.3	3.1
7	2.9	2.9
8	3.1	3.4

h. Are the differences statistically significant?

h. The study should be completed as a dependent-samples t test. Since two separategroups are involved, why?

1. A team of researchers associated with an accrediting body studies the amount of timeprofessors devote to their scholarship before and after they receive tenure. Scoresrepresent hours per week.

Professor	Before tenure	After tenure
1	12	5
2	10	3
3	5	6
4	8	5
5	6	5
6	12	10
7	9	8
8	7	7

i. Are the differences statistically significant?

i. What is t if the groups had been independent?

i. What is the primary reason for the difference in the two t values?

1. A supervisor is monitoring the number of sick days employees take by month. For 7people, these numbers are as follows:

Employee	Oct	Nov	Dec
1	2	4	3
2	0	0	0
3	1	5	4
4	2	5	3
5	2	7	7
6	1	3	4
7	2	3	2

j. Are the month-to-month differences significant?

j. What is the scale of the independent variable in this analysis?

j. How much of the variance does the month explain?

1. If the people in each month of the Question 10 data were different, the study wouldhave been a one-way ANOVA.

k. Would the result have been significant?

k. Because total variance (SStot) is the same in either 10 or 11, and the SScol (10) isthe same as SSbet (11), why are the F values different?

Answers to Try It! Questions

1. Small samples tend to be platykurtic because the data in small samples are often highlyvariable, which translates into relatively large standard deviations and large errorterms.

2. If groups are created by random sampling, they will differ from the population fromwhich they were drawn only by chance. That means that error can occur with randomsampling, but its potential to affect research results diminishes as the sample sizegrows.

3. The before/after t and the matched-pairs t differ only in that the before/after test usesthe same group twice, while the matched-pairs test matches each subject in the firstgroup with one in the second group who has similar characteristics. The calculationand interpretation of the t value are the same in both procedures.

4. The within-subjects test will detect a significant difference more readily than anindependent t test. Power in statistical testing is the likelihood of detectingsignificance.

5. Because the same subjects are involved in each set of measures, the within-subjectstest allows us to calculate the amount of score variability due to individual differencesin the group and eliminate it because it is the same for each group. This source of errorvariance is eliminated from the analysis, leaving a smaller error term.

6. The eta squared value would be the same in either problem. Note that in a one-wayANOVA, eta squared is the ratio of SSbet to SStot. In the within-subjects F, it is SScol to SStot. Because SSbet and SScol both measure the same variance, and the SStot values willbe the same in either case, the eta squared values will likewise be the same. Whatchanges is the error term. Ordinarily, SSresid will be much smaller than SSwith, but thosevalues show up in the F ratio by virtue of their respective MS values, not in etasquared.

Correlation

Anrodphoto/iStock/Thinkstock

Chapter Learning Objectives

After reading this chapter, you should be able to do the following:

1. Explain the hypothesis of association.

2. Interpret the correlation coefficient.

3. List the Pearson correlation requirements.

4. Describe what the coefficient of determination explains.

5. Explain the variables involved in the point-biserial correlation.

6. Describe the applications for the Spearman correlation.

Introduction

Correlation, the concept of a relationship or dependence between variables, transcendsstatistical analysis. Cloudy days are related to (correlated with) cooler temperatures. Naturaldisasters are related to declines in the stock market. An impending test is related to the needto study, and grinding noises in the engine compartment of a car are usually related to repairbills.

Some relationships are stronger than others, so statistical procedures have been developed toquantify, or numerically gauge, the strength of the relationship between two variables. Thenumerical indicators are called correlation coefficients, and one of the most common is the Pearson correlation coefficient, which indicates the strength of the relationship betweeninterval- or ratio-scale variables. The name Pearson refers to Karl Pearson, whose impact notjust on studying correlation but on statistical analysis generally may be greater than that ofany other individual.

In the early years of the 20th century, Pearson founded the first department of statisticalanalysis at University College London. Under Pearson’s direction, the department attracted,among others, William Sealy Gosset of t test fame; Ronald Fisher, who produced analysis ofvariance; and Charles Spearman, for whom an alternative correlation coefficient is named, aswell as an elegant statistical procedure based on correlation called factor analysis. To put itsuccinctly, it is difficult to overstate the impact that Pearson had on the evolution of statisticalanalysis.

A man of fierce independence, Pearson’s education at Cambridge centered in religion andphilosophy rather than mathematics. As a student of religion, he sued the university over thecompulsory chapel attendance required of all undergraduates. Winning his suit brought achange to university rules—after which Pearson chose to attend chapel. His graduate work(in Germany) emphasized literature, and it is a testimony to his extraordinary breadth oftalent that his greatest contributions would be in statistical analysis. Pearson was acontemporary of Einstein, who sought a grand theory that would unite all of physics. Pearsontried to do the same with mathematics. That both men were disappointed in these effortsshould not detract from what they did accomplish. Although Pearson’s associations with hiscolleagues were not always harmonious, he and the others who found an academic home inhis department virtually defined modern quantitative analysis. Whether or not they realize it,almost all of those who crunch numbers for any length of time rely on their work.

8.1 The Hypothesis of Association

Previous chapters concentrated on tests of significant difference. The z test, the t tests, analysis ofvariance, and the repeated-measures designs test the differences between groups. They all fall under ageneral assumption referred to as the hypothesis of difference. But some kinds of analyses do notinvolve questions about whether there are significant differences between groups.

If a psychologist asks about the relationship between birth order and achievement motivation amongsiblings or about the connection between the amount of time children read and their school grades, thesubject of research concerns relationships rather than differences. Those questions call for proceduresconnected to the hypothesis of association, and when results are statistically significant, it means thatthe relationship, rather than the difference, is unlikely to be a random occurrence.

Correlation versus Cause

Design Pics/Kelly Redinger/Thinkstock

As the classic study involving ice creamsales and burglaries shows us, it isimportant to make a distinction betweencorrelation and cause.

Before pursuing correlation, researchers must make adistinction between correlation and cause. Because twocharacteristics co-vary, or vary together, that does notpresume that one necessarily causes the other. Althoughthere may be a causal relationship, researchers usuallycannot determine one just by studying the correlation.One of the author’s statistics professors explained therisk of confusing correlation with cause this way: Aperson drinks for three successive nights. The first night,the drink is scotch and water, the second bourbon andwater, and on the third, vodka and water. Each morningafter is accompanied by a hangover. Because the wateris common to each experience, water must be the cause.

A classic study demonstrates, among other things, acorrelation between the sale of ice cream by vendors on city streets and burglaries in the same city.Someone rushing to judgment about cause might wish to curb ice cream sales or check the criminalrecords of ice cream vendors to reduce the number of burglaries. Such an individual does notrecognize that hotter weather—and the open windows that result—probably drive both ice cream salesand burglaries. It is not unusual for some third variable to explain an association between a first and asecond. Although correlation values provide some evidence for causation, correlation alone is rarelysufficient to demonstrate cause.

Scatterplots

Breaking down the word correlation—co-relation—makes its meaning clear: the variables are related.The evidence for the relationship is that the characteristics co-vary. As the level of one variablechanges, the other changes as well because both variables contain some of the same information. Thehigher the correlation, the more common information they contain.

Try It!: #1

How many raw scores does a single pointon a scatterplot represent?

A researcher gathers verbal ability andintelligence scores for 12 subjects and presentsthem in Table 8.1. Note that the first participanthas a verbal ability score of 20 and anintelligence score of 80. Scanning the two rowsof data, we can see that as the values of onescore increase, so do those of the other. In otherwords, there appears to be a positive correlationbetween the two scores. The relationship iseasier to see in the scatterplot. A scatterplot is agraph plotting the values of one variable along the horizontal axis and the other variable along thevertical axis, using dots to indicate the intersection of each pair of values. Figure 8.1 shows an Excel-generated scatterplot of the verbal ability/intelligence data.

Table 8.1: Results of a study comparing verbal ability and intelligence

Participant	1	2	3	4	5	6	7	8	9	10	11	12
Verbal ability:	20	35	42	48	55	60	63	66	72	76	78	85
Intelligence:	80	95	90	100	100	100	110	115	120	115	110	125

Figure 8.1: The relationship between verbal ability andintelligence

In the Figure 8.1 scatterplot, intelligence scores are plotted along the vertical, or y, axis and the verbalability scores are plotted along the horizontal, or x, axis. Each diamond-shaped point in the graph,then, represents an intelligence score and a verbal ability score.

The plot verifies what our cursory view of the two rows of data in the table suggested: A positivecorrelation exists between measures of intelligence and those of verbal ability. The general trend isfrom lower left to upper right. As the value of one variable increases, the value of the other tends to dolikewise. The incline is not dramatic, but the graph shows a general rise in the data points.

Less-than-Perfect Relationships

The relationship certainly is not perfect. The fourth, fifth, and sixth participants all have the same levelof intelligence but different levels of verbal ability. The same is true of participants 8 and 10, as wellas participants 7 and 11. Still, there is a general lower-left to upper-right relationship, which might beexpected. Brighter people often have more complex language patterns, something suggested by higherverbal-ability scores.

It also is not surprising that the relationship between intelligence and verbal ability is less than perfect.An extensive vocabulary alone is no guarantee of an unusually high intelligence score. Perhaps theindividual is just an avid reader. At the other end of the spectrum, not all highly intelligent peopleexcel verbally.

The exceptions point to the fact that people are very complex. Human behavior is rarely explained byone or two variables. Although intelligence is related to verbal aptitude, so are a number of othervariables: how much the individual reads, how easily the individual is distracted, how muchexperience the person has had, and so on. One of the reasons researchers calculate correlation values isto determine the level of agreement when the relationships are not perfect, as they rarely are withpeople.

The issue the hypothesis of association seeks to resolve is not whether the relationship is perfect—because it would be extremely rare if it were—but rather, whether the relationship is statisticallysignificant. Statistically significant correlations produce correlation values that tend to reemerge everytime new data are gathered for the variables and the strength of the correlation re-calculated.

Although perfect correlations are rare when dealing with people, that is not necessarily the caseelsewhere. Mathematicians, for example, enjoy the stability of perfect relationships; the formula forthe area of a circle, A = πr2 (where the area is found by multiplying the value of pi by the square of theradius), works for circles of any size because a perfect relationship exists between a circle’s radius andits area.

Still, even imperfect correlations, such as those related to human-subjects research, can be veryimportant. If health professionals know a correlation, even a weak one, exists between exposure tosecondhand smoke and the later development of respiratory problems, they can warn against suchexposure. In that particular instance, by the way, the research supports the causal assumption. Ifeducators know there is a correlation between how much homework students do and their success on ahigh school exit exam, educators can encourage students to complete more assignments. Theinstructors expect that pass rates will rise as a consequence.

In the case of homework and exit exam scores, however, a causal relationship is not as clear. Perhapspeople who have a higher level of academic achievement do more homework and have higher exitexam scores. That suggests the academic achievement is the causal element rather than the homework.Maybe the increased homework is the manifestation of that other variable, academic achievement, orperhaps parental involvement is the causal factor—students whose parents are directly involved intheir schooling do more homework and prepare for their exit exams with greater care.

The Amount of Scatter

The amount of scatter in a scatterplot, the degree to which the points in the scatterplot stray from astraight line, suggests weakness in the correlation. Scatterplots graphed for strong correlations havevery little scatter. The points appear to line up.

What Correlations Provide

Calculating a correlation involves quantifying the strength of the relationship between the variablesinvolved. Correlation values, or coefficients, range from to −1.0 to +1.0. Correlation values of either−1.0 or +1.0 indicate perfect relationships. With positive correlations, as the value of one variableincreases, so does the value of the other—more verbal reinforcement of subjects in a test of problem-solving ability is probably associated with more effort expended by the subject. With negativecorrelations, as the value of one variable increases, the other decreases—more involvement withvideo-gaming while a text passage is read to subjects is probably associated with lower retention of thedetails of the text passage; as the value of one increases, the value of the other declines. A correlationof 0 indicates no relationship—fluctuations in the value of one variable are unrelated to changes in thevalue of the other. Values less than the absolute value of 1.0, but greater than 0, indicate imperfectrelationships, with the strength of the relationship declining as the value approaches 0.

Try It!: #2

If two variables are normally distributedbut uncorrelated, what pattern will theirdata points make in a scatter plot?

Correlating two variables does not require thatthey both measure the same characteristic oreven that they both be gathered from the samesubjects. Often, entirely different kinds of thingsare correlated. The example of secondhandsmoke and respiratory issues involves twocompletely different variables, but the strengthof the relationship between them can becalculated nevertheless. As long as the twovariables can be quantified—reduced to anumber—the strength of any relationship can bedetermined.

Requirements for the Pearson Correlation

Researchers may employ any of several different correlation procedures. The appropriate procedurefor a particular problem is determined by characteristics such as the scale and normality of the datainvolved. The Pearson correlation, for example, requires variables of either interval or ratio scale.Nominal or ordinal scale data can be correlated as well, but they involve other correlation procedures.In addition to interval or ratio data, the Pearson correlation also requires the following:

· In their populations, the characteristics are assumed to be normally distributed. Normaldistributions can never be reflected in relatively small samples, but researchers must have reasonto believe that the samples come from populations that are normal.

· The distributions from which the samples come must be similarly distributed.

· The two samples are assumed to be randomly selected from their populations.

· The relationship between the variables must be linear; it remains constant throughout theirranges.

Recall that normality is indicated when the standard deviation is about one-sixth of the range, themeasures of central tendency all have about the same value, and so on (Chapter 2). The way data aredistributed in the scatterplot also suggests the normality of the two variables involved in a correlation.When both variables are normal, the points in the plot will be distributed from left to right, with thefrequency of the points gradually increasing toward the middle of the graph and then graduallydecreasing to the right extreme. If the relationship is positive (example A in Figure 8.2), the scatter isgenerally from lower left to upper right. If it is negative (example B in Figure 8.2), the graph follows apattern from upper left to lower right. If the variables have no correlation (example C in Figure 8.2),the points fall into a circular pattern in the middle of the graph with the greatest density at the circle’scenter. The greater frequency in the middle of the circle reflects the fact that most of the data in anynormal distribution occur near the middle of the distribution. (The pattern in our example does notlook circular because so few data are present.)

Figure 8.2: Scatterplots forpositive, negative, and zerocorrelations

The similar-distribution requirement does not mean thatthe standard deviations should be the same. That is notlikely to happen unless both variables are measured alongthe same range. It means that the standard deviationsshould account for similar proportions of their respectiveranges.

The strength of a correlation is affected by rangeattenuation. When the range of scores in either variable isartificially abbreviated, the correlation value will beartificially low. Range attenuation can be indicated by astandard deviation that is substantially smaller than weknow it to be in the population. If we were correlatingintelligence scores with reading comprehension, and theintelligence scores have a standard deviation of 8 pointswhen we know that the population standard deviation is 15points, we can expect any resulting correlation value to beartificially low. One of the advantages of random selectionis that random samples of a reasonable size tend to mirrortheir populations reasonably well. Range restrictionproblems are much less likely to occur with randomlyselected samples.

Linear and Nonlinear Correlations

When the relationship between two variables is linear, it means that the degree to which they changein concert with each other is the same throughout their ranges; if it is low and positive, it is low andpositive at low levels of both variables and at higher levels of both variables.

Some correlations, however, are not linear. Consider the correlation between anxiety and the quality ofa musician’s performance. In that instance, a little anxiety is probably a good thing. It prompts theindividual to prepare for the performance by practicing, studying the music carefully, asking others forfeedback, and so on. Without anxiety, the musician might not make the necessary preparations. Itseems likely that, at least in the early going, the quality of the performance improves as anxietyincreases.

But it is possible that if anxiety continues to increase, the individual’s performance may reach aplateau and then begin to diminish. The musician may become so anxious that concentration isdifficult and performance declines, with more anxiety actually depreciating the quality of the music.These conditions describe a relationship that is curvilinear. It is illustrated in Table 8.2, where anxietyis gauged as a function of someone’s increasing pulse rate in beats per minute. The quality of themusician’s performance is represented by the judgment of a trained observer, with higher valuesindicating a more virtuoso performance. If scores were awarded every 5 minutes during a 65-minuteperformance, the data are as follows:

Table 8.2: Study results of anxiety versus quality of a musician’s performance

Anxiety	52	54	58	62	64	67	72	73	75	78	82	86	88
Performance quality	3	5	6	6	8	8	9	7	5	5	4	3	1

Figure 8.3 shows the scatterplot illustrating the relationship between the musician’s anxiety and thequality of the musician’s performance.

Figure 8.3: The relationship between performance quality andanxiety

Try It!: #3

What impact does range attenuation haveon a correlation?

Initially, there is a positive relationship betweenanxiety and the quality of the music. The firstfew pairs of data have points that rise from leftto right. However, a positive relationshipbecomes negative when performance begins todiminish as anxiety increases. Viewed as awhole, the correlation is curvilinear. Afterperformance reaches the judge’s high of 9, moreanxiety is not associated with better music.

The scatterplot also reveals some of the danger associated with range restriction. If someone collectsdata so that only the first six pairs of scores were the sample, those scores provide very differentindicators of the relationship between anxiety and performance than the last six pairs of scores. Thefirst part of the distribution makes the relationship look linear and positive. The latter part of the datamakes the relationship look linear but negative. An accurate picture of the relationship requires datathroughout the entire ranges of the two variables.

Understanding Correlation Values

It is important not to confuse the sign of the correlation (+ or −) with its strength. A correlation of−0.50 contains the same amount of information about the two variables as does a correlation of +0.50.The sign makes a great deal of difference how the relationship is interpreted, but it has nothing to dowith the strength of the relationship. With positive correlations, as the value of one variable increasesso does the value of the other. When correlations are negative, increasing values of one variable areassociated with decreasing values of the other.

Earlier we noted that different scales of data require different types of correlation proce-dures. Thenumber of variables involved also dictates the need for different correlation procedures:

· Bivariate correlations indicate the relationship between two variables. For example, thecorrelation between intelligence and verbal aptitude is a bivariate correlation. This chapterfocuses on bivariate correlations.

· Multiple correlation gauges the relationship between one variable and a combination of others.For example, the correlation between a combined reading comprehension and vocabularymeasure with an analytical-ability measure would indicate how well reading comprehension andvocabulary ability, combined, correlate with analytical ability.

· Canonical correlation measures the relationship between two groups of variables. For example,determining how a combination of reading comprehension and vocabulary ability and acombination of analytical ability and problem-solving ability relate calls for a canonicalcorrelation.

· Partial correlation measures the relationship between two variables after neutralizing theinfluence of some third variable on both of the first two. For example, a correlation of analyticalability with problem-solving ability, with the influence of age controlled in both of the othervariables, eliminates age differences as a factor in the resulting correlation. In effect, a partialcorrelation would be the correlation of analytical ability with problem-solving ability as if allsubjects were the same age.

· Semipartial correlation gauges the relationship between two variables after neutralizing theinfluence of a third on either of the first two. For example, a correlation of intelligence withverbal aptitude, with age differences controlled in the verbal-aptitude variable, is a semipartialcorrelation. Age would not be controlled in the intelligence variable. (This makes some sensesince intelligence is often argued to be a stable variable across age differences in the individual.)

Only the bivariate correlations are covered here. The others are beyond the scope of this book but aredescribed here very simply, so that the reader has a sense of where bivariate correlations fit into thebroader discussion of these procedures.

Correlations

8.2 Calculating the Pearson Correlation

Formally called the Pearson product-moment correlation coefficient, the Pearson correlation, or—because its symbolis typically a lowercase r—“Pearson’s r,” is probably the most often calculated of any correlation value. Thumbingthrough statistics books and glancing at online sources reveals several formulas. All provide the same answer, butsome are easier to complete than others. Visually, at least, Formula 8.1 is probably simplest:

Formula 8.1

rxy=∑[(zx)(zy)]n−1

Note that the r symbol has x and y subscripts. These indicate that the procedure correlates two variables designated xand y. Which variable is assigned x and which y is unimportant, since correlation does not presume that the xvariable causes y, for example. Formula 8.1 indicates that if the x and y scores are transformed into z scores (Formula3.1: z = ), the value of rxy, (the correlation value) is the sum of the products of the x and yz scores for eachparticipant, divided by the number of participants in the data group (rather than the number of scores), minus 1.

The n − 1 signifies that this is a correlation formula for sample, rather than population, data. It is the same adjustmentfor sample data made with the standard deviation calculation in Chapter 1. Formula 8.1 can be used to calculate thecorrelation value of the verbal ability and intelligence scores from the earlier example. Calculating the equivalentverbal-ability and intelligence z values with Formula 3.1 produces the z values for the original raw scores listed inTable 8.3.

Table 8.3: z values

Verbalability(x)	−1.991	−1.212	−0.848	−0.537	−0.173	0.087	0.242	0.398	0.710	0.917	1.021	1.385
Intelli-gence(y)	−1.902	−0.761	−1.141	−0.380	−0.380	−0.380	0.380	0.761	1.141	0.761	0.380	1.522

Here, each pair of z scores is multiplied and the products summed:

(−1.991 × −1.902) + (−1.212 × −0.761) + . . . + (1.385 × 1.522) = 10.313

This provides the numerator to be used in the formula

rxy=∑[(zx)(zy)]n−1

Then, for the denominator, n (the number of pairs of scores) = 12, so n − 1 = 11. Therefore, substituting these valuesinto the above equation gives

rxy=10.31311=0.938

With a maximum possible correlation value of 1.0, rxy = 0.938 indicates a strong relationship between verbal abilityand intelligence, something that is reflected in the fact that many intelligence tests include subtests of verbal ability.

Although Formula 8.1 is visually simple, the need to transform everything into z scores before calculating rxy makesthe calculations very time consuming and tedious. Completing the calculations by hand takes too much time.Formula 8.2, the formula we will use, turns out to be the formula programmed into many hand-calculators. It isvisually more complex but much easier to execute:

Formula 8.2

rxy=n∑xy−(∑x)(∑y){[n∑x2−(∑x)2][n∑y2−(∑y)2]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

where

x = one of the scores in each pair as above in the z score formula.

y = the other score in the pair.

n = the number of participants (the number of pairs of scores).

∑xy indicates that each pair of scores is multiplied and then the products for each pair summed. Theresulting value is the “sum of the cross-products.”

∑x2 indicates that each x score is squared, and then the squares summed.

(∑x)2 indicates that the original x scores are totaled, and then the total is squared.

∑y2 indicates that each y score is squared, and then the squares summed.

(∑y)2 indicates that the original y scores are totaled, and then the total is squared.

iStockphoto/ Thinkstock

Thorndike’s Law of Effect maintains thatbehaviors followed by satisfaction are likely tobe repeated. A hungry cat will learn to bat asuspended string if that action is followed byfood.

The formula is not as daunting as it appears. The process willbecome familiar after a few problems. Probably Excel or a hand-calculator with a built-in correlation function will perform mostof the statistical “heavy-lifting,” but it is helpful to prepare forthat occasional time when there is no computer and the calculatorhas no correlation function.

A Correlation Example

A researcher is duplicating a classic experiment by psychologistE. L. Thorndike. The experiment relates to Thorndike’s Law ofEffect, which maintains that behaviors followed by a satisfyingstate of affairs will likely be repeated. In the experiment, theresearcher sets up a cage equipped with a door that opens if a catplaced in the cage bats a string suspended inside the cage.According to the law of effect, if batting the string is followed bysomething satisfying, that behavior should occur more frequentlyin future trials than other behaviors. A hungry cat is placed in thecage and food placed outside where it is inaccessible from the inside of the cage. Data comprise the several trials andthe elapsed time, in minutes, before the cat releases itself. This experiment is repeated 10 times over as many days.Table 8.4 lists the data.

Table 8.4: Experimental results from cat behavioral study

Trial number	1	2	3	4	5	6	7	8	9	10
Elapsed time	5.0	5.5	4.75	4.5	4.25	3.5	2.75	2.0	1.0	0.25

Figure 8.4 shows the scatterplot for these data, which suggests that the relationship is probably negative and quitestrong.

Figure 8.4: The relationship between number of trials and elapsed time

The correlation value checks both conclusions. To determine the correlation, we use Formula 8.2:

rxy=n∑xy−(∑x)(∑y){[n∑x2−(∑y)2][n∑y2−(∑y)2]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

The number of trials (n) = 10. The researcher can then verify that

∑xy = 137.25

∑x2 = 385

(∑x)2 = (55)2

∑y2 = 141

(∑y)2 = (33.5)2

Substituting the relevant values gives

rxy=10(137.15)−(55)(33.5){[10(385)−(55)2][10(141)−(33.5)2]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=1372.5−1842.5[(3850−(3025)][(1410−1122.25]‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=−470(825×287.75)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=−0.965

Interpreting Results

The relationship is indeed negative and because the maximum correlation is ±1.0, the relationship is also very strong.Neither of those conclusions indicates whether the result is statistically significant, however. As with z, t, and F,significance is determined by comparing the calculated value to the table value indicated by the relevant degrees offreedom and the selected level of probability. A calculated correlation value for which the absolute value is as largeis one that probably did not occur by chance. For the Pearson correlation, the values are in Table 8.5 (see also TableB.5 in Appendix B).

Like the t and F values, the correct critical value for r is determined by degrees of freedom and by the level ofprobability the researcher selects. The degrees of freedom for a Pearson correlation are the number of pairs of data,minus 2. Be careful not to confuse the number of pairs with the number of scores.

The probability values in Table 8.5 indicate the absolute value that the calculated rxy must reach to be confident thatthe correlation did not occur by chance. The level of confidence in that conclusion is indicated by the columns for p= 0.1, p = 0.05, and p = 0.01. To have some practice interpreting the values, note the following:

· If a correlation were calculated for n = 7 pairs of data (which means that df = 5) and the result was rxy = +/−0.669, there is 1 chance in 10, or in other words p = 0.1, that the correlation occurred by chance. A chance, orrandom, correlation means that if new data were collected and the rxy value calculated a second time, it wouldprobably be less than the table value.

· If the researcher wants more assurance against a random correlation, rxy = +/− 0.754 (also with 5 degrees offreedom) will occur by chance just 5 times in 100 (p = 0.05) and rxy = +/− 0.875 will occur by chance just 1time in 100 (p = 0.01).

Table 8.5: The critical values of r xy

Number of  xy pairs (n)	df (n − 2)	Lowest statistically significant correlation for the specified probability
		p = 0.10	p = 0.05	p = 0.01
3	1	0.988	0.997	1.000
4	2	0.900	0.950	0.990
5	3	0.805	0.878	0.959
6	4	0.729	0.811	0.917
7	5	0.669	0.754	0.875
8	6	0.621	0.707	0.834
9	7	0.582	0.666	0.798
10	8	0.549	0.632	0.765
11	9	0.521	0.602	0.735
12	10	0.497	0.576	0.708
13	11	0.476	0.553	0.684
14	12	0.458	0.532	0.661
15	13	0.441	0.514	0.641
16	14	0.426	0.497	0.623
17	15	0.412	0.482	0.606
18	16	0.400	0.468	0.590
19	17	0.389	0.456	0.575
20	18	0.378	0.444	0.561
21	19	0.369	0.433	0.549
22	20	0.360	0.423	0.537
23	21	0.352	0.413	0.526
24	22	0.344	0.404	0.515
25	23	0.337	0.396	0.505

Source: Brighton Webs Ltd. (2006). Critical values of correlation coefficient (R). Statistics for Energy and the Environment. Retrieved from  https://web.archive.org/web/20110117193722/http://www.brighton-webs.co.uk/tables/critical_values_r.asp

Researchers most commonly settle on p = 0.05 or 0.01. The p = 0.1 occurs in statistical tables less often because inmost research settings, a one-in-ten chance of a random correlation is too great. No one wants to conclude that acorrelation is not statistically significant when there is too much chance that the finding will not hold up underfurther investigation. In exploratory or descriptive research when there is little prior research on which to rely,however, sometimes investigators will relax the probability to p = 0.1.

The Relationship Between Degrees of Freedom and Significance

Even with a correlation value as extreme as −0.965, checking the table for significance is important. In both the t testand ANOVA, the magnitude of the critical values declines as degrees of freedom (and sample size) increase. It is thesame with correlation, but here the decline in critical values is more dramatic. Note from the table, for example, thatif n = 3 (and therefore df = 1), the correlation would need to be at least rxy = 0.997 (nearly perfect) to be statisticallysignificant. The related point is that with only three pairs of data, the potential for a random relationship that lookssignificant is very high. At the other extreme, if n = 25 (so that df = 23), a correlation of just rxy= 0.396 is statisticallysignificant. That much data bears a much lower potential for an accidental (random) relationship.

The Statistical Hypotheses

The null and alternate hypotheses for correlation reflect the fact that we have moved away from the hypothesis ofdifference. The null hypothesis is that no relationship between the variables exists. Symbolically, it is written: H0: ρ= 0.

The symbol ρ is the Greek letter rho (as in “row” your boat) and the equivalent of r. So the null hypothesis states thatthe correlation (r) equals 0. More specifically, it means that there is no statistically significant relationship. Thealternate hypothesis states that the correlation does not equal 0, that a statistically significant relationship will emergeeach time data are collected and the relationship calculated: HA: ρ ≠ 0.

The Coefficient of Determination

One of our important recurring themes is the distinction between statistical significance and practical importance.Determining practical importance was the reason for omega-squared and eta-squared calculations for significant t testand ANOVA results, respectively.

Effect sizes take on particular importance with correlation because with large samples, relatively small correlationscan be statistically significant. The effect size corresponding to the Pearson correlation is the coefficient ofdetermination (rxy2). As the notation suggests, the coefficient of determination is the square of the correlationcoefficient. Squaring the correlation indicates how much of the variance in y is explained by x (or vice versa sincecorrelation does not assume cause).

In the problem about number of trials and elapsed time, rxy = −0.965 so rxy2 = 0.931.

For that problem, the coefficient of determination is interpreted this way: the number of trials can explain about 93%of the variance in time elapsed, which would be a very important finding with implications for many kinds ofperformance tasks, except that the numbers were contrived.

The Interpretive Value of rxy2

The coefficient of determination can also indicate how unimportant some low correlations are, even when they arestatistically significant. For example, with 23 degrees of freedom, a correlation of rxy = 0.396 is statisticallysignificant. The coefficient of determination for that value is rxy2 = 0.157. One variable in such a relationshipexplains just 16% of the variance in the other. The other 84% of the variability is related to other factors.

When the variables describe the behavior of people, small coefficients of determination do not surprise us becausethey are part of human subjects’ complexity. Very few individual variables will explain large proportions of humanbehavior.

Sometimes, however, even low correlations and low rxy2 values are important. If research revealed that thecorrelation between the age of first exposure to illegal narcotics and the development of an addiction was rxy = −0.3,that value (note the negative correlation) indicates that the younger subjects are at first exposure, the more likely theyare to develop an addiction. The resulting rxy2 value would be just 0.09. But even if just 9% of the variance inaddiction is explained by age at first exposure, within the context of human complexity that would be consideredimportant. Practical importance is a function of consequences.

Comparing Correlation Values

In isolation, correlation coefficients can be difficult to interpret because correlation strength does not increase ordecrease in consistent increments. The change from rxy = 0.2 to rxy = 0.3 is a less dramatic increase in strength thanthe increase from rxy = 0.75 to rxy = 0.85, for example. Although the Pearson r requires equal interval data, in thecoefficients that are the result, an increase in correlation strength of 0.1 reflects a very different change from 0.8 to0.9 than it does from 0.2 to 0.3. It takes a much stronger increase in the relationship to increase by 0.1 in the upperranges of correlation values than in the lower ranges, something suggested by the distance between tenths in thisnumber line:

rxy = 0.1  0.2    0.3      0.4        0.5          0.6            0.7                0.8                  0.9

Squaring the correlation coefficient makes the intervals consistent. A change in the coefficient of determination from0.35 to 0.5, for example, represents the same increase in proportion of variance explained as an increase from 0.7 to0.85, as the line suggests: r2xy = 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9.

Another Correlation Problem

A foundation interested in what prompts contributions to charitable causes retains a consultant. Noting that agevaries with donation, the consultant gathers the data in Table 8.6 and generates the values in Problem 8.1.

Table 8.6: Data on charity donations

Donor:	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Age:	25	27	32	32	35	38	43	45	45	47	48	52	63	65	66
Amount:	20	20	35	25	100	50	75	45	100	150	100	200	50	100	125

Problem 8.1: The Pearson correlation for contributor’s age and contribution amount

Donor’s age	Contribution amount
x	x2	y	y2	xy
25	625	20	400	500
27	729	20	400	540
32	1,024	35	1,225	1,120
32	1,024	25	625	800
35	1,225	100	10,000	3,500
38	1,444	50	2,500	1,900
43	1,849	75	5,625	3,225
45	2,025	45	2,025	2,025
45	2,025	100	10,000	4,500
47	2,209	150	22,500	7,050
48	2,304	100	10,000	4,800
52	4,704	200	40,000	10,400
63	3,969	50	2,500	3,150
65	4,225	100	10,000	6,500
66	4,356	125	15,625	8,250
∑x = 663	∑x2 = 31,737	∑y = 1,195	∑y2 = 133,425	∑xy = 58,260

The correlation of the donor’s age and the contribution amount is calculated as follows:

rxy=n∑xy−(∑x)(∑y){[n∑x2−(∑x)2][n∑y2−(∑y)2]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√    =15(58,260)−(663)(1,195){[15(31,737)−(663)2][15(133,425)−1,1952]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√    =81,615[(36,486)(573,350)]‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√    =0.564

· The critical value at p = 0.05 and 13 df (r0.05(13)) is 0.514.

· Because rxy > r0.05(13), the correlation is statistically significant.

· The coefficient of determination (rxy2) = 0.318, which indicates that age can explain about 32% of thevariability in donation amount.

Try It!: #4

What is the relationship between degrees offreedom and statistical significance in correlation?

Problem 8.1 suggests some of the hazard in rushing tojudgment about cause from correlation data. While wemight be tempted to reduce the problem to “olderpeople contribute more to charity than younger people,”other factors are probably at work, not the least ofwhich is that age likely correlates with income as well.Perhaps it is not age that explains contribution amountso much as income. The correlation value, whileinstructive and important, indicates only how variablesco-vary, not necessarily why the variables involvedvary.

8.3 Correlating Data When One Variable Is Dichotomous

If the consultant had asked how the donation amount and the donor’s gender relate, Pearson stillprovides the answer, but the procedure becomes a point-biserial correlation. The word pointrefers to the continuous variable, the amount of money donated in this example. The word biserial refers to the other variable, which has only two levels. The required change is coding thegender variable in a way that reflects its dichotomy: as either 0 or 1. Which of females or malesare coded 0 and which 1 will not affect the strength of the coefficient.

The point-biserial correlation has a number of applications. Questions about the relationshipbetween marital status and income, between public versus private school students andachievement, or between Republicans’ and Democrats’ optimism are all questions that could beanalyzed with point-biserial correlation.

In point-biserial correlations, which level is coded 0 and which 1 affects only the sign of thecoefficient. We will need to be careful when interpreting the result. If donors 3, 5, 6, 7, 9, 10, 11,and 14 are female, and if females are coded 1 and males 0, the research obtains the data in Table8.7.

Table 8.7: Data on charity donations by donor type (gender)

Donor(x)	0	0	1	0	1	1	1	0	1	1	1	0	0	1	0
Amount(y)	20	20	35	25	100	50	75	45	100	150	100	200	50	100	125

Calculating the Point-Biserial Correlation

The amounts donated (the y values) remain the same from the age/donor problem (Problem 8.1,where ∑y = 1,195 and ∑y2 = 133,425). The other values must be recalculated, although that taskbecomes much simpler with gender (x) recoded to 1s and 0s. Table 8.8 lists those results.

Table 8.8: Point-biserial correlation results

Gender (x)	x 2	Amount (y)	y 2	xy
0	0	20	400	0
0	0	20	400	0
1	1	35	1,225	35
0	0	25	625	0
1	1	100	10,000	100
1	1	50	2,500	50
1	1	75	5,625	75
0	0	45	2,025	0
1	1	100	10,000	100
1	1	150	22,500	150
1	1	100	10,000	100
0	0	200	40,000	0
0	0	50	2,500	0
1	1	100	10,000	100
0	0	125	15,625	0
∑x=8	∑x2=8	∑y=1,195	∑y2=133,425	∑xy=710

Return to Formula 8.2, in which

rxy=n∑xy−(∑x)(∑y){[n∑x2−(∑x)2][n∑y2−(∑y)2]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

Substituting in the values from Table 8.8 gives

rxy=15(710)−(8)(1.195){[15(8)−(8)2][15(133,425)−(1,195)2]}‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=0.19

Still testing at p = 0.05 and with the degrees of freedom still df = 13, from Table 8.5 the criticalvalue is still rxy0.05(13) = 0.514. Therefore the statistical decision will be to fail to reject H0. Therelationship between the donor’s gender and the amount contributed is not statisticallysignificant. The rxy = 0.19 result is probably a random correlation that is unlikely to reach thecritical value from the table in any new analysis with new subjects.

The interpretation of the point-biserial correlation is the same as it is for conventional Pearsoncorrelations, except that sign of the coefficient is a function only of which variable is coded 1. Ifmale donors had been coded with 1s, the correlation would have been negative, rxy = −0.19.Consider a few more applications for the point-biserial correlation:

· What is the relationship between whether or not a parent earned a college degree and thechild’s grades?

· How is whether or not a student is a native speaker of English related to the student’s testscore?

· What is the correlation between blue-collar/white-collar jobs and the amount of leisuretime?

If both variables are dichotomous, another bivariate correlation is involved. It is called the phicoefficient, discussed in Chapter 10.

Degrees of Significance?

At rxy = 0.19 and a table value of rxy0.05(13) = 0.514, the correlation value is not significant. If thevalue had been rxy = 0.50, and this correlation value represented some relationship calculated foryour senior thesis, would it be appropriate to refer to it as “almost significant” or “nearlysignificant”? It is not uncommon to see such qualifiers even in the published literature, butsignificance decisions should be treated the same way as dichotomous variables. Only twooutcomes are possible: The correlation is significant or it is not significant. To try to make astatement about the nearness to an alternative outcome undermines the principle behindsignificance testing. Only two hypotheses for significance exist, and the outcome is couched interms of one or the other.

8.4 The Pearson Correlation in Excel

A psychologist is interested in determining the relationship between risk-taking and success solvingnovel problems. Having devised the  I nventory  Ri sk  S urvey  C atalog (the I-RiSC), the psychologistgauges the willingness of a group of 16-year-olds to do the unconventional and then provides a seriesof word problems with which the participants are unfamiliar. Scores on the I-RiSC and the problemsfor 10 participants are listed in Table 8.9.

Table 8.9: Risk-taking and problem-solving success data

I-RiSC:	2	7	4	5	1	8	7	9	3	6
Problems:	14	17	14	16	12	17	16	17	15	15

To complete the problem in Excel, it is best to set up the data in two columns. Two rows also willwork, but parallel columns are visually simpler.

1. Create a label in cell A1 for “I-RiSC” and in cell B1 “ProbSolv” so that

the I-RiSC data appear in cells A2 to A11 and the ProbSolv data appear in B2 to B11.

2. From the Home tab at the top of the page click Data, and then Data Analysis at the far right.

3. Select Correlation, which is the second option in the window.

4. In the Input Range window enter A2:B11, which indicates the cells where the data are found.Note that the default groups the data in columns. (Change the default if entering the data inrows.) Had the “Labels in First Row” box been checked, Excel would have treated the first rowin each column (A2 and B2 because that is what is

5. designated) as labels rather than data. Our adjustment for the labels was made by indicating thatthe data begin in A2 rather than A1.

6. Enter a cell value below or to the right of the last data entry for the Output Range so that theresults do not overwrite the scores—either cell A12 or below, or to the right of column B.

7. Click OK.

The results appear in a box called a correlation matrix (see Table 8.10). The intersection of column 1and column 2 indicates how well the data in column 1 (the Excel A column, where I-RiSC data arelocated) correlate with the data in column 2 (the Excel B column, which contains the problem-solvingscores).

Table 8.10: Correlation matrix

	Column 1	Column 2
Column 1	1	0.904203
Column 2	0.904203	1

The result of the analysis is a Pearson correlation of rxy = 0.904. The 1s in the diagonal indicate thateach variable correlates perfectly with itself (rxy = 1.0), of course. Note that the output does notindicate whether the calculated value is statistically significant, which makes a check of the criticalvalues table necessary. Table 8.5 indicates that rxy0.05(8) = 0.632. The relationship between risk-takingand problem solving is statistically significant. Were these data not contrived, it would be quiteimportant to know that about 82% (rxy2 = 0.818) of problem-solving success (0.9042) is explained bywhatever the I-RiSC measures, ostensibly the subject’s willingness to be unconventional.

The Pearson Correlation in Excel

00:00

00:00

Apply It! Investigating the Correlation between Crime and Unemployment

Digital Vision/Photodisc/Thinkstock

A law enforcement analyst is interested in any linkbetween crime and unemployment as a guide toallocating crime-prevention funds. Specifically, shewould like to know whether murders and propertycrimes correlate with the unemployment rate.

The analyst obtains the murder and property-crimerates for her state for the 16 years from 1990 to 2005from the FBI Uniform Crime Reports (rates are per100,000 inhabitants). She then consults the Bureauof Labor Statistics for the unemployment rate in thestate for the same period. The analyst will computethe Pearson correlation between murder rate and unemployment and then between property-crime rate and unemployment. Table 8.11 shows the data.

Table 8.11: Murder rate, property crime, and unemployment

Year	Murder rate (per100,000 people)	Property crime rate (per100,000 people)	Unemploymentpercentage
1990	7.1	4462	5.6
1991	6.7	5092	6.8
1992	6.4	4801	7.5
1993	6.4	4662	6.9
1994	6.2	4678	6.1
1995	5.7	4460	5.6
1996	5.8	4438	5.4
1997	5.4	4279	4.9
1998	6.1	4040	4.5
1999	5.5	3852	4.2
2000	5.1	3592	4.0
2001	4.9	3456	4.7
2002	4.3	3412	5.8
2003	4.2	3289	6.0
2004	4.7	3168	5.5
2005	5.0	3081	5.1

The Excel results indicate the following:

· The correlation between murder rate and unemployment is rxy = 0.386.

· Comparing the murder rate/unemployment rate correlation to the critical value fromTable 8.5 (rxy0.05(14) = 0.497) indicates that the calculated correlation is notstatistically significant at p = 0.05.

· The analyst fails to reject the null hypothesis, ρ = 0.

· The property crimes rate and unemployment correlation is rxy = 0.551.

· Comparing the calculated value to the critical value from Table 8.5 (the same rxy0.05(14) = 0.497, since df are unchanged) indicates that this correlation is statistically significant at p = 0.05.

· The analyst rejects the null hypothesis, ρ = 0.

· The coefficient of determination for this relationship is rxy2 = 0.55122 = 0.303.About 30% of the variance in the property crime rate can be explained by theunemployment rate.

Although the rxy2 indicates that about 30% of property crime is explained by variations inunemployment, the analyst will want to be careful about making the conceptual leap to a causalconclusion. “Explained by” isn’t the same as “caused by.” To reiterate the point, perhapssomething else explains both crime rate and unemployment. Perhaps underfunded publicschooling prompts an unusually high dropout rate from school. The consequently undereducated population has more difficulty securing stable unemployment. Perhaps state budgetcuts have been disproportionately imposed on police agencies, and with fewer officers on thestreet, crime rises. In other words, the simplest explanation might not be the most accurate. Astatistically significant correlation is not where the analysis ends.

Apply It! boxes written by Shawn Murphy

8.5 Spearman’s Rho

The Pearson correlation requires that both variables must be at least interval scale. The point-biserial correlation requires that one variable must be at least interval scale, and the othermust be a variable with only two levels.

Neither of these correlations is helpful when the data are ordinal scale, which describes muchof the data that psychologists and other social scientists encounter. Nearly everyone who goesto the mall or answers the telephone has been asked to take a survey, particularly if it happensto be an election year. Survey data are usually ordinal scale. It is common for thequestionnaires to have a Likert-type format, where a statement is read and the respondentsare asked the degree to which they agree with the statement by selecting from a range ofchoices such as:

· Strongly agree

· Agree

· Neither agree nor disagree

· Disagree

· Strongly disagree

Although surveyors commonly code the responses (strongly agree = 1, agree = 2 and so on)and then calculate means and standard deviations for all respondents, those statistics assumethat the data are at least interval scale. Survey data rarely are. The Likert types of responsesare essentially rankings. A response of “strongly agree” is more positive than “agree” butprecisely how much more is not clear. Besides, one respondent’s “disagree” may be anotherrespondent’s “strongly disagree.” These data are more safely treated as ordinal scaleresponses.

Correlating Ordinal, or Mixed Ordinal/Interval Data

In addition to survey data, ordinal scale characterizes other common data, such as classrankings and percentile scores. Sometimes the variables investigators might wish to correlatehave mixed scales. For example, a researcher wants to correlate subjects’ income (ratio scaledata) with their optimism (usually gauged with a Likert-type survey and so ordinal scale).Along with the ordinal variable, the income variable is often not normally distributed. Thelack of normality in both the ratio variable and the ordinal scale variable rules out a Pearson’scorrelation.

Charles Spearman, Pearson’s colleague at University College London, developed atremendously flexible correlation procedure. It accommodates two variables in a correlationprocedure, provided the variables fit any of the following:

· Both are ordinal scale.

· One variable is ordinal scale and one is interval or ratio scale.

· Two variables are interval or ratio scale, but one or both fail to meet the Pearsoncorrelation requirement for normality.

The procedure is Spearman’s rho, symbolized by ρ. Spearman’s rho is a nonparametricprocedure, which means that it makes no assumptions about parameters; it means that ρ willaccommodate data when there are reasons to suspect that the data are not normallydistributed. The formula, which requires that the scores for each variable be independentlyranked, is as follows:

Formula 8.3

ρ=1−6∑d2n(n2−1)

where

d = the difference between the rankings for the two variables

n = the number of pairs of data

The formula’s 1s and 6 are constant values, used every time a Spearman’scorrelation is calculated.

Following are the steps to calculating a Spearman’s rho:

1. Rank the scores for both variables separately.

2. For each pair of rankings, subtract the second ranking in the pair from the first toproduce a difference score, d.

3. Square each of the d values for d2.

4. Sum the d2 values for ∑d2.

5. Solve for ρ.

Ranking Tied Scores

The ranking procedure must follow rules. If some of the scores for one of the variables havemultiples, all must receive the same ranking. If someone were ranking the following values,for example:

3, 5, 6, 6, 7, 8, 8, 8, 9, 10

ranking the values from smallest to largest produces the following values:

1, 2, 3.5, 3.5, 5, 7, 7, 7, 9, 10.

The smallest value, 3, was ranked “1,” the 5 was ranked “2,” and so on. The two 6s and thethree 8s were handled as follows:

· Because the two 6s are rankings 3 and 4, those two values are added and divided by thenumber of them (2), which results in 3.5 ([3 + 4] ÷ 2). After both 6s are ranked 3.5 (forplaces 3 and 4) the next value in the data set, 7, is ranked 5.

· The 8s are all ranked 7 ([6 + 7 + 8] ÷ 3), after which the next value, the 9, is ranked 9.

Try It!: #5

Spearman’s rho requires data of whatscale?

An Example

Suppose the data ranked above measureemotional stability, a variable thought tocorrelate negatively with stress. If thosedata are collected for career military servicepersonnel assigned to combat areas, and agedata are added for 10 subjects, Table 8.12might be the result.

Table 8.12: Emotional stability and age data

Emotional stability	Age
3	26
5	25
6	32
6	35
7	35
8	34
8	37
8	40
9	42
10	39

Calculations for a Spearman’s rho solution, based on the information in Problem 8.1, give

ρ=1−6∑d2n(n2−1)

=1−6(24.5)10(102−1)=0.852

Table 8.13 lists the critical values for Spearman’s rho (Table B.6 in Appendix B). There areno degrees of freedom for this procedure. The correct critical value for rho is indicated by thenumber of data pairs. Note that for p = 0.05 and 10 pairs ρ.05(10) = 0.648. The relationshipbetween emotional stability and age among service personnel assigned to combat zones isstatistically significant; therefore, we reject H0.

Table 8.13: The critical values for Spearman’s rho

Number of pairs of scores	p = 0.05	p = 0.01
5	1.0
6	0.886	1.0
7	0.786	0.929
8	0.738	0.881
9	0.683	0.883
10	0.648	0.794
12	0.591	0.777
14	0.544	0.715
16	0.506	0.665
18	0.475	0.625
20	0.450	0.591
22	0.428	0.562
24	0.409	0.537
26	0.392	0.515
28	0.377	0.496
30	0.364	0.478

Source: University of Sussex. (n.d.). Critical values of Spearman’s rho (two-tailed). Retrieved from  www.sussex.ac.uk/Users/grahamh/RM1web/Rhotable.htm

Problem 8.2: The Spearman’s rho correlation: emotional stabilityand age among service personnel

1. Ranking the scores produces ρ1 for emotional stability and ρ2 for age.

2. The d score is the difference between the two rankings.

3. The square of the difference score is d2.

Emotional stability	Age	ρ1	ρ2	d(ρ1 − ρ2)	d 2
3	26	1	2	−1	1
5	25	2	1	1	1
6	32	3.5	3	0.5	0.25
6	35	3.5	5.5	−2	4
7	35	5	5.5	−0.5	0.25
8	34	7	4	3	9
8	37	7	7	0	0
8	40	7	9	−2	4
9	42	9	10	−1	1
10	39	10	8	2	4
	∑d2 = 24.50

Apply It! Exploring the Correlation between Job Satisfaction and CommuteTimes

Digital Vision/Photodisc/Thinkstock

As part of the justification for allowingworkers to work at home part-time, the humanresources director for a large firm intends toinvestigate any correlation between jobsatisfaction and average commute time foremployees. The director asks ten randomlyselected employees to fill out a job-satisfactionquestionnaire with the following responses to aseries of questions:

Response Score

· very satisfied (vs) 1

· somewhat satisfied (ss) 2

· somewhat dissatisfied (sd) 3

· very dissatisfied (vd) 4

The employees were also asked to indicate their average one-way commute time inminutes. Recognizing that job satisfaction responses will be ordinal scale, the HRdirector opts for Spearman’s rho. The data and the difference scores are shown inTable 8.14.

Table 8.14: Spearman’s rho data for the correlation between job satisfaction andcommute time

Commutetime(minutes)	Commuterank	Job satisfactiontotal	Satisfactionrank	Difference	Differencesquared
2	1	10	2	−1	1
7	2	14	5	−3	9
11	3	10	2	1	1
15	4	14	5	−1	1
17	5	10	2	3	9
23	6	14	5	1	1
28	7	17	7.5	−0.5	0.25
32	8	22	9.5	−1.5	2.25
36	9	22	9.5	−0.5	0.25
40	10	17	7.5	2.5	6.25

From the table, the sum of the differences is

∑d2 = 1 + 9 + 1 + 1 + 9 +1 + 0.25 + 2.25 + 0.25 + 6.25 = 31

For n = 10, the Spearman’s rho formula is

ρ=1−6∑d2n(n2−1)

=1−6(31)10(102−1)

=0.812

For rs = 0.05 and 10 pairs of data, the critical value is rs0.05(10) = 0.648. Therelationship between job satisfaction and average commute time is statisticallysignificant. Those who commute the least time have the highest levels of jobsatisfaction. Perhaps the attitudes of those who have the lowest levels of jobsatisfaction—those who have the longest commutes—will improve if they arerequired to commute less often because they can sometimes work from home.

Apply It! boxes written by Shawn Murphy

Try It!: #6

For 10 students, grade averages andrank in class are correlated. How willthe resulting coefficient be affected ifthe highest ranked student is given thelowest value (1) versus the highestvalue (10)?

Direction of the Ranking

In the study of emotional stability and agefor service personnel, the least stable valuereceived the ranking of 1, and the moststable a ranking of 10, while the youngestsubject received the age ranking of 1. Interms of the value of the statistic, it wouldnot have mattered whether the rankings gofrom lowest to highest, or from highest tolowest, as long as both variables are rankedthe same way. We could have ranked themost emotionally stable 1 and the oldest 1,and the coefficient would have come out thesame. If we reversed just one of them, however, the correlation would appear to be negative.

Summary of Spearman’s Rho

Spearman’s correlation provides flexibility to the analyst. As long as some evidence of arelationship exists, correlations can be calculated for any combination of ordinal, interval,and ratio variables. But of course so much latitude requires some sacrifice, and it is statisticalpower. In the course of ranking values, the amount of difference between any two data pointsis lost. When the ages of the service personnel were ranked,

· the 25-year-old was 1,

· the 26-year-old was 2,

· and the 32-year-old was 3.

Once ranked, the fact that from the first to the second ranking is a one-year difference andfrom the second to the third ranking is a six-year difference is lost. Pearson’s r retains those

differences. When both correlations are calculated for the same data, their coefficientsusually have little difference, but a Pearson correlation will sometimes be statisticallysignificant when Spearman’s is not. Note the comparison of critical values at p = 0.05 shownin Table 8.15.

Table 8.15: Comparison of Pearson and Spearman critical values

No. pairs	Pearson critical value*	Spearman critical value
5	0.878	1.0
6	0.811	0.886
10	0.632	0.648

*for df =number of pairs, −2

In the examples above, the value required for significance with a Spearman correlation ishigher than that required for a Pearson correlation.

Another limitation of the Spearman correlation is that we cannot square the Spearman valueto determine the proportion of variance in y explained by x. Spearman’s rho has no equivalentof rxy2. When the data do not meet the Pearson requirements, however, the researcher has nochoice. When the data do meet the requirements, a Pearson’s r is usually preferable toSpearman’s rho.

Correlation in Research

Correlation procedures answer enough of the questions that interest researchers andconsumers of research that the procedures pervade research literature. Arroyo (2015)examined the correlation between work engagement and internal self-concept. Arroyo foundthat people tend to engage in the work they do to earn a living, not for the external rewards,but for the work’s own sake; their work is intrinsically satisfying.

Ceci and Kumar (2015), meanwhile, asked whether happiness correlates with creativecapacity. They found no significant correlation but did find a significant correlation betweencreative capacity and intrinsic motivation, suggesting that those with the greatest creativecapacity are probably those who are most internally driven to create. The researchers’approach to quantifying happiness is also a matter of interest, since it is often a challenge tofind a way to quantify something so subjective.

Summary and Resources

Chapter Summary

Many of the questions researchers and scholars ask deal with the relationships betweenvariables. To accommodate them, the discussion in this chapter shifted to statistical procedures that reflect the hypothesis of association (Objective 1). Three of the manycorrelation procedures that respond to the hypothesis of association are the Pearsoncorrelation, the point-biserial correlation, and Spearman’s rho. In each case, possible values

range from –1.0 to +1.0, and all their coefficients are interpreted the same way. Positivecorrelations indicate that as the values in one variable increase, the values in the other alsoincrease. Negative correlations indicate that as one increases, the other decreases. The sign ofthe coefficient, however, is unrelated to its strength (Objective 2).

The differences among the correlation procedures in this chapter are in the kinds of variablesthey accommodate. The Pearson correlation requires interval or ratio variables that arenormally and similarly distributed (Objective 3). A special application of Pearson, the point-biserial correlation, requires an interval/ratio variable and a second variable that has only twomanifestations, or a dichotomously scored variable (Objective 5). Spearman’s rhoaccommodates any combination of ordinal, interval, or ratio variables (Objective 6). Becausethe data used in a Pearson correlation contain more information than the rankings that makeup the data for Spearman’s approach, the Pearson value provides more information about thenature of the relationship between the variables. This is evident in the fact that the Pearsonvalue can be squared to produce the coefficient of determination. The rxy2 value indicates theproportion of one variable that can be explained by changes in the other (Objective 4).Spearman values have no equivalent of this statistic.

When two variables share information, they are correlated. The amount of one explained bythe other is what that rxy2 value, the coefficient of determination, indicates. This conceptprovides a foundation for regression, which is the focus of Chapter 9. Regression allows whatis known of y from analyzing x to predict the value of y from a value of x. It involvescalculations and thinking with which you are already familiar, so work the end-of-chapterproblems, reread any of the sections in Chapter 8, and prepare for Chapter 9.

Chapter 8 Flashcards

Key Terms

bivariate correlations

canonical correlation

coefficient of determination

correlation matrix

hypothesis of association

hypothesis of difference

linear

multiple correlation

nonparametric

partial correlation

Pearson correlation coefficient

point-biserial correlation

range attenuation

scatterplot

semi-partial correlation

Spearman’s rho

Review Questions

Answers to the odd-numbered questions are provided in Appendix A.

1. What values indicate the strongest and weakest values for a Pearson’s r?

2. What is the equivalent in a Pearson correlation for η2?

3. What are the requirements for calculating Pearson’s r?

4. What is “range attenuation,” and how does it affect correlation values for linearrelationships?

5. A university counselor gathers data on students’ grades and whether or not they areemployed. What statistical procedure will gauge that relationship?

6. What procedure will indicate whether there is a significant relationship between salesrepresentatives’ sales rank and their attitudes about the product they sell?

7.

g. What procedure will gauge the relationship between university students’ gradeaverages and their scores on, for example, a statistics test?

g. What statistic will indicate the proportion of the students’ test scores that is afunction of their GPA?

1. A forensic psychologist gathers data on the average time of night juveniles go to bedand whether or not they have an arrest record.

h. What procedure will allow the psychologist to evaluate the relationship betweenthose two variables?

h. What is the resulting coefficient?

h. How much of variability in arrest records can be explained by what time thejuvenile goes to bed?

Juvenile	Retire	Arrest
1	9.0	No
2	9.5	No
3	11.0	Yes
4	11.5	Yes
5	10.0	Yes
6	9.75	No
7	10.0	No
8	10.25	Yes

1. A group of consumers has just taken two surveys on (a) their attitude about theeconomy and (b) their attitude about those in government. In both, higher scores meanmore optimism. The data are ordinal scale. Are the two attitudes related?

Consumer	Economy	Government
1	15	10
2	5	4
3	16	11
4	10	8
5	11	13
6	3	4
7	12	10
8	11	8
9	10	7
10	14	9

1. A group of students has been told that reading will help them in a test of verbal abilityrequired by the university they wish to attend. The x variable indicates the minutes perday spent reading. The y variable represents students’ scores on the test.

Student	Minutes (x)	Score (y)
1	15	57
2	80	84
3	0	60
4	75	92
5	30	65
6	10	60
7	22	75
8	15	68

j. Is the relationship statistically significant?

j. How much of the variance in test scores can be explained by differences in theamount of time spent reading?

1. A district psychologist is working with developmentally disabled students in a specialeducation setting and is curious about the relationship between students’ persistence onpuzzle tasks (measured in the number of minutes they remain on task) and theirnumber of absences from class.

Student	Persist	Absent
1	12	3
2	4	3
3	15	5
4	18	7
5	12	1
6	5	4
7	8	3
8	9	4

1. Is the relationship between persistence and attendance statistically significant at p =0.05?

1. An employer wishes to analyze the relationship between stress and job performance.Stress is reflected by systolic blood pressure. Job performance is measured in thenumber of sales per day.

m. What is the appropriate correlation procedure?

m. Is the relationship statistically significant?

Employee	Sales	Blood pressure
1	1	150
2	4	140
3	3	140
4	6	110
5	2	140
6	4	130
7	0	160
8	3	110
9	5	120
10	7	160

1. An industrial psychologist is determining the relationship between workers’ willingness to embrace new manufacturing procedures, gauged with a dogmatism scale(higher scores indicate greater dogmatism), and their level of job satisfaction (higherscores indicate greater satisfaction). The satisfaction data are at least ordinal scale.

n. What is the relationship?

n. What is the null hypothesis?

n. Do you reject or fail to reject the null hypothesis?

n. What is the relationship between dogmatism and job satisfaction?

n. Is the correlation statistically significant?

Worker	Dogmatism	Satisfaction
1	8	4
2	4	12
3	3	14
4	5	15
5	7	5
6	2	14
7	3	15
8	1	15

Answers to Try It! Questions

1. A single point in a scatterplot represents two raw scores, one for x and one for y.

2. If the two variables are normally distributed but uncorrelated, their combinedscatterplot will be circular with greatest density in the middle of the plot because of thetendency for most of the data to fall in the middle of either distribution.

3. Range attenuation diminishes the strength of the correlation value in linearrelationships. It produces an artificially low correlation coefficient.

4. As degrees of freedom increase, the correlation value required to reach significancediminishes.

5. Spearman’s rho accommodates variables that have any combination of ordinal,interval, or ratio scale.

6. The coefficient would indicate that the higher the ranking, the lower the GPA. If aranking of 1 is “best,” the best (highest) GPA must also receive a class ranking of 1.Otherwise, the relationship looks negative when it is not.