research consumer

Choosing an Appropriate Statistical Test

iStockphoto/Thinkstock

Learning Objectives

After reading this chapter, you will be able to. . .

· understand the importance of using the proper statistical analysis.

· identify the type of analysis based on four critical questions.

· use the decision tree to identify the correct statistical test.

Here we are in the final chapter that will pull all prior chapters together. Chapters 1 to 3 discussed descriptive statistics while the latterchapters, 4 to 11, discussed inferential statistics. Each of the inferential chapters presented a statistical concept then conducted the appropriateanalysis to be able to test a hypothesis. The big question for students learning statistics is, "How do I know if I'm using the correct statisticaltest?" For experienced statisticians this question is easy to answer as it is based on a few criteria. However, to a student just learning statisticsor to the novice researcher, this question is a legitimate one. Many statistical reference texts include a guide that asks specific questionsregarding the type of research question, design, number and scales of measurement of variables, and statistical assumption of the data thatallows you to use an elegant chart known as a decision tree. Based on the answers to these questions, the decision tree is used to helpdetermine the type of analysis to be used for the research, thereby helping you answer this big question.

12.1 Considerations

To make the correct decisions based on the use of a decision tree, there are four specific questions that must be answered. These questions areas follows:

· What is your overarching research question?

· How many independent, dependent, and covariate variables are used in the study?

· What are the scales of measurement of each of your variables?

· Are there violations of statistical assumptions?

If you are able to answer these specific questions, then you will be able to determine the proper analysis for your study. These questions arecritically important, and if they cannot be answered, then not enough thought has gone into the research. That said, let us discuss each ofthese questions so that they can be considered and answered in the use of the decision tree.

What Is Your Overarching Research Question?

Try It!

Derive your ownresearch question foryour Master's Thesisor DoctoralDissertation. Have a colleague orprofessor read it. What are theirthoughts or suggestions forimprovements?

Answering this question seems simple enough as all research has an overarching research questionthat drives the study, especially since this dictates the type of quantitative methodology. There arekey words in every research question that help determine the appropriate type of analysis. Forinstance, if the research question states, "What are the effects of job satisfaction on employeeproductivity?" the keyword is "effects" as in the cause and effect of job satisfaction (theindependent variable) on productivity (the dependent variable). We know that to establish causeand effect we would need to have at least two groups, the experimental group and the controlgroup, and measure their levels of productivity at least two times based on an intervention ortraining program that purports to promote increased job satisfaction. If there are significantdifferences in the two groups, before and after the experiment, then a cause and effect has beensupported. As described in Chapters 5 through 8, you know that differences between or withingroups involve either t-tests or ANOVAs.

Another research question may be, "What is the degree of association between levels of drugabuse and depression?" Here the operative word is "association" meaning a relationship orcorrelation must be executed. Correlations are discussed at length in Chapter 9 and involve different types of relationships. Taking this researchquestion a step further, "Do higher depression scores predict increased drug abuse?" Here the key word is "predict," which is synonymous withregression. This statistical concept is discussed in Chapter 10.

How Many Independent, Dependent, and Covariate Variables Are Used?

This seems like an obvious question to answer in terms of the independent and dependent variables, but it can get quite complex whenadditional covariate variables are added. Covariates are additional variables that may have an influence on the independent and dependentvariable relationship. These variables may be added intentionally by the researcher or may be detected and controlled for as confoundingvariables (discussed in Chapter 8). The point here is that if there are additional variables, then best research practices dictate that they must beadded to the analysis for improved statistical conclusion validity of the research as in a regression or ANCOVA. Additionally, we know fromChapter 8 that if we have more than one dependent variable, then we cannot run a regression or ANOVA, but instead MANOVAs andMANCOVAs are appropriate. Last, when the independent variable is categorical (nominal or ordinal data) and the dependent variable iscontinuous (interval or ratio), the number of groups in a between-group design or the treatment or times in a within-group design willdetermine the methodology to be employed. Therefore, the number of groups, times, or treatments will need to be known for the decisiontree.

What Are the Scales of Measurement of Each of Your Variables?

Recall that the scales of measurement (nominal, ordinal, interval, and ratio) were discussed in Chapter 1. The relevance of discussing thesedifferences in the type of data is that different analyses are dictated by the type of data or scale of measurement. For instance, we now knowthat if we are working with nominal data, then a Pearson's correlation is not appropriate; instead, a Pearson chi-square test of independence isnecessary. Similarly, if we have categorical data (nominal or ordinal data) for our independent variable with a continuous (interval or ratio)dependent variable, then a t-test or factorial design is appropriate. If we know that both variables are continuous, then a correlation orregression is appropriate. All of these statistical analyses were previously discussed and should be familiar to you.

Are There Violations of Statistical Assumptions?

Try It!

Identify the numberof variables in yourstudy, their scales ofmeasurement, andthe violations of assumptions ifthere are any. Can you identifythe proper statistical analysis?(Hint: If you are having a difficulttime, use the decision treesprovided below.)

Throughout the previous chapters, we discussed both parametric and nonparametric analysisbased on satisfying assumptions of testing. We reviewed the various tests of assumptions thatinclude normality, homogeneity of variance, sphericity, and linearity. Normality is based on theGaussian distribution where significant deviation away from a normal distribution is a violation.This may be attributed to small sample sizes, outliers, or both. Homogeneity of variance violationsare significant differences in the variances between groups. This can be problematic since thesefluctuations should be homogenous between groups. Sphericity is another assumption similar tohomogeneity of variance, but this test of assumptions is within pairs of times/treatments. In otherwords, significant differences in pairs of treatments should not occur. Last, linearity must also betested as issues of significant curvilinearity can lead to erroneous statistical findings. In the end, ifany or all of these are violated, then a nonparametric test is the proper option.

12.2 Decision Trees

Whether your research question focuses on the effects of the IV on the DV (comparison groups), the relationships of the IV and the DV(association between variables), or the prediction of the DV based on the IV (prediction) you can determine the proper statistical analysis usingthe three statistical decision trees discussed next. All inquiries start at the root of the tree, which is located at the top of the decision tree orflow chart, and then evaluate the various branches depending upon what the research involves. The goal is to find the appropriate statisticaltest based on the research question, the number of DVs and IVs, and the type of DVs and IVs. Thus, to use each of the decision treessuccessfully, you must correctly identify the following items:

· The number and types of DVs and IVs.

· The number of groups or treatments included.

· Whether the data is normally distributed.

· If there are any covariates.

Recall from Chapter 1 that categorical variables have one or more categories (such as ethnic groups), continuous variables allow for an possiblevalue and are not limited to whole numbers (time to complete a problem), and dichotomous variables allow for only two categories or levels(male or female). Figure 12.1 presents a decision tree for research questions that involve comparing groups.

Figure 12.1: Statistical decision tree for the effects of IVs on DVs

Try It!

A A researchpsychologist wishes totest the effects of twobrands ofantidepressant drugs bymeasuring the level ofdepression on two test groupsand a control group using theBeck Depression Inventory.Determine the proper statisticalanalysis.