discussion

Research Methods and Statistics Jeral Kirwan— Ashford University

gevende/E+/Getty Images

Learning Objectives

After reading this chapter, you should be able to

· Understand the need to evaluate published research.

· Evaluate the quality of research questions and hypotheses.

· Identify variables used in research.

· Understand basic types of qualitative and quantitative research designs.

· Interpret visualized data.

· Understand basic types of statistical analyses.

· Understand the basics of inferential statistics.

· Demonstrate ethical research integrity.

· Explain career applications involving research and statistics.

Social scientists often need to collect and analyze data to test a research question or hypothesis. However, professionals in many other fields also often need to solve real-world problems. For instance, Stephon is a program evaluator who works for a non-profit organization. One day, he is asked to evaluate several new programs that are competing for a grant offered to small businesses. Stephon’s supervisor asks him to set up an evaluation model to assess these proposals and to find the top three candidates for that grant. It would be easy for Stephon to just read them and pick the three that he likes best or finds most interesting, but he knows that would not be the most fair and equitable approach. Instead, he follows some basic research principles that he learned in his research methods course and designs an evaluation that summarizes, assesses, and reports on the applications.

Stephon starts by determining the goals of the grant and using those to create a rubric with which to evaluate the proposals. Then he uses that rubric to objectively assign a score to each of the proposals. With that data, he creates a chart that shows how each proposal compares to the others based on the established criteria. He presents his results to his supervisor with his recommendations for the winners of the grant. Through this process, Stephon has used the scientific method to collect data and make informed decisions based on that data. This shows that research methods and statistics are valuable areas of expertise beyond the laboratory.

After considering this scenario, review the following questions:

· What ethical considerations might have encouraged Stephon and his supervisor to use an evaluation model rather than simply selecting their personal preferences?

· How, in this scenario, was the creation of a rubric useful?

· Are there ways that you, in your everyday life, utilize the scientific method to make decisions? If so, when and how?

5.1 Introduction: Why Is Research Important?

Shironosov/iStock/Thinkstock

It is critical for those working in psychology to stay abreast of current research in their field.

Being able to understand and evaluate published research is essential for anyone in a psychology field. For instance, an industrial/organizational psychologist must keep up with current trends in organizational development by reading published articles in that psychologist’s particular area. Even if you never conduct a research study yourself, it is vital that you become an active consumer of research related to your area of interest and practice. As an informed consumer, you are able to be evaluate whether research has been done well and avoid falling victim to unsubstantiated or exaggerated claims or poorly designed research.

People in all areas of psychology use data in different ways. A clinical psychologist may read articles about new methods for treating depression and interpret the data to help inform how patients are treated locally. A forensic psychologist might use data on the current trends of recidivism rates to better understand certain criminal behaviors. A program evaluator uses data to determine if a program is working as it should. A research psychologist will use data to try and prove a hypothesis. Almost every career path, including most related to psychology, uses data to some degree.

In research, the type of design that you choose influences the type of conclusion that can be drawn from the research. It is important to evaluate the needs and circumstances of your research project before selecting a design. This chapter begins with a basic overview of research questions before discussing the major types of research designs, and then the rest of the chapter is focused on how data is visually represented and evaluated. Throughout, a spotlight is kept on ways in which this information can be useful to you in your professional and daily life.

5.2 Research Questions and Hypotheses

Developing a good research question and hypothesis is essential to research. They are used to determine the methodological approach and help to focus the research design. When developing a research question or hypothesis, or evaluating a published study, consider how well the question addresses the problem, how testable it is, and if it contributes to the body of knowledge regarding the issue.

YakobchukOlena/iStock/Thinkstock

Good research questions must be testable.

What Is a Research Question?

Students often confuse general philosophical questions with research questions. Questions such as “What are the symptoms of ADHD?”, “What is the difference between psychology and psychiatry?”, and “How does one treat depression?” are good questions but not testable with research.

A  research question must be something clear and testable such as “What is the relationship between learning styles and memory recall?”, “How are men and women different with regard to performance on math exams?”, and “Does drinking coffee improve student performance on final exams?” These questions are clear and show direct connections to the variables. Having clear, specific, and testable questions is essential to developing a research design to assess variables.

Typically, research questions that are based on  how much,  to what extent,  when, or  who are best tested with a quantitative approach. Qualitative approaches are better for measuring  why questions and things that are more exploratory in nature.

A research question  is based on the general topic, but narrows down the scope of what the study will seek to accomplish. You do not want the question to be too general or too narrow. Some examples might be:

1. What is the rate of depression in Colorado?

2. What are the characteristics of a good human resource manager?

3. Does education play a role in juvenile defenders’ successful rehabilitation?

When developing or evaluating a research question, consider if it is clear and testable. A question that is too vague, or that has too many factors, cannot be easily tested. A good research question is the guide to the rest of the research design.

What Is a Hypothesis?

A  hypothesis is a testable statement that proposes relationships or differences between two or more variables. It is your prediction of what will happen in your research study. Developing a testable hypothesis is the first step in the scientific method approach to research; a hypothesis must be developed before data is collected. In psychological research, hypotheses commonly focus on how some aspect of the environment affects a particular behavior. Below are some basic hypothesis examples:

1. Students who eat breakfast score higher on statistics exams than students who do not eat breakfast.

2. Ninth grade girls have higher memory recall on algebra exams than ninth grade boys.

3. Medicine A will lower blood pressure more than Medicine B.

4. The personality factor conscientiousness is significantly related to self-direction in learning.

5. The experimental group that receives a special tutorial will demonstrate better recall than the control group that receives no intervention.

Here is an example of a more complicated hypothesis: “Conscientiousness will be uniquely, positively related to learner self-direction after controlling for the other Big Five and narrow traits” (Kirwan, Lounsbury, & Gibson, 2014, p. 5).

How do you develop a hypothesis? Before developing a hypothesis statement, you have to do some background research on the topic. Look at published research and see what other people have done and what hasn’t been done. Once you complete your literature review, consider what variables interest you and how you might test a relationship between them. After you have written a few hypotheses statements, consider which one could be readily tested. Think about how you might go about confirming or disproving that hypothesis. Developing a good hypothesis statement is an iterative process, and it takes time. Once you have your hypothesis, the next step is to define your variables.

5.3 Types of Variables in Psychology Research

Imagine that you are a psychologist, and you are interested in conducting a study to determine the effects of eating breakfast on memory in young children. You assume, based on previous studies, that children who eat a healthy breakfast will perform better on exams than children who do not eat breakfast at all (this is your hypothesis). How do you begin your research study and test your hypothesis?

One of the first things you do as a researcher is define your  variables (also commonly described as  factors). These factors are chosen by the researcher before collecting data and they are characteristics that vary from individual to individual. For instance, with regards to breakfast, each person may eat at different times of the morning, eat various types and amounts of food, and perform differently on their exams (even from one day to the next). There are four main scales for the measurement of variables, and each variable will fit into one of them depending its characteristics.

· Nominal – The variable is divided into categories that have no relative order. For instance, a questionnaire might ask participants to choose their gender identification from a list.

· Ordinal – The variable is divided with categories that have a relative order. An example might be high school levels: freshman, sophomore, junior, or senior.

· Interval – The scoring of the variable has equal distances between points on a continuum. An example would be time of day. The distance between 8 a.m. and 9 a.m. is the same as the distance between 12 p.m. and 1 p.m. For our example, we might measure the time between eating breakfast and taking an exam.

· Ratio – The variable represents the relationship between two numbers and is characterized by an absolute zero (meaning zero is the lowest possible value). For our example, grade point average (GPA) could be used.

It is important to understand the different types of scales of variables as that is directly connected to the method of analysis. For instance, a study that only contains nominal variables would be analyzed with non-parametric analyses such as chi-square (covered later in the chapter).

Wavebreakmedia Ltd/ Wavebreak Media/Thinkstock

Researchers must be aware of extraneous variables that may impact the results of their research.

Independent and Dependent Variables

Quantitative research designs utilize  independent and  dependent variables to try and explain a phenomenon. An  independent variable is a variable that the researcher controls to see what effect it has on the  dependent variable. An example would be if a researcher wants to see if students perform differently on a math exam depending on the temperature in the room. The researcher controls who will be taking the tests (the students can be chosen such that they are all the same age, or gender, etc.) and the temperature in the room to see how tests scores may be affected (the measurable outcome). So, the differences in the independent variables (students and temperature) are controlled by the experimenter, and the dependent variable (test scores) only changes in response to those independent variables.

Extraneous and Confounding Variables

When investigating factors in social science research, there are usually many possible variables that can be connected to the independent and dependent variables, and that can affect their relationship. For instance, if we want to find out why people perform a certain way on a math test, some possible variables that affect performance are motivation, study time, IQ, personality, time of day, and even the temperature in the room where the testing takes place. Variables that are not a part of the research design are considered to be  confounding, or  extraneous, variables. These are the unconsidered or undesirable variables that influence the relationship between the variables the researcher is investigating. For example, take a psychologist who wants to examine the effect of showing romantic movies to a group of men and women on how they display affection the following week. One confounding variable could be that the women had higher levels of romantic idealism than the men did before the study started. A comparison of the two groups may not show an accurate picture of the outcome of the treatment (showing the movie). In this instance, the extraneous variable is important because it was present in one group and not in the other. Possible extraneous variables should be considered before conducting such a study. While researchers cannot consider all possible variables related to the outcome they are interested in, they should at least be aware that many possible variables may be affecting it. A skilled researcher will consider what they can, and note limitations when they cannot. Next, we will look at research designs that researchers use to focus in on the variables of interest.

5.4 Types of Research Designs

As explained at the beginning of this chapter, and as the frequently cited research expert Creswell (2013) explains, research scientists and people working with data in all fields must understand that the research question and hypothesis guides the research design. In the next section, we will examine several different research designs and strategies for both quantitative and qualitative approaches.

Quantitative Research Methods

In the natural and social sciences, quantitative research is an empirical investigation of phenomena based on mathematical models and theories. Hypotheses are developed and measured based on statistical questions that address aspects of an observed phenomenon such as what, where, when, how much, and to what extent? Before data can be collected and analyzed, a representative sample of a population must be collected based on a variety of sampling strategies.

Sampling Strategies

Psychology researchers seek to examine traits, behaviors, and other human characteristics (as do marketing and advertising analysts). However, it can be difficult to collect data if the populations being investigated are large or difficult to reach. Sampling strategies are used to find a subset of the population that accurately represents the population.  Random sampling is when everyone in the population has the same chance of being selected. In experimental research, the sample must be randomly selected.  Stratified sampling occurs when a population is divided into subgroups (the strata) and then each subgroup is randomly sampled from.  Systematic sampling involves a set protocol for selecting participants, such as every 20th person to enter a clinic, for example.  Cluster sampling involves dividing the population into clusters and then randomly choosing a certain number of people in each cluster. Each of these fall under the category of  probability sampling because they use randomization.

bogdandreava/iStock/Thinkstock

Types of random sampling include stratified, systematic, and cluster sampling.

Non-probability sampling does not require the use of randomization and includes several strategies, such as the following. A  convenience sample is one in which the participants are chosen based on availability. An example would be giving undergraduate students extra credit to participate in a local study.  Purposive sampling involves selecting participants based on some characteristic they may have, such as individuals diagnosed with a rare disease.  Proportional sampling divides participants into subgroups and samples each subgroup randomly; it might be used when the researcher needs to have a particular number of people with a certain characteristic, such as having equal numbers of participants that identify as women or men. The strategies go beyond these few examples and greatly depend on the nature of the research design.

Experimental Research Designs

Experimental designs are scientific studies that rely on random assignment of subjects and strict control over the research environment and variables of interest. They are the only approaches that are considered rigorous enough to address cause-and-effect relationships between variables. While there are many experiments in psychology research, they are less common than other approaches due to the nature of most studies in the social sciences and the cost and limitations of the laboratory settings that experiments require.

Here is an abstract from a study that used an experimental design:

We present a novel experimental design to measure honesty and lying. Participants receive a die which they roll privately. Since their payoff depends on the reported roll of the die, the subjects have an incentive to be dishonest and report higher numbers to get a higher payoff. This design has three advantages. First, cheating cannot be detected on the individual level, which reduces potential demand effects. Second, the method is very easy to implement. Third, the underlying true distribution of the outcome under full honesty is known, and hence it is possible to test different theoretical predictions. We find that about 20% of inexperienced subjects lie to the fullest extent possible while 39% of subjects are fully honest. In addition, a high share of subjects consists of partial liars; these subjects lie, but do not report the payoff-maximizing draw. We discuss different motives that explain the observed behavioral pattern. (Fischbacker & Föllmi-Heusi, 2013, p. 525)

Quasi-Experimental Designs

Quasi-experimental designs involve studies that are close to experimental in nature but do not have participants that have been randomly selected.

Here is an abstract from a study with a quasi-experimental design:

Many job redesign interventions are based on a multiple mediator–multiple outcome model in which the job redesign intervention indirectly influences a broad range of employee outcomes by changing multiple job characteristics. As this model remains untested, the aim of this study is to test a multiple mediator–multiple outcome model of job redesign. Multilevel analysis of data from a quasi-experimental job redesign intervention in a call center confirmed the hypothesized model and showed that the job redesign intervention affected a broad range of employee outcomes (i.e., employee well-being, psychological contract fulfillment, and supervisor-rated job performance) through changes in 2 job characteristics (i.e., job control and feedback). The results provide further evidence for the efficacy and mechanisms of job redesign interventions. (Holman & Axtell, 2016, p. 284)

Observational Research

Observational research (often called  field research) is a type of non-experimental design in which the researcher observes and records behaviors in the context of the study’s parameters. For instance, a researcher may want to observe aggressive behaviors in children ages 2–4, so he gets permission to sit at a preschool playground and watch the children interact.

Here is an abstract from an observational research study:

Background Regular physical activity is associated with a range of physical and psychological health benefits. In North America the majority of adolescents are insufficiently active.

Purpose The purpose of this study was to examine the prospective relationship between adolescents’ perceptions of transformational leadership displayed by their school physical education teachers and their own physical activity behaviors, both with respect to within-class physical activity (WCPA) and also leisure time physical activity (LTPA).

Method The study used a prospective observational design. Using multilevel structural equation modeling (MSEM), we examined the extent to which adolescents’ affective attitudes mediated the effects of teachers’ behaviors on adolescents’ physical activity responses. Two thousand nine hundred and forty-eight adolescents ( Mage = 14.33, SD = 1.00,  Nfemale = 1,641, 55.7 %) from 133 Grade 8–10 classes in British Columbia (Canada) provided ratings of their physical education teachers’ behaviors midway through the school year. Two months later, students completed measures of affective attitudes, WCPA, and LTPA.

Results The results indicated that adolescents’ perceptions of transformational teaching explained significant variance in both WCPA and LTPA, and these effects were fully mediated by adolescents’ affective attitudes (total indirect effect:  b = 0.581,  p < 0.001).

Conclusion The findings suggest that transformational leadership behaviors displayed by physical education teachers may be an important source of adolescent enjoyment of physical education as well as health-enhancing physical activity involvement within school  and outside of school. (Beauchamp et al., 2014, p. 537)

KatarzynaBialasiewicz/iStock/Getty Images

Interpretive studies involve interviewing and collecting qualitative data.

Qualitative Research Methods

Qualitative research in the social sciences is a method of inquiry where the goal is to gather information to achieve a more in-depth understanding of human behavior. Popular approaches include interviews, case studies, ethnographies, narratives, and empirical data collection based on grounded theory. Qualitative research uses non-probability sampling strategies. Samples are typically convenience or purposive samples as the goal is to look at a particular person or group and does not follow the quantitative goal of generalizing to a larger population. Some common designs and examples can be seen below.

Interpretive Study

An interpretive study is used when the researcher wants to see how individuals make meaning of a particular situation or phenomenon. Data is collected by conducting interviews, observations, or reviewing documents (such as patient records or personal diaries). Analysis of interpretive data focuses on themes or common patterns to form a descriptive exposition connecting the data to the published literature.  For example, if a researcher wanted to study how people in poverty make decisions about what food to buy, that researcher might collect information on a sample group’s food purchases over a certain period of time and also conduct interviews with the sample population to understand their thought processes and lived experiences.

Grounded Theory

Grounded theory is a systematic qualitative method used in social science research that starts with general questions to develop a theory based on emerging patterns in collected data. The early phase of this type of research is intended to be somewhat vague and leads into the development and verification of a theory based on the data collected.

Here is an abstract of a study that used grounded theory:

Currently, a relatively small number of studies have employed qualitative methods to rigorously examine the experiences of health care professionals enrolled in mindfulness-based stress reduction (MBSR). This study developed a working model of how participants may experience change during an adapted MBSR program for health care professionals. The model derived from the data demonstrated that participants echoed themes similar to those described by clinical populations engaged in MBSR, such as the salience of the group experience and support, discovery of acceptance as well as the realization that some degree of frustration and/or distress is part of learning and establishing a mindfulness practice. Unique themes highlighted included becoming aware of perfectionism, the automaticity of “other focus” and the “helping or fixing mode”. Findings illustrated the nuanced change processes undertaken by participants and the implications such change held across professional and personal domains. (Irving et al., 2014, p. 60)

Phenomenology

Phenomenology is a qualitative research approach looking at human consciousness and self-awareness of experiences. A phenomenological approach emphasizes the subjective experiences people have and how they interpret the world in particular situations. The main goal of this approach is to better understand how others view their surroundings. For example, a researcher might use a phenomenological method to study the experiences of children at Disneyland by interviewing children and their parents and then analyzing those interviews to find the essential themes of their experiences.

Ethnography

Ethnographic research is a broad approach in field research that focuses on participant observation and involves the researcher being immersed in the culture being studied as one of the participants. Ethnography is a very broad area with many different methods associated with it. The benefits include learning about a particular culture or group from the inside, rather than being an impartial observer.

Here is an abstract from an ethnographic study:

Threat of supernatural punishment can promote prosociality in large-scale societies; however, its impact in smaller societies with less powerful deities is less understood. Also, while perceived material insecurity has been associated with increasing religious belief, the relationships between insecurity, supernatural punishment beliefs, and prosocial behavior are unclear. In this study, we explore how material insecurity moderates the supernatural punishment beliefs that promote different expectations about distant, anonymous strangers among a sample of villagers living in Yasawa, Fiji. We examined this relationship by employing an economic game designed to measure local recipient favoritism vs. egalitarian, rule-following behavior. Using indices of three different “punishing” agents – the Christian God (“Bible God”), the deified ancestors ( Kalou-vu), and the police – we find that increased belief in Bible God punishment predicts less local recipient favoritism at low and moderate but not high material insecurity. Punishing  Kalou-vu also predicts less favoritism at low and moderate insecurity, but more favoritism at high insecurity. Police punishment poorly predicts favoritism, suggesting that secular authority has less impact on isolated communities. We discuss implications for understanding how different kinds of supernatural and secular agent beliefs impact prosocial behavior. (McNamara, Norenzayan, & Henrich, 2016, p. 34)

Case Study and Single-Subject Designs

Case study research in the social sciences is focused on a specific group, environment, or situation and can include large groups or even single subjects. This research strategy is commonly used when the topic of interest is not common, or when a particular local problem is the focus. The value of investigating a real-world phenomenon within a particular context cannot always be done using inferential designs. For instance, a researcher may want to look at why a person committed mass murder, which is not a common enough situation to be generalizable.

Here is an abstract from a case study:

When a serial killer is present, the media and local authorities often claim that public attitudes and behaviors change sharply, usually becoming more fearful and less outgoing. Unfortunately, much of the evidence on this score is either speculative or anecdotal. This study reports quantified results from a series of surveys conducted over the course of a serial killing spree in Baton Rouge, Louisiana. The temporal trend in fear of crime is punctuated by a moderate increase during the serial killing spree, and a sharp decline after the apprehension of the serial killer. Moreover, post apprehension data reveal that nearly 56% of respondents report experiencing an increase in their fear of crime specifically in response to the serial killer. This was fairly evenly distributed across races and marital statuses, but, as expected, females and younger people were more likely to report increases in fear. Additionally, 46% of respondents took the extra step of implementing some sort of protective measure, with the most frequent being carrying mace or pepper spray or adding a security device to their home. In the latter case, respondents were motivated by a mix of concern over their own safety and that of their family. (Lee & DeHart, 2007, p. 1)

Previous section

Next section

5.5 Data Visualization

Data can be represented in graphs and figures to help show its characteristics. Data visualization can be helpful to researchers as they check to see whether the data are normally distributed or independent and whether other assumptions are being met. For people in the business world, data visualization can also be a quick way to show a summary of results in a business presentation, for example a pie chart can show a company’s total sales by month. Some examples of ways to visualize data are included below.

Frequency Distribution

A  frequency distribution shows how scores of a variable are distributed in a sample. They can be helpful in seeing the characteristics of a group in relation to some category of interest. For example, if you want to see how many people a certain disease affects based on age, you might use a frequency distribution. Another example is shown in Figure 5.1.

Figure 5.1: Frequency distribution

A frequency distribution shows the frequency with which certain data points appear.

Cumulative Frequency Distribution

A  cumulative frequency distribution (see Figure 5.2) adds the frequency of data points at a certain score together with all of the previous data points to show the percentage as it increases from the lowest score on the variable to the highest. This might be useful for understanding the number of observations that lie above and below a particular value. For example, in Figure 5.2 one can see that around 500 students scored 100 points or fewer on the text, while the remaining students scored above 100 points.

Figure 5.2: A cumulative frequency distribution

This cumulative frequency distribution shows the proportion of students who scored at or below each data point.

Pie Chart

A  pie chart (see Figure 5.3) is divided into “slices” to illustrate the numerical proportions of the variable of interest. This type of illustration is often used to show different responses to a survey question or proportions of a population with a certain characteristic, such as race or age. One particular strength of pie charts is that they show proportions very clearly. Figure 5.3 shows the proportion of students receiving a particular grade on a test.

Figure 5.3: A pie chart

This pie chart notes the distribution of grades in a group of students.

5.6 Statistical Analyses

Descriptive statistics are simple ways of describing the characteristics of a sample or population. For example, if you want to see which major city in the U.S. treats the most people for addiction-related issues, you could look at the records of all major cities and compare. By looking at the rates of treatment, you could make decisions about where resources could be better spent. See the  Career Spotlight feature on Paul Randall Gesn to learn more about statistical analysis.

Career Spotlight: Paul Randall Gesn

Name: Paul Randall Gesn

Primary job title: Statistical Analyst

Type of employer: State Health Agency

What degrees do you hold? A doctorate in experimental psychology with a specialization in social and personality psychology.

Describe your major job responsibilities. I provide research and data analytic support for a program that oversees the provision of services to women and children. Specifically, I help to develop indicators to monitor for fraud and other noncompliant behavior among the external vendors who actually provide those services. I also conduct analysis on trends in program participation and expenditures.

Provide a general overview of your career background. I have held positions, in both government and the private sector, related to healthcare, education, and the development of nationally representative standardized tests and assessments. The common theme among all my nonacademic positions has been a focus on research and data analysis. I have also taught psychology courses online and in a campus-based setting. Although my full-time work is in a nonacademic/applied setting, I enjoy maintaining my ties to academia. Many colleges and universities are hiring adjunct instructors rather than full-time instructors, so the opportunity to teach at least one course is generally available.

Are there any undergraduate activities that you think helped to influence success in your type of career? I was involved in conducting my own research project during my junior and senior undergraduate years, and this really helped to solidify my interest in research and analyzing data. This experience helped to influence the direction I took in selecting a graduate program and then deciding on a career path to pursue.

What advice would you give to someone thinking about a field similar to yours? In graduate school, take as many statistics, research methods, and psychometrics courses as you can. If possible, become involved with an actual research project. You should enjoy working with numbers, extracting meaningful information from large datasets, and providing that information to a variety of audiences, some of whom do not have a background in research and statistics. Research- and statistics-intensive job positions often require at least a master’s degree, but some employers will hire at the bachelor’s level, provided the applicant has previously gained the required knowledge and experience. Also, you need to have a good working knowledge of at least one statistical analysis software package, such as SAS, SPSS, Stata, or R.

What do you like most about your job? I really enjoy starting with a large database of raw data and determining if there is any meaningful information to be gleaned from that data. I think every dataset tells a story, and it is the job of the analyst to determine what that story is. I also enjoy conducting research and writing up the results in formal research reports. Finally, I enjoy communicating results to audiences who might not have a back-ground in research or statistics. The communication is generally two-way: they can also provide me with information on the policy implications of the results.

Measures of Central Tendency: Mean, Median, and Mode

The  average is a general term that can refer to all three measures of central tendency, but typically indicates the arithmetic mean. However, it is important to have an understanding of all three measures: mean, median, and mode.

The mean (often notated as M, µ, or x̄) is the sum of all values in a group of scores divided by the number of scores (this is also known as the arithmetic average). For example: (5 + 10 + 15 + 20) / 4 = 12.5. The median (often notated as Mdn or Mdn) is the number that lies at the midpoint of a distribution of numbers when the numbers are arranged in numerical order. An example would be 1, 2, 3, 4, 5, 5, 5, 6, 6, 7, 8, 8, 8, 9, 20. The value 6 is in the exact middle, so it is the median. When there are an even number of values, the average of the two middle values is the median, such as: 1, 2, 3, 4, 5, 5, 5, 6, 7, 8, 8, 8, 9, 20. In this case, since (5 + 6) / 2 = 5.5, the median is 5.5. The mode (often notated as Mo) is the most frequently occurring number in a distribution. For instance: 1, 2, 3, 4, 5, 5, 5, 6, 6, 7, 8, 8, 9. Five is the mode as it occurs more than any other value.

As you critique articles, or any type of research results (such as is commonly found in news reports), be sure to pay close attention to which measure(s) of central tendency were used in the study and be careful about assuming what the “average” is.

Measures of Dispersion

The measures of central tendency tell us where the relative center of the distribution lies. Researchers also want to measure how spread out the values are in the sample; this is where measures of dispersion come into play. Some of the measures of dispersion are the range, interquartile range, variance, and standard deviation. The  range tells us the distance between the lowest and highest values in the distribution. The  interquartile range (see Figure 5.4) tells us the difference between the lowest and highest values in the two middle quartiles (the middle 50% of the scores) when the distribution is divided into four sections, or  quartiles.

Figure 5.4: The interquartile range

When the data are divided into four equal quartiles, the interquartile range is composed of the middle two quartiles, or the middle 50% of the data, as shown here.

The  standard deviation tells us how much the scores deviate from the mean scores and is just the square root of the variance. Another way of putting it is the average amount of variability in a set of scores. The standard deviation is usually notated as  s, SD, or σ. You often see distributions expressed as the mean ± the standard deviation, such as 14.83 ± 2.51. A standard deviation can tell us how varied a data set is. For instance, if the standard deviation of a set of grades on a particular test is small, then we can conclude that the grades were very similar. If the grades were mostly high, this might mean the test was too easy; if they were mostly low, it might have been too difficult. Looking at the distributions of scores can help teachers adjust their tests over time to be appropriately challenging.

Standard Normal Curve: The Bell Curve

In a normally shaped distribution, half of the population will be above the mean and half will be below it. In psychology research, most populations are normally distributed and the bell-shaped curve helps us understand how this might look. If we averaged the math test scores of all the students in the 8th grade at a school, we might find that the average score is 50. Half of the students would have higher scores, and half lower, in a normally distributed sample (see Figure 5.5).

Figure 5.5: The bell curve

This normal curve is based on the distribution of grades in a sample.

In a normal curve, about 68% of the data is within one standard deviation of the mean, about 95% is within two standard deviations, and about 99.7% is within three standard deviations. This fact makes it easy to quickly assess ranges and frequencies of certain outcomes across a population. Additionally, the standard normal distribution (a distribution with a mean of 0 and a standard deviation of 1) can be used to calculate the probabilities involved in any other normal distribution. Due to these benefits and others, normal distributions are a popular statistical analysis tool.

5.7 Inferential Statistics

Dmitrii_Guzhanin/iStock/Thinkstock

 

Tests of relationships measure how two variables interact.

Researchers often want to see if two variables are connected. For instance, we might want to investigate if the amount of time a person studies is connected to how well they do on a math exam. In this case, we want to use an inferential test called a  test of relationships to measure that connection.  Tests of relationships are designed to show how groups or variables are related. Non-researchers also need to have an understanding of how variables are connected, and how those connections are verified with scientific methods. For example, say the results of the previously suggested research on studying show that more studying is related to a higher grade, but only to a point; after a certain number of hours of studying, there is nothing more to be gained. Being able to interpret these results might influence your study habits.

Correlation

Correlation analyses are used to look at the mutual relationship between two variables, such as how IQ is related to GPA. A positive correlation indicates the extent to which the two variables move up together or down together. IQ and GPA are positively correlated, so as IQ gets higher, GPA gets higher. A negative correlation indicates the extent to which one variable moves up while the other variable moves down. If that were the case with IQ and GPA, as IQ moved lower, GPA would move higher. When there is no clear relationship, the variables are considered to have zero correlation. For instance, IQ may not be a factor in the grades in a subject such as wood shop. While in cases of positive and negative correlations, the movement of one variable can reliably predict a similar move in another variable, that correlation does not imply causation. There may be an unknown factor that influences both variables similarly. For instance, amount of ice sold in grocery stores may have a positive correlation with sunburns, but it is obvious that ice does not cause sunburns, nor do sunburns cause people to buy ice. The root of the relationship may be that a third factor, weather, influences both sunburns and ice consumption in similar ways, causing them to be correlated.

In a similar vein, it is important to note that a correlation coefficient does not address the issue of cause and effect. Do not make the mistake of thinking that a high correlation implies that one variable causes variation in the other variable. For example, there might be a negative correlation between the number of pirates in the world over the last 200 years and the pounds of ice cream sold each year (the number of pirates has gone down while the amount of ice cream sold has gone up). However, it is not likely that the reduction in pirates each year has caused ice cream sales to go up. This is often referred to as a  spurious relationship or  spurious correlation. This shows how essential it is to carefully interpret results from correlational research and to not make causal assumptions without considering all possible variables that affect a relationship. For those not in the research field, this skill can come in handy when reading the news; for example, when you hear about some connection between eating a certain food and experiencing a certain health concern, it is important to be critical of assumptions that one caused the other to happen. Cause-and-effect assertions cannot be substantiated outside of true experimental designs (see Figure 5.6).

Some examples of variables that are correlated include:

· Height and time to run a mile

· Hours of studying and grade on a statistics exam

· Income and happiness

· Caffeine intake and alertness

Figure 5.6: Scatter diagram of a positive correlation

 

This plot shows the correlation between the monthly price of car insurance and the annual income of a new college graduate.

The scatter diagram in Figure 5.6 is a visual display of data which allows you to see an association between two variables. For example, you can see there is a strong, positive relationship between the annual income of new college graduates and the price they pay monthly for car insurance. The scatter diagram illustrates the strength of the correlation between the variables along the slope of a line; the straighter the line, the stronger the correlation. This correlation can point to, but does not prove, a causal relationship. It may be that people who make higher wages purchase more expensive cars, and that is why their insurance premiums are higher.

The Correlation Coefficient

While a scatter diagram is an excellent way to look at the relationship of two variables, many journals do not publish graphs due to the large amounts of space they take up. Numerical summaries of results appear in research reports much more frequently than do visual representations. Correlations are also often presented in the news and on social media in the following manner: “a new study suggests there is a correlation between heart health and consuming meat.” Claims like that need to be carefully evaluated on the nature of the research design.

The  correlation coefficient (see Figure 5.7) is the numerical summary of a bivariate (two-variable) relationship. It is usually symbolized as  r. The correlation coefficient has a range of –1.0 (a perfect inverse relationship) to +1.0 (a perfect positive relationship), with 0 being no correlation at all.

Figure 5.7: Correlation coefficient range

 

The correlation coefficient ranges from -1.0 to 1.0.

When an  r falls on the right side of the continuum (from 0.0 to 1.0), it indicates that there is a “direct” or positive relationship between the two variables. As the score on one variable increases, so does the score on the other variable. Here is an example of a positive correlation from a real research project:

Results indicated that increases in self-compassion were significantly related to the number of days a week that participants meditated ( r = .42,  p < .05), as well as the number of times per day they informally practiced self-compassion ( r = .43,  p < .05). (Neff & Germer, 2013)

When an  r falls on the left side of the continuum (from –1.0 to 0.0) it indicates an “indirect” or “inverse” relationship between the variables. As the score on one variable increases, the score on the other variable decreases. For example, a hypothetical study might have looked at school attendance and GPA:

Results indicated that there is a significant inverse relationship between the number of days a student misses in school and their GPA ( r = .72, < .01). So, the more days a student misses of school, the lower their GPA tends to be, compared to the average.

When a correlation is strong, it is said to be more predictive than when a correlation is weak. How do we know if a correlation is strong? The common conventions for the effect size of a Pearson correlation coefficient are (note that these are based on absolute values) based on Cohen (1992, p. 157):

Trivial: 0 to < .1 Small to medium: .10 to .30 Medium to large: .30 to .50 Large to very large: .50 to 1.0

Be aware that though an effect size can tell us the general strength of the relationship between the two variables, the practical value greatly depends on the research conducted. For instance, when looking at human behavior, there can be many variables that contribute to a particular outcome, so a relatively small effect size can be significant. But a medical study looking at the effects of a particular medicine may require a much higher effect to be considered viable.

When at or close to  r = 0.0, there is no evident correlation, the pattern of association is random, and it shows non-systematic variation.  No line, straight or otherwise, can be fit to the relationship between the two variables.  The two variables are said to be uncorrelated (see Figure 5.8).

Figure 5.8: Scatterplot

 

This scatterplot shows no evident correlation between the variables income and shoe size.

One issue to watch out for when analyzing data for correlation is the possibility of outliers. You have  outliers when one or more of the data points are located away from the bulk of the scores. These can cause the size of a correlation coefficient to underestimate or exaggerate the strength of the relationship of two variables. Often when performing statistical analyses, tests will be done to identify whether or not a data set contains outliers. If outliers are present, the researcher will note that in the findings and potentially run another analysis on the data without the outliers to compare the results against the previous findings. Outliers should be carefully considered in correlational research.

Regression Analysis

In some situations, we may want to use more than one variable (often called predictor variables) to predict some other variable (often called the criterion variable); this is called  regression analysis. Using more than one predictor variable can usually help increase the amount of variance accounted for in the criterion variable. Put another way, we can usually increase predictive validity by using multiple predictors rather than just one.

As an example, suppose that the variables are as follows:

Y    Annual salary as a college professor

X1   Number of years since PhD was obtained

X2   Number of publications

X3   Age (in years)

X4   Student ratings of teaching performance

Suppose that we do a correlational study and obtain the following correlation matrix (Table 5.1):

Table 5.1: Correlation matrix
	Y	X 1	X 2	X 3	X 4
Y	–––	.62	.46	.26	.51
X1		–––	.68	–.15	.46
X2			–––	.05	.30
X3				––	–.01
X4					––

Next we run a multiple regression analysis, and obtain the following summary of results (Table 5.2):

Table 5.2: Summary of results
Step	Variable	R	R 2	R 2  change
1	Years since PhD ( X1)	.62**	.38	.38**
2	Student ratings ( X4)	.67**	.45	.07**
3	Age ( X3)	.70**	.49	.04*
4	# of publications ( X2)	.71**	.50	.01
*p < .05 **p < .01

This can be interpreted as follows: The four predictors  X1 –  X4 display a multiple correlation of .71 ( R; significant at the  p < .01 level) which accounts for 50% of the variance in  Y ( R2). The most important variable in predicting annual salary appears to be the number of years since the professor got his or her PhD ( X1), which accounts for 38% of the variance in annual salary. After controlling for  X1, student ratings of the professor’s teaching ( X4) account for an additional 7% of the variance in annual salary. After controlling for  X1 and  X4, we find that the professor’s age ( X3) accounts for an additional 4% ( p <.05), and after controlling for the other 3 predictors, number of publications ( X2) adds an additional 1% to the predictable variance of annual salary. The moral of this regression example is if you want to make more money as a professor, get your PhD early, teach well, and age.

Statistical Tests of Differences

Sometimes researchers want to test a hypothesis that groups are different from each other. Different from the tests of relationships, the  tests of differences look to see how variables or groups are different from each other. This set of tests include  t tests and ANOVA analyses.

The t Test

We use  t tests  to assess if the means of two groups are statistically different from each other. For instance, a researcher might want to see if a group that gets a depression medicine (the experimental group) is statistically different from the group that gets no medical treatment for depression (the control group). There are two main types of  t tests, dependent and independent. A dependent  t test, also known as a “within-subjects” or “repeated measures” test, is used when the same sample is measured twice. The goal is to evaluate if there is a change from the first measurement to the second. The other type of  t test is the independent samples  t test. This is used when comparing two different samples on only one measurement.

Here is an example of a study using a  t test:

Children in our sample were generally very familiar with electronic games. Of our sample, 84.4 % reported playing video games on a computer, 81.2 % on a console and 50.4 % on a handheld device in the previous 6 months. Only 6.1 % reported playing no games at all during that time. Similarly, only 11.4 % of our sample had no exposure to violent video games. Boys had considerably more exposure to violent video games than did girls [ t(189.24) = 9.07,  p < .001,  r = .46, 95 % CI = .38, .54] (Ferguson & Olson, 2014).

Analysis of Variance (ANOVA)

A one-way  analysis of variance (ANOVA) makes it possible to compare data for three or more groups, similar to running all possible  t tests between each pair of groups at the same time. Let’s say you want to do a study to compare three study groups to see how study style affects grades on a final exam. The first group studies each day for two weeks, the second group studies each day for one week, and the third group only studies on the day before the exam. The ANOVA looks at the differences between the grades of the three groups (called between-groups variation), as well as the variance between the grades of each individual in each group (called within-groups variation). If the variances between the three teams of students are significantly larger than the average variation found in each person’s performance, then you may have a significant difference in student grade by group. For instance, the average score for three groups might be 90, 85, and 72, making the overall average 82.33 (the three numbers added together and divided by three). In the end, the ANOVA (also commonly referred to as an F test) gives you one value that quantifies whether or not there is a significant difference between your populations, such as  F = 3.43, p = 0.012. In this case, because the p-value is less than 0.05, we know that one of the groups is significantly different from the others.

ANOVA

 

 

Post Hoc Analysis

Let’s say that you ran an ANOVA and the results suggest that there are some differences between the groups—how will you know which of the groups are different from the average? You have to run a post hoc (meaning “after the fact”) analysis. This analysis dives deeper into the single-value result of the ANOVA so that you can figure out which group study strategy is better than the others, rather than just saying that there is definitely a difference between the three groups. We know from our ANOVA analysis that the average score for the three groups is 82.33, and we know that one group is significantly different from the others, but not which one. A post hoc analysis can then be performed to find out that the third group, with an average score of 72, is significantly different from the others (different meaning, in this case, they performed significantly worse on the test).

Non-Parametric Tests: Chi-Square Tests

The ANOVA procedures we discussed in the previous section allow researchers to compare group means, but sometimes we might want to simply compare the frequencies associated with different groups or with some expected values. Suppose, for example, that we choose to study the number of men and women that are managers in a major company. If the distribution of managers is random with respect to gender (based only on the two categories of male and female), we would expect close to half males and half females. However, if we observe that 85 of the 100 managers are female and only 15 are male, we would be tempted to conclude that this distribution is non-random and that the company has an unfair distribution of women to men based on our expectation of a 50/50 ratio. A  chi-square analysis would be used to try and verify that assumption that the ratio is 50/50.

The chi-square tests reviewed below are called nonparametric tests, because we do not have to make the assumption that the data are normally distributed. They test nominal data, which are measured in terms of frequencies. The key question asked in a chi-square test is whether the frequencies observed in a group (or levels of a variable) are significantly different from what is expected.

One Sample Chi-Square Goodness of Fit Test

We sometimes want to compare observed frequencies to see if they are a good fit compared to the frequencies we expect to see. For example, we might want to compare the observed frequencies of extroverts versus introverts in a classroom of 100 undergraduates to see if fits a 50/50 distribution. An alternative hypothesis might be that there are a significantly unequal number of introverts and extroverts in the class. Suppose that there were five rows of 20 seats each and we used the Myers Briggs Type Indicator (MBTI) to determine if each of the 100 students in class is an extrovert or introvert. The expected frequencies of extroverts for each row would be .5 × 20 = 10. The following distribution is observed where the column marked O refers to the observed frequencies of extroverts (Table 5.3).

Table 5.3: Frequencies of extroverts
Row	O
1	19
2	17
3	15
4	9
5	5

There are a total of 65 extroverts in the class. A calculation of the chi-square would show that this is significantly different from the expected value of 50 extroverts. So, it appears there is not an equal distribution of extroverts and introverts in the classroom.

Chi-Square Test of Independence

We may want to compare several groups on some type of classification variable. For example, we might want to gather data on psychology majors who indicate that they are a) going to graduate school after getting their bachelor’s degree, b) getting a job after getting their degree, and c) not sure what they are going to do after graduation. Then, perhaps, we want to compare them based on a four-category variable indicating the degree status of their father: 1) high school or lower, 2) some college, 3) bachelor’s degree, or 4) some graduate work or graduate degree. The results from a hypothetical study of 200 psychology majors are shown below (Table 5.4):

Table 5.4: Data from hypothetical survey of psychology majors
	Degree of education of father	High school	Some college	Bachelor’s degree	Graduate school	Row total
Post-graduate plans	Grad school	4	14	22	40	80
	Job	25	25	25	5	80
	Not sure	10	15	10	5	40
	Column total	39	54	57	50

What trends do you see in these data? A statistical analysis of these data would show that there is a significant difference between the father’s degree status and what the child may do. But, further analysis would be needed to determine which factor level is most significant. However, a look at the observed table will often help the researcher determine what is significant. For instance, you can see just looking at the table that a student whose father went to graduate school is more likely to go to graduate school (the value is 40) than other students.

TEST YOUR KNOWLEDGE: DESCRIPTIVE VERSUS INFERENTIAL TESTS

Which of the following is a good example of using inferential statistics?

1. Calculating the average age of each person in the U.S. for the Census.

2. Maintaining a spreadsheet of all the NFL player scores for each year.

3. Asking random people at a local mall about their shopping preferences to inform store owners about current trends.

The first two are examples of descriptive statistics in that the data describes everyone in a population. The third choice is inferential, as data from a random sample is used to make inferences about a larger population.

5.8 Ethics in Research

skynesher/E+/Getty Images

Research integrity requires conscientiousness and an adherence to established ethical guidelines.

What is research integrity and why is it important from an ethical standpoint? What are the costs of poor integrity in research? Research integrity refers to using honest and valid methods in designing, conducting, and reporting research based on ethical standards. These methods are often based on rules, regulations, guidelines, and professional norms that are regulated by professional organizations. For instance, all research in the United States that involves human subjects must adhere to the guidelines of the Office of Human Research Protections of the Department of Health & Human Services, which can be found at  https://www.hhs.gov/ohrp/ . Poor conduct in research can result in negative outcomes such as harm to participants, loss of credentials (such as a professional license), and legal issues related to fraud and scientific misconduct.

Researchers must consider everyone involved in the process of collecting and analyzing data, from the researchers to the participants. Having strong research integrity is vital to ensuring all people (and sometimes animals) involved are carefully considered and protected from undue harm. For instance, if a researcher provides false data regarding a new medicine to treat schizophrenia, patients that are prescribed the medicine could be exposed to harmful side effects, or even death. Psychologists and researchers in this area are governed by the guidelines proposed by the American Psychological Association, as discussed in prior chapters.

While there are overarching ethical guidelines involved in the practice of psychology, there are some considerations that are specific to data and research methods. Some ethical pitfalls to avoid in research include the following:

· Data falsification: This occurs when researchers falsify data that they collected to show the results that they are looking for even when nothing significant was found.

· Data fabrication: This occurs when researchers claim to have data even when none was actually collected.

· Plagiarism: Unintentional plagiarism occurs when a researcher utilizes too much information gathered from previous studies during the literature review stage. Intentional plagiarism occurs when researchers publish others’ results as their own.

· Conflict of interest: A conflict of interest can occur when a researcher has another obligation related to a study. For instance, a researcher that works for a pharmaceutical company may choose to show only positive gains when reporting the results so that the company (and the researcher) can receive financial benefit.

Career Spotlight: Sandra G.

Sandra Gibson is a human resources analyst for a Fortune 500 company. She uses research and data to help find the best job candidates for certain positions in the organization. This may start with a job analysis for a particular position to determine the most desirable characteristics and qualifications for that specific job. For instance, if the company is looked to hire a sales manager, her research may show that the best candidate would have previous sales experience and be outgoing, conscientious, versatile, and able to work under tight deadlines. Once the profile is created, the job is posted and people apply. Sandra can use psychometric analyses, such as personality tests, along with performance measures, to help find the best candidate for the sales manager position. While Sandra is not a traditional researcher, she uses research methods and data to perform her job and to find the best candidates for her organization.

Additionally, Sandra must keep to an ethical code set by the government and by the company she works at, as well as her own moral compass. Every day she handles employees’ and applicants’ personal data, and it is her duty to keep that information confidential, even from her other coworkers in human resources. She also has to remain impartial during the job selection process, and refrain from letting bias interfere with her decision making. Keeping these ethical considerations in mind, Sandra is always looking for new, data-based ways to better predict who would be the best person for a certain position.

A day in the life of two professionals who work in statistics or research careers. Answer questions to determine which career you prefer.

5.9 Career Applications Involving Research and Statistics

Many students ask, “why do I need to take research methods and statistics?” Statistics is not most people’s favorite topic, but it is essential to practice in many areas of psychology, even in non-research settings. To be viable in any field, it is essential that one is able to keep up-to-date with current practices and research. For instance, a clinical psychologist that works with veterans must understand the newest research on PTSD to be able to utilize the latest treatments. To do that, he or she must read the current research articles on that treatment, which requires an understanding of the research methods and principles of how the statistical testing was applied. An industrial/organizational psychologist utilizes many different tests of factors like personality and career strengths, and a marketing analyst may be required to mine user data to develop a report about the demographics of the people that have used a certain social media tool and looked at their product. An understanding of statistical processes, such as testing for reliability and validity, is essential to effectively utilize research tools. But individuals who do not intend to conduct research still need to know the main ideas behind the most common strategies.

There are also many careers that are research-focused, even for individuals with only a bachelor’s degree. Most universities employ graduates that have a bachelor’s degree as analysts in institutional research and assessment. These individuals are responsible for data entry, designing studies, and analyzing data using basic and advanced statistical procedures. Graduates with skills in research design and statistics can also find work in many fields, such as marketing, clinical research, and military organizations. As data becomes more and more available in online modalities, there is also a need for graduates who are skilled at analyzing information from social media sites and online behavior. Whether you want to conduct research or work in a particular area related to psychology, you need to have a good understanding of basic research methods and statistical analyses.