quantitative study

3.3 Critiquing a Qualitative Study 

How does one assess the overall worth and credibility of a qualitative research study or proposal? What characteristics constitute strongresearch studies, and what characteristics constitute weak ones? The methods and guidelines for evaluating research studies are fairly detailedand tedious. Not all studies are worthy or rigorous, and it is important that you, as a consumer of psychological research, are able to identifypotential problems. Just because a study claims to have valid and reliable results does not necessarily mean that it does. For example, somestudies may utilize incorrect statistical or data analysis procedures, so the results generated may not be correct or complete. Additionally, somestudies may use inappropriate sampling techniques for the type of research design being conducted. As professionals in the field, you will needto be able to identify which parts of a study are valid, which parts can be considered acceptable with caution, and which parts have significantlimitations or are downright misleading.

Leedy and Ormrod (2010) reviewed standards from experienced qualitative researchers and compiled a list of general criteria to apply whenevaluating a qualitative study:

1. Purposefulness: Does the research question(s) drive the research process and the methods to collect and analyze the data?

2. Explicitness of Assumptions and Biases: Does the researcher describe any assumptions, expectations, or biases that might influence how thedata are collected, analyzed, and interpreted?

3. Rigor: Does the researcher use rigorous, precise, and thorough methods to collect, record, and analyze the data? Does the researcher takesteps to remain objective throughout the study?

4. Open-mindedness: Is the researcher willing to modify interpretations when newly collected data do not support previously collected data?

5. Completeness: Does the researcher describe the phenomenon in all its complexity? Does the researcher spend sufficient time in the fieldexamining the phenomenon, detail all aspects of the phenomenon (e.g., setting, behaviors, perceptions), and provide a holistic picture of thephenomenon?

6. Coherence: Do the data show consistent findings with the measurement used and across multiple measurement methods used?

7. Persuasiveness: Does the researcher provide logical arguments, and does the evidence support one interpretation of the data?

8. Consensus: Do other studies and researchers in the field agree with the interpretations and explanations?

9. Usefulness: Does the study provide useful implications for future research, a more thorough understanding of the phenomenon, or lead tointerventions that could enhance the quality of life? (p. 187)

In addition to these criteria, there are several factors to consider when evaluating the various sections of a research study or proposal. The nextseven sections will discuss how to critically evaluate the literature review, the purpose statement, the sampling methods, the procedures, theinstruments, the results, and the discussion section of a qualitative study.

Evaluating the Literature Review Section

As mentioned in Chapter 1, the purpose of the literature review is to support the need for research to be conducted. Literature reviews shouldbe thorough and comprehensive and contain all relevant research on the specific topic being studied. Literature reviews should also beobjective, showing no biases toward the selection of articles being reviewed, and include previous research that relates to the current study.The following questions, adapted from Houser (2009), will assist in the evaluation of the literature review:

· Do the researchers present an adequate rationale for conducting the study?

· What is the significance of the study? What difference will it make to the field?

· Is the literature review thorough and comprehensive?

· Do the researchers demonstrate any potential biases in the literature review?

· Are all important concepts clearly defined by the researchers?

· Do the researchers clearly describe previous methods that are relevant to understanding the purpose for conducting this study?

Evaluating the Purpose Statement

The purpose statement provides the aim or intent of the study. It is generally found in the Introduction section, as the last paragraph before theLiterature Review section. Purpose statements can be written as a declarative statement or in the form of a question or questions. They shouldinclude the type of research methods and design used and describe the variables and population studied. When evaluating the purposestatement, it is also important to examine whether the purpose and research problem are in fact researchable. Purpose statements andresearch problems are researchable only when the variables of interest can be operationalized—that is, defined in a measurable and objectiveway. Considering these requirements, the following questions, adapted from Houser (2009), can assist in the evaluation of the purposestatement:

· Does the article clearly present the purpose statement?

· Is the purpose statement clearly based on the argument developed in the literature review?

· Are the variables of interest (i.e., independent and dependent) clearly identified in the purpose statement?

Evaluating the Methods Section—Sampling

The Sampling section includes thorough and detailed information on the sample used and the techniques or methods used to select the sample.Descriptions of the sample should include all relevant demographic characteristics (e.g., age, ethnicity, sex) as well as size. Unlike quantitativeapproaches, which usually require large samples, qualitative techniques do not have any restrictions on sample size. Thus, sample size dependson what the research wants to know, the purpose of the inquiry, what it will be useful for, how credible it will be, and what can be done withavailable time and resources. Qualitative research can be very costly and time-consuming, so choosing information-rich cases will be mostvaluable. As noted by Patton (2002), "The validity, meaningfulness, and insights generated from qualitative inquiry have more to do with theinformation-richness of the cases selected and the observational/analytical capabilities of the researcher than with sample size" (p. 245).

The sampling techniques employed should also be discussed, including detailed information about how the sample was selected and whatsampling methods were used (e.g., purposive sampling, snowball sampling). In contrast to quantitative research, which strives for generalizablerepresentative sampling, qualitative research typically focuses on relatively smaller samples, and even sometimes only single cases, that areselected purposefully. "Purposeful sampling refers to selecting information-rich cases for study in depth" (Patton, 2002, p. 230). When evaluatingthe sampling methods section, it is important to examine whether appropriate sampling techniques were used for the type of research designthat was employed and the research questions proposed. The following list covers a few of the most common sampling procedures used inqualitative studies (these are discussed in more detail in Chapter 4):

· Purposive sampling (or judgment sampling) : The researcher selects a sample that will yield the most information to answer the researchquestions.

· Quota sampling (a type of purposive sampling) : The researcher determines the number of participants and what characteristics will beneeded, and then selects a sample based on those.

· Theoretical sampling : The researcher selects a sample that will assist him or her in developing a theory.

· Convenience sampling : The researcher selects anyone who shows up for the study, regardless of individual demographics.

· Snowball sampling (a type of purposive sampling) : The researcher collects data on a few participants that he or she has access to and thenasks those participants for referrals to other individuals who are within the same population.

All these approaches serve a somewhat different purpose. However, the underlying principle common to all of these techniques is selectinginformation-rich cases.

The following questions, adapted from Houser (2009), are provided to assist in the evaluation of the sampling methods section:

· What type of sampling method is used?

· Are the sampling procedures consistent with the purpose and research questions?

· Are relevant demographic characteristics of the sample clearly identified?

· Do the methods of sample selection provide a good representative sample, based on the population?

· Are there any apparent biases in the selection of the sample?

· Is the sample size large enough for the study proposed?

Evaluating the Methods Section—Procedures

The procedures section provides a detailed description of everything that was conducted in the study. For qualitative studies, this involvesprimarily the type of research design that was employed. When evaluating the procedures section, it is important to examine whether theresearch design is appropriate for the study, as well as whether it is consistent with the purpose and research questions. The followingquestions, adapted from Houser (2009), are provided to assist in the evaluation of the procedures section:

· What type of research design is used (e.g., case study, phenomenological study)?

· Is the research design consistent with the purpose and research questions?

· Did the researcher provide a detailed description of what was conducted?

· Did the researcher introduce any bias in the procedures used?

Evaluating the Methods Section—Instruments

The instruments section provides a detailed description regarding the types of instruments and measures that were used to collect the data. Inqualitative research, common instrumentation includes interviews, observations, and journals. When evaluating the instruments section, it isimportant to consider whether the instruments were appropriate for the study and the sample and whether there were any limitations in thetypes of instruments utilized. The following questions, adapted from Houser (2009), are provided to assist in the evaluation of the instrumentssection:

· Is there a clear and adequate description of the instruments (e.g., data collection measures) used?

· What types of measures were used in the study (observations, interviews, etc.)?

· What are some potential problems or limitations of the types of measures used?

· Does the instrument appear to be appropriate for the sample?

Evaluating the Results Section

The results section describes findings from the study. Unlike quantitative studies, which focus on statistical analyses and results, qualitativestudies include descriptions about the findings. When evaluating the Results section, it is important to examine how the data were analyzed(using themes, patterns, codes, etc.), whether concrete examples supported the themes or concepts, and how adequate the descriptions wereto the findings. The following questions, adapted from Houser (2009), are provided to assist in the evaluation of the results section:

· What strategies were used for coding and interpreting the data? Were they clearly described?

· Are concrete examples provided that link to identified themes or concepts? Are the examples adequate?

Evaluating the Discussion Section

The discussion section summarizes the purpose of the research and what the findings imply for future research and actual practice. Additionally,the discussion section includes alternative explanations and potential limitations of the findings. The following questions, adapted from Houser(2009), are provided to assist in the evaluation of the discussion section:

· Do the researchers clearly restate the purpose and research questions?

· Do the researchers clearly discuss the implications of the findings and how they relate to theories, other findings, and actual practice?

· Do the researchers provide alternative explanations of the findings?

· Do the researchers identify potential limitations of the study and the results?

· Do the researchers identify possible directions for future research?