Final Project, Part 11:Evaluate Quantitative Study

· Do the researchers present an adequate rationale for conducting the study?

· What is the significance of the study? What difference will it make to the field?

· Is the literature review thorough and comprehensive?

· Do the researchers demonstrate any potential biases in the literature review?

· Are all important concepts clearly defined by the researchers?

· Do the researchers clearly describe previous methods that are relevant to understanding the purpose for conducting this study?

Evaluating the Purpose Statement and Hypotheses

· Does the article clearly state the purpose statement?

· Is the purpose statement clearly based on the argument developed in the literature review?

· Are the variables of interest (i.e., independent and dependent) clearly identified in the problem statement?

· What type of hypothesis is presented?

· Is there a clear rationale for the direction of the hypothesis, based on the literature review?

· Is the hypothesis testable and falsifiable?

· Is the hypothesis consistent with current theories or research?

· For populations that include 100 or fewer individuals, the entire population should be sampled.

· For populations that include 400–600 individuals, 50% of the population should be sampled.

· For populations that include 1,500 individuals, 20% of the population should be sampled.

· For populations that are 5,000 or larger, about 8% of the population should be sampled. (Note, however, that it is possible to have a sample that is so large that it does not justify the increased costs, and may produce significant differences that are too small to be meaningful).

· What type of research design was used?

· Was the research design consistent with the purpose and hypotheses?

· Did the researcher provide a detailed description of what was conducted?

· Did the researcher introduce any bias in the procedures used?

· Was the independent variable clearly defined?

· Were there any threats to the internal validity of the study?

· Were there any threats to the external validity of the study?

· Is there a clear and adequate description of the instrument (data collection measures) used?

· What types of instruments were used in the study (self-report inventories, ratings, etc.)?

· Are the instruments standardized?

· What are some of the potential problems or limitations with the types of instruments used?

· Does the instrument appear to be appropriate for the sample?

· Is the instrument consistent with the hypotheses?

· Is there a discussion about the reliability and validity of the instruments used?

· What descriptive statistics were used?

· Do the descriptive statistics adequately describe the sample?

· What types of inferential statistics were used?

· Are the inferential statistics used adequate to answer the hypotheses?

· Is the research design consistent with the statistical methods used?

· Did the researchers clearly restate the purpose and hypotheses?

· Did the researchers clearly discuss the implications of the findings and how they relate to theories, other findings, and actual practice?

· Did the researchers provide alternative explanations of the findings?

· Has there been appropriate generalization of significant findings beyond the sample to the population?

· Did the researchers identify potential limitations of the study and the results?

· Did the researchers identify possible directions for future research?