discussion

Action Research

Improving Schools and Empowering Educators

Fifth Edition

Craig A. Mertler

Arizona State University

FOR INFORMATION:

SAGE Publications, Inc.

2455 Teller Road

Thousand Oaks, California 91320

E-mail: order@sagepub.com

SAGE Publications Ltd.

1 Oliver’s Yard

55 City Road

London, EC1Y 1SP

United Kingdom

SAGE Publications India Pvt. Ltd.

B 1/I 1 Mohan Cooperative Industrial Area

Mathura Road, New Delhi 110 044

India

SAGE Publications Asia-Pacific Pte. Ltd.

3 Church Street

#10-04 Samsung Hub

Singapore 049483

Copyright © 2017 by SAGE Publications, Inc.

All rights reserved. No part of this book may be reproduced or utilized in any form or by any means, electronic or mechanical, including photocopying, recording, or by any information storage and retrieval system, without permission in writing from the publisher.

Printed in the United States of America

Names: Mertler, Craig A., author.

Title: Action research : improving schools and empowering educators / Craig A. Mertler.

Description: Fifth edition. | Thousand Oaks, California : SAGE Publications, [2016] | Includes bibliographical references and index.

Identifiers: LCCN 2016007234 | ISBN 978-1-4833-8905-9 (pbk. : alk. paper)

Subjects: LCSH: Action research in education.

Classification: LCC LB1028.24 .M47 2016 | DDC 370.72—dc23 LC record available at http://lccn.loc.gov/2016007234

978-1-5063-8745-1

This book is printed on acid-free paper.

Acquisitions Editor: Terri Accomazzo

Development Editor: Jessica Miller

eLearning Editor: Robert Higgins

Editorial Assistant: Erik Helton

Production Editor: Olivia Weber-Stenis

Copy Editor: Erin Livingston

Typesetter: C&M Digitals (P) Ltd.

Proofreader: Ellen Brink

Indexer: Jean Casalegno

Cover Designer: Gail Buschman

Marketing Manager: Ashlee Blunk

Preface

Purpose of the Text

Most, if not all, graduate students in education—and, in particular, in-service teachers seeking graduate degrees—are required to complete a course in educational research methods. The majority of these methods courses provide a broad overview of educational research methods, designs, and techniques. However, I would argue that graduate-level research methods courses taught to in-service teachers could be more suitable provided the appropriate instructional materials were available to instructors and students, such that they focus on a classroom-based approach to research. Most research methods courses—and, therefore, their appropriate textbooks—follow the description that I offer above, in that they are “survey” courses (i.e., those that provide an overview of a variety of research methods). There are numerous texts on the market that meet this description.

In contrast, there are relatively few books that focus specifically on action research as a methodology, and there are even fewer that do so with the target audience of practicing educators in mind. The purpose of this book is to introduce educators to the process of conducting their own classroom-based or school-based action research. Detailed but practical information describing each step of the cyclical, iterative process is presented in a sequential manner. Educators are provided with an overview of traditional educational research prior to examining action research as a mechanism for designing and conducting their own applied research projects. The focus is not on the theoretical aspects of educational research but rather on the practical facets of conducting applied classroom and/or school research. As presented in this textbook, action research is not simply a means of conducting applied research. It is also a mechanism for engaging educators in reflective practice and customizing professional development opportunities in order to capitalize on the unique interests of individual educators or teams of educators.

The reason behind my desire to write a textbook on this topic is fairly straightforward. I have taught educational research methods for more than 20 years. The vast majority of the students enrolled in this course are in-service teachers seeking master’s degrees in various fields, including curriculum, teaching, administration, and counseling. This course is intended to serve as an overview of research methods used to conduct research in the broad field of education, focusing primarily on quantitative methods. The focus is on very formal methodological approaches, such as descriptive, correlational, causal-comparative, experimental, and quasiexperimental research methods. The educators enrolled in a research methods course—especially those who intend on remaining in the K–12 setting—typically experience substantial difficulty in being able to see the application of these formal methodological approaches in their educational settings. The bottom line is that they do not really need to understand the application of these approaches to conducting research, since the majority will likely never design or conduct such formal methodological procedures. It is my belief that this is the case for many graduate programs in education across the country.

On the other hand, when we reach the topic of action research, the discussion typically piques student interest. The students can actually see how this methodological approach could be used in their schools, in their classrooms, with their students, and so on. Since action research is conducted by practitioners—yet still incorporates a good degree of rigor—students begin to see themselves designing and carrying out action research studies. By focusing our attention on a broad overview of research methods, I feel that we are doing an injustice to these practicing educators. We are not providing them with the tools necessary to design and conduct research studies that provide meaningful and immediate solutions to local-level problems. In other words, we are not adequately preparing them to investigate problems and seek solutions in their local settings and in a professional manner.

The practical nature of the book stems from the fact that it focuses on research methods and procedures that teachers, administrators, counselors, intervention specialists, and so forth, can use in conjunction with their everyday instructional practices and activities in schools and classrooms. Educators are shown how to design and conduct school-based research in order to make their instructional practices more effective. The numerous examples—many of which are supplied by me, while others come from published action research studies—of the principles, procedures, and techniques discussed in the narrative make it easy for students to understand the material in this book. Theoretical aspects of research as well as highly technical concepts and procedures, which are unlikely to be used by practicing educators, are de-emphasized—producing a textbook that provides comprehensive coverage of action research methods for practicing educational professionals without being unnecessarily technical; that is, it is a practical book for educators. This book provides them with the knowledge and skills necessary to design research studies that seek solutions to local-level problems, conduct those studies, and communicate the results to local stakeholders and other interested parties. Although it is based on the research literature, the book takes a very practical approach, never losing sight of its intended audience—the practicing educator.

Text Targets Graduate Students, Educators

This book was written with graduate students as the primary target audience. Specifically, this audience includes but of course is not limited to K–12 classroom teachers, administrators, counselors, special educators, and intervention specialists. In all likelihood, this text would be used as the primary book for a graduate course in action research, although it could also serve as a supplemental text for other graduate-level courses not focusing on research methods (e.g., courses in curriculum, supervision). The book is appropriate for educators in all areas of education (e.g., elementary and secondary mathematics, science, social studies, languages, music, art, physical education, special education, administration, counseling, and special education); examples as well as sample articles throughout the book come from a variety of settings and situations.

Text Organized Sequentially, Like an Action Research Study

The main topics covered in the book pertain most closely to designing and conducting classroom-based applied research. These general topic areas—and the chapters where they are addressed in the book—include the following:

· An overview of educational research (Chapter 1)

· An overview of action research (Chapter 1)

· The characteristics of action research (Chapter 1)

· The action research process (Chapter 2)

· Identifying an area of focus for action research (Chapter 3)

· Reviewing related literature (Chapter 3)

· Designing an action research study (Chapter 4)

· Collecting and analyzing data (Chapters 5 and 6)

· Developing an action plan (Chapter 7)

· Writing an action research report (Chapter 8)

· Sharing the results of an action research study (Chapter 9)

· Reflecting on the process of action research (Chapter 9)

The book is arranged in this manner because it presents, in sequential order, the process of designing and conducting an action research study—beginning with the development of the topic to be investigated, reviewing related research, designing the study, actually carrying out the procedures, developing an action plan, and ultimately sharing the results and reflecting on the process. It is, however, important to note that action research proceeds through this process in a cyclical manner.

Pedagogical Features and Benefits to Students (as Well as Instructors)

When compared with other action research books currently on the market, this book provides similar coverage of content. There are, however, several aspects that distinguish it from similar works. These aspects include the following:

· Since the book takes an extremely applied approach, it includes numerous examples—not simple discussions or descriptions—of such things as data collection instruments (e.g., checklists, attitude surveys, interview protocols, and journal prompts) and presentation of research results (e.g., tables and graphs resulting from the analysis of quantitative data; summary tables resulting from the analysis of qualitative data; actual reports of action research).

· In addition to the various narrative examples that appear throughout the book, two detailed case studies of action research, called “Action Research Portraits,” are developed in Chapter 1 and are extended in each subsequent chapter throughout the book. In each chapter, the case study discussions continue from the previous chapter, highlighting the application of content from the particular chapter as integrated into two practically based action research studies, one of which is conducted by an individual teacher (at the elementary level) and the other by a pair of teachers (at the high school level). In addition, a third “Action Research Portrait” appears on the book’s accompanying website (edge.sagepub.com/mertler5e).

· Numerous online resources are available for teachers to use in order to learn more about action research, address questions that they may have about the process, or promote dissemination of their action research results. A section titled “Related Websites” is included near the end of each of the nine chapters.

· Special sections, titled “Writing Up Action Research,” are also included in Chapters 3 through 7 and Chapter 9. These sections provide annotated excerpts from published or otherwise disseminated action research reports, highlighting specific concepts presented in each particular chapter.

· On the first page of each chapter is a visual organizer for the main contents of that chapter.

· Three appendices follow Chapter 9. The first two include complete written reports of teacher-conducted action research projects. We have also included additional complete written reports of teacher-conducted action research projects on the website (edge.sagepub.com/mertler5e). The third appendix contains developmental templates to guide the novice action researcher. These templates are also included on the website.

· Each chapter includes a bulleted “Summary” of the main points included in the chapter.

· Each chapter also includes a final section titled “Questions and Activities” that can be used to extend student knowledge, understanding, and application.

· The text also includes a complete glossary of terms related to action research, a list of references used to compile the book, and a comprehensive subject and author index.

Video Clip of Dr. Mertler discussing the new features of the 5th edition.

New Features in the Fifth Edition

There are several new features in the fifth edition of Action Research: Improving Schools and Empowering Educators:

· The discussion of rigor in Chapter 1 has been enhanced.

· Social justice advocacy has been added as an important application of action research.

· The discussions of ethics in Chapter 2 and Chapter 3 have been enhanced.

· The “Writing Up Action Research” sections that appear in Chapter 3 to 7 and Chapter 9 have been supplemented with call-out boxes highlighting the important aspects of each excerpt.

· Substantially enhanced presentations of establishing the quality of both qualitative and quantitative data have been added to Chapter 5.

· A discussion of the inclusion of abstracts has been incorporated into Chapter 8.

· The developmental templates shown in Appendix C—in addition to being provided in an interactive, electronic format on the Student Study Site (edge.sagepub.com/mertler5e)—are now also available at TeachersPayTeachers.com, called the Action Research Mentor Portfolio.

· Finally, two new complete action research reports have been added as Appendix A and Appendix B. Both reports are new to this edition. The complete written reports of teacher-conducted action research projects from all previous editions are available on the website that accompanies this book (edge.sagepub.com/mertler5e).

Ancillary Material on the Web

Open-Access Student Study Site:  edge.sagepub.com/mertler5e

This web-based Student Study Site provides a variety of additional resources to enhance students’ understanding of the book’s content and take their learning one step further. The site includes the following:

· Interactive PDF Action Research Developmental Templates are provided to assist and guide the novice action researcher through many of the steps and decisions in the process of designing and conducting original action research.

· Video vignettes of the author and several practitioner-researchers discussing various aspects of conducting action research. These vignettes are integrated with specific chapter content throughout the book.

· Web quizzes allow students to independently assess their progress in learning course material.

· eFlashcards are study tools to reinforce student understanding and learning of key terms and concepts that are outlined in the chapters.

· Chapter-specific PowerPoint presentations offer assistance by highlighting essential content, features, and artwork from the book.

· A  Learning From SAGE Journal Articles  feature provides access to recent, relevant full-text articles from SAGE’s leading research journals. Each article supports and expands on the concepts presented in the chapter.

· Carefully selected, web-based video resources feature relevant content for use in independent and classroom-based exploration of key topics.

· Links to relevant web resources direct students to additional tools for further research on important chapter topics.

· Sample Action Research Reports  are also included.

A Note About Action Research Projects

One concern that both instructors and students face is how to fit into one semester both the content coverage of the book and the completion of a student-conducted action research project. My advice is first to reinforce with students who are just learning about action research that the important aspect of an action research project as a course assignment is to become familiar with the process of designing and conducting action research and that they should worry less about the final product of their study. If they can become familiar and comfortable with the process as a whole, they will later be able to design and conduct larger-scale research projects that may require more time.

For a typical 15-week academic term, I might suggest the following week-by-week activities, for both content coverage of the book and the associated action research project:

For a typical 10-week academic term, I might suggest the following week-by-week activities:

A Final Note for Students of Action Research

I enjoy and value classroom-based/school-based action research because it has the potential to empower educators, to engage them directly in the process of educational improvement, and to provide a mechanism for customizing professional development. I will not mislead you into thinking that this is necessarily an easy road to travel. Learning how to conduct action research studies that will enhance your professional practice does, in fact, take time and practice. However, by gaining familiarity and experience with designing and conducting action research projects, you will, I trust, realize the substantial and positive professional, reflective outcomes of action research discussed repeatedly throughout this book. I sincerely wish you the best of luck in your action research endeavors!

In the electronic edition of the book you have purchased, there are several icons that reference links (videos, journal articles) to additional content. Though the electronic edition links are not live, all content referenced may be accessed at edge.sagepub.com/mertler5e . This URL is referenced at several points throughout your electronic edition.

Acknowledgments

I would like to acknowledge the contributions of several individuals to this project. I would like to recognize and sincerely thank my editorial team at Sage Publications—namely, Terri Accomazzo (acquisitions editor). I’ve worked with Terri for many years on several projects and she amazes me with each successive endeavor. I would also like to thank Jessica Miller (associate editor) and Georgia McLaughlin (editorial assistant) for their support and timely responses to all of my questions. I would like to thank Olivia Weber-Stenis (production editor) and Erin Livingston (copy editor) for their assistance in working with me on the drafts and on the final appearance of the book. Thanks also to Robert Higgins (eLearning editor) for his assistance on the student study site ancillaries. Finally, I would like to thank Ashlee Blunk (marketing manager) and her staff for their continued support of the book. I offer my sincere thanks to those individuals who served as reviewers for this revised edition—their comments and feedback were greatly appreciated and extremely helpful:

· Ronald Beebe, University of Houston–Downtown

· Tyrone Bynoe, University of the Cumberlands

· Stacy Hill, Whitworth University

· Kimberly Livengood, Angelo State University

· Gene Schwarting, Fontbonne University

· Michelle Szpara, Cabrini College

· Gay Ward, University of Wisconsin–River Falls

Also, I would like to recognize and thank those individuals who provided helpful feedback on previous editions:

· Katherine Egan Cunningham, Manhattanville College

· Elizabeth Dore, Radford University

· Gabrielle Kowalski, Cardinal Stritch University

· Yoon-Joo Lee, CUNY System Office–New York

· Ida Malian, Arizona State University

· Darcy Miller, Washington State University

· Barbara Taylor, Western New Mexico University

· Robert Wolffe, Bradley University

· Maryann Byrnes, University of Massachusetts Boston

· John Huss, Northern Kentucky University

· Terrence Stange, Marshall University

· Tamara Walser, University of North Carolina at Wilmington

· Eugene Bartoo, University of Tennessee at Chattanooga

· Kevin Carr, George Fox University

· Dana Fredebaugh, Nova Southeastern University

· Terrance Jakubowski, California State University, Northridge

· Maja Miskovic, National Louis University

· Phillip Mutisya, North Carolina Central University

· Cynthia Williams Resor, Eastern Kentucky University

· Gail Ritchie, George Mason University

· Margaret Waterman, Southeast Missouri State University

· Lois McFadyen Christensen, University of Alabama at Birmingham

· Christopher J. Della Pietra, Southeastern Louisiana University

· Michael P. Grady, Saint Louis University

· K. Fritz Leifeste, Angelo State University

· Marilyn Lichtman, Virginia Tech

· Jeanne M. McGlinn, University of North Carolina at Asheville

· Jill C. Miels, Ball State University

· Cathy Mogharreban, Southern Illinois University Carbondale

· Ted J. Singletary, Boise State University

· Shelley H. Xu, California State University, Long Beach

As always, I would like to thank my wife, Kate, for her continued support of my extensive writing projects and for her feedback on numerous aspects of the book, from a classroom teacher’s perspective, and our son, Addison, for providing the invaluable student’s perspective. My books begin to take on a different level of meaning now that Addison is studying to become a professional educator himself.

About the Author

Craig A. Mertler

has been an educator for 30 years, 20 of those in higher education. He is currently an Associate Professor and Director of the EdD Program in Leadership and Innovation at Arizona State University. He teaches doctoral courses focused on the application of action research to promote educator empowerment, school improvement, and job-embedded professional development and also teaches quantitative research methods, introductory statistical analysis, multivariate statistical analysis, and educational assessment methods. He is the author of 20 books, 4 invited book chapters, 18 refereed journal articles, two instructors’ manuals, and numerous nonrefereed articles and manuscripts. He has also presented more than 35 research papers at professional meetings around the country as well as internationally. He conducts workshops for in-service educational professionals (at all levels) on classroom-based action research and on the broad topic of classroom assessment. His primary research and consulting interests include classroom-based action research, data-driven educational decision making, professional learning communities, and classroom teachers’ assessment literacy. Before teaching and researching at the university level, he taught high school biology and earth science and also coached track and volleyball. In his leisure time, he enjoys traveling with his family and playing golf. Dr. Mertler can be reached at Craig.Mertler@asu.edu or craig.mertler@gmail.com for consulting, professional development, and speaking engagements.

hapter 8 Organizer

· Conventions of Academic Writing

· Titles and Abstracts

· Person and Voice

· Tense

· Tentative Versus Definitive Statements

· Clarity

· Consistency

· Simplicity of Language

· Conventions of Format

· A Word About Ethics When Writing Research Reports

· Practical Guidelines for Writing

· Related Websites: Writing Action Research Reports

· Still More Examples of Action Research Reports

· Summary

· ➤  Questions and Activities

· ➤  Key Terms

· ➤  Student Study Site

At this point, after having completed an action research project or study, some of you may be saying to yourselves “Getting published is not important to me or to my career. There is no real reason for me to write about my action research.” Mills (2011) would argue—and I would most emphatically agree—that there is real value in writing an action research report. As a community of professional educators, it is critical that we move beyond the expectation that writing a research report is something that is done only by academics at colleges and universities. Mills goes on to suggest that the actual process of writing such a report requires practitioner-researchers to clarify various meanings throughout their reports. You must choose your words carefully, thoroughly describe the events that you experienced during your study, and reflect on those experiences. Through engaging in this process, you will likely continue to learn more about your topic of study, your students, their learning, your teaching, and so on—things that perhaps you had not considered or thought through. In addition, the act of formally writing an action research report forces you to be honest, accurate, and thorough, thus promoting a better final product (Mills, 2011).

In addition to the clarification of various meanings associated with your action research, Mills (2011) also lists several other reasons for formally writing an action research report. The feedback you receive from reviewers and readers of your research will provide you with validation for who you are and what you do as a professional educator. The act of continuously reflecting on your instructional practices will empower you to continue to strive for better ways to educate your students. Finally, writing a research report will quite honestly provide you with a terrific sense of accomplishment. It can be both gratifying and humbling when colleagues read your work and recognize your accomplishments (Mills, 2011).

All of this being said, academic writing is not necessarily an easy task for everyone. It represents a different type of writing—one that is more technical and “scientific.” The aim of this chapter is to help you better understand this type of writing, as a process, and to share with you some of its primary conventions.

8.1 Conventions of Academic Writing

When writing a formal report of your action research, you will need to follow a style guide. If you are submitting the report to a journal for possible publication, it is even more important that you use the style guide followed by the particular journal. A style guide is an instruction manual of sorts, providing authors with various requirements for stylistic matter, including but not limited to punctuation, grammar, abbreviations, reference styles, headings, quotations, statistical notation, and captions for figures and tables. The most commonly used style guide for academic-style writing in the United States is the Publication Manual of the American Psychological Association (6th edition), also referred to as the “APA Manual.” If you have ever had to write a paper for a graduate course, you are likely familiar with APA style. If not, you likely will want to invest in the manual as a reference, as it is not very expensive, retailing for about $30.

Most journals will specify in their guidelines for authors the style guide they follow; however, some journals, especially electronic journals, do not specify any sort of stylistic requirements. For example, the passage below appears on the website for Teaching & Learning: The Journal of Natural Inquiry & Reflective Practice, specifically on its “Guidelines for Contributors” page (http://www.und.nodak.edu/dept/ehd/journal/submissions.html):

Teaching and Learning is a refereed journal devoted to the values of thoughtful observation as an educational method, of description as a technique for understanding, and of lived experience as a source of knowledge construction. The journal is in the process of being converted to the online environment.

We encourage the submission of articles, essays, and critical commentary grounded in observed experience in natural settings; of parts of reflective journals; of situated descriptions on teaching/learning practice; of action-oriented research; of ethnographic studies; of semiotic analyses; and of evaluation studies. We will also consider creative works focused on issues related to teaching and learning.

We define teaching and learning broadly and invite contributors to stretch or dissolve traditional categories of education. We invite contributions from educators, critical theorists, researchers, social scientists, human-service professionals, historians, philosophers, administrators, students, parents, and artists.

Due to the interdisciplinary character of this journal, articles should be written in a manner that facilitates communication across domains; a style of intelligent informality is preferred. Use American Psychological Association (APA) style, double spaced, with wide margins. All manuscripts should be accompanied by a brief biography of the author or authors. Due to the online format, please submit the manuscript as an e-mail attachment, preferably in Microsoft Word (4.0 or higher), and save the manuscript as a rich text format (rtf) document.

Notice that the announcement does not specify much about writing style but does state (in the last paragraph) that potential authors should follow APA style. It is then the author’s responsibility to consult the Publication Manual of the American Psychological Association for guidance and to prepare the manuscript accordingly.

Conventions of academic-style writing are simply agreed-upon procedures that help ensure the readability and credibility of research reports (Mertler & Charles, 2011). Readers of journals and other outlets for research reports have certain expectations regarding format and style. When writing a report of the results of action research, it is important for practitioner-researchers to follow these conventions. Failure to do so does not invalidate the research, but a researcher’s credibility can be damaged by using unconventional report styles and formats (Mertler & Charles, 2011). Consider how a classroom teacher’s credibility can be tarnished by handing out to students a test that is replete with spelling and grammatical errors. The failure of practitioner-researchers to follow standard conventions of writing style can result in a fate similar to that of the careless classroom teacher. The conventions of style we will examine include the following:

1. Titles and abstracts

2. Person and voice

3. Tense

4. Tentative versus definitive statements

5. Clarity

6. Consistency

7. Simplicity of language

We will also take a look at two essential conventions of format, namely a generic format for the major sections of a research report and guidelines regarding the length of a research report.

Titles and Abstracts

The title of any written work is, at least at the outset, one of the most important aspects of the work from the readers’ perspective. The title is the initial screening mechanism for anyone considering reading the work. Unless you are familiar with an author’s works, the title of a novel is typically the first thing that grabs your attention or that turns you off. In a manner of speaking, the title of a research report operates in a similar fashion. The title should indicate clearly what the study and the report are about. Researchers and practitioner-researchers are sometimes inclined to develop cute, clever titles that pose riddles or that are extremely vague. If my time as an educator is limited, I am less likely to pick up and read an article with such a title as this. There is nothing inherently wrong with a clever title, provided it accurately describes the topic and study at hand (Mertler & Charles, 2011).

The titles of my research papers tend to be fairly straightforward and very descriptive. For example, I recently published a journal article titled “The Role of Classroom Experience in Preservice and Inservice Teachers’ Assessment Literacy.” Notice the descriptive nature of this title. It includes the independent variable (classroom experience), the dependent variable (assessment literacy), and the populations studied (preservice and in-service teachers). According to the APA Manual (American Psychological Association [APA], 2010), a title for a research report “should be a concise statement of the main topic and should identify the variables or theoretical issues under investigation and the relationship between them” (Section 2.01, p. 23).

I tend not to get too clever in the development of my titles. However, sometimes I do try to create some that are a bit more entertaining. Consider the following two titles from recent studies that I conducted, one presented at a professional conference and the other published in a journal:

“What . . . Another Survey??? Patterns of Response and Nonresponse From Teachers to Traditional and Web Surveys”

“The Mouse or the Pencil? A Psychometric Comparison of Web-Based and Traditional Survey Methodologies”

Even though I tried to get a bit clever in the interrogative portion of these titles, the part that follows is still fairly descriptive of the topic and actual study conducted. My basic advice to you when writing your action research report is to keep the cutesy aspect out of your titles and simply create a thorough but brief descriptive title—grab your readers’ attention!

An abstract is a brief but comprehensive summary of the contents of the entire research report (American Psychological Association, 2010). It allows readers of your action research report to quickly survey the contents of the report by highlighting the most pertinent aspects. Abstracts are typically no longer than a paragraph and are usually limited to 150 to 250 words. An abstract typically comprises the following information:

· A brief statement of the research problem, or problem of practice

· A description of the setting and participants in the study

· A summary of the procedures, including any interventions, innovations, or strategies implemented, as well as the data that were collected and how they were collected

· A summary of the basic findings or results

· A concise description of the conclusions and plans for future actions

Here is a sample abstract from an article I published a few years ago (Mertler, 2010):

Due to the magnitude of NCLB, the pressure on teachers has increased to perhaps immeasurable proportions. One could argue that NCLB has ramifications for nearly all aspects of the teaching–learning process, including classroom-based assessment. The purpose of this study was to describe teachers’ beliefs about NCLB and its influence on classroom practices. Differences based on several demographic variables were also examined. An original instrument was administered to teachers and 1,534 responses were received. Salient findings revealed that teachers believe NCLB is having negative impacts on instructional and curricular practices, including higher levels of stress related to improving student performance. Teachers reported several changes in how they assess students. Significant group differences were found, particularly on the resultant components of Student Test Preparation and Instructional Changes.

Video Clip 8.1 View a clip of Dr. Mertler discussing academic writing.

As you can see, when writing an abstract, you have to provide quite a bit of information but in a very limited space. Writing an abstract is actually more difficult than you might expect, simply because you must be extremely succinct when describing the various major features of your action research study, as listed above.

Person and Voice

One of the features of academic writing—and specifically, of more traditional forms of research, such as experimental research—that distinguishes it from other forms of writing is that it is typically written as objectively as possible (Johnson, 2008). You will seldom see any use of first-person pronouns. Usually, the authors do not refer to themselves as “I,” “we,” or “me.” Authors will make reference to themselves using third-person terms, such as “the authors” or “the researchers.” Personal observations, conclusions, and recommendations are reserved for a special section, usually at the very end of the report, and even those are written in third person (Johnson, 2008). Remember that the goal of experimental research is to remove any and all bias and subjectivity from the perspective of the researcher and let only the data communicate to the reader.

Consider the following passage from a paper of mine published a few years ago in an academic journal:

An original survey instrument, the Ohio Teacher Assessment Practices Survey, was developed by the researcher for purposes of collecting the data. The literature was relied upon heavily in order to guide the development of the specific items appearing in the survey instrument. The instrument consisted of 47 items and included both scaled (forced-choice) and open-ended items. For purposes of the study at hand, teachers were asked by the researcher to respond to items concerning the validity and reliability of their classroom assessments, specifically requesting information on the steps that they follow and the extent to which they do so. (Mertler, 1999)

Notice that I have described the fact that I developed the survey instrument myself, specifically for use in this research study. However, in two places in this paragraph, I purposely refer to myself as “the researcher.”

In contrast, and similar to more qualitative forms of research, action research is written in a much more subjective style. A practitioner-researcher is a central part of the action research study; therefore, it is not possible—nor is it desirable—to remove the thoughts and perceptions of the practitioner-researcher. However, it is important to bear in mind that this is not a license to voice explicit biases or hidden agendas in your research report (Johnson, 2008). In your action research report, it is crucial that your descriptions, interpretations, and conclusions are fair, accurate, honest, and trustworthy if your research is to be considered professionally credible. Consider the following passage from the report that I wrote on the preschool study to which I have made reference on several occasions throughout this book:

One boy had been carelessly mixing his paints together and accidentally got some on his shirt. Marilyn noticed it quickly and said, “That’s okay. We’ll clean it up.” She reacted calmly and not at all in a negative manner. This type of reaction typified this activity. There were not a lot of obvious examples of positive reinforcement. However, the comments provided by Marilyn were all of a positive nature and tone. I consistently witnessed Marilyn talking with the children, instead of at them. In observing the effects that these comments had on the children, I could easily classify these interactions as forms of positive reinforcement.

Here, notice that not only did I refer to myself in the first person, but I also integrated my observations and perceptions of those observations directly into the discussion of a particular event that I observed.

As with the use of personal pronouns, there is a bit of a discrepancy between the type of voice used in traditional types of research reports and the type used in action research reports. In traditional research, the passive voice is used fairly extensively (Mertler & Charles, 2011). The passive voice is characterized by the use of phrases such as the following:

“The following conclusions were reached . . .”

“It was concluded by the researchers that . . .”

Note that in the first example, the primary noun is “conclusions,” and something is being done to them. In contrast, the active voice is more appropriate for action research reports. Here the primary noun is the person or the practitioner-researcher—it is this person who is performing the action (hence, the active voice). The active voice is characterized by sentences such as these:

“The researcher developed the following . . .”

“I discovered very quickly that . . .”

Observe how the active voice tends to be a more reader-friendly form of writing. The primary difference between the two voices can be seen in the following two versions of the same statement:

It was expected by the researcher that some positive behaviors would be heard being praised in addition to the negatives being addressed. (passive voice)

I just expected to hear some positive behaviors being praised in addition to the negatives being addressed. (active voice)

The APA Manual (2010) states that authors of research reports should use the active voice rather than the passive voice (Section 3.18, p. 77). In the case of practitioner-researchers writing action research reports, I wholeheartedly agree.

Tense

Research reports are generally written in the past tense (Mertler & Charles, 2011). The main reason for this is that the research has already been conducted and, in some cases, completed. The review of related literature is almost exclusively written in the past tense, since you are summarizing research that has already occurred and been published or otherwise disseminated. Your methodology, results, and conclusions sections as well as any reflective accounts are also written in the past tense for the same reason in that they have already occurred. However, some sections may be written in the present tense. Introductory sections of reports—where the topic is introduced and the research questions and hypotheses are stated—are typically written in the present tense. This is because the practitioner-researcher is describing a current situation, problem, or concern. Since the situation or concern is ongoing—and likely was not resolved as a result of the study—it remains a current issue and should be described in that manner. Also, any recommendations for the future, including your action plan, are probably most appropriately written in present or future tense.

The specific advice offered in the APA Manual (2010, Section 3.18, p. 78) is that the past tense should be used to express an action or condition that has already occurred and that has done so at a specific time in the past, such as when you report the results of another researcher’s work [e.g., “Jones (2006) presented similar results.”]. When presenting a past action or condition that did not occur at a specific, definite point in time, the present perfect tense should be used (e.g., “Since 2000, several researchers have arrived at similar conclusions.”).

Tentative Versus Definitive Statements

When writing a report of the results of your action research, you must be careful to avoid statements made with too much confidence or certainty. In some sections of your report, you can be definitive, while in others it is critical to remain at least somewhat tentative (Mertler & Charles, 2011). When describing your methodology (i.e., your research design, data collection), you should be quite definitive and precise. You are trying to create for your readers a very clear picture of your study. In addition, when reporting the results of descriptive statistical analyses, you can also be quite definite. If you report the number of students involved in your study, the mean and standard deviation for a set of test scores, or the percentage of students who indicated that they like the current class schedule in your building, you can report very specific numbers, even to decimal places if you desire. Since there are customary and objective methods of calculating the mean, standard deviation, and percentages, there will be no question (i.e., nothing left to individual interpretation) regarding the values you obtain and report. In other words, two individuals cannot take the same set of data, independently calculate the mean, and obtain different values. Thus it is acceptable to write such statements as the following:

“The mean was equal to 29.11 and the standard deviation equal to 2.45.”

“Sixty-eight percent of students indicated that they liked the current class schedule.”

“The coefficient of correlation was equal to +0.54.”

In contrast, when reporting your conclusions and any subsequent implications of your research, you must be more tentative. It is not ethical to present any conclusions with absolute certainty. In contrast to descriptive statistical analyses, your inferential analyses (in the case of quantitative data) or inductive analyses (in the case of qualitative data) inherently contain subjective interpretations. These results, conclusions, interpretations, or implications may, in fact, differ from individual to individual. When stating conclusions or implications, your statements might read similarly to the following:

“There seem to be different contexts or situations within the preschool setting where positive reinforcement is more appropriately utilized.”

“As these results suggest, it may be critical that instruction on this topic be presented by experts in the field who are also knowledgeable about the reality of K–12 classrooms.”

In the case of these two sample statements, notice the tentative nature of each as typified by “There seem to be . . .” and “it may be critical that. . . .” Here nothing has been presented as an absolute.

Clarity

The clarity of your written research report is also crucial to your potential readership. Your final written report should be clear enough for another person to read and duplicate the methodological steps you employed with relative ease (Johnson, 2008). One of the contributing factors to enhanced clarity is the use of as few words as possible. The simple result of doing so is that your report becomes more readable. Johnson (2008) also suggests that you can enhance the clarity of your report by “entering a teaching mode” (p. 178). Assume that your readers know nothing about your topic and your procedures and you must explain everything to them—in the simplest terms possible. Finally, organizing your report in a logical format can improve its clarity and readability (Johnson, 2008). The use of headings and subheadings allows the reader to follow the same sort of outline you used to write the report. This also creates a nice flow to your report. Additional information about formatting research reports will be presented shortly.

Consistency

Striving for consistency in your writing style will also enhance the clarity of your report. Your stylistic decisions, word usage, meanings, special symbols, abbreviations, and acronyms should remain as consistent as possible (Mertler & Charles, 2011). For example, if you symbolize the mean with an italicized uppercase M early in your report, do so throughout the remainder of your report. The same can be said for formatting, such as indentations, quotes, spacing, and headings—however you format them the first time (perhaps in APA style), do so the same way each and every time. You should also format sections, tables, charts, figures, and references in a consistent manner throughout your research report. All of these efforts enable you to create a report that is easier and less cumbersome for your readers to comprehend. The APA Manual stresses the importance of continuity in your writing (2010, Section 3.05, p. 65). It states that readers will have a better understanding of your ideas if you strive for continuity in your words, concepts, and development of themes throughout your report in its entirety.

Simplicity of Language

I always remind students in my graduate research methods courses that when writing their research reports, they are not trying to create a novel for the best-seller list! Research reports should be written in straightforward and simple (rather than fancy and flowery) language (Mertler & Charles, 2011). The APA Manual refers to this as the “economy of expression” (2010, Section 3.06, p. 67). It stresses things such as using shorter sentences, eliminating redundancy and wordiness, and avoiding the use of overly detailed descriptions.

Remember that you are trying to get straight to the point, without adopting a literary style. A key is to try to avoid the overuse of adjectives and adverbs. Excessive use of these descriptive terms simply makes reading your report more difficult. People, and in particular other teachers, choose to read your report not for entertainment (as they would a novel) but rather to become better informed about the topic you investigated. Do not try to impress your readers with your mastery of a dictionary or the thesaurus button in your word-processing program. You need to explain your research procedures, your results, and your conclusions clearly enough for readers to understand them, but you also need to do so by keeping your message short and simple. After all, their time is limited—you do not want them to give up or completely avoid reading your report simply because they find it to be a difficult read.

Conventions of Format

Research reports, regardless of the type of research they stem from, tend to follow a general structure. This structure is based on several conventions of format, which essentially provide a generic outline or at least suggested components to be included in a typical research report. Most traditional reports contain four to six sections, depending on the type of research conducted (Mertler & Charles, 2011). Standard components of reports include an introduction, a description of the methodological procedures followed, a presentation of the findings, and a summary of the conclusions. The organizational outline, as indicated by various headings and subheadings, typically used in traditional quantitative research reports follows this format (Mertler, 2016):

· Abstract

· Introduction

· Statement of the Problem

· Purpose of the Study

· Research Questions or Hypotheses

· Limitations and Delimitations

· Review of Related Literature

· Methodology

· Participants

· Data Collection Procedures

· Data Analysis Procedures

· Results

· Conclusions and Recommendations

· References

Notice that there are six main sections, which appear in bold type. (There are actually seven sections, if you include the abstract. However, an abstract is not always required, or always necessary.) These six sections are fairly standard. In fact, if you decide at some point to conduct a quantitative thesis or dissertation study, the first five sections—excluding the references—usually correspond to the five chapters that make up the final product. Subheadings can be added wherever they may be appropriate. For example, subheadings are normally added into the literature review section—which can be anywhere from 30 to 100 pages in a thesis or dissertation—in order to make it more readable. Imagine how difficult it would be to read a 100-page review of literature that does not appear to have a structural organization—each paragraph simply leads to the next.

Video Clips 8.2 & 8.3 View clips of practitioner-researchers discussing the process of writing action research reports.

The format of action research studies is not quite as standard as the one listed above. However, the organizational format characteristically follows the main steps of the action research process, as I outlined them in Chapter 2 and specifically in Figure 2.1. Each and every action research study will be unique in terms of its format and outline; however, action research reports will generally adhere to the following format (adapted from Mills, 2011):

· Abstract

· Introduction

· Area of Focus

· Defining the Variables

· Research Questions

· Review of Related Literature

· Description of the Intervention or Innovation Data Collection and Considerations

· Data Analysis and Interpretation

· Conclusions

· Reflection and Action Plan

In some action research reports, all of these sections may not be labeled as such (i.e., through the use of formal headings), but the material included in them will appear somewhere in the report. It is important that all of this information appears in the report, because its inclusion is necessary in order for the reader to fully understand all aspects of the study. You do not want to force your readers to have to figure some things out for themselves—they may do so inaccurately. Provide them with all the information they will need for understanding your topic, procedures, results, conclusions, and action plan.

Numerous times in this book, I have made reference to the research study I conducted on the topic of positive reinforcement in a preschool setting. The final research report that I wrote for that study was about 30 pages in length. Below I have listed all the headings and subheadings that I used in that report:

· Introduction

· The Central Issue—Background Literature Description of the Study

· Description of the Site

· Description of the School Staff

· Methodology

· Discussion

· Gail’s Story

· What Positive Reinforcement Means to Me

· What Positive Reinforcement Means to Children

· Use of Positive Reinforcement

· Carol’s Story

· What Positive Reinforcement Means to Me

· What Positive Reinforcement Means to Children

· Use of Positive Reinforcement

· Marilyn’s Story

· What Positive Reinforcement Means to Me

· What Positive Reinforcement Means to Children

· Use of Positive Reinforcement

· Eric’s Story

· Summary and Conclusions

· References

You will quickly notice that I did not follow exactly the format I listed previously. However, all important components were included: an introduction (including descriptions of the topic and the study as well as a literature review), a description of my methodological procedures (which included data collection and analysis), my discussion of results, and my summary and conclusions. If you glance at the appendix found on the student study website (edge.sagepub.com/mertler5e), you will notice that the two final research reports presented include the essential components, but the authors have customized the format to fit their needs.

A final formatting issue that needs to be addressed is the length of the final research report. This is another one of those questions I am commonly asked by my graduate students: How long does our report have to be? The easy answer to that question is: As long as it needs to be in order to thoroughly and accurately tell your story. They typically do not like that answer, but it is often the most appropriate one I can provide. There are, of course, more formal guidelines for the length of research reports that depend largely on their purpose. If you are presenting your study to fellow teachers and administrators in your district, I would suggest keeping your write-up very brief, perhaps two to three pages. You might consider simply starting with your main headings—they really provide a strong structure, in outline form, to anything you write—and then providing a brief paragraph summary for each one. An alternative would be to again start with your main headings but only list bulleted highlights for each section. Remember that in your oral presentation you will likely be filling in all the gaps in your bulleted outline.

If you are submitting your paper for presentation at a professional conference, you will need to have something that provides a much greater level of detail about all aspects of your action research study. Most papers that I present at my professional conferences range from 20 to 30 double-spaced pages, although there is typically no limit specified for this type of report. Ultimately, you are the best judge of the length of your research reports because you must decide if you have included enough context and detail so that your audience will have a clear understanding of your study (Mills, 2011). In addition, if you are submitting your paper for possible publication in an academic journal, the particular journal typically provides prospective authors with guidelines for the length of the report. Journals will vary, but if I had to guess, I would estimate that the average length of a journal article is approximately 20 to 25 double-spaced pages. In their sections for guidelines for contributors, the editors of journals typically provide the desired length of reports in terms of total words. This can seem a bit overwhelming when you see that you have to write several thousand words! In order to facilitate this process, I have a general conversion rate that I use to determine the approximate—and I emphasize approximate—number of typed pages and the corresponding number of formatted pages: Roughly two and one-half pages of double-spaced type will equal one page of final, laid-out print. Of course, electronic journals are not limited by the same space issues that paper journals are. For example, the editors of Networks state that they prefer articles that are “normally 2,000–3,500 words.” The guidelines for contributors to Reflective Practice provide only an upper limit—6,000 words.

You also need to realize that if and when your article is accepted for publication, the journal will reformat it in order to meet its publication style. At a minimum, this usually means that your double-spaced report will be reformatted in a different font style and font size and will probably be single spaced. For example, an article that I recently had published in a journal was 28 double-spaced pages when I sent the final version to the editor. When it appeared in the journal, it spanned only 16 of the journal’s pages.

8.2 A Word About Ethics When Writing Research Reports

Up to this point in this chapter, we have discussed various conventions and practices about academic writing. To be honest, there is no right or wrong way to accomplish this, although some practices are more widely accepted than others and are somewhat prescribed by various professional associations. However, certain issues related to ethical principles in the reporting of research are really nondebatable. The APA Manual states that scientific writing should always strive to protect the rights and welfare of research participants (2010, p. 11).

All those who conduct research in education—as well as authors of research reports—should endeavor to ensure the accuracy of their research results and to protect the rights of research participants. This can—and should—be done in a variety of ways (APA, 2010), including but not limited to the following:

· Ensuring that data and/or results are not falsified or fabricated in any way or for any reason

· Protecting the confidentiality of participants by

· Limiting detailed descriptions

· Removing explanations of characteristics that are not essential to the nature of the research

· Using pseudonyms (for both individuals and organizations)

In addition, the APA Manual provides several guidelines for reducing the bias often inherent in written language. This further extends the notion of the ethical treatment of research participants. These guidelines include the following:

· Utilize an appropriate level of specificity when describing participants (e.g., the difference between the terms gender and sex used to describe participants).

· Avoid labels as nouns (e.g., gays, elderly) to describe participants, opting rather for the adjectival forms (e.g., gay men, older adults).

· Use person-first, instead of condition-first, language (e.g., students with learning differences, as opposed to learning-disabled students).

· Make all efforts to reduce biases potentially inherent in references to gender, sexual orientation, race and ethnicity, disabilities, age, and historical and/or interpretive inaccuracies.

For more specific discussions of these and other guidelines related to protecting the rights of participants and reducing biases in writing, the reader is advised to consult the APA Manual (pp. 16–17, 70–77).

8.3 Practical Guidelines for Writing

Writing—some people love it; others detest it. Regardless of which side of that fence you fall on, it is important to recognize that writing of an academic nature is arguably the one aspect of every profession that keeps that profession changing, growing, and expanding. Communication—especially of research and research findings—among the members of any given profession allows those members to stay abreast of new ideas, innovations, and opportunities. Writing is the primary mechanism through which we can learn more about a given topic, share with others what we know about a topic, and gather ideas for new things to try in our profession. In addition, professional communication about a specific topic can provide exceptional opportunities to network. I have communicated and in some cases actually met with people from all over the country and throughout the world with whom I share common professional interests. Only through my writing and the act of reading the written works of others have I been afforded these wonderful opportunities to broaden my network of professional contacts.

If you had told me several years ago that by this time in my career I would have written numerous research articles and several textbooks, I probably would have laughed. I never thought I was capable of producing such written works related to my profession. However, now that I have been engaged in the writing process for a number of years and several projects, I can honestly say that I thoroughly enjoy it! For me, the key has always been to follow several tips that I have developed for myself. Keep in mind that when developing your “rituals for writing,” you have to find out what works best for you in order to be successful. With that in mind, I offer the following suggestions:

1. Establish a writing routine. Writing takes time; there is no sense thinking that it is something that can be done quickly. One of the best things you can do to facilitate your writing is to make it part of your professional life. Find time where it falls or make time if necessary. It is really no different than any other aspect of teaching—we all make time for lesson planning, grading, developing a unit test, and so on. Writing simply becomes another one of our important professional activities. In addition, find a comfortable place to write—perhaps at your home computer or with a legal pad and a pencil at your kitchen table. Find a place that works for you and make it part of your routine.

2. Try to write at the same time every day. Along with establishing a writing routine, try to build into your daily schedule some time for writing. Perhaps that time will consist of 30 minutes or an hour. Regardless of the amount of time, make it a regular part of your daily routine. For example, you might decide that before school for 30 minutes is the best time for you to write, or maybe a period of time after school or even after dinner will be the best time for you to write.

3. Write as if you are talking to a friend. Remember that you are trying to communicate your study and the results as clearly as possible. When you write, imagine that you are telling a friend about your study. This friend knows nothing about the topic, so you must communicate all aspects of the study in understandable, simple terms.

4. Begin with an outline and organize your thoughts accordingly. When I write, I begin by developing a thorough outline. Then all I have to do is to fill in the blanks of the outline. The outline helps keep me on track and focused; plus, it creates somewhat of a series of checkpoints for my finished product.

5. Do not worry initially about spelling, grammar, and how your report reads. When developing the first draft of your action research report, do not become too concerned about how your report reads. I believe that many people who are new to academic writing fall victim to this—they try to make their reports read “perfectly” the first time out. Do not concern yourself with finding the ideal phrase or with the correct spelling of a given word. At this point in the writing process, you should only be concerned with getting your thoughts, ideas, and information on paper. At this stage, Mills (2011) advises practitioner-researchers to “look for progress, not perfection” (p. 181). You will have ample opportunities to refine your writing at a later stage.

6. Realize that writing a first draft is only the first step in the writing process. When you begin to write, it is important to realize that you are writing a first draft. You will have opportunities to edit and revise and then edit and revise again. This part of the process enables you to further refine and clarify your thoughts and ideas; each time, they become a little more coherent, with an improved sense of flow to the report.

7.  Last but in my mind most important, develop a realistic writing schedule. If you begin writing with no clear sense of schedule, you essentially lack the incentive to continue making progress on your report. Developing a realistic—and I stress the word realistic—schedule for your writing is the first thing you should do before ever putting your first word on paper.

A writing schedule, along with the detailed outline you developed in Number 4 above, really provides the skeletal framework for your finished action research report. As an example, I have provided a schedule that I used to write a research report for a recent conference presentation (see Figure 8.1). Notice that the schedule somewhat parallels a detailed outline and that I included check boxes so I could monitor my progress.

These suggestions—especially Number 7—have helped me throughout my various writing projects. The closer I can stick to my writing schedule, the more successful my writing project will be. In addition, there is something to be said for being able to check off sections of your report as you complete them—it creates a sense of accomplishment, provides you with repeated opportunities to pat yourself on the back, and provides the necessary encouragement to keep going, because there is a light at the end of the proverbial tunnel! Just remember to find what works for you and stick with it.

Writing Up Action Research: Writing Schedules

Figure 8.1 A Sample Writing Schedule for a Research Paper

Action Research Portrait 1: Improving Reading Comprehension in a Title I Program

Writing the Action Research Report

Recall that the purpose of this action research study is to improve students’ reading comprehension skills within a Title I context.

Kathleen was very excited about the results from her action research study. As she was making plans to present her study to her colleagues, she engaged in a conversation with several fellow teachers, who suggested that she also consider trying to publish it. Kathleen was a little hesitant at first, but the teachers offered to support her and even help her with editing and putting the finishing touches on a draft of a research report that she had begun working on. They brainstormed ideas for possible publications, and all agreed that a popular reading journal, The Reading Teacher—a publication of the International Reading Association—might be a very appropriate outlet for her study. Included in each edition of The Reading Teacher is a section where teachers and other researchers can publish the results of research studies in the form of brief articles. The teachers went online, first to the main page for the International Reading Association (http://www.reading.org) and then to a page titled “Writing for The Reading Teacher” (http://onlinelibrary.wiley.com/journal/10.1002/(ISSN)1936-2714/homepage/ForAuthors.html) where they found information specifically directed toward individuals wishing to submit articles for possible publication. There, they found information about the nature of articles published in The Reading Teacher, the desired length of published manuscripts, and the length of time that authors could expect the review process to take. Specifically, they found the following passage:

Authors are generally notified of a decision within three months of receipt of submission. Articles are judged primarily for their contribution to the field, usefulness to teachers or researchers, timeliness, freshness of approach, and clarity and cohesiveness of presentation.

Kathleen was very excited about the prospect of having her action research published, although she was aware that there was no guarantee. She would do her best to put together a sound manuscript, focusing specifically on her study and the process of reflection she used in order to make meaning of her results.

Action Research Portrait 2: Conceptual Understanding of Mitosis and Meiosis

Writing the Action Research Report

Recall that the purpose of this action research study is to improve students’ understanding of the processes of mitosis and meiosis.

Upon completing this initial cycle of their action research study, Sarah and Tom decided to write up their results in the form of a two-page bulleted list of “highlights.” They listed Sarah’s preliminary concerns about the students and their learning, the list that they developed of possible curricular topics to study, and then the plan to closely examine ways to improve her students’ understanding of mitosis and meiosis. Sarah included an overview of the resources she found, how she had incorporated them into her instructional unit, and then how she assessed her students’ mastery of the two cellular processes. Sarah and Tom decided that they would use this as a basic outline for expanding the document into a complete research report.

Their next step was to make an appointment with a science educator at their local university. They wanted some advice about a possible outlet for potentially publishing their report on the creative ways they approached trying to improve their students’ conceptual understanding of mitosis and meiosis. The university professor recommended two possible journals: The Science Teacher (http://www.nsta.org/highschool/) and American Biology Teacher (http://www.nabt.org/websites/institution/index.php?p=26). They investigated both, but decided that they would develop a full manuscript for submission to The Science Teacher, because of its focus on teaching science at the high school level.

Action Research Checklist 8

Writing an Action Research Report

· □ Develop a plan for writing a report of your action research study.

· Identify your intended audience (e.g., other educators, administrators, school board members, etc.).

· Identify a possible outlet for your report (e.g., journal, newsletter, etc.).

· Develop an outline of the major headings and subheadings of your report.

· □ Establish a writing routine that works for you; try to “carve out” some common time each day to write.

· Once you’ve done this, develop a writing schedule or timeline in order to keep yourself focused on achieving your goal of a complete action research report.

· □ Remember to write in somewhat of a conversational style, as if you are talking to a friend or colleague.

· □ As you write, focus on simply filling in the sections of your original outline.

· □ Find someone to serve as an “editor” or “proofreader” who can give you honest feedback on your writing.

· □ Revise your report, as appropriate.

· □ Submit your manuscript for possible publication!

8.4 Related Websites: Writing Action Research Reports

This annotated list of related websites provides suggestions for writing your action research reports as well as several additional examples of reports of classroom-based teacher research.

· Classroom Action Research: Ideas for Your Final Write-Up http://oldweb.madison.k12.wi.us/sod/car/carwriteupideas.html

Throughout these sections in previous chapters, I have highlighted several pages developed by the Madison (Wisconsin) Metropolitan School District on its action research website. This page provides a bulleted list of suggestions for things you may want to include in your action research report. The final two thoughts are worth noting here: “All write-ups should not/will not look alike” and “Remember you are telling a story. You can organize this chronologically, by themes, by data source (i.e., students, parents, staff), or some other way. It’s up to you!” Both are excellent suggestions to bear in mind.

· Purdue University’s Online Writing Lab (OWL) http://owl.english.purdue.edu

The  O nline  W riting  L ab (OWL) at Purdue University is a fabulous writing website, providing more than 200 free writing-related resources. Included on the site are the following:

· ○ OWL Exercises http://owl.english.purdue.edu/exercises—various interactive exercises providing the user with practice related to grammar, punctuation, spelling, sentence structure and style, paraphrasing, and writing numbers.

· ○ APA Style and Formatting Guide http://www.apastyle.org The American Psychological Association (APA) provides an online companion to its written style guide. On this site, you can find a searchable database for questions you might have regarding APA style as well as several sections for commonly asked questions pertaining to references and formatting. In addition, Purdue’s Online Writing Lab also provides an overview and fairly thorough summary of APA style (http://owl.english.purdue.edu/owl/resource/560/01), including in-text citations, reference formatting, levels of report headings, and formatting tables and figures; there is even a downloadable PowerPoint presentation (http://owl.english.purdue.edu/media/ppt/20081208070939_560.ppt).

· ○ Avoiding Plagiarism http://owl.english.purdue.edu/owl/resource/589/01 includes a section clearly describing what constitutes “plagiarism,” practices to help you avoid plagiarizing, and an interactive exercise.

Still More Examples of Action Research Reports

· MMSD Classroom Action Research http://oldweb.madison.k12.wi.us/sod/car/search.cgi

This URL will lead you to a searchable database of more than 710 abstracts of teacher-led classroom action research conducted within the Madison (WI) Metropolitan School District from 1990 through the most recent academic year. Many of these abstracts also include links for you to download entire action research reports. The database is searchable by several criteria, including grade levels, data collection methods, and study descriptors or keywords.

· Highland Park (IL) High School’s Action Research Laboratory http://hphs.dist113.org/Academics/Pages/ActionResearch.aspx

Similar to the site above, this page provides links to more than 25 classroom action research reports, all conducted at Highland Park High School.

Summary

· Formally writing an action research report is important because it promotes further clarification of various aspects of the study, can provide you with valuable feedback, tends to further empower teachers to improve their practice, and can provide a great sense of accomplishment.

· Academic writing follows certain agreed-upon conventions of style, most of which are found in various style guides, such as the Publication Manual of the American Psychological Association.

· Some of the most common conventions of academic writing include person and voice, tense, clarity, tentative and definitive statements, consistency, and simplicity of language.

· It is important to remember that the title of your report is the initial screening mechanism for potential readers—it should be brief but also accurately describe the topic and study.

· Most reports of traditional research studies tend to be written using third-person pronouns; however, it is quite appropriate to use first-person references when writing a report of the results of action research studies.

· Use of the active voice as opposed to the passive voice is more appropriate for action research reports.

· Generally speaking, the introductory section of a research report is written in present tense; the review of related literature, methodology, and results are written in past tense; and any recommendations and an action plan are typically written in future tense.

· It is always best to err on the side of caution and use tentative statements when discussing your conclusions and implications.

· Any written report of research should be as clear and consistent as possible.

· Do not try to impress your readers with flowery language; use simple, straightforward language in your write-up.

· Although there is no universally agreed-upon organizational structure for formatting a research report, most action research reports contain the following sections:

· Abstract

· Introduction

· Review of Related Literature

· Description of the Intervention or Innovation

· Data Collection and Considerations

· Data Analysis and Interpretation

· Conclusions

· Reflection and Action Plan

· The length of a final research report often depends on the purpose the report will serve.

· When reporting the results of qualitative data analysis, it is important to be as objective as possible, to include references to yourself where they may be warranted, to thoroughly describe all aspects of your study, to include representative samples of your data only when they will enhance your presentation of the results, and to include interesting but nonessential information in appendices at the end of your report.

· When reporting the results of quantitative data analysis, it is important to follow various conventions for reporting numerical data as either numbers or words, to report arithmetic data in descending order, to report the total number of participants involved in the study before reporting numbers in categories, and to use tables and figures where appropriate in order to enhance your presentation of numerical results.

· When preparing to write a final research report, practitioner-researchers should establish a writing routine, try to write at the same time each day, write as if conversing with a friend, begin with an outline and organize thoughts accordingly, not worry about spelling and grammar in an initial draft of the report, and develop a realistic writing schedule.

QUESTIONS AND ACTIVITIES

1. Select a published research article—or another research report—on a topic of interest to you. Based on the various guidelines and suggestions presented in this chapter (i.e., conventions of style, conventions of format, and guidelines for presenting the results of analyses), write a brief critique of the report highlighting those aspects of the written report that the author(s) did well and those aspects that could be improved.

2. Locate a report of qualitative research related to an area of interest to you. What types of things do you notice about the writing style? Which of the suggestions presented in the chapter did the author(s) follow? Which suggestions were not followed?

3. Locate a report of quantitative research related to an area of interest to you. What types of things do you notice about the writing style? Which of the suggestions presented in the chapter did the author(s) follow? Which suggestions were not followed?

4. Conduct a quick survey of at least 20 people, asking them to indicate their favorite color. Once you have collected your data, analyze them using both qualitative and quantitative techniques. First, use inductive analysis to develop groups and numbers of people within each group. Report your results in narrative fashion. Second, analyze your data quantitatively by counting the number of responses for each color identified. Report your results three ways: narratively, using a table, and using an appropriate type of graph or figure.

KEY TERMS

· abstract 236

· conventions of academic-style writing 235

· style guide 234

Review → Practice → Improve

Get the tools you need to sharpen your study skills. Access the videos listed in the margins of this chapter, practice quizzes, eFlashcards and more at  edge.sagepub.com/mertler5e

CHAPTER 9 Sharing and Reflecting

Chapter 9 Organizer

· Communicating the Results of Action Research

· Locally

· Action Research Communities

· Professional Conferences

· District-Level Action Research Conferences

· Academic Journals

· Sharing Results Electronically

· A Word About Ethics When Sharing the Results of Action Research

· Reflecting on the Action Research Process

· Related Websites: Communication and Discussion About Action Research

· Action Research Websites

· Action Research Electronic Journals

· Summary

· ➤  Questions and Activities

· ➤  Key Terms

· ➤  Student Study Site

In Chapter 1, we discussed the gap that exists between what is learned as a result of researchers—typically university professors or others trained as researchers—who conduct and report their research on educational topics and the needs of practicing classroom teachers. In an effort to reduce this gap between theory and research and actual practice, it is imperative for practitioner-researchers to share the results of their action research projects. A wide variety of options exist for practitioner-researchers to share their research, ranging from local presentations to professional conferences and academic journals. In addition, there are numerous electronic means for communicating the results of action research. Although both Chapters 8 and 9 address issues related to publishing or otherwise disseminating the results of your action research studies, it is important to note that the focus of the present chapter is on the big picture—namely, presenting and discussing alternatives for sharing your action research. In contrast, Chapter 8 was more technical, focusing on the how-to of writing up your action research studies. After presenting information on these various alternatives for disseminating research results in this chapter, I will once again reiterate the importance of professional reflection as part of this process.

9.1 Communicating the Results of Action Research

For quite some time, a gap has existed between research conducted in the broad field of education and the ultimate and supposed users of that research (i.e., teachers or other educational practitioners). In Chapter 1, this gap was described as follows: Educational research tends to occur in the ivory towers of higher education, whereas the practical application (i.e., the education of children) takes place in schools and classrooms. What goes on in public school classrooms often does not reflect research findings related to instructional practices and student learning (Johnson, 2008).

Research is routinely written and published in a way that does not consider a teacher’s typical day-to-day schedule. The resulting research articles are often overly descriptive and highly technical and utilize research methods that do not fit with the daily needs of and resources available to teachers (e.g., they use true experimental designs, complete with random selection and assignment, or highly labor-intensive and longitudinal data collection methods). The research findings do not appreciate or often take into account teachers’ points of view or factor in the practical challenges teachers must address in their classrooms on a daily basis. This has been alluded to numerous times throughout the book: In a manner of speaking, the practitioner-researcher—through the act of designing and conducting action research studies—becomes the missing link between the theoretical researchers and the practicing educators.

However, simply conducting an action research project will not automatically facilitate the reduction of this gap. Sharing the results—either formally or informally—is the real activity that helps bridge the divide between research and application. Communicating your results lends credibility to the process of conducting action research because teachers and others in the education profession tend to see this process as one that gives teachers a voice. Suddenly, research is not far removed from the classroom; they have, in a way, become one. Research is no longer an isolated activity, separate from the instructional process. It has become an integrated process such that the advantages of research (e.g., research designs, data collection methods, validity, and reliability) and the advantages of teachers’ “voices” (e.g., knowing about the instructional process, having familiarity with teachers’ day-to-day schedules, resource availability, and time constraints) can be realized in concert with one another. Perhaps more important, the act of sharing, communicating, or otherwise disseminating the results of your action research allows other educators to see this as well.

Not only does sharing the results of teacher-led action research projects with members of the teaching profession help narrow the gap between theory/research and practice; it also provides the practitioner-researcher with the opportunity to gain additional insight into the topic under investigation as well as into the research process itself (Mills, 2011). If at the outset of your study you believed that the topic you had decided to investigate was an important one and in fact worthy of studying, in all likelihood there are other teachers, administrators, counselors, and so on who would feel the same way and would also be interested in your findings. This act of sharing—and, in fact, celebrating—the findings of your action research can actually be a very satisfying and rewarding professional experience (Mills, 2011). There is a tendency for practitioner-researchers to feel intimidated at the thought of presenting or publishing their research, almost to the point of outwardly resisting the notion. As human beings, none of us likes to feel the wrath of our critics. However, I would strongly encourage you to take this next step in the action research process. Regardless of the types of reactions garnered by communicating your results, whether they be unfavorable or overwhelmingly positive, you will almost certainly experience professional growth.

Video Clip 9.1 View a clip of Dr. Mertler discussing the importance of sharing and reflecting on your research.

Also, by sharing and disseminating your action research, you also encourage others to engage in these types of activities in their own classrooms. I’ve worked with countless teachers who’ve said that they simply don’t know how to do these types of things or simply don’t have the time. Seeing colleagues with whom they work do it might just encourage them to try it as well. Educator empowerment can be contagious!

Locally

There are several possible audiences for local presentations of your research, but probably none will be more interested than your colleagues (Johnson, 2008). More than anything, these presentations tend to promote professional discussion among teachers, counselors, and principals. These types of discussions are essential for facilitating professional reflection and growth in the teaching profession (Johnson, 2008). Do not become concerned about the notion of a full-blown presentation; it may not be necessary. These “presentations” may run the gamut from formal to informal. They may take the form of a formal teacher in-service session, a brief talk at a regularly scheduled faculty meeting, or perhaps an ongoing discussion among teachers within a school. Regardless of the level at which the presentation occurs, Johnson (2008) recommends that your audience of colleagues will tend to find your presentation more interesting if you keep it brief and focused and include only the details that other teachers might find helpful in their classrooms.

I would also strongly urge you to use some sort of visual aids to assist you in your presentation. Most of our students—regardless of the age or grade level at which we teach—do not like to simply be talked to or at; your colleagues will probably also appreciate visuals that increase the quality of your presentation and keep their attention. These visual aids might include overhead transparencies with a bulleted outline of your discussion, a handout of your major points and results, or perhaps even a technology-enhanced presentation using such software as PowerPoint or Keynote. The main aspects of a presentation should include the following:

1. Background information. Briefly summarize the literature review you conducted, trying not to mention everything you read. Simply mention three or four key aspects of your review, focusing on anything that provided you guidance in your study.

2. Purpose of your study. Share with your audience why you chose to study what you did. What personal experience led you to this topic? What were you trying to find out as a result of your study? Try to make a compelling argument for why your topic was worth investigating.

3. Methodology employed. Briefly describe the methodology used, focusing on the data you collected and how you collected them.

4. Results. This portion of your research presentation along with Numbers 5 and 6 below should constitute the majority of the time you have for your presentation. The results, along with your conclusions and action plan, are the aspects that your colleagues will be most interested in learning about. Tell your audience what you discovered by succinctly describing your findings. This may be an excellent time to use visuals, such as tables, graphs, or charts, if appropriate.

5. Conclusions. Share with your colleagues what you think your results mean. How do your results relate back to the original purpose of your study? What kinds of implications (i.e., for practice) can you draw from your conclusions?

6. Action plan. Based on your results and conclusions, describe what you plan to do from this point forward, in terms of both practice and future cycles of your action research. You may want to seek additional input from your colleagues regarding your action plan.

7. Questions and answers. Finally, always be sure to leave at least a few minutes for questions and answers. This is yet another opportunity for professional discussion and reflection.

Video Clips 9.2 & 9.3 View clips of practitioner-researchers discussing the importance of sharing and reflecting on their action research.

Another possible audience for your presentations is an audience consisting of your district’s administration. This includes members of the school board, the superintendent, the assistant superintendent, directors of curriculum and instruction, directors of special education services, and so on as well as building-level administrators (i.e., principals, assistant principals, deans of students, etc.). Often, district-level decisions regarding teaching and learning are made apart from considering any research related to them. Johnson (2008) believes that this can result in bad educational practice or perhaps even educational malpractice. The results of action research can be used as an effective means of enabling your school or district to make educational decisions that are better informed. These decisions then are based on actual data collected, as opposed to being based on hunches or simply on what “looks good” to those making the decisions.

Action Research Communities

Along similar lines of sharing action research with audiences local in nature is the concept of creating action research communities. An action research community can be defined as a professional learning community made up of educational professionals driven by a common goal of practicing reflective teaching as a means of improving classroom instructional practice or other aspects of the educational process. Generally speaking, professional learning communities (PLCs) are composed of educators committed to working collaboratively in ongoing processes of collective inquiry and action research to achieve better results for students they serve (DuFour, DuFour, & Eaker, 2008). They are based in the notion that the key to improved student learning is continuous, job-embedded learning for educators. This notion is similar to what James, Milenkiewicz, and Bucknam (2008) refer to as “communities of practice,” or CoPs (p. 202).

The term “professional learning community” has been used to denote so many different types of activities that there continues to be a lack of clarity among the educational community. It has been used to describe grade-level teams, school committees, a content area department, an entire school building, or an entire school district (Baccellieri, 2010). In my opinion, the “level” of the learning community is not important, provided several important criteria are met. DuFour, DuFour, and Eaker (2008) describe six key characteristics of PLCs. At a minimum, they should include:

· a shared mission, vision, values, and goals all focused on student learning;

· a collaborative culture;

· a collective inquiry into best practices and current reality;

· an action orientation or learning by doing;

· a commitment to continuous improvement; and

· an orientation focused on results and not on intentions.

Note that the fourth item on this list—that is, “an action orientation”—essentially delineates the integration of action research into the culture of a collaborative group of professional educators. Another key characteristic of PLCs is that innovation and experimentation are not viewed by the members of the PLC as tasks or projects to be completed but rather as ways of conducting day-to-day business forever (DuFour, DuFour, & Eaker, 2008). PLCs have become extremely valuable approaches to initiating and sustaining school improvement and reform (Baccellieri, 2010).

Action research communities can be established within an individual school building or school district but can also “branch out” to include multiple buildings or even perhaps multiple districts (typically within a relatively small geographic area). These can be very meaningful professional development organizations, not only for sharing the results of action research but also for lending encouragement and support to teachers during just about any stage of the action research process. In addition, they can play an important role in the process of experienced teachers serving as mentors to novice teachers. These types of formal “learning communities” can provide significant levels of professional support. They can offer opportunities for both formal and informal sharing and reflecting on classroom teaching practice. Communities can be set up within a formal structure—perhaps with monthly meetings—or can be less formal. In the case of the latter, meetings might occur on an “as needed” basis. This idea of “grassroots professional development” represents a substantial shift in mind-set for many educators. Historically, district-level administrators have made decisions about what they believe their teachers should receive in the form of professional development opportunities. Furthermore, those decisions typically operate under a “one-size-fits-all” model, meaning that all teachers in a building, for example, require the same kinds and levels of continuing training in order to effectively deliver instruction, assess student learning, and so forth. In my opinion, this practice has been shown to be highly ineffective. Additionally, it has only served to alienate teachers from the process of determining and providing what each feels is needed to help them grow professionally (Mertler, 2010).

In contrast, professional development that is grounded in a process of individualized reflection can only be more meaningful to individual educators. In other words, when educators—either individually or collectively—reflect on their professional practice and identify areas in which they believe they need additional training, they tend to feel a much more vested interest in that training. Perhaps more important, they develop ownership over an entire process—that is, implementing action research by reflecting on practice, identifying an area in need of improvement, and engaging in a process designed to improve the particular area—of professional development. To me, this notion is really the epitome of customized professional development.

Developing PLCs that formally integrate action research into the process can result in numerous positive outcomes. These include the fact that a collaborative approach to systematically improving educational practice and formally connecting theory to practice can be incredibly empowering for educators at all levels. Educators develop skills and abilities to make well-informed decisions about their own practice. Furthermore, the PLC/action research approach provides opportunities for educators to effectively increase their knowledge and positively affect their practice and can do so by focusing on what they see as their own particular professional development needs (Mertler, 2009). A process of reflecting on one’s own practice as a means of answering questions about that practice or of investigating issues related to that practice enables educators to customize their own professional development. The bottom line is that educators who engage in this integrated process experience professional growth that is specifically related to their own areas of professional interest.

All of this being said, the integrated PLC/action research approach is not without its limitations. First and foremost, it requires a shift in mind-set or perhaps even in philosophy. This certainly constitutes an approach in complete opposition to the standard top-down, administrator-driven leadership models (Mertler, 2009). In a manner of speaking, the locus of control shifts away from the principal’s office, providing educators with a much-needed voice in their own practice. Many educators—from the classroom teacher to the district superintendent—may experience a great deal of difficulty making this shift. Additionally, for those who desire such a shift in mind-set, time and resources must be made available to them.

However you and your fellow colleagues decide to structure your action research community, I strongly encourage its use as you will likely view it as an important part of your ongoing professional development as an educator.

Professional Conferences

Local presentations are certainly acceptable outlets for presenting research and are typically beneficial to the practitioner-researcher from the local point of view. However, sharing your research among a much broader community of educators provides even greater opportunities for professional dialogue, reflection, and brainstorming. Professional conferences are wonderful environments for communicating the results of research, sharing ideas for future cycles of action research, and networking with other educators who have similar research interests. Professional conferences are typically sponsored by state, regional, or national organizations and are usually held annually. The organization releases a call for proposals anywhere from 4 to 10 months in advance of the conference. Included in the call is a description of everything you need to include in your proposal. The proposal usually consists of a three- to four-page summary of your study. Once you have submitted it to the organization, it is sent out to other professional educators for a blind review, meaning that they do not know who the authors are at the time they review it. They review your proposal based on a preestablished set of criteria and either recommend it for inclusion in the conference program or not. If it is accepted, you receive notice a couple of months in advance of the conference in order to have time to prepare your research report and presentation. The seven main aspects to include in a presentation that were provided in the previous section also apply to presentations made at professional conferences. Depending on the nature and size of the professional conference, you will likely have anywhere from 15 to 75 minutes to present your study. If you are not familiar with professional conferences in your areas of interest, a search of the Internet will lead you to the websites of various organizations, which typically include links to information about their conferences. I am a big supporter of presenting research studies at professional conferences, as they can truly open the door to so many new opportunities and ideas!

The notion of presenting your original research at a conference of professional educators can be a bit overwhelming and a little unnerving, especially for the first-time presenter. However, there are usually options for the format of your presentation. There are typically three formats for conference presentations:

· Paper presentations

· Symposia or panel presentations

· Poster presentations

As the name implies, a “paper presentation” means that you write a complete action research report (as was discussed in Chapter 8) and then develop from it a presentation using some type of presentation software (e.g., PowerPoint, Keynote, or Prezi). Most paper presentations last anywhere from 10 to perhaps 30 or 40 minutes, depending on how the concurrent session is structured. Some conferences are encouraging a newer type of presentation, called “PechaKucha 20x20” (http://www.pechakucha.org). PechaKucha (which means “chit-chat” in Japanese) is a simple presentation format where you show 20 images, each for 20 seconds, so that your entire presentation lasts 6 minutes and 40 seconds. The images advance automatically as you talk along to the images. This format forces you to be brief and concise in your comments (6 minutes and 40 seconds is not a long time nor is 20 seconds per slide!), while allowing you to cover a lot of ground (i.e., 20 slides) in the time frame. It forces you to think strategically about your presentation, in order to highlight and discuss only the most salient points. Also, note that the focus of the slides is not on text but rather on images that are discussed by the presenter.

A symposium or panel presentation is typically characterized by several individuals (perhaps five to seven people) presenting on the same topic but who provide unique or different perspectives on that topic. These can last anywhere from 60 to 120 minutes, depending on how they might be structured at a given conference. A good deal of thought must go into the development of a symposium or panel, so that it has an organization to it and that multiple perspectives are presented. After all, it might not be beneficial to hear five individuals discuss the exact same thing. For example, I recently participated on a panel presentation at a high school on the topic of academic plagiarism. There were five individuals on the panel, with one person discussing each of the following topics: (1) the legal aspects of plagiarism, (2) plagiarism in high school academics, (3) plagiarism in college/university academics, (4) the effects of plagiarism on job/career prospects, and (5) ways to avoid plagiarism.

A final type of presentation format—which might be very appealing to the novice conference presenter—is a poster presentation. Posters are typically presented as a session in a large room with tables, where each presenter sets up either a flat or a tri-fold board. On the board, the researcher assembles summarizations of various aspects of the study (i.e., think back to a science fair presentation). An example of a research study presented in a poster session at a conference is shown in Figure 9.1. Conference attendees meander through the room, reading the posters and interacting—in a question-and-answer format—with the researchers. This presentation format tends to be much less stressful, because of its less formal nature and its conversational style.

Figure 9.1 Sample Poster Presented at a Research Conference

District-Level Action Research Conferences

Similar to larger professional conferences—but perhaps a little less intimidating and a bit more meaningful—is the notion of district-level action research conferences. If your district promotes school- or districtwide action research as an integral part of the professional culture (implying that numerous educators might be simultaneously conducting action research projects), then providing a forum for those educators to share their findings and experiences serves as a potentially powerful mechanism for professional sharing, reflection, and future action planning as well as for professional development in general. These types of conferences tend to be less intimidating because all of the presenters come from the same school or district. Furthermore, they tend to be more meaningful because of the fact that the action research topics (e.g., educational programs, interventions, curricula) being shared have taken place within the district where all conference presenters and attendees work. The presentations, therefore, tend to be more “personal,” meaning that conference participants can more easily relate to and apply the action research being disseminated. Several districts—as well as universities and colleges of education—throughout the United States routinely conduct such conferences.

Academic Journals

Since academic journals have the potential to reach larger audiences than professional conferences can, you may want to consider submitting your study to a journal in your particular field—one that focuses on the topic you studied or that focuses broadly on classroom-based action research. Similar to proposals submitted to conferences, academic journals are also refereed, meaning that any study submitted receives a blind, peer review by a minimum of two reviewers who provide comments on the quality of the study as well as on the written manuscript detailing the study. Typically, comments provided by reviewers are both positive and constructive. Good reviewers will provide complimentary feedback about the good things done in the study. They will also provide suggestions for improving the quality of the manuscript. Their final comment is usually a recommendation to publish the paper or not. There are usually three types of recommendations:

1. Accept as is. If your paper receives this recommendation, no revisions are necessary. The paper is ready to be published in its current form. This type of recommendation is seldom given by any reviewer.

2. Accept with revisions (also referred to as conditionally accept). This is a much more typical recommendation for well-written papers of well-conducted studies. Almost every paper accepted for publication in an academic journal will require some revisions.

3. Reject. If your study had substantial methodological flaws or if the research paper was written poorly or simply not written clearly, perhaps because you did not pay attention to common stylistic conventions of academic writing (see Chapter 8), you may receive this recommendation. If this occurs, try not to become too discouraged—it happens to all of us! Consider taking the feedback provided by the reviewers, revising your paper, and submitting it to another journal. Sometimes when a manuscript is rejected, the editors may suggest that you “revise and resubmit” the paper. This may occur when the paper is poorly written and may need a complete reworking, but the topic may be of great interest to the readers of the journal.

As an example of this process, in Figure 9.2 I have included a copy of a letter that I received from a journal editor whose recommendation was to “conditionally accept” my manuscript. You will also notice that, as I made revisions to the final version of the manuscript, I marked off each suggested revision appearing in the letter. Although this process can be a bit intimidating at first—and can create anxiety throughout one’s professional career!—receiving this type of feedback and specific comments on your action research studies and then having the opportunity to revise your manuscript accordingly is one of the best ways to improve your writing (Johnson, 2008).

Mills (2011) offers some sound guidelines to keep in mind when considering submitting your study to a journal, many of which you read about in Chapter 8. First, it is important that you peruse the journal(s) that you are considering for your submission(s). Realize that the articles you are reading represent those that have been accepted for publication. Pay close attention to the writing style as well as the structure and format of the articles themselves. Do not feel that you have to copy the particular format and style; rather, use them as guides for your paper as you prepare it for submission. Second, it is suggested that you use a clear, reader-friendly writing style. Action research should be written up using straightforward language and vocabulary. Do not try to impress your readers with flowery language or polysyllabic words, especially when their use is not necessary. Let your data and your interpretations of those data speak for themselves. You should strive to make your paper readable and understandable not only by those who are knowledgeable about your topic but also by those who are not. Third, Mills suggests that you develop a paper that guides your readers to the site at which your study occurred. Provide a description of the setting, the participants, the length of the study, and the focus of your investigation. Fourth, you should also include a brief description of what you actually did in the course of your study. Focus on explanations of your research design, data collection, data analysis, and ultimate interpretations. Also, do not forget to attend to other various data collection considerations, such as validity, reliability, and ethics regarding your participants. Finally, it is critical that you make every effort to keep your readers’ attention. Granted, academic journal articles of classroom-based teacher research will probably never make a best-seller list, but that does not mean that they cannot be interesting and rewarding to read. Enjoyable and engaging reading does not have to be mutually exclusive in academic writing, but it does take some effort on the part of the author.

Figure 9.2 Sample Letter From a Journal Editor; Manuscript Conditionally Accepted for Publication

Source: Reprinted with permission of the American Secondary Education journal.

There are several journals—all of which are refereed—whose articles focus on classroom-based, teacher-conducted research. This list of journals includes the following:

· Action Research

· Action Research International

· Educational Action Research

· Networks: An Online Journal for Teacher Research

· Reflective Practice

· Teaching & Learning: The Journal of Natural Inquiry & Reflective Practice

· The Journal of Scholarship of Teaching and Learning

· The Ontario Action Researcher

More information about these journals, including information available at their websites, has been included in the Related Websites section appearing later in this chapter.

Sharing Results Electronically

More and more opportunities are being created for teachers to share the results of their research electronically, especially in various online environments. There are various types of electronic media in which results can be shared or ideas exchanged. Before I discuss them, however, let me offer a word of caution. The Internet can be a wonderful place to find information and materials that one might not have access to otherwise. However, it is important to be cautious about information and research results that you read online. There exists a common misconception that if something is “published” (that is to say, if it appears in print), it must be important, meaningful, and of high quality. Just because something appears in print—even if it is refereed—does not necessarily mean that it is of substantial quality. It is important to be a critical consumer of anything you read online.

One of the nicer aspects of sharing research and ideas online is that teachers can be provided with the sense that the world is a much smaller place and that input and feedback are readily accessible from literally all corners of the globe. Online resources typically fall into one of three categories: action research websites, electronic mailing lists, and electronic journals (Mills, 2011). We will briefly look at each of these, although additional information—including URLs for various websites—appears in the Related Websites section.

Numerous action research websites are available on the Internet. These sites are sponsored and hosted primarily by institutions and individuals in Australia, Canada, the United Kingdom, and the United States. Most of them offer a variety of features, including electronic journals, electronic discussion boards, print as well as electronic action research resources, and links to other action research sites. The sites featured later in this chapter include the following:

· Action Research at Queen’s University

· Action Research Resources

· Educating as Inquiry: A Teacher/Action Research Site

· EmTech’s Action Research Page

· Teacher Research

In addition to worldwide websites, many school districts are also developing and hosting their own action research webpages on district websites. The specific purpose of these sites is to allow teachers in their particular districts to share their results of action research, primarily districtwide; although with the Internet, dissemination would not be limited only to members of that district. As a concrete example of this relatively new electronic means of sharing action research, let me highlight one district’s efforts. On several occasions throughout this book (primarily in the Related Websites sections at the end of various chapters), the Madison (Wisconsin) Metropolitan School District has been featured.

The district’s action research website (http://oldweb.madison.k12.wi.us/sod/car/carhomepage.html) includes links to all types of helpful information related to conducting classroom-based action research. One link in particular (http://oldweb.madison.k12.wi.us/sod/car/search.cgi) takes you to a searchable index of abstracts of action research studies conducted by its teachers from 1990 through 2009. Several of the abstracts also include links to the complete research papers written by the teachers themselves. This is an absolutely wonderful outlet for teacher-conducted action research projects as well as a very valuable resource for teachers’ professional development. If your district does not currently have such a means for locally (and more broadly) sharing the results of your action research, pursuing such an opportunity with district-level administrators may be time well spent for the benefit of all teachers in your district. Another example of a school that maintains its own action research website is Highland Park High School (http://hphs.dist113.org) in Highland Park, Illinois. The school’s Action Research Laboratory page (http://hphs.dist113.org/Academics/Pages/ActionResearch.aspx) contains more than 25 complete action research reports and presentations written by Highland Park teachers and administrators.

An electronic mailing list is an online discussion forum conducted via e-mail, typically located on a large computer network and hosted by a university (Mills, 2011). Electronic mailing lists provide opportunities to participate in discussions on a wide variety of topics within a given field (e.g., action research) with individuals from all over the world. Information and links to several of them are included in the sites listed above. If you subscribe to an electronic mailing list, you should be aware that you will likely receive several e-mail messages per day on one or more discussion topics, known as “discussion threads.” The messages can add up quickly if you do not check your e-mail on a regular basis. Although it can be interesting and educational to simply sit back and read the various postings to an electronic mailing list, do not hesitate to post your own questions or ideas; electronic mailing lists tend to be very collaborative and collegial environments. I have been able to offer suggestions to members of an electronic mailing list as well as to seek their advice for my own projects. In addition, I have been able to establish several professional relationships over the years with individuals who have interests similar to mine by doing just that. These are individuals with whom I likely would never have come into contact had it not been for the electronic mailing list.

Finally, the Internet has also enabled publishers to put entire journals online. Over time, more and more full-text, refereed practitioner-researcher electronic journals are becoming available online. Several of the journals listed earlier in this chapter are entirely electronic or online journals, including Action Research International, Educational Action Research, Networks: An Online Journal for Teacher Research, and The Ontario Action Researcher. These electronic journals make the submission process relatively painless, since the manuscripts are typically submitted electronically via e-mail as attachments. Furthermore, the turnaround time from submission to (hopefully) publication tends to be several months less, simply because of the technology involved. Another benefit of these electronic journals can be experienced by the practitioner-researcher as a consumer of action research. Electronic journals make access to teacher research articles much easier. Since they are available in full-text format, one does not even have to travel to a local university library and make a photocopy of the article, as was necessary in the past and still is for print journals. The articles are usually available in HTML or PDF formats and can therefore easily be saved to a hard drive or computer disk or printed out. The fact that nearly all of these online action research journals are only a few years old serves as an indication of the extent to which teacher research is truly a field that is experiencing a great deal of growth and that is creating progressively more interest across the broad field of education.

A Word About Ethics When Sharing the Results of Action Research

I want to briefly reiterate the importance of the ethical behavior and practice of action researchers, as was discussed more extensively in Chapter 8. Recall that, as a researcher, your ethical responsibilities include not fabricating or falsifying any data or results and protecting the confidentiality and anonymity of your participants (whether they be children or adults). When presenting the results of your action research studies, be sure to limit your descriptions of individuals or settings so that they are not easily identifiable. In addition, avoid mentioning names of participants or settings (i.e., specific schools, districts, or other educational institutions). If appropriate, you might consider using pseudonyms in place of actual names. This sometimes helps in the flow of your presentation. However, I would advise that, as a further extension of your ethical behavior, you inform your audience that the names you are using are, in fact, pseudonyms. This will reduce the potential for members of your audience to think that you are revealing actual names, and it will add to your credibility as an action researcher.

9.2 Writing Up Action Research: Reflecting on Research

Source: Graham, 1995.

Source: DuBois, 1995.

Action Research Portrait 1: Improving Reading Comprehension in a Title I Program

Sharing the Results of Action Research

Recall that the purpose of this action research study is to improve students’ reading comprehension skills within a Title I context.

Kathleen was very excited about the results of her action research study and about the process itself. She felt fairly sure that her fellow Title I teachers from within the district would also find the results interesting and very meaningful. She approached the director of the district’s Title I program and requested some time at their monthly meeting at the district’s offices. The director willingly agreed to provide Kathleen with some time to share her study and results with the other Title I teachers. She developed a brief keynote presentation, focusing on her methodology and results, to share with her colleagues. She also provided them with a brief one-page handout. Near the conclusion of her presentation, she gauged interest in the possibility of creating an action research community of reading teachers throughout the district. Interest exceeded what she had anticipated!

Action Research Portrait 2: Conceptual Understanding of Mitosis and Meiosis

Sharing the Results of Action Research

Recall that the purpose of this action research study is to improve students’ understanding of the processes of mitosis and meiosis.

Following the completion of their formal research report, Sarah and Tom asked their department chair, Paul, if they could have 15 to 20 minutes at the next department meeting to share their findings with the rest of the science teachers. He agreed, and their brief presentation was ultimately very well received by their fellow science teachers.

After the science department meeting, Paul suggested to Sarah and Tom that they ask their principal to provide them with some time at the next full faculty meeting to share their results with all teachers in their school. Sarah said, “I don’t really think that teachers in other subject areas are going to be interested in how I helped my students improve their understanding of mitosis.” Paul responded, “You might be right, Sarah. However, I think they’ll be really interested in hearing how you used the blogs to help you identify where your students were really struggling and how that technology enabled your students to actually help each other learn the material. That aspect of your study alone was very impressive.”

Sarah and Tom reworked their presentation in order to highlight the use and impact of the classroom blogs and presented it the following week at the full faculty meeting. After seeing how excited several of the teachers became about what they had shared, Sarah suggested that they form a school-based action research community in order to further study the use of blogs across curricular areas within a high school setting, and Tom offered to get it up and running.

Initially, four of their colleagues signed up to participate in the newly formed action research community in their school. Their first step in the next cycle was to discuss plans for investigating the continued use of blogs in their school and for each of the six teachers to begin to develop a research plan for how each would incorporate blogs into their instruction and how they would determine the impact on student learning.

Action Research Checklist 9

Sharing and Disseminating the Results of Action Research

· □ Develop a plan for sharing and communicating the results of your action research.

· Will you share the results at the local level?

· Will you share them at a broader level?

· □ For a local presentation:

· determine the length of time and setting or format for your presentation,

· develop an outline of the major points of your presentation,

· thoroughly develop your presentation using presentation software (e.g., PowerPoint, Keynote, Prezi), and

· practice your presentation in advance, to ensure you stay within your allotted time limits.

· □ For a broader (i.e., conference) presentation:

· select a conference at which you would be interested in presenting,

· following their guidelines, develop and submit your proposal for presenting, and

· wait for the decision of the conference organizers.

· □ Once you hear that your proposal has been accepted for presentation(!), develop an outline of the major points of your presentation,

· thoroughly develop your presentation using presentation software (e.g., PowerPoint, Keynote, Prezi), and

· practice your presentation in advance, to ensure you stay within your allotted time limits.

· □ Be confident! Good luck!

Reflecting on the Action Research Process

At the risk of once again sounding repetitive, professional reflection is a key component of the action research process and should be integrated thoroughly throughout each of the steps along the way. The acts of sharing, disseminating, and communicating the results of your action research provide yet another opportunity to reflect on the process itself. Reviewing all that you have done and accomplished in conducting your study—which is necessary when preparing to put pen to paper and draft your final research report or when developing an outline for a presentation of your study—is another way that you can introspectively examine your practice of teaching. It is essential to your professional growth and development that you seize each and every opportunity—prior to, during, and following your action research study—to engage in reflective practice.

Reflection is about learning from the critical examination of your own practice but also about taking the time to critically reexamine exactly who was involved in the process, what led you to want to examine this aspect of your practice, why you chose to do what you did, where is the appropriate place (time, sequence, location, etc.) to implement future changes, and how this has impacted your practice. Taking the time to thoroughly answer these kinds of questions for yourself will aid in an even deeper, more meaningful examination of practice as well as a heightened level of empowerment (in my opinion).

Engaging in these types of truly professional activities (i.e., conducting action research, disseminating your results, reflecting on the process) is something that you should truly celebrate. Please don’t lose site of the fact that this is a BIG deal! You are empowering yourself to take charge of a situation in your own professional setting. You’re not waiting for things to “filter down” from educational research or from your state department of education. YOU are taking the lead on finding ways to do YOUR work better and more effectively. Take time, find ways, and collaborate to celebrate these professional successes.

My sincere advice to educational action researchers everywhere:

Share . . . disseminate . . . and celebrate!

CHAPTER 5 Collecting Data

Chapter 5  Organizer

· Qualitative Data Collection Techniques

· Observations

· Interviews

· Journals

· Existing Documents and Records

· Reflective Teaching

· Characteristics of Qualitative Data: Accuracy, Credibility, and Dependability

· Quantitative Data Collection Techniques

· Surveys, Questionnaires, and Rating Scales

· Checklists

· Formative and Summative Classroom Assessments

· Standardized Test Scores

· Characteristics of Quantitative Data: Validity and Reliability

· Notes About Ethics and Data Collection

· Related Websites: Advice and Guidelines About Data Collection

· Summary

· ➤  Questions and Activities

· ➤  Key Terms

· ➤  Student Study Site

In this chapter, we enter into the second stage—the acting stage—of conducting a classroom-based action research project. Recall that the acting stage is composed of data collection, which will be discussed in the present chapter, and data analysis, the topic for Chapter 6. As you will soon learn, there are numerous techniques that can be used to collect both qualitative and quantitative data for your teacher-led action research studies.

5.1 Qualitative Data Collection Techniques

Recall that qualitative data are narrative; that is, the data themselves are words. These “words” may appear in the form of interview transcripts, observational notes, journal entries, or transcriptions of audio- or videotapes or as existing documents, records, or reports. They may be collected using a variety of techniques, but it is important to remember that the resulting qualitative data will always consist of descriptive, narrative accounts.

Observations

As human beings, we are constantly observing and taking note of the world around us. Furthermore, as teachers, we are constantly observing our students. However, on a daily basis, we typically observe our surroundings in somewhat of a haphazard manner—something more akin to “watching” than observing. Observations, as a means of collecting qualitative data, involve carefully watching and systematically recording what you see and hear going on in a particular setting (Schmuck, 1997). Observations can be extremely useful in certain situations where other forms of data collection simply will not work, such as when teachers want to check for students’ nonverbal reactions to something that is occurring in the classroom or when students are working in small groups in order to better understand how they interact and communicate with one another.

Classroom observations can range from highly structured to semistructured to unstructured (Parsons & Brown, 2002; Schmuck, 1997). Structured observations typically require the observer to do nothing else but observe, looking usually for specific behaviors, reactions, or interactions. Because so many other things are going on in a given classroom when observations are being made, it is often difficult to conduct structured observations. Classroom-based action research should never be done at the expense of your teaching (Hubbard & Power, 2003; Johnson, 2008); it should be done only in order to enhance and inform your teaching. Unstructured or semistructured observations allow the practitioner-researcher the flexibility to attend to other events or activities occurring simultaneously in the classroom or to engage in brief but intense periods of observation and note taking (Hubbard & Power, 2003). In addition, unstructured observations are more typical of qualitative data collection, since they are “free flowing,” allowing the practitioner-researcher to shift focus from one event to another as new and perhaps more interesting events arise (Leedy & Ormrod, 2005).

Schmuck (1997) discusses several advantages of conducting classroom observations. First, teachers can gather data about actual student behaviors, as opposed to asking students to report their perceptions or feelings. Second, this enables the teacher to see some things that students might not be able to report on themselves. Finally, as you will see shortly, such devices as videotape recorders allow teachers to “observe” even more than they would normally be able to with their own eyes.

However, conducting observations also has its limitations (Schmuck, 1997). First, the simple presence of the teacher as a “data collector”—with notebook and pencil or perhaps a video recorder in hand—can change student behavior. There is a great potential for them to behave differently or to say different things if they know that they are being watched carefully. Second, in cases where specific behaviors are sought, and since behavior can be adversely affected because of the presence of an observer, the practitioner-researcher may have to wait for extended periods of time in order to observe the desired behavior. Still, the desired behavior may never occur, even if it is a normal, everyday occurrence. Finally, if teachers are working together on an action research project, different observers may see different things, even while observing the same event.

Classroom observations are usually recorded in the form of field notes. Field notes are written observations of what you see taking place in your classroom (Johnson, 2008). It can sometimes be overwhelming to try to record everything that you see, especially when trying to determine what is important (and, therefore, worth recording) and what is not. Johnson (2008) advises practitioner-researchers to simply “stop thinking and just write what you see” (p. 83). As you observe and record what you see, you will undoubtedly begin to focus on things that are interesting or important. As you make observations over time, patterns will begin to emerge from the data you have collected.

When recording field notes, you may want to consider dividing each page of your notebook into two columns. You should use the left column for recording your actual observations and the right column for noting preliminary interpretations of what has been observed (Leedy & Ormrod, 2005). Bogdan and Biklen (2007) refer to these interpretations as observer’s comments or OCs. Observer’s comments often shed light on the emerging patterns from your observational data. Including observer’s comments in your observation notes is also one way to integrate reflection into the process of action research. The separation of these two types of commentaries is critical so that actual observations are not confused with what you think the observed event means. Teachers conducting action research studies need to remain as objective as possible in the records kept and data collected. As an aside, this need for objectivity also dictates that you not censor what you record in your notes with your “teacher’s eyes”—do not hesitate to record something even if it reflects negatively on your teaching (Hubbard & Power, 2003); after all, you are trying to learn about and improve your professional practice. In addition, interpretations of observations may change over time as you collect more data; having a record of these changing interpretations can be invaluable over the course of your study. An example of a page from a book of field notes that I recorded several years ago during a study of positive reinforcement in a preschool setting, depicting this two-column format of actual observations and associated observer’s comments, is shown in Figure 5.1.

Figure 5.1 A Sample Fieldnote Page, the Left Column Showing Actual Observations and the Right Column Showing Preliminary Interpretations

Written field notes can become problematic, however. They are often insufficient to depict the richness and the details of what one is observing (Leedy & Ormrod, 2005). Videotapes can provide assistance as a tool for recording observations, although they are not without their respective limitations, as well. Background noises may prevent you from hearing that on which you were hoping to focus your videotaped observation. Furthermore, video cameras can only capture what is happening in a given direction (i.e., the direction the camera is facing). Leedy and Ormrod (2005) suggest that, prior to beginning any formal observations, researchers should experiment and become familiar with various methods of recording observations in order to find what works best for the particular setting and situation. It is, however, important to remember that whatever mechanism you use to record your observations, you simply cannot physically record everything that you see or that is happening (Mills, 2011); it is best not to put pressure on yourself to try to do so.

On a practical note, several tips may facilitate your observations and the development of your observation skills. If you decide to observe and to record those observations using field notes, you may want to consider carrying a clipboard or legal pad with you for several days prior to beginning your observations and recording any field notes. It is important that the act of recording field notes becomes a part of your daily routine, as opposed to something that “feels” unfamiliar, extraneous, or irrelevant. Similarly, if you decide that you will record your observations through the use of a video camera, you may want to set up the camera several days in advance of your recording. This is important because both you and your students or other participants will be more comfortable being videotaped if you and they are accustomed to seeing the camera in the classroom. Again, it becomes part of the daily routine or setting.

Interviews

An alternative to observing people is to directly ask them questions. This can be accomplished in several ways. Interviews are conversations between the practitioner-researcher and participants in the study in which the teacher poses questions to the participant (Schmuck, 1997). Interviews can be conducted with individuals or with groups. It is best to prepare an interview guide, containing either specific or general questions to be asked prior to conducting any interviews.

Similar to observations, interviews are typically classified as being structured, semistructured, or open-ended. In a structured interview, the researcher begins with an interview guide consisting of a specific set of predetermined questions. Those questions—and only those questions—are asked of each person being interviewed. This is typically done for the sake of consistency. Interestingly, consistency is usually not a concern when collecting qualitative data; it is typically more desirable for the researcher to have some flexibility and to be able to ask clarifying questions (not initially included on the interview guide), to pursue information not initially planned for, and to seek different information from different people (Leedy & Ormrod, 2005).

When gathering truly qualitative data, interviews are probably best conducted following semistructured or open-ended formats. In semistructured interviews, the researcher asks several “base” questions but also has the option of following up a given response with alternative, optional questions that may or may not be used by the researcher, depending on the situation. When developing interview guides, it is best to keep your questions brief, clear, and stated in simple language (Johnson, 2008; Schwalbach, 2003). For example, if we were interviewing students regarding their opinions of our school, we might ask the following questions, where the italicized questions represent the optional, follow-up, probing questions:

· What do you enjoy most about this school?

· Why do you enjoy that aspect so much?

· Do you think other schools have this particular benefit?

· What is your favorite academic subject?

· Why is that your favorite subject?

· Do you have any others?

· What about extracurricular activities? Are there any that you participate in?

· Which are your favorites? Why?

· What do you like least about this school?

· Why do you like that so little?

· Is there anything that the principal or teachers could do to improve that aspect?

The semistructured interview guide that I used in my positive reinforcement study is shown in Figure 5.2, and a portion of the transcript from one interview that I conducted is shown in Figure 5.3.

Open-ended interviews provide the respondent with only a few questions, very broad in their nature. The intent is to gather very different kinds of information from different individuals, depending largely on how each interprets the questions. For example, an open-ended series of interview questions about school climate might include the following:

· What does “school” mean to you?

· What do you like about school?

· What do you dislike?

Figure 5.2 A Sample Semistructured Interview Guide

Figure 5.3 Portion of a Transcript From a Semistructured Interview, Using the Guide Shown in Figure 5.2

As mentioned earlier, interviews are conducted not only with individuals but also with groups. A focus group is the name given to simultaneous interviews of people making up a relatively small group, usually no more than 10 to 12 people (Leedy & Ormrod, 2005). This type of interview typically lasts between 1 and 2 hours. Focus groups are especially useful when time is limited and because people often are more comfortable talking in a small group, as opposed to individually. Furthermore, interactions among the focus group participants may be extremely informative because of the tendency for people to feed off others’ comments. However, when conducting a focus group interview, it is important to ensure that each participant is provided with the opportunity to speak and share her or his perspective (Mills, 2011). There can be a tendency for one or two individuals to dominate the discussion; it is the responsibility of the practitioner-researcher to closely monitor the discussion in order to prevent this from happening. The set of guiding questions I used for a study incorporating data collected via a focus group is provided in Figure 5.4.

Upon completion of the above questions, explain to the participants that the meeting is about to end. Ask them to take a moment and think about what has been discussed. Then, one by one, ask them if they have any additional comments. If necessary, explore relevant or new comments in greater depth.

Figure 5.4 Sample of Guiding Questions Used for a Focus Group Interview

Qualitative data may also be collected via the use of e-mail interviews (Mills, 2011). With schools becoming increasingly networked, practitioner-researchers can easily collect data from colleagues, parents, and students by sending out a series of questions in an e-mail message. One benefit of doing so is that when the respondent replies to your e-mail questions, the transcription of the interview has already been done for you. However, you must be cautious of possible ethical complications and realize that e-mail responses are not necessarily anonymous or confidential (Mills, 2011). Other individuals who may have access to a server may be able to intercept e-mail responses from targeted respondents.

Hubbard and Power (2003) also remind practitioner-researchers not to forget about the value of informal interviews—that is, those that are spontaneous, that take place throughout the data collection process, and that are typically part of the daily interactions with students in a classroom setting. Teachers are constantly asking students questions, trying to gather various types of information from them.

Schmuck (1997) provides a discussion of the relative advantages and limitations of conducting interviews as part of action research studies. Advantages include the fact that interviews permit the practitioner-researcher to probe further and ask for clarification in a participant’s response to a given question. In addition, data can be collected—and, therefore, preserved—through the use of audio- and videotapes, although you want to be sure that individuals being interviewed are not made to feel uncomfortable by the presence of an audio or video recorder. Finally, for respondents who cannot or who are unwilling to share their thoughts, feelings, or perceptions in writing, sitting down and carrying on a conversation with them is often a reasonable alternative. On the other hand, interviews can be extremely time-consuming. Not only does it take time to collect data from individuals during a verbal conversation; before the data can be analyzed, the interviews must be transcribed so that the responses can be read and processed. The general rule of thumb that I learned in my graduate school days is that for every hour of audiotaped interview, you can expect approximately 8 to 9 hours of transcription work, depending on the quality of the recording. Other limitations of interviews include the fact that respondents are not able to retain their anonymity. Many people are simply uncomfortable with a tape recorder lying on the table between them and the interviewer. Finally, respondents often fear that something they have said may be used against them at some point in the future. An additional responsibility of the practitioner-researcher is to put the mind of the interviewee at ease about such possibilities.

Journals

Data journals may be kept by both teachers and students and provide valuable information on the workings of a classroom (Mills, 2011). In a way, student journals provide information similar to homework to the teacher, in that teachers can gain a sense of students’ daily thoughts, perceptions, and experiences in the classroom. Teacher journals can similarly provide practitioner-researchers with the opportunity to maintain narrative accounts of their professional reflections on practice. They truly become an ongoing attempt by teachers “to systematically reflect on their practice by constructing a narrative that honors the unique and powerful voice of the teachers’ language” (Mills, 2011, p. 86) by reflecting not only observations but also the feelings and interpretations associated with those observations.

Class journals are another means of incorporating journaling into your action research data collection. A class journal is a less formal version of a student journal. Johnson (2008) suggests that a blank notebook be passed around the class on a periodic basis or put in a learning center for an extended amount of time. Students are encouraged to enter their thoughts, ideas, perceptions, feedback, or other forms of response, such as pictures or diagrams, as they wish. Teachers may want to provide some sort of guidelines for making entries into the class journal so that it does not become a “quasi-teacher-approved” form of graffiti that may be offensive to other students (Johnson, 2008).

Existing Documents and Records

Often, action research necessitates the gathering of data that already exist. Schools and school districts are veritable treasure troves of existing data. These data are essentially anything collected for a reason other than the action research study but are now being used as data for the study. These existing documents and records might take several forms, including (at the individual student level) curriculum materials, textbooks, instructional manipulatives, attendance records, test scores, previous grades, discipline records, cumulative folders, and (at the school or district level) attendance rates, retention rates, graduation rates, newspaper stories about school events, minutes from faculty or school board meetings, and standardized test scores perhaps disaggregated by grade level, gender, or ethnicity (Johnson, 2008; Mills, 2011; Schmuck, 1997). These various sources and types of data tend to be very under-utilized, especially for purposes of conducting action research. However, a word of caution is in order: Whenever using existing data, it is critical to make sure to follow your school district’s approved procedures for securing access to these various types of data and that you use and report the results of any analyses in an ethical manner (Johnson, 2008).

Collecting existing data on students can sometimes become overwhelming—there may be so much information you want to collect. The dilemma often faced by practitioner-researchers is how to organize that information. A nice organizational tool that can aid in your organizational efforts is to record data on a common data form. In other words, you develop for your specific purposes and use a single form as a means of compiling various types of information, as opposed to having a conglomeration of loose papers stuffed in a file folder, for example. Several years ago, I was involved in a study that examined student attendance records, reasons for school absences, discipline referrals, and referrals for special programs and social services. That was a good deal of information to collect on each student. However, I designed a data collection form (see Figure 5.5) that allowed us to collect this wide variety of information on a single form, thus organizing and encapsulating it at the same time.

Video Clip 5.1 View a clip of Dr. Mertler discussing important considerations for data collection.

One possible type of existing “data” that should not be overlooked is that of classroom artifacts. Classroom artifacts include any written or visual sources of data, contained within the classroom, that contribute to our understanding of what is occurring in classrooms and schools (Mills, 2011). This source of existing data primarily incorporates work done by students as part of their schoolwork but is now used as data for action research purposes (Hubbard & Power, 2003). Such items as student portfolios or products resulting from the administration of a performance-based assessment or such less formal artifacts as students’ responses to a teacher’s request to explain the solution to a constructed-response mathematics problem can serve as prime examples of student-produced classroom artifacts.

Reflective Teaching

A final source of (usually) qualitative data is a process or instrumentation for examining your own teaching. Reflective practice is a huge theme that undergirds the action research process, so it only makes sense that it can also provide data the for action research cycle. Instrumentation that might help an educator more closely examine his or her actual practice can be immensely helpful in diagnosing areas in need of improvement when it comes to classroom instruction. These types of reflective data can be collected through self-evaluations, peer observations, daily journals or diaries (either individual or collaborative), or videotaping actual lessons. When reflecting on your own teaching, it is important to factor in three aspects: (1) the actual event or lesson, (2) the recollection of the event or lesson, and (3) reviewing and responding to what actually occurred during the event or lesson. While all steps are important, this third step is crucial because it is where any follow-up action takes place.

Figure 5.5 Sample of a Data Collection Form for Existing Student Data

Characteristics of Qualitative Data: Accuracy, Credibility, and Dependability

When collecting data for action research studies, it is important for practitioner-researchers to ensure the quality of their data. If data collected for the study are imprecise or if the researcher has actually measured something other than what was intended to be measured, at a minimum the data will be inaccurate and misleading. The larger concern here is that if the action research study is continued to its logical “end,” the results of the study will follow suit: They too will be inaccurate and misleading. If that occurs, you have essentially wasted your time—not to mention that of your colleagues, students, parents, and anyone else involved in your study.

Validity of research data deals with the extent to which the data that have been collected accurately measure what they purport to measure (i.e., that which we intended to measure; Mills, 2011). When dealing with the validity of qualitative data, researchers are essentially concerned with the trustworthiness—for example, the accuracy and believability—of the data. Trustworthiness is established by examining the credibility, transferability, dependability, and confirmability of qualitative data. Gay, Mills, and Airasian (2009) and Trochim (2002c) have described each of these characteristics of qualitative data as follows:

· Credibility involves establishing that the results of qualitative research are credible, or believable, from the perspective(s) of various participant(s) in the research. A researcher must consider and incorporate into data collection and analysis all of the complexities of the study and address issues that are not easily explained.

· Transferability involves the provision of descriptive and contextualized statements so that someone reading the study can easily identify with the setting. Remember, in qualitative studies—as well as in action research—the goal is not to generalize findings to other settings but instead to have a clear and in-depth understanding of this particular setting.

· Dependability emphasizes the need for the researcher to account for the ever-changing context within which qualitative research occurs. The researcher is responsible for describing the changes that occur in the setting and how these changes affected the way the researcher approached the study; this helps ensure the data are stable over time.

· Confirmability is a process of establishing the neutrality and objectivity of the data.

Maxwell (as cited in Gay et al., 2009) has provided criteria for establishing the validity of qualitative research, using concrete actions that can be taken by the researcher. These five criteria, if incorporated into any research study utilizing qualitative data, can contribute to the overall trustworthiness of the data and research (Mertler, 2016).

1. Descriptive validity—This is the factual accuracy of the account provided in the research. Researchers must be sure not to distort, manipulate, or fabricate events based on inferences.

2. Interpretive validity—This refers to the accuracy of the interpretations of participants’ behaviors and words and concern that their perspectives are accurately represented.

3. Theoretical validity—This concerns the extent to which this study, and its final report, relate the phenomenon being studied to a broader theory.

4. Evaluative validity—This refers to the extent to which the researcher behaved objectively enough to report the data and findings in an unbiased manner, without making evaluations or judgments of the collected data.

5. Generalizability—This has to do with the extent to which the findings can be extended and are applicable both within the community that was studied, as well as to settings that were not studied by the researcher.

There are three common practices, typical aspects of any qualitative research study, that can help ensure the trustworthiness of your data. A key aspect of these strategies requires practitioner-researchers to continually check their perceptions to ensure they are not being misinformed and what they think they are seeing and hearing are actually what they are seeing and hearing (Fraenkel, Wallen, & Hyun, 2012). These practices include the following strategies [as adapted from Fraenkel et al. (2012); Gay et al. (2009); and Mertler (2016)].

· Use a variety of instruments, methods, and sources to collect data. Research findings that are supported through the use of multiple methods and sources of data collection will only serve to enhance the validity of those findings. This process of using multiple methods, data collection strategies, data sources—and perhaps even multiple researchers (Glesne, 2006)—is known as triangulation. Triangulation is an inherent component of mixed-methods research designs, which—as you learned in Chapter 4—tend to be more closely aligned with action research studies than qualitative or quantitative data alone (Ivankova, 2015). A given finding is supported by integrating inferences and demonstrating that independent measures of it tend to agree with each other or at least do not directly contradict each other (Hubbard & Power, 2003; Ivankova, 2015). For example, when you observe Susan actually doing something she has told you in an interview she does, and that is also indicated on an open-ended questionnaire (see Figure 5.6), you likely will have more confidence in concluding that it is probably an accurate depiction of Susan’s practice. In other words, your interview data have been supported by your observation data and by the questionnaire responses. Had any of the three sources of data contradicted each other, you likely would have arrived at a different conclusion, perhaps that Susan was telling you what you wanted to hear, although in reality she did not practice it.

· Engage in persistent and prolonged participation at the study site. The length of time you spend observing, interviewing, and participating in the site is critical in research using qualitative data. The more time you spend, the more likely you will be able to determine what is typical, atypical, and/or problematic within the setting. The idea here is that you spend a substantial amount of time “in the field,” so to speak; the more time spent productively observing, and interacting and engaging with the participants, the more you are able to develop trust with and get to know your participants, learn the culture of their setting (whether it be a classroom or school building), and observe patterns of behavior to the point of being routine (Glesne, 2006). Observing or interviewing only once or twice will not afford you this luxury.

Figure 5.6 Triangulation of Three Sources of Data

· Conduct member checks. Member checking is a process of asking participants who were directly involved in the study to review the accuracy of the research report. This procedure involves the sharing of interview transcripts, analytical thoughts (such as observation notes with observer’s comments), and drafts with the participants of the study. The purpose of sharing these data sources is to make sure you have represented your participants and their ideas accurately (Glesne, 2006).

· Use peer debriefing and external audits as mechanisms for verifying your processes. Peer debriefing is the act of using other professionals (perhaps a colleague or a critical friend) who can help you reflect on the research by reviewing and critiquing your processes of data collection, analysis, and interpretation. An external audit involves the use of an outside individual (again, a colleague, critical friend, etc.) to review and evaluate the final research report. Both of these strategies provide opportunities for different sets of eyes—as well as additional minds—to review and evaluate the research process, which will likely enhance its overall credibility.

· Develop detailed descriptions and notes, and engage in reflexivity. Notes from observations and interviews should be as detailed as possible. In addition, making use of observer’s comments during data collection to document your initial interpretations, assumptions, or biases will be critical in the latter stages of the research study. The process of integrating your own preliminary thoughts and interpretations with your actual observation notes is known as reflexivity.

· Analyze negative cases. Sometimes cases (i.e., people or places) do not fit the pattern that you have observed up to a certain point in the study. Instead of ignoring these negative cases, you should attempt to eliminate the fact that they are negative cases by revising the pattern until these cases fit better or more appropriately. Like many of the above techniques, this is sometimes facilitated through prolonged time spent in the setting.

5.2 Quantitative Data Collection Techniques

In contrast to qualitative data, quantitative data are numerical. Anything that can be quantified (i.e., counted, calculated, tallied, and rated) can be considered quantitative data. This includes not only items that can be counted but also ratings of one’s feelings, attitudes, interests, or perceptions on some sort of numerical scale. Quantitative data collection techniques include surveys, questionnaires, checklists, and rating scales as well as tests and other more formal types of measurement instruments. Generally speaking, quantitative data collection techniques are more efficient, in that you can collect data from numerous individuals simultaneously. However, the depth of those data does not begin to compare to that resulting from the use of qualitative techniques.

Surveys, Questionnaires, and Rating Scales

The term survey refers to a collective group of quantitative data collection techniques that involve the administration of a set of questions or statements to a sample of people. Surveys may be administered verbally—which then make them a type of interview—although the resulting data are numerical instead of narrative or in written form. Surveys that are administered in written form, where the researcher asks participants to answer a series of questions or respond to a series of statements and then return their responses to the researcher, are known specifically as questionnaires. Surveys and questionnaires permit the practitioner-researcher to gather a lot of—as well as a variety of—information relatively quickly (Johnson, 2008). There is not much that limits your use of surveys and questionnaires. They may be simple or complex; they can be composed of open-ended questions (where individuals provide their own responses) or of closed-response rating scales (where individuals simply select their response from a set of options provided to them). They may even contain a combination of the two types of questions or statements. Analysis of responses to open-ended items—which are, admittedly, more qualitative in design than are closed-response items—may often reveal unexpected thoughts and feelings from students, the likes of which you may not have been able to anticipate in order to develop closed-response items to address those particular thoughts and feelings (Schmuck, 1997).

A closed-response question or statement provides the respondent with a number of choices from which to select. For example, consider the following item:

What is your favorite subject in school?

· English

· Mathematics

· Science

· Social studies

Students would be instructed to select one of the four possible responses. This type of question is easily quantifiable; you simply count the number of students who select each option. Furthermore, it is relatively easy to report the “results” of this item. You might summarize your data and conclude the following:

· Science = 35%

· Math = 25%

· English = 25%

· Social studies = 15%

It is important to realize that this type of question may be misleading or controlling (Johnson, 2008). If in our example, the favorite subject of a given respondent is a foreign language class, how is that person supposed to respond to the question? Any option that person selects will actually provide inaccurate information. One alternative is to anticipate such an occurrence by revising the item to read as follows:

What is your favorite subject in school?

· English

· Mathematics

· Science

· Social studies

· Other:

Open-ended items allow the respondents to provide a seemingly limitless number of responses. For example, we could have reworded our “favorite subject” question as an open-ended question by simply asking: What is your favorite subject in school?

Here we might get a wide variety of responses. It is then the responsibility of the researcher to “analyze” the resulting data by grouping similar items together and then tallying the number of responses in each category. The result might look like this:

· Science = 26%

· English = 25%

· Geometry = 15%

· Social studies = 15%

· Math = 10%

· Art = 5%

· Physical education or health = 2%

· “I don’t know” or “I don’t have a favorite subject” = 2%

Obviously, this form of the question provides a more accurate sense of what students really like. The only problem associated with asking open-ended items like this is that you have the sometimes messy task of grouping responses into similar categories before you can count the responses (Johnson, 2008).

The main difference between a survey or questionnaire and a rating scale is that surveys are more appropriate for content-based types of questions (similar to our example above), whereas rating scales are appropriate when asking individuals to respond to a set of questions where their response indicates the strength (e.g., the extent of agreement, level of frequency, degree of understanding) of that response (Johnson, 2008). Rating scales can be used very effectively to measure students’ attitudes, perceptions, or behaviors. There are two main types of scales that appear in items on a rating scale: Likert and Likert-type scales. A Likert (pronounced “lick-ert”) scale begins with a statement and then asks individuals to respond on an agree/disagree continuum. The Likert scale typically ranges from strongly agree to strongly disagree. I typically recommend using a 5-point scale, with the 5 points defined as follows:

· 1 = strongly disagree

· 2 = disagree

· 3 = no opinion

· 4 = agree

· 5 = strongly agree

There tends to be quite a bit of disagreement among those with expertise in conducting research through the use of surveys regarding the appropriateness of including a neutral point on a scale. By including it, you allow your respondents to indicate that they truly are neutral or have no opinion, if in fact that is the case for them. However, if provided with a neutral option, there is a tendency for people not to think much about how they truly feel; they simply select the neutral option, which may not represent their true belief (i.e., the data they provide are inaccurate). On the other hand, if individuals truly are indifferent or have no opinion and you do not provide this option—because you are operating under the assumption that no one is truly neutral about anything—you “force” them to choose something that they do not really believe, thus providing inaccurate data once again. There is no right or wrong when it comes to deciding on the inclusion of a neutral point on your rating scale. However, you should consider the implications of both including and excluding such a point and then design your scale accordingly. Figure 5.7 presents a portion of a rating scale that I used in a study that focused on students providing their teachers with feedback on their classroom teaching. Notice the format of the Likert-scaled items. Also notice that a higher number corresponds to a higher level of agreement with a given statement.

A similar type of scale is a Likert-type scale. This type of scale also exists on a continuum, but something other than extent of agreement is being measured. For example, a Likert-type item might require participants to respond on a scale that examines quality (“excellent . . . poor”), frequency of occurrence (“always . . . never”), or level of comfort (“very comfortable . . . not at all comfortable”; Mertler & Charles, 2011). An example of a Likert-type scale, used in a study of prekindergarten-to-kindergarten transitions, is shown in Figure 5.8.

I want to mention one more thing about using surveys and rating scales with students. Practitioner-researchers need to be sure that the various aspects—not just the reading level—of the instrument are appropriate for the age or grade level of students. Although I recommended earlier that a 5-point scale is typically appropriate, one could see how that might create difficulties for young children—they obviously would not be able to discriminate between adjacent points on the scale. However, do not shy away from using such data collection instruments with younger children. You would likely provide fewer options on the scale and perhaps even use graphics for the children to respond to. Several years ago, I was part of a research team that attempted to “survey” kindergarten students as part of the prekindergarten-to-kindergarten transitions study. We had the teachers read the statements to the children and then asked them to put an X through the face that represented how they felt (see Figure 5.9).

Figure 5.7 Portion of a Rating Scale Instrument Depicting a Likert Scale

Figure 5.8 Portion of a Rating Scale Instrument Depicting a Likert-Type Scale

Unfortunately, the children had no idea—and our explanations did not help at all—what the numbers were for. They were instructed to locate the number “1” on their response sheet, as the teacher read the first statement number, and then place their X on the appropriate face. After the first few statements, we realized that they were simply placing the X over the same faces in the first row. Several of the children had response sheets that looked like the image below left.

Obviously, you can see the problems that this created with respect to the accuracy of our data! On the spur of the moment, we decided to revise the nature of the response sheet and came up with what you see in Figure 5.10. Using this format, we could direct the children’s attention to the box with a certain image in it and have them place their response only in that box.

Figure 5.9 Rating Scale Instrument Used With Young Children

Figure 5.10 Revised Version of the Instrument Presented in Figure 5.9

The Internet has helped facilitate the collection of data through the use of surveys and other types of self-reporting response systems. There is a wide variety of online survey websites, such as SurveyMonkey (http://www.surveymonkey.com), Checkbox (http://www.checkbox.com), Zoomerang (http://www.zoomerang.com), and Poll Everywhere (http://www.polleverywhere.com). Many of these are very affordably priced and allow you easy access to survey design and administration. Many of them also perform varying degrees of data analysis upon completion of data collection.

The advantages of surveys and rating scales include the fact that they are very effective at gathering data concerning students’ attitudes, perceptions, or opinions. They are essentially written versions of structured interview guides, where individuals respond to a specific set of questions in writing, as opposed to responding orally. Rating scales and other closed-response items can be answered, and the responses can be tallied or counted quickly. Integrating the use of computer software can make this process of tallying even quicker.

There are, of course, also limitations to the use of surveys for action research projects. Analyzing responses to open-ended items can sometimes be time-consuming, because of the fact that responses may be ambiguous (Schmuck, 1997). This limitation can be overcome by replacing open-ended items with rating scales or other closed-response items. Another limitation is that if the practitioner-researcher is not clear about an individual response, there is no opportunity or mechanism for asking respondents to clarify their answers, as with interviews.

At this point, I would like to offer several suggestions—adapted from several sources (Johnson, 2008; Mills, 2011; Schmuck, 1997; Schwalbach, 2003)—regarding the development and use of surveys and rating scales as means of collecting action research data. When developing a new instrument, it is important to apply the following:

· Each item should focus on a single idea or concept.

· Do not use too many questions or questions that are not necessary or are repetitive.

· Keep the length of the survey brief and the reading level relatively easy; failing to do so often results in respondents not completing the instrument or providing you with inaccurate information.

· If you are designing a rating scale, keep the response scale consistent throughout the survey. Otherwise, respondents can become confused or may provide you with inaccurate data.

· Consider using both closed-response and open-ended items, in order to realize the benefits of both.

· Do not use leading questions; a good survey or rating scale is one that contains objective items.

· Always proofread your survey—and perhaps have someone else proofread it too—before you administer it to your participants.

Video Clips 5.2 & 5.3 View clips of practitioner-researchers discussing data collection.

Checklists

A checklist is a list of behaviors, characteristics, skills, or other entities that a researcher is interested in investigating (Johnson, 2008; Leedy & Ormrod, 2005). The primary difference between a checklist and a survey or rating scale is that checklists present only a dichotomous set of response options, as opposed to some sort of continuum. Instead of indicating the extent, degree, or amount of something, checklists enable the practitioner-researcher to indicate simply if the behavior or characteristic is observed or present or if it is not observed or present. Checklists are quicker for the practitioner-researcher to use than are surveys and rating scales; however, they provide data that are not nearly as detailed as those resulting from the use of rating scales.

If you are observing students of any age and are using a checklist to record behaviors, you will want to keep the list of behaviors or characteristics to a manageable number. Otherwise, you may become overwhelmed with the sheer volume of things you must observe and record on the checklist. A sample student checklist is presented in Figure 5.11.

Formative and Summative Classroom Assessments

When the focus of your action research study is on student learning, multiple sources of data can be utilized to help you answer your research questions. Many of these data are types that are routinely used in the day-to-day process of providing instruction to students and then assessing their mastery of those instructional objectives or units. Formative classroom assessments are those assessments that are administered during instruction, for the purposes of determining what sort of adjustments should be made to that instruction while it is still ongoing (Mertler, 2003). Formative assessments primarily include those that are informal and often administered spontaneously, such as observations, oral questioning, and student reflections.

Figure 5.11 Sample Student Checklist Looking at Independent Reading at the Elementary Level

Summative classroom assessments are those assessments that are administered after a substantial period of instruction (e.g., following completion of an instructional unit, end of a semester, end of a course), for the purposes of making administrative decisions, such as assigning final grades or simply providing a more broad overview of student achievement (Mertler, 2003). Summative assessments are more formal and their administration is usually scheduled in advance. Included here would be chapter tests, unit tests, end-of-course tests, major performance-based projects (e.g., research reports, research-based presentations)—typically any assessment that would measure student achievement and span numerous instructional objectives and/or skills. Other formal assessment instruments that might be included here are scores on homework assignments and quizzes and final semester or course grades. If they are included as data in your action research study, it is important that they not be the only source of data (Johnson, 2008).

The advantage of using formative and summative assessments as sources of data in action research studies is that they are typically another type of “existing” data—not at the school or district level but rather at the teacher or classroom level—in that they are routinely administered during the teaching-learning process. Therefore, incorporating these sources of data can facilitate conducting the study and make it somewhat more feasible, since designing data collection instruments specifically and only for the study is not necessary. However, the disadvantage of using these data is the potential mismatch with the goals of your study. The conscientious and professional practitioner-researcher must ensure that these instruments will provide the data specifically required to answer the research questions stated at the outset of the study. Otherwise, these data—from the perspective of the action research study—are potentially meaningless.

In addition, there may be instances—depending on the nature of the questions and design of your action research study—where you might design a pretest and posttest specifically to measure changes that (hopefully) occur as a result of exposing students to some sort of instructional “treatment” or intervention. In this case, these may not be considered as existing data, since you designed and administered them with a specific research-related purpose in mind. They do, however, remain an important source of quantitative data.

Standardized Test Scores

Standardized test scores can also be used as sources of quantitative data. It is important to realize that these “formal” data collection instruments would also be considered “existing records,” since they are administered to students as a regular part of classroom instruction and district-level accountability. Again, if these types of data are to be included in your action research study, it is advisable that they not be the only source of data; they can be supplemented with more “local” sources of data, such as observations, self-developed surveys, or other forms of existing data.

People in general, but especially educators, tend to have strong opinions when it comes to standardized tests. Regardless of how you might feel about them, they are a source of data that can be used to help answer a research question or address an instructional problem with which you might be struggling. I have argued for many years that since we are required to administer these types of assessments to our students and since we receive their scores (usually both as individual scores and as aggregated scores), why not find a productive way to use them to help us make better-informed decisions about our instruction, curriculum, assessments, and so forth. The following quote summarizes my sentiments:

I honestly don’t know anyone who loves standardized testing! But the standardized testing movement is not going away anytime soon. An examination of its impact on this country’s educational system over the past 40 years will confirm that. Therefore I approach it from this perspective . . . and I strongly suggest that all professional educators adopt a similar attitude. Anytime we are given the responsibility of making decisions about children, we need as much information as possible in order for those decisions to be as accurate as possible. We ask students questions; we ask them to read to us; we require them to write for us; we test them over units of instruction; we observe them; we encourage them to be creative; we engage them in performance based tasks; etc. The results from standardized tests are just another source of information—about student learning, about our teaching, and about our curriculum. Please use them as such—add them to your long list of various sorts of information about student learning. They can only help improve the accuracy of the decisions that we make about our students, as well as our own instruction. (Mertler, 2007, p. xii)

A Planning for Data Collection template appears in Appendix C and can also be found as an interactive PDF on the Student Study Site.

Characteristics of Quantitative Data: Validity and Reliability

Validity is an essential quality in quantitative research data and has to do with whether the data are, in fact, what they are believed or purported to be—in other words, did we actually measure what we intended to measure, based on the focus of our research? Though any data that you might collect may be entirely accurate, the critical factor is whether or not it is appropriate and accurate for your purposes (i.e., does it enable you to accurately answer your research questions?). For example, imagine that a reading teacher uses the results from the reading portion of a standardized test to group her students into above-average, average, and below-average reading groups. Then imagine that a social studies teacher uses those same reading scores to identify students who he believes would be successful in an advanced placement history course. The first interpretation and use of the scores is valid; the second is not. In terms of the social studies teacher’s use of the data, it was invalid for the purpose for which they were used. The determination of the validity of data ultimately has a substantial effect on the interpretation of those data, once they have been analyzed, and the subsequent conclusions drawn from those results (Mertler & Charles, 2011).

Currently, validity is seen as a unitary concept (AERA, APA, & NCME, 1999), combining that which has been previously described as four distinct types of validity: content, concurrent, predictive, and construct. It is defined as the “degree to which all the accumulated evidence supports the intended interpretation of test scores for the proposed purpose” (p. 11). Validity of quantitative data can be determined through the examination of various sources of evidence of validity. Although similar to the four outdated types of validity, the five sources of validity evidence are unique in their own right (Mertler, 2016). These five sources of evidence of validity are as follows:

· Evidence of validity based on test (or instrument) content—This is evidence based on the relationship between the content of a test (or other data collection instrument) and the underlying characteristic it is trying to measure.

· Evidence of validity based on response processes—This source of validity evidence often results from the analysis of individual patterns of responses on an instrument.

· Evidence of validity based on internal structure—This evidence results from an examination of the relationships among individual items appearing on the instrument and the underlying characteristic intended to be measured.

· Evidence of validity based on relations to other variables—Analyses of the relationships between test scores and other measures of the same or similar constructs can provide evidence of the validity.

· Evidence of validity based on consequences of testing—Any type of data collection is done with the expectation that some benefit will be realized from the intended and appropriate use of the scores. The process of validation should indicate whether these specific benefits are likely to be realized.

Many of these sources of validity evidence are more appropriate for large-scale testing programs, especially where it is important for the results to be generalizable to much larger populations than simply those individuals included in a research study. Since this is not a purpose or goal of classroom-based action research, I am suggesting that practitioner-researchers be most concerned with evidence of validity based on instrument content. This source of evidence is based on the relationship between the content addressed on a test or on another instrument used for data collection and the underlying construct (or characteristic) it is trying to measure. For example, assume we wanted to survey students to determine their attitudes toward learning mathematics. We would want to ensure that the questions we asked on the survey dealt directly with various aspects of learning math, not learning in any other subject areas or questions that were completely extraneous to the construct of “learning mathematics.” As another example, consider a test you might administer to students on their understanding of the process of photosynthesis. If you wanted to be able to draw conclusions specifically about their understanding of this scientific process, you would need to be sure to ask only questions related to the process. If unrelated questions were also asked of students on the test—and provided that they contributed to the overall score on the test—interpreting the scores as an indication of their understanding only of photosynthesis would not be a valid, legitimate use of those scores. This type of evidence is typically based on subjective, logical analysis of content coverage on the test and can be established by critical review by teachers as well as by the judgments of experts in the particular content field. In other words, although it is a subjective process, it is important for practitioner-researchers to critically examine the individual items and overall content coverage on a survey, rating scale, checklist, test, or quiz in order to ensure that they are measuring what they are intended to measure.

Reliability, a second essential characteristic of quantitative data, refers to the consistency of collected data. If you hear three accounts of a minor car accident from three different individuals but each account differs as to what happened, who was involved, and what the results were, you will likely have little confidence in any of the versions you have heard. In other words, the accounts (the data) are inconsistent and, therefore, unreliable. If, however, each account is essentially similar, the information you have received is consistent and may be considered reliable. Similarly, if you administer a certain test repeatedly under identical circumstances but find that you get different results each time, you will conclude that the test is unreliable. If, however, you get similar results each time you administer the test, you will consider the results reliable and, therefore, potentially useful for your purposes (Mertler & Charles, 2011).

As with the determination of the validity of quantitative data, there are several methods of determining the reliability of data (Mertler & Charles, 2011), not all of which are appropriate for practitioners conducting action research. Reliability of quantitative data is usually established by correlating the results with themselves or with other quantitative measures. Three different methods are used—test-retest, equivalent forms, and internal consistency. The test-retest method, as well as the equivalent forms method, require two administrations of an instrument. This is usually not feasible for classroom teachers, or for other practitioners engaged in action research. Internal consistency is a statistical estimate of the reliability of a test that is administered only once. For this reason, this type of reliability estimate is typically most useful for practitioners conducting research. One of the easiest internal consistency formulas to use is the Kuder-Richardson formula 21 (also known as KR-21). The resulting statistic will range from 0.00 to 1.00; the closer the value is to 1.00, the more reliable your data are. This is a relatively straightforward calculation, which can easily be conducted using a hand calculator, employing the following formula:

where

K = the number of items on the test or other instrument

SD = the standard deviation of the total scores

x ¯ 

 = the mean of the total scores

We often think of validity and reliability as two distinct concepts, but in fact they share an important relationship (Mertler & Charles, 2011). It is possible for scores obtained from an instrument to be reliable (consistent) but not valid (measuring something other than what was intended). In contrast, scores cannot be both valid and unreliable—if scores measure what was intended to be measured, it is implied that they will do so consistently. Therefore, reliability is a necessary, but not sufficient, condition for validity. When establishing the validity and reliability of your research data, always remember the following adage: A valid test is always reliable, but a reliable test is not necessarily valid (Mertler, 2016).

Previous section

Next section

5.3 Notes About Ethics and Data Collection

In Chapter 4, you learned about numerous ethical considerations that need to be incorporated into any action research project. Because we have been discussing data collection in this chapter, it is critical that we revisit several important issues. Recall that prior to collecting any data—especially if you are doing so outside of the normal, routine activities of a classroom teacher—you should obtain permission from both parents and the students themselves. Also recall that you should let your potential audience help dictate whether or not you need to obtain permission—if faculty and staff in your school will serve as the sole audience for the results of your action research study, you may not need to obtain any sort of permission. However, if you intend to share data that you collect with a broader audience (e.g., journals, professional conference, or even a districtwide presentation), you are obligated to secure permission to use student data in that manner.

Along those lines, once you have collected data—whether it be from students, teachers, or other individuals—you must ensure that you keep those data secure and confidential. At no time should students’ or teachers’ names appear along with their data. One way to accomplish this is to code your participants so that random numbers—and not their names—represent individuals. A master list of the coding scheme can be kept under lock and key, accessible only to you as the classroom researcher. This way, a person outside of your study would not be able to identify individual participants and their respective data. An action researcher’s ability to ensure anonymity and confidentiality of participants and their data is a vitally important component of the action research process and of any action research project.

Writing Up Action Research: Data Collection Methods

This class is made up of thirty-one average and above-average science students. I chose this last class of the day for purely logistical reasons. With only one computer in my classroom, I needed to borrow eleven computers daily from neighboring teachers. Seventh period was the most agreeable period to the other teachers. An extra advantage of using the last period of the day was that students could return the computers after the final dismissal bell and not take valuable class time for this task.

Additionally, I sent home parent surveys with each student in order to solicit and record the parents’ opinions concerning their child’s enthusiasm for learning science. The survey included two questions: How enthusiastic is your child about learning science? How enthusiastically does your child do science activities at home? I used the same rating scale for the parents that I used with the students.

At the beginning of the second six weeks, I introduced a unit on oceanography. Oceanography was used as the unit of study primarily because of the number of resource materials available to the students through the media center. It was during this unit that I began to integrate technology into my curriculum. As the unit was introduced, I asked my students to look through the oceanography chapters in their textbooks and make a prioritized list of the eleven subtopics in physical and biological oceanography they would like to study. Students were grouped according to their interest as much as possible and were assigned to work in groups of two or three to develop a multimedia presentation that would be used as an instructional tool for the other students.

During this period, I began to introduce them to the multimedia computer program, HyperStudio (Wagner, 1994). HyperStudio is a program that allows the user to combine sound, graphics, and animation with text to make creative and entertaining presentations. The introduction of HyperStudio and the development of the student presentations took six weeks to complete.

Source: Hollis, 1995.

During the second week, the class was taped on Monday and Thursday. At the end of the second week, modifications to the student survey were made on questions 1 and 3 due to mixed responses given by students. The modified student survey questions were:

I continued to tape my first-period science class twice a week for a total of 5 weeks. Student surveys were given to all students on a random basis throughout the 5-week period. Journal entries were made daily.

Source: Graham, 1995.

Action Research Portrait 1: Improving Reading Comprehension in a Title I Program

Developing a Plan and Collecting Data

Recall that the purpose of this action research study is to improve students’ reading comprehension skills within a Title I context.

In order to address her initial research question—which proposed to examine differences in students’ reading comprehension skills following the use of revised teacher-developed comprehension items, based on pretest and posttest diagnostic test scores—Kathleen needed to select an appropriate and valid measure of reading comprehension. After reviewing the various diagnostic tests with which she was familiar and had experience administering, Kathleen selected the Woodcock Reading Mastery Test–Revised (Form H) to administer to her reading students in September and in May. From the resulting student score reports, she would extract the Reading Comprehension Cluster score, which appears as a percentile rank. An average score on this subtest is the 50th percentile; Kathleen’s upper-elementary students typically score near the 35th percentile. She obviously hoped to improve that performance over the course of the school year.

Kathleen’s second research question dealt with the perceptions held by both her students and herself regarding the students’ reading comprehension skills. She proposed to collect two forms of data to enable her to address the nature of those perceptions. First, she would conduct daily observations of her students and record both what she saw and any analytical thoughts she may have had while conducting the observations. The focus of her observations would be the degree to which the students could answer oral and written questions after having read a passage from a book. Specifically, she would look for how her students used the strategies for reading comprehension that they had been taught. Second, Kathleen also wanted to periodically ask her students direct questions regarding the use of those reading comprehension strategies. She designed a semistructured interview guide for conducting these student interviews. Her interview guide included the following questions:

· What does “reading comprehension” mean to you?

· Do you have trouble understanding what you read?

· Why do you think you have trouble?

· What helps someone understand what he or she has read?

· Do you ever do any of these things?

· What strategies do you use to help you understand what you read?

· Do you enjoy reading?

Kathleen planned to interview each student at least twice at roughly 2-month intervals during the course of her action research project. She anticipated learning more about their perceptions of reading, in general, and reading for understanding. She was also curious as to whether those perceptions would change over time.

Action Research Portrait 2: Conceptual Understanding of Mitosis and Meiosis

Developing a Plan and Collecting Data

Recall that the purpose of this action research study is to improve students’ understanding of the processes of mitosis and meiosis.

Sarah and Tom taught their mitosis and meiosis units in January and February and administered the unit test in mid-February. In order to address their first research question, the two teachers collected students’ test scores and recorded them on a spreadsheet, excerpts of which appear in the box below.

Notice that Sarah and Tom recorded not only the test score for each individual student but also the class period (i.e., 1 or 3 in the excerpt of the table) and the type of instruction that class received (i.e., “1” = traditional instruction and “2” = traditional instruction plus supplemental resources). They knew that this information would be necessary for them to be able to conduct any comparative statistical analyses. Because they utilized a two-group comparative design, Sarah knew from her coursework that they would need to analyze the test scores using an independent-samples t test.

To help answer the second research question, Sarah and Tom first created a collaborative classroom space on the Internet in the form of a blog (at http://www.blogger.com). In order to initiate the classroom “discussion,” the teachers posed a couple of general questions, in separate threaded discussion boards, about mitotic and meiotic processes.

· Threaded Discussion #1—Why are mitosis and meiosis important?

· Threaded Discussion #2—Sometimes the processes do not “go smoothly.” Predict what might happen to an organism if the process is flawed.

· Threaded Discussion #3—What questions do you have about mitosis and meiosis? What are you still unclear about?

All of their students were required to post a minimum of two comments or questions. Sarah and Tom believed that the blogs could provide them with richer qualitative data, since the students could respond to each other’s questions and comments. In addition, use of blogs has a distinct advantage from a data collection perspective—all of the students’ submissions would be recorded for the teachers to analyze at a later time.

Sarah and Tom also conducted what they called “group oral exams” and “individual oral exams,” which, as you can imagine, did not excite the students very much. However, both teachers explained to the students that they really just wanted them to discuss what they knew and clearly understood about the processes of mitosis and meiosis, both in a group setting and individually. They informed their students that these oral exams would count in their grades but that the written unit test would serve as the primary basis for grades in this unit. During one day in each class, Sarah and Tom engaged the students in a group discussion about what they had learned. For example, the teacher might ask one person to begin discussing the steps in mitosis, and at some point during the response, the teacher would stop that student and ask another to continue from that point. Sarah and Tom took notes during each respective class, highlighting what the students in each class seemed to clearly understand and what they continued to struggle with. Before the end of the day, both teachers had already noticed some patterns emerging.

The next day, each student was called up to his or her teacher’s desk for the individual oral exam. These were very structured (because of time constraints) and consisted of four brief questions. Sarah and Tom asked each of their students the following, carefully recording the responses:

· What is the purpose of mitosis?

· How do you clearly know when one phase of mitosis ends and the next begins?

· What is the purpose of meiosis?

· How are offspring created by mitosis and those created by meiosis similar?

The final question for each student came from a set of questions about the stages of mitosis. The teachers showed the Java-based animation of the entire process of mitosis, stopping it at random but different places for each student. Students were then asked to identify in which phase the process had been stopped.

After recording all of this information and gathering all of the blog entries, Sarah and Tom were ready to begin the analysis of their data.

Action Research Checklist 5

Developing a Data Collection Plan for Action Research

Revisit your research question(s) and your previous decisions about whether you will use a qualitative, quantitative, or mixed-methods design for your action research.

If you intend to collect qualitative data, decide which of the following you will use:

· □ Observations (structured, semistructured, or unstructured)

· □ Interviews (structured, semistructured, or unstructured)

· □ Journals

· □ Existing documents

· □ Other sources of qualitative data

If you intend to collect quantitative data, decide which of the following you will use:

· □ Surveys, questionnaires, or rating scales (What types of scales—Likert, Likert-type, or other—or open-ended questions?)

· □ Checklists

· □ Formative and/or summative classroom assessments

· □ Standardized test scores

· □ Existing numerical data

· □ Other sources of quantitative data

If you intend to use anything original (i.e., self-developed), such as interview guides, surveys, or formative assessments, develop drafts of your data collection instrumentation.

Engage in appropriate processes (depending on the type of data collection instrument you are using) to ensure that you will collect good quality data.

Previous section

Next section

5.3 Notes About Ethics and Data Collection

In Chapter 4, you learned about numerous ethical considerations that need to be incorporated into any action research project. Because we have been discussing data collection in this chapter, it is critical that we revisit several important issues. Recall that prior to collecting any data—especially if you are doing so outside of the normal, routine activities of a classroom teacher—you should obtain permission from both parents and the students themselves. Also recall that you should let your potential audience help dictate whether or not you need to obtain permission—if faculty and staff in your school will serve as the sole audience for the results of your action research study, you may not need to obtain any sort of permission. However, if you intend to share data that you collect with a broader audience (e.g., journals, professional conference, or even a districtwide presentation), you are obligated to secure permission to use student data in that manner.

Along those lines, once you have collected data—whether it be from students, teachers, or other individuals—you must ensure that you keep those data secure and confidential. At no time should students’ or teachers’ names appear along with their data. One way to accomplish this is to code your participants so that random numbers—and not their names—represent individuals. A master list of the coding scheme can be kept under lock and key, accessible only to you as the classroom researcher. This way, a person outside of your study would not be able to identify individual participants and their respective data. An action researcher’s ability to ensure anonymity and confidentiality of participants and their data is a vitally important component of the action research process and of any action research project.

Writing Up Action Research: Data Collection Methods

This class is made up of thirty-one average and above-average science students. I chose this last class of the day for purely logistical reasons. With only one computer in my classroom, I needed to borrow eleven computers daily from neighboring teachers. Seventh period was the most agreeable period to the other teachers. An extra advantage of using the last period of the day was that students could return the computers after the final dismissal bell and not take valuable class time for this task.

Additionally, I sent home parent surveys with each student in order to solicit and record the parents’ opinions concerning their child’s enthusiasm for learning science. The survey included two questions: How enthusiastic is your child about learning science? How enthusiastically does your child do science activities at home? I used the same rating scale for the parents that I used with the students.

At the beginning of the second six weeks, I introduced a unit on oceanography. Oceanography was used as the unit of study primarily because of the number of resource materials available to the students through the media center. It was during this unit that I began to integrate technology into my curriculum. As the unit was introduced, I asked my students to look through the oceanography chapters in their textbooks and make a prioritized list of the eleven subtopics in physical and biological oceanography they would like to study. Students were grouped according to their interest as much as possible and were assigned to work in groups of two or three to develop a multimedia presentation that would be used as an instructional tool for the other students.

During this period, I began to introduce them to the multimedia computer program, HyperStudio (Wagner, 1994). HyperStudio is a program that allows the user to combine sound, graphics, and animation with text to make creative and entertaining presentations. The introduction of HyperStudio and the development of the student presentations took six weeks to complete.

Source: Hollis, 1995.

During the second week, the class was taped on Monday and Thursday. At the end of the second week, modifications to the student survey were made on questions 1 and 3 due to mixed responses given by students. The modified student survey questions were:

I continued to tape my first-period science class twice a week for a total of 5 weeks. Student surveys were given to all students on a random basis throughout the 5-week period. Journal entries were made daily.

Source: Graham, 1995.

Action Research Portrait 1: Improving Reading Comprehension in a Title I Program

Developing a Plan and Collecting Data

Recall that the purpose of this action research study is to improve students’ reading comprehension skills within a Title I context.

In order to address her initial research question—which proposed to examine differences in students’ reading comprehension skills following the use of revised teacher-developed comprehension items, based on pretest and posttest diagnostic test scores—Kathleen needed to select an appropriate and valid measure of reading comprehension. After reviewing the various diagnostic tests with which she was familiar and had experience administering, Kathleen selected the Woodcock Reading Mastery Test–Revised (Form H) to administer to her reading students in September and in May. From the resulting student score reports, she would extract the Reading Comprehension Cluster score, which appears as a percentile rank. An average score on this subtest is the 50th percentile; Kathleen’s upper-elementary students typically score near the 35th percentile. She obviously hoped to improve that performance over the course of the school year.

Kathleen’s second research question dealt with the perceptions held by both her students and herself regarding the students’ reading comprehension skills. She proposed to collect two forms of data to enable her to address the nature of those perceptions. First, she would conduct daily observations of her students and record both what she saw and any analytical thoughts she may have had while conducting the observations. The focus of her observations would be the degree to which the students could answer oral and written questions after having read a passage from a book. Specifically, she would look for how her students used the strategies for reading comprehension that they had been taught. Second, Kathleen also wanted to periodically ask her students direct questions regarding the use of those reading comprehension strategies. She designed a semistructured interview guide for conducting these student interviews. Her interview guide included the following questions:

· What does “reading comprehension” mean to you?

· Do you have trouble understanding what you read?

· Why do you think you have trouble?

· What helps someone understand what he or she has read?

· Do you ever do any of these things?

· What strategies do you use to help you understand what you read?

· Do you enjoy reading?

Kathleen planned to interview each student at least twice at roughly 2-month intervals during the course of her action research project. She anticipated learning more about their perceptions of reading, in general, and reading for understanding. She was also curious as to whether those perceptions would change over time.

Action Research Portrait 2: Conceptual Understanding of Mitosis and Meiosis

Developing a Plan and Collecting Data

Recall that the purpose of this action research study is to improve students’ understanding of the processes of mitosis and meiosis.

Sarah and Tom taught their mitosis and meiosis units in January and February and administered the unit test in mid-February. In order to address their first research question, the two teachers collected students’ test scores and recorded them on a spreadsheet, excerpts of which appear in the box below.

Notice that Sarah and Tom recorded not only the test score for each individual student but also the class period (i.e., 1 or 3 in the excerpt of the table) and the type of instruction that class received (i.e., “1” = traditional instruction and “2” = traditional instruction plus supplemental resources). They knew that this information would be necessary for them to be able to conduct any comparative statistical analyses. Because they utilized a two-group comparative design, Sarah knew from her coursework that they would need to analyze the test scores using an independent-samples t test.

To help answer the second research question, Sarah and Tom first created a collaborative classroom space on the Internet in the form of a blog (at http://www.blogger.com). In order to initiate the classroom “discussion,” the teachers posed a couple of general questions, in separate threaded discussion boards, about mitotic and meiotic processes.

· Threaded Discussion #1—Why are mitosis and meiosis important?

· Threaded Discussion #2—Sometimes the processes do not “go smoothly.” Predict what might happen to an organism if the process is flawed.

· Threaded Discussion #3—What questions do you have about mitosis and meiosis? What are you still unclear about?

All of their students were required to post a minimum of two comments or questions. Sarah and Tom believed that the blogs could provide them with richer qualitative data, since the students could respond to each other’s questions and comments. In addition, use of blogs has a distinct advantage from a data collection perspective—all of the students’ submissions would be recorded for the teachers to analyze at a later time.

Sarah and Tom also conducted what they called “group oral exams” and “individual oral exams,” which, as you can imagine, did not excite the students very much. However, both teachers explained to the students that they really just wanted them to discuss what they knew and clearly understood about the processes of mitosis and meiosis, both in a group setting and individually. They informed their students that these oral exams would count in their grades but that the written unit test would serve as the primary basis for grades in this unit. During one day in each class, Sarah and Tom engaged the students in a group discussion about what they had learned. For example, the teacher might ask one person to begin discussing the steps in mitosis, and at some point during the response, the teacher would stop that student and ask another to continue from that point. Sarah and Tom took notes during each respective class, highlighting what the students in each class seemed to clearly understand and what they continued to struggle with. Before the end of the day, both teachers had already noticed some patterns emerging.

The next day, each student was called up to his or her teacher’s desk for the individual oral exam. These were very structured (because of time constraints) and consisted of four brief questions. Sarah and Tom asked each of their students the following, carefully recording the responses:

· What is the purpose of mitosis?

· How do you clearly know when one phase of mitosis ends and the next begins?

· What is the purpose of meiosis?

· How are offspring created by mitosis and those created by meiosis similar?

The final question for each student came from a set of questions about the stages of mitosis. The teachers showed the Java-based animation of the entire process of mitosis, stopping it at random but different places for each student. Students were then asked to identify in which phase the process had been stopped.

After recording all of this information and gathering all of the blog entries, Sarah and Tom were ready to begin the analysis of their data.

Action Research Checklist 5

Developing a Data Collection Plan for Action Research

Revisit your research question(s) and your previous decisions about whether you will use a qualitative, quantitative, or mixed-methods design for your action research.

If you intend to collect qualitative data, decide which of the following you will use:

· □ Observations (structured, semistructured, or unstructured)

· □ Interviews (structured, semistructured, or unstructured)

· □ Journals

· □ Existing documents

· □ Other sources of qualitative data

If you intend to collect quantitative data, decide which of the following you will use:

· □ Surveys, questionnaires, or rating scales (What types of scales—Likert, Likert-type, or other—or open-ended questions?)

· □ Checklists

· □ Formative and/or summative classroom assessments

· □ Standardized test scores

· □ Existing numerical data

· □ Other sources of quantitative data

If you intend to use anything original (i.e., self-developed), such as interview guides, surveys, or formative assessments, develop drafts of your data collection instrumentation.

Engage in appropriate processes (depending on the type of data collection instrument you are using) to ensure that you will collect good quality data.

5.4 Related Websites: Advice and Guidelines About Data Collection

The related websites for this chapter all come from the Action Research Website of the Madison (Wisconsin) Metropolitan School District. They provide several good ideas and suggestions for issues you may very well face when dealing with decisions about collecting data for your action research project.

· Guidelines for Data Collection http://oldweb.madison.k12.wi.us/sod/car/cardataguidelines.html

Offered here is a bulleted list of suggestions or simply things to consider when planning for your data collection. The page begins with the following statement: “Asking the right questions is the key skill in effective data collection.” Guidelines included on this list are “Be clear as to why you are collecting data,” “Be clear about how you are going to use the data you collect,” “Decide how much data is needed,” and “Use multiple sources of data to increase the believability of the findings.”

· Techniques for Gathering Data https://staffdevweb.madison.k12.wi.us/node/242

Fourteen different techniques for collecting data are briefly described. The list includes many that we discussed in this chapter but also includes several additional techniques. These additional techniques include portfolios, still photography, and time-on-task analysis.

· Data Collection: The Five Ws and an H https://staffdevweb.madison.k12.wi.us/node/236

The authors suggest that, prior to actually collecting data, teachers should ask themselves several questions, listed on this webpage. These questions fall under the following broader questions:

· Why are we collecting this data?

· What exactly are we collecting?

· Where are we going to collect data and for how long?

· When are we going to collect data and for how long?

· Who is going to collect the data?

· How will the data be collected and displayed?

5.4 Related Websites: Advice and Guidelines About Data Collection

The related websites for this chapter all come from the Action Research Website of the Madison (Wisconsin) Metropolitan School District. They provide several good ideas and suggestions for issues you may very well face when dealing with decisions about collecting data for your action research project.

· Guidelines for Data Collection http://oldweb.madison.k12.wi.us/sod/car/cardataguidelines.html

Offered here is a bulleted list of suggestions or simply things to consider when planning for your data collection. The page begins with the following statement: “Asking the right questions is the key skill in effective data collection.” Guidelines included on this list are “Be clear as to why you are collecting data,” “Be clear about how you are going to use the data you collect,” “Decide how much data is needed,” and “Use multiple sources of data to increase the believability of the findings.”

· Techniques for Gathering Data https://staffdevweb.madison.k12.wi.us/node/242

Fourteen different techniques for collecting data are briefly described. The list includes many that we discussed in this chapter but also includes several additional techniques. These additional techniques include portfolios, still photography, and time-on-task analysis.

· Data Collection: The Five Ws and an H https://staffdevweb.madison.k12.wi.us/node/236

The authors suggest that, prior to actually collecting data, teachers should ask themselves several questions, listed on this webpage. These questions fall under the following broader questions:

· Why are we collecting this data?

· What exactly are we collecting?

· Where are we going to collect data and for how long?

· When are we going to collect data and for how long?

· Who is going to collect the data?

· How will the data be collected and displayed?

Summary

· Qualitative data are narrative, appearing primarily as words.

· Qualitative data are usually collected through observations, interviews, or journals or by obtaining existing documents or records.

· Observations involve carefully and systematically watching and recording what you see and hear in a given setting.

· Classroom observations may be structured, semistructured, or unstructured.

· Unstructured or semistructured observations allow for the flexibility to attend to other events occurring in the classroom.

· Classroom observations are usually recorded in the form of field notes, which may include observer’s comments.

· Interviews are typically formal conversations between individuals.

· Interviews typically follow an interview guide, which may be structured, semistructured, or open-ended.

· Interviews can also be conducted with groups of individuals in an interview known as a focus group.

· Interviews may also be conducted informally or via e-mail.

· Journals may also be kept by both teachers and students in order to provide valuable insights into the workings of a classroom.

· Existing documents and records, originally gathered for reasons other than action research, are abundantly available in schools and may be used as additional sources of information. These include classroom artifacts, such as student work.

· It is important for practitioner-researchers to establish the trustworthiness of their data. This includes the credibility, transferability, dependability, and confirmability of one’s qualitative data.

· Quantitative data are numerical and include just about anything that can be counted, tallied, or rated.

· Surveys are lists of statements or questions to which participants respond.

· Questionnaires are one specific type of survey involving the administration of questions or statements in written form.

· Items on surveys can consist of open-ended questions or closed-response rating scales.

· A closed-response question or statement provides the respondent with a number of choices from which to select. Analysis of the resulting data involves counting the number of responses for each option.

· Open-ended items allow for a seemingly limitless number of possible responses. Analysis of these data involves categorizing responses into similar groups and then counting them.

· Surveys and rating scales are effective at gathering data simultaneously from numerous individuals, but they can sometimes be time-consuming to analyze.

· Checklists are a simple form of rating scale where only a dichotomy of response options (e.g., present or not present) exists.

· Tests and other formal instruments can be used as quantitative data, provided they are supplemented with other forms of data.

· Validity of quantitative data has to do with the extent to which the data are what they are believed to be.

· Reliability refers to the consistency of quantitative data and is determined statistically.

· Remember the following: A valid test is always reliable, but a reliable test is not necessarily valid.

Questions and Activities

1. Describe what you might see as the benefits of collecting both qualitative and quantitative data as part of an action research study. Do you envision any potential negative aspects or weaknesses associated with collecting both as part of the same study?

2. Why is it important for researchers in general, and specifically for practitioner-researchers, to take measures to ensure the quality of their collected data?

3. Making good, sound observations typically requires some training or at least practice. Find a location with numerous people (e.g., a shopping mall, your student union) and spend 30 minutes observing and making field notes on what you see and hear. Include any observer’s comments as you deem appropriate during your period of observation. After the 30 minutes of observation, reflect on the experience. What did you think, and how did you feel? How could you improve your observation and note-taking skills for your next observation session?

4. Think of a topic of interest to you and appropriate for an action research study. Develop a semistructured interview guide for a 15-minute interview with an individual. Be sure to include in your guide any “optional” probing questions. Next, interview someone using your guide. Afterward, reflect on your experience as an interviewer. What did you think, and how did you feel? How could you improve your skills for your next interview?

5. Using the same topic you identified for Number 4 above, develop a 15-item survey or rating scale that targets a specific audience, paying close attention to the guidelines presented in the chapter. Remember that a rating scale will use either a Likert or a Likert-type scale. Administer your instrument to at least five individuals. Afterward, ask them to provide you with feedback on the instrument. Reflect on the process of instrument development and administration.

6. Can you think of any existing documents or records that would support an investigation of your topic? What are they? How difficult would it be to gain access to them?

Key Terms

· acting stage 129

· class journal 138

· classroom artifacts 139

· confirmability 141

· construct 155

· credibility 140

· data journals 138

· dependability 141

· external audit 143

· focus group 134

· formative classroom assessments 152

· informal interviews 137

· internal consistency 156

· interview guide 133

· interviews 133

· Kuder-Richardson formula 21 156

· Likert scale 145

· Likert-type scale 146

· member checking 143

· observations 130

· observer’s comments 131

· open-ended interviews 134

· open-ended questions 144

· peer debriefing 143

· reflexivity 143

· reliability 156

· semistructured interviews 134

· semistructured observations 131

· structured interview 133

· structured observations 130

· student journals 138

· summative classroom assessment 153

· teacher journals 138

· transferability 140

· triangulation 141

· trustworthiness 140

· unstructured observations 131

· validity of research data 140

· videotapes 133

Review → Practice → Improve

Get the tools you need to sharpen your study skills. Access the videos listed in the margins of this chapter, practice quizzes, eFlashcards and more at  edge.sagepub.com/mertler5e

·