Preliminary Area of Focus. [WLO: 3][CLO: 1, 5]

profileSunshine2016
5Datacollectionsbook.docx

5 Data Collection Techniques

After reading this chapter you should be able to:

1. 5.1 Identify and appropriately utilize qualitative data collection techniques.

2. 5.2 Identify and appropriately utilize quantitative data collection techniques.

This chapter introduces qualitative and quantitative data collection techniques that can be used to systematically investigate an area offocus. These techniques include using direct observation, interviews, questionnaires, attitude scales, new and existing records, artifacts,teacher-made tests, standardized tests, and school-generated report cards.

Reflection on Action Research

James Rockford

James Rockford is an elementary teacher in a rural school district in Oregon. James is responsible primarily for teaching music andcomputer keyboarding skills to young children and initially became involved with action research as part of a statewide actionresearch initiative. As a result of his first attempt at doing action research and his effort to make it a standard part of his teaching,James has also worked as a mentor for other teachers in his region. James’s story highlights the importance of collecting data froma variety of sources to fully understand the effects of an intervention on student outcomes.

It seemed to be a perfect match. I had charge of a new computer lab and a mandate to develop a program of instruction to match thecurriculum guide, and I needed a “problem” for a collaborative action research class.

The only software that came with the computers was a popular program to teach keyboarding and ClarisWorks. It didn’t make any sense tospend several thousand dollars to teach keyboarding, so the problem became, “How does keyboarding instruction enhance students’ abilityto use word processing, database, spreadsheet, and draw functions?”

Looking at the literature proved to be a formidable problem because there wasn’t a good academic library in the area. The local communitycollege had one online computer to access ERIC (Educational Resources Information Center) through the World Wide Web if I gave searchterms to the librarian. A little help came, but I preferred to do the search myself. Our school was not yet online, so I resorted to using myson’s computer. A quick survey of the literature showed plenty of research on keyboarding but not much focused on young children.Opinions ranged from “Start them as early as possible” to “Avoid bad habits” to “Don’t bother because they can hunt and peck as fast asthey can type.”

The problem proved to be a little overwhelming in that I had just started an instructional program to teach all the keyboarding skills, and itbecame obvious that results would be harder to get for database, spreadsheet, and draw functions. As a result, I decided to look initiallyonly at the effect of teaching keyboarding on word processing for students in grades 4 through 6.

This was supposed to be a collaborative venture, so my first task was to enlist the help of the teachers in grades 4 through 6. We met afterschool one afternoon so I could explain the purpose of the project. They agreed to help gather data, but only one class actually got into thelab every day. This was disappointing, but it helped make the project more manageable since I would be handling data from only one classinstead of three.

What variables might have an effect on students’ success in learning to keyboard? I conducted a survey of teacher attitudes and a survey toassess whether students had any prior knowledge, how much time they spent on a computer at home and at school, and whether they hada computer at home. Records were kept for time on computers at school in instructional and free-choice situations.

A well-designed action research project should, as its name declares, lead to some kind of action. The purpose of my action research projectwas to determine if teaching keyboarding skills to sixth-grade students had enough of an impact on their word processing skills to warrantspending the time and money. It seemed rather obvious that it would, but several students had developed their own unique “hunt-and-peck” system and could already approach the district-mandated target of 20 words per minute. There are many variables that might affectword processing rates, and that led to the following questions:

1. Do students have a computer at home? How much time do they spend at it per week?

2. What preexisting knowledge do students have about computers?

3. How much time do students spend at the computer when they’re at school? How does it affect word processing rates?

4. What is the effect of the keyboarding software used in the lab at school?

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7D5227205001.jpg

The questions were then placed in a data matrix and triangulated as follows (Note: D.S. = data source):

Questions

D.S. 1

D.S. 2

D.S. 3

Preexisting knowledge?

Students’ survey

Computer knowledge pretest

Keyboarding speed?

Pretest

Posttest

Teacher help

Appropriate use (WP)?

Pretest software

Posttest software

Timed typing teacher constructed

Time on computers?

School lab records

Student survey

Parent survey

I collected data using surveys that I developed to measure the following areas:

· Student self-evaluation questionnaire

· Teacher-constructed vocabulary/facts pretest of general computer knowledge

· Teacher-constructed timed typing test rates

· A classroom teacher survey of knowledge/attitudes about technology

· A teacher observation record for the computer lab

· Existing records of students’ word processing rates with software

· Parent survey of student computer use outside of school

Data were compiled as follows:

· The three variables of time, prior knowledge, and use of keyboarding software were analyzed using a scatter plot graph to determineany correlation to word processing speed.

· Surveys were compiled to show tendencies.

· Keyboarding rates between October and May were compiled in graph form to show progress over time.

In general, the data indicated the following:

· Student time spent on computers out of school had no effect on word processing rate. (They love those computer games!)

· Time spent on computers at school was critical.

· In only 1 month, the class word processing rate mean had increased 300 percent.

As a result, it was apparent that the keyboarding software was effective, and on that basis I continued its use. Because time on task iscritical, teachers were urged to take students to the lab every day and monitor keyboarding habits as well as install keyboarding softwareon classroom computers so that each student received a minimum of 10 minutes’ practice per day. Timed typing tests require greater anddifferent skills than are called for on keyboarding software. In the future, timed typing tests will be given weekly to provide an authenticassessment of student progress, and a tracking system will be used to monitor the acquisition of skill development.

Any research worth its salt appears to generate more questions than it answers. At the completion of this project, I was left wondering if astudent’s learning style had any impact on the ability to learn word processing skills. Would keyboarding instruction improve students’ useof database, spreadsheet, and draw/paint functions? Could other types of authentic assessment be used to determine skill/conceptdevelopment? These are questions I will continue to investigate.

The project became a springboard to address issues in setting up a computer lab. Instead of being behind the eight ball, I was able toanticipate problems and find solutions. Collaboration was an important part of the process. But perhaps the most powerful part of theaction research process was the extent to which I became more reflective about what I was doing in the computer lab. The lab at my schoolhas received a lot of praise from administrators, board members, and teachers, and I believe that going through the action research processhas had much to do with the continued success of the lab.

I don’t look at classroom problems quite the same way now. For example, I also teach middle school choir and began to notice that theweeks on which I saw eighth graders on Mondays (we’re on block scheduling), it was usually a difficult, if not unproductive rehearsal.Keeping some informal data about those days and reflecting about why they were so difficult led me to try some interventions that mighthelp alleviate the problem. It may be a bit corny, but action research has changed my life—in the classroom anyway. Student learning isenhanced, I approach problems more systematically, I gather data more carefully and accurately, and my practice is more reflective.

The year following my word processing action research project, I had the good fortune to be a mentor for other teachers learning theaction research process. Based on this experience, two observations come to mind. Problem formulation is a difficult process. Extra timespent in this phase of the action research cycle will prevent backtracking, headaches, and frustration down the road. When teachers doidentify something that needs addressing, there appears to be a measurable difference between problems that are student centered andthose that arise from a teacher complaint about a teaching situation. It appeared that the problems that are student centered are morelikely to result in the improvement of instruction.

Making action research a natural part of the teaching process, in the classroom and the school, is critical to success. Traditionally, teachersare not researchers. The school routine isn’t geared to provide teachers with the time and resources that research demands. Teachers areconsidered to be working only when they’re in front of a class. On the other hand, teachers need to develop the attitude that improvementof the teaching/learning process can and should be addressed with data-based decision making formalized through action research.

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7D5227205002.jpg

The decision about what data are collected for an action research area of focus is determined largely by the nature of the problem. Thereis no one recipe for how to proceed with data collection efforts. Rather, the individual or group must determine what data will contributeto their understanding and resolution of a given problem. Hence, data collection associated with action research is largely an idiosyncraticapproach fueled by the desire to understand one’s practice and to collect data that are appropriate and accessible.

This chapter will discuss qualitative (experience-based) data collection techniques and quantitative (number-based) techniques. The formerincludes data sources such as field notes, journals, questionnaires (surveys), maps, and digital recordings, whereas the latter focuses on thecollection of teacher-made tests (criterion-referenced tests), standardized tests (norm-referenced tests), school-generated report cards,attitude scales, and the results of student achievement reported on statewide assessment tests.

One approach is not better than the other. Your area of focus and research questions will determine the best data collection techniques foryour research. As discussed earlier, this may involve qualitative data sources and quantitative sources using a mixed-methods design.However, the literature on action research supports the assertion that qualitative designs are more appropriately applied to action researchefforts compared with the application of an experimental pretest-posttest control group design in which the teacher researcher randomlyassigns children to either a control group or an experimental group in order to receive a “treatment.” Qualitative research is not the “easy”way out for teacher researchers who fear statistics (a.k.a. sadistics!). As you will see, the rigor of good qualitatively oriented action researchequals the rigor of doing good quantitatively oriented action research. If your area of focus necessitates a more quantitative, experimentalapproach, then you should consult more quantitatively oriented references, such as Mills and Gay (2016chapters 7 to 11) or Creswell(2015).

5.1 Qualitative Data Collection Techniques

The receptivity among educators in general and among action researchers in particular to a qualitative (descriptive) way of examiningproblems is reflected in the action research literature that emphasizes the following data collection techniques and sources:

· Existing archival sources within a school

· Tools for capturing everyday life

· Tools for questioning

· Conventional sources (surveys, questionnaires, etc.)

· Inventive sources (exhibits, portfolios, etc.)

· Interviews

· Oral history and narrative stories

· Rating scales

· Inventories

· Observation

· Mapping

· Visual recordings

· Photography

· Journals and diaries

(Anderson, Herr, & Nihlen, 1994Calhoun, 1994Hendricks, 2017Sagor, 2000Stringer, 2004Wells, 1994)

As you can see from these examples, the kinds of data you collect would include descriptive, narrative, and even nonwritten forms. In manycases, these data occur naturally and are regularly collected by teachers and administrators. In simple terms, we are engaging in an activitythat seeks to answer the question, “What is going on here?” It is not a mysterious quest but is quite simply an effort to collect data thatincrease our understanding of the phenomenon under investigation. The three primary fieldwork strategies we will discuss in this chapterare experiencingenquiring, and examining (Wolcott, 1992, p. 19). Each of these strategies will be discussed in the context of actual teacherresearchers’ experiences.

Voices from the Field Qualitative Data Collection Techniques

The teacher researcher in this video vignette describes a variety of qualitative data collection techniques and strategies that she believedwould contribute to her understanding of the impact of classroom computers on students’ attitudes toward learning and how theyactually use computers in their own learning. Jureen uses multiple qualitative data collection techniques, including; classroomobservations (recorded as field notes), student surveys (prior to and after implementing computers in her classroom instruction),attitude surveys (semantic differentials), and surveys of her cooperating teacher and educational assistant focused on their observationsof implementing technology in the classroom. The teacher researcher’s specific research questions help guide the decision about whichmultiple qualitative data collection techniques will provide a comprehensive picture about “what is going on” in the classroom during theimplementation of a technology innovation. While survey results can be analyzed using descriptive statistics, their use in this study isclearly as a qualitative indicator about changes in students’ attitudes toward the use of technology in teaching and learning.

5.2 Experiencing Through Direct Observation

Teachers who undertake action research have countless opportunities to observe in their own classrooms. They observe as a normalcomponent of their teaching, monitoring and adjusting instruction based on the verbal and nonverbal interactions in their classrooms.Therefore, using direct observation as a data collection strategy is familiar and not overly time consuming. As teachers, we are constantlyobserving our environment and adjusting our teaching based on what we see. Action research gives us a systematic and rigorous way toview this process of observation as a qualitative data collection technique.

Participant Observation

The action research vignettes shared in Chapters 1 to 3 illustrate how teachers “experience” their teaching through observation. JamesRockford observed the “hunt-and-peck” keyboarding strategies of his students as a natural part of his teaching. Cathy Mitchell observedaudience reactions to the “Violence Improv” and recorded field notes in her daily journal. Deborah South observed the interpersonalinteractions of her “study skills” students and recorded her observations in a journal—observations that quickly confirmed the presence ofmajor problems in the classroom. These experiences are all examples of participant observation.

If the researcher is “a genuine participant in the activity being studied,” then the researcher is called a participant observer (McMillan,1996, p. 245). According to Spradley (1980), participant observation is undertaken with at least two purposes in mind:

· To observe the activities, people, and physical aspects of a situation

· To engage in activities that are appropriate to a given situation that provide useful information

Participant observation can be done to varying degrees depending on the situation being observed and the opportunities presented: Aparticipant observer can be an active participant observer, a privileged, active observer, or a passive observer (Pelto & Pelto, 1978Spradley,1980Wolcott, 19821997). Depending on the problem, teachers have many opportunities to be active participants in the observationprocess as they go about their work. However, the tendency with observing is to try to see it all! A good rule of thumb here is to try to doless but to do it better. That is, as you embark on some degree of participant observation, do not be overwhelmed with the task. It is nothumanly possible to take in everything that you experience. Be content with furthering your understanding of your area of focus through manageable observations. Avoid trying to do too much, and you will be happier with the outcomes.

Active Participant Observer

Teachers, by virtue of teaching, are active participant observers of their teaching practice. When they are actively engaged in teaching,teachers observe the outcomes of their teaching. Each time we teach, we monitor the effects of our teaching and adjust our instructionaccordingly. As an active participant observer of our own teaching practices, however, we may be so fully immersed in what we are doingthat we don’t have time to record our observations in a systematic way during the school day. Such recording is a necessary part of beingan active participant observer.

Voices from the Field Participant Observation

In this video vignette, our teacher researcher Jureen talks candidly about the challenges facing action researchers studying their ownpractices. As Jureen states, “It’s hard to collect data and teach at the same time.” Teachers are always engaged in naturalistic, ongoing datacollection efforts as they “monitor and adjust” their instruction. Teachers are always in the role of participant observer to varyingdegrees, and Jureen shares some helpful participant observation strategies: working collaboratively with colleagues to record classroomobservations, “teaching” and then “observing” students engaged in guided practice or other student-centered work, and using digitalrecordings that can be viewed at a later time. Experienced action researchers become competent observers of their own practice anduse participant observation techniques as the cornerstone of their data collection efforts to better understand what is happening in theirclassrooms.

In the action research vignettes from Chapters 1 to 3, we saw teachers who were active participant observers of their own teaching.Deborah South observed the “off-task” behavior of her “unmotivated” students during the study skills lessons. Cathy Mitchell observed thenature of the audience participation while she directed the teen theater. James Rockford observed the “hunt-and-peck” strategies used bykeyboarding students while he was teaching keyboarding skills. As researchers of our own teaching practices, active participant observationis likely to be the most common “experiencing” data collection technique that we use.

Privileged, Active Observer

Teachers may also have opportunities to observe in a more privileged, active role. That is, they may wish to observe their children during atime when they are not directly responsible for the teaching of a lesson, for example, during a “specialist’s” time in music, library, orphysical education. These times provide opportunities for teachers to work as a “teacher’s aide” while at the same time allowing them towithdraw, stand back, and watch what is happening during a particular teaching episode, moving in and out of the role of teacher, aide, andobserver.

Many teachers comment on how valuable these experiences have been in allowing them time to observe the social interactions of studentsand the impact of a particular instructional strategy on those interactions. By necessity, these privileged, active observer opportunitiesrequire teachers to give up valuable time that is often dedicated to duties other than teaching, such as planning, attending team meetings,reading, visiting other classrooms, and relaxing (the all-important “downtime” during a day, if they are fortunate enough to have such aschedule). Taking time to observe one’s class is a valuable use of nonteaching time that honors a teacher’s effort to improve practice based,in part, on observational data.

Passive Observer

Teachers also have opportunities to be passive observers in classrooms and schools. When teachers take on the role of passive observer,they no longer assume the responsibilities of the teacher—they should focus only on their data collection. A privileged, active observercould be transformed into a passive observer by making explicit to the students and a teaching colleague that the classroom teacher ispresent only to “see what’s going on around here.” Students will quickly learn that there are times when their teacher is not going tointeract with them as the teacher normally does. The teacher might simply announce, “Today I am going to watch and learn from what youare doing!” Taking a step back from the daily rigor of being “onstage” and performing can be refreshing and provide an insightfulopportunity for teachers who are unaccustomed to watching their students in a different setting, through a different lens.

Field Notes

The written records of participant observers are often referred to as field notes. For teachers undertaking participant observation effortsin their classrooms, these field notes may take the form of anecdotal records compiled as part of a more systematic authentic assessment orportfolio effort. So, what do you write down in these field notes? Well, it depends on what you are looking for! I can offer only limitedguidance to help quell your concerns about the “how-to” of writing field notes. But first let me start with an example of how not to do fieldnotes!

During my graduate studies at the University of Oregon, I took a class on ethnographic research in education, and as part of learning how todo ethnography (qualitative research), I was required to conduct a “beginning ethnography” of something that was “culturally different” forme. As an Australian studying in the United States, I had a number of opportunities to study a culturally different phenomenon while at thesame time having fun with the project. I chose to study a sorority. As part of this study, I participated in one of the regular ceremonies thatwas part of the sorority members’ lives—a formal dinner held each Monday night at which members were required to wear formals andmale guests were expected to wear a jacket and tie.

During the course of the dinner, I frequently excused myself to visit the restroom, stopping along the way to take out my notebook so Icould try to record quotes and reconstruct events as they were happening, as I tried to capture in great detail all that I was observing. Ofcourse, the irony in this strategy was that I was missing a great deal of the dinner by removing myself from the setting in a futile effort torecord everything. The ridiculousness of the situation became evident when one of my dinner hosts asked me if I was feeling well or if themeal was to my satisfaction. After all, why did I keep leaving the dinner table?!

The message here for teacher researchers who wish to use field notes as part of their data collection efforts is clear: You can’t physicallyrecord everything that is happening during an observational episode, nor should you try to. The following options for observing andrecording field notes are useful ways to proceed (adapted from Wolcott, 1994).

Observe and Record Everything You Possibly Can

If you knew exactly what you wanted to observe when you went into an observation, you would find this data collection process inefficient.Engaging in an effort to “record everything” will quickly attune you to what is of most interest to you. During these observational periods,you can start with a broad sweep of the classroom and gradually narrow your focus as you gain a clearer sense of what is most pressing.You can also decide on your strategies for recording observations. You might choose verbatim conversations, maps and illustrations,photographs, video or audio recordings, or even writing furiously in the fashion of a principal or university professor undertaking anevaluation. It is a very idiosyncratic activity but follow one rule: Don’t run off to the restroom every five minutes—you will miss something!Do try to maintain a running record of what is happening in a format that will be most helpful for you.

For example, in my study of a school district attempting multiple change efforts (see Mills, 1988), I attended the 37th Annual McKenzieSchool District Teacher In-Service Day. Part of my field notes from this observation were as follows:

8:30 a.m.

An announcement is made over the public address system requesting that teachers move into theauditorium and take a seat in preparation for the in-service. As the teachers file into the auditorium, thepop song “The Greatest Love of All” is played.

8:41 a.m.

The assistant superintendent welcomes the teachers to the in-service with the conviction that it is alsothe “best district with the best teachers.” The brief welcome is then followed by the Pledge of Allegianceand the introduction of the new assistant superintendent.

8:45 a.m.

The assistant superintendent introduces the superintendent as “the superintendent who cares aboutkids, cares about teachers, and cares about this district.”

The next hour of the in-service is focused on introducing new teachers to the district (there were 60 new appointments) and thepresentation of information about how a new focus for the district would be at-risk children.

10:00 a.m.

The superintendent returns to the lyrics of “The Greatest Love of All” and suggests that the messagefrom the song may be suitable as the district’s charge: “Everyone is searching for a hero. People needsomeone to look up to. I never found anyone who fulfilled my needs . . .” The superintendent compelsthe teachers to be the heroes for their students and wishes them a successful school year before closingthe in-service.

As you can see from this abbreviated example, there is nothing mystical about field notes. They serve as a record of what an observerattended to during the course of an observation and help guide subsequent observations and interviews. This was the beginning of myyearlong fieldwork in the McKenzie School District, and this initial observation helped me to frame questions that guided my efforts tounderstand how central office personnel, principals, and teachers manage and cope with multiple innovations.

Observe and Look for Nothing in Particular

Try to see the routine in new ways. If you can, try to look with “new eyes” and approach the scene as if you were an outsider. Wolcott(1994) offers helpful advice for teachers conducting observations in classrooms that are so familiar that everything seems ordinary androutine:

Aware of being familiar with classroom routines, an experienced observer might initiate a new set of observations with the strategythat in yet another classroom one simply assumes “business as usual. . . .” The observer sets a sort of radar, scanning constantly forwhatever it is that those in the setting are doing to keep the system operating smoothly. (p. 162)

Look for “Bumps” or Paradoxes

In this strategy, you consider the environment you are observing as if it were “flat”; nothing in particular stands out to you. It is anopportunity for observers to look for the “bumps” in the setting. In action research projects, these “bumps” might be unexpected studentresponses to a new curriculum or teaching strategy or an unexpected response to a new classroom management plan, seatingarrangement, monitoring strategy, or innovation.

For example, the “bumps” observed by a teacher concerned with gender inequity may become painfully evident when the “locus of control”in a classroom is on one or two boys. That is, by keeping a tally of who commanded most of the teacher’s attention by answering and askingquestions, it became clear that one or two dominant boys were the focus of the activity during a lesson.

This strategy also suggests that teacher researchers look for contradictions or paradoxes in their classrooms. In a sense, this is notdissimilar to the “looking for bumps” strategy because a paradox will often stand out in an obvious way to the teacher who has taken thetime to stand back and look at what is happening in the classroom. (See Key Concepts Box 5–1 for a description of the components ofeffective observation.)

For example, teacher researchers often comment on the unintended consequences of a particular teaching strategy or a curriculum changethat have become evident only when they have had an opportunity to stand back and observe the results of their actions. Theseconsequences often present themselves in the form of a paradox—a contradiction in terms. For example, as one teacher researchercommented after attempting to incorporate manipulatives into her math instruction in a primary classroom, “I thought that the use ofmanipulatives in teaching mathematics would also lead to increased cooperation in group work. Instead, what I saw were my kids fightingover who got to use what and not wanting to share.”

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7Dkey.jpg KEY CONCEPTS BOX 5–1: Components of Effective Observation

DEGREES OF PARTICIPATION

Participant observer

Engage in activities and observe activities, people, and physical aspects

Privileged observer

A teacher’s aide during specialists’ time

Passive observer

Present only to observe what’s going on

FIELD NOTES

Observe and record everything

Attune to what you actually record through verbatim conversations, maps andillustrations, photos, and video and audio recordings

Observe and look for nothing

Try to see beyond the routine and look with a fresh perspective

Look for paradoxes

What are the unintended consequences of action?

Voices from the Field Field Notes

The teacher researcher in this video vignette claims that she used observations and field notes as part of her mixed-methods researchdesign with an area of focus on the impact of formative and summative assessments on student achievement and attitude. It appears asthough Rachelle “looked for bumps” in student behavior in order to capture verbatim comments in response to announcements aboutupcoming formative and summative assessments. In order to see how “students were reacting” in the classroom, Rachelle could haveconducted more sustained observations and considered the use of digital recordings in order to gather a comprehensive picture of whatwas going on in the classroom. This would have also been aided by the use of maps to capture who was interacting with whom inresponse to the announcement that formative and summative assessments would be administered and the specific nature of thoseinteractions.

5.3 Enquiring: When the Researcher Asks

A second major category of data collection techniques can be grouped as data that are collected by the teacher through the asking ofquestions. Teacher researchers may ask questions of students, parents, and other teachers using interviewing and questionnairetechniques.

As Agar (1980) suggests, information from interviews can serve as the “methodological core” against which observational data can be usedto “feed” ongoing informal interviews. That is, observational data (collected through the “experiencing” techniques described earlier) cansuggest questions that can be asked in subsequent interviews with children, parents, teachers—whoever the participants in the study mightbe. Participants in an interview may omit things. Pairing observation and interviewing provides a valuable way to gather complementarydata. For example, Cathy Mitchell’s Teen Theater Group (see Chapter 3) developed a group interview technique based on observations ofaudience reactions to performances. This technique involved three company members meeting with a small group of audience members forabout 15 minutes following a performance so that they could gauge the audience response to the scenes about teen violence andharassment. One actor served as the interviewer, one served as the scribe, and one kept a running tally of comments and responses.

Informal Ethnographic Interview

The informal ethnographic interview is little more than a casual conversation that allows the teacher, in a conversational style, to inquireinto something that has presented itself as an opportunity to learn about their practice. Agar (1980) suggests strategies that allow teacherresearchers to have a ready set of questions to ask participants in a study, for example, the “5 Ws and H”: whowhatwherewhenwhy, and how. Using these prompts, teachers will never be at a loss for a question to add to their understanding of what is happening in theirclassrooms. For example, in considering the example of the teacher researching the impact of manipulatives on math performance andthrough observation recognizing the unanticipated consequence of poor sharing of manipulatives, the teacher might ask questions such asthese:

· Who should be responsible for rotating the materials through the group?

· What was the cause of the problem?

· Where did the problem originate?

· When did the problem of sharing begin?

· Why don’t you want to share the manipulatives with each other?

· How do you think we can solve this problem?

Following the episode, the teacher might briefly jot down in a plan book a summary of what the students had to say and refer back to itlater as a valuable data source. Alternatively, the teacher researcher may keep anecdotal records on each student and simply make an entryon the student’s file. An example of a student anecdotal record form is presented in Figure 5–1.

figure 5–1 Student Anecdotal Record Form

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7D5227205003.jpg

Structured Formal Interviews

Teacher researchers may also want to consider formally interviewing children, parents, or colleagues as part of their data collection efforts.Using a structured interview format allows the teacher to ask all the participants the same series of questions. However, a major challengein constructing any interview is to phrase questions in such a way that they elicit the information you really want. Although this may seemobvious, teacher researchers often feel compelled by tradition and history to ask a lengthy set of questions of which only a part is reallytheir focus. When planning interviews, consider the following options for ensuring the quality of your structured formal interviews:

· Pilot questions on a similar group of respondents. That is, if you have developed an interview schedule to use with the students inyour classroom, try it out on some similarly aged students (not in your class) to see if it makes sense. Their feedback will quicklyconfirm—or challenge—the assumptions you have made about appropriate language. Using the feedback from the students, revise thequestionnaire before administering it to your class.

· Use questions that vary from convergent to divergent. That is, use both “open-ended” and “closed” questions in a structuredinterview or questionnaire. For example, a closed (convergent) question allows for a brief response, such as “Yes/No.” Alternatively, anopen-ended (divergent) question can conclude with an “Other Comments” section or a request for the interviewees to “add anythingelse” they would like to. In so doing, you will provide students with opportunities to elaborate on questions in ways that you had neveranticipated. However, the information gathered through open-ended questions is often more difficult to make sense of. But it does allowthe teacher researcher to obtain information that might otherwise be considered “outlying” or “discrepant.”

· Persevere with silence and “wait time” to elicit a response. Otherwise, it becomes too easy to answer your own question!

· Consider using a digital recorder to capture the interview responses. One way to ensure that you capture verbatim responsesduring an interview is to use a digital recorder. After all, you can’t write down everything that is said and still maintain rapport with yourinterviewee. But be warned—this will add to the amount of time that it takes to “write up” your interview. You will need to listen to therecording and transcribe the responses. Furthermore, I seem to suffer from Murphy’s Law when it comes to the use of digitalrecorders! (That is, if something is going to break or malfunction, it will develop a terminal illness on my shift!) I have also interviewedteachers, principals, and superintendents who are very uncomfortable with being recorded. After all, who else will listen to therecording?! Check the body language of whomever you are interviewing to determine if they are okay with the use of the recorder. Youmay find that your interviewees eventually loosen up!

· Locate a private place to interview. Whether you are conducting one-on-one or focus group interviews, be sure to conduct theinterview in a private place where you are not likely to be interrupted and where you have the tools for the interview (audio recorderand notepad). You may choose to use your classroom, another teacher’s classroom, a study room in the library—anywhere will work aslong as you have privacy and your interviewee feels comfortable in the environment. Alternatively, in an informal interview, you maychoose to talk to students outside during a recess and play a game of some sort. Some of your colleagues may be very comfortablebeing interviewed in a faculty lounge or lunchroom. Take your cues from your interviewees as to where they are most comfortablebeing interviewed.

· Carefully choose whom you will interview. Teacher researchers have considerable flexibility about how they will choose whom theyinterview. The decision to interview will depend largely on the questions you are trying to answer and whether the interviewee is“information rich” (Patton, 1990, p. 169). This is perhaps a statement of the obvious—it doesn’t make a lot of sense to interview folkswho don’t know anything about your area of focus! But at some point you will make a conscious decision about whom you willinterview. Will you interview all the children in your class/school? All the teachers? The answer is probably “No.” Therefore, you willchoose whom to talk to based on a number of factors: knowledge and experience of the area of focus, verbal skills, and willingness to beinterviewed. For most teacher researchers, the choice will be fairly limited—the students in their classes will be the primary targets forinterviews. Depending on the number of students in your classes, you may choose to conduct a combination of focus group andindividual interviews in order to develop a comprehensive understanding of your area of focus.

· Take notes during the interview. Regardless of whether you use a digital recorder during an interview, be sure to take notes tocapture the essence of the conversation. This is also an antidote for Murphy’s Law! No matter how quickly you can write, you will not beable to capture everything that transpires during the interview. The notes taken during the interview will serve as a road map for you sothat you can fill in the blanks as soon as possible after the actual interview. Your interviewees will also appreciate the rapport that youestablish with them and not be distracted by your fervent scratching on a notepad! Note taking is largely an idiosyncratic activity. Whatworks for one person may not work for another. I tend to use a combination of verbatim quotes (taken in longhand), abbreviations, andsketches (uses of arrows to link comments that are repeated, smiley faces to capture the interviewee’s body language, etc.) to enable meto reconstruct an interview. Given my increasing number of “senior moments,” it also speaks to the importance of taking time as soon aspossible after the interview to write up the field notes for the interview! (The components of interviewing are listed in Key Concepts Box 5–2.)

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7Dkey.jpg KEY CONCEPTS BOX 5–2: Components of Interviewing

Informal Interviews

5 Ws And H: WhoWhatWhereWhenWhy, and How?

Structured formal interviews

Pilot the interview.

Use a variety of question formats.

Use divergent and convergent questions.

Allow ample “wait time” to elicit a response.

Consider using an audio recorder to capture the interview responses.

Locate a private place to conduct the interview.

Carefully choose whom you will interview.

Take notes during the interview.

Focus Groups

Another valuable interview technique is the use of focus groups with several individuals who can contribute to your understanding of yourarea of focus. One way to think of focus groups is as a group interview where you are trying to “collect shared understanding from severalindividuals as well as to get views from specific people” (Creswell, 2012, p. 218). Focus groups are a particularly useful technique when theinteraction among individuals will lead to a shared understanding of the questions being posed by the teacher researcher. For example,James Rockford may have conducted a focus group with the parents of students in his word processing classes to determine a collectiveview of computer use in the home.

When conducting focus groups, it is important to ensure that all participants have their say and to nurture a group agreement to take turns;that is, participants should understand that the focus group is a sharing activity and that one or two participants should not dominate it.Using a structured or semistructured interview schedule, the teacher researcher can pose questions to the group and encourage allparticipants to respond. To use sporting metaphors, use a basketball versus a ping-pong questioning style. That is, ask the question, elicit aresponse, and pass it off to another participant (basketball) versus ask the question, accept the response, and ask another question. Get asmuch information out of each question as you possibly can and, in the process, ensure that all group participants have an opportunity torespond.

Ideally, the teacher researcher will use an interview to capture the responses from the focus group and then later transcribe the discussion.This is a time-consuming process—perhaps even more so than individual interviews—so be prepared to allocate time to ferreting out thenuances of the focus group interview and the shared understandings that emerge.

E-Mail Interviews

Another approach to interviewing that can be used effectively by teacher researchers is the use of e-mail interviews. With schools becomingincreasingly networked, it is easy to use e-mail to interview colleagues and students. For busy teachers, it may be a far more effective use oftime to engage in an ongoing conversation using e-mail. Busy professionals can respond to an e-mail either synchronously (during a “live”conversation) or asynchronously (at some other time when you are not sitting at your computer).

There are some pros and cons associated with the use of e-mail interviews. For example, one advantage of the e-mail interview is that thetranscription of the interview has already been done for you by the respondent! That is, you don’t have to transcribe a recorded interviewwith a colleague or student. However, there are ethical issues associated with assuring your respondent that his or her text response will beconfidential and anonymous. I am not an expert when it comes to technology, but I do not trust that, once I have sent an e-mail to someone,it is not sitting on a server somewhere that is accessible to other, curious folks! This paranoia is further enhanced by the amount of spam(junk e-mail) I receive that has been forwarded from someone else’s computer.

In spite of these technical and ethical challenges associated with the use of e-mail interviews, such interviews may be a useful tool to use atyour school. If your colleagues are like mine, it is difficult to find time during a day when we can sit down face-to-face to talk. Using e-mailwill allow your colleagues and students to respond on their own time line—perhaps from the comfort of their home or the quiet of theirclassroom or library after school.

Questionnaires

Perhaps the major difference between a structured interview schedule and a questionnaire is that the student or parent will write out theresponses on the form provided. Clearly, there are positives and negatives with each approach: Questionnaires allow the teacher researcherto collect large amounts of data in a relatively short amount of time (compared with interviewing the same number of students or parents),whereas interviews allow an opportunity for the teacher to intimately know how each student (and parent) feels about a particular issuebut in a time-consuming fashion that few teacher researchers feel is justified. A compromise is to use a questionnaire (when appropriate)and to conduct follow-up interviews with students who have provided written feedback that warrants further investigation. For example, ina conversational way, teachers, as part of their regular teaching, may ask, “Mary, in the questionnaire you returned you commented that. . . .Can you tell me a little more about that?” Similarly, as part of a parent-teacher conference, the teacher may follow up with parents who havereturned questionnaires.

Clearly, one major assumption associated with the use of a questionnaire is that the student can read and write. Many teacher researchersexclude the use of a questionnaire on this basis alone but also compromise the time it takes to interview all their students by interviewingonly a “representative sample” in their class.

A solid data collection instrument will help to ensure useful responses. Consider the following guidelines for developing and presentingquestionnaires:

1. Carefully proofread questionnaires (or, better still, have a “critical” friend read your questionnaire) before sending them out. Nothingwill turn parents off more quickly than receiving a message from their child’s teacher that is filled with errors. Alternatively, studentsmay be thrilled by the chance to point out that there is an error in their teacher’s written work.

2. Avoid a sloppy presentation. Make the survey attractive and consider using BIG print if necessary.

3. Avoid a lengthy questionnaire. Piloting the instrument will give you a realistic sense of how long it will take for your students (orparents) to complete the task. Remember, no matter how much they want to help you, if the questionnaire is too long, it will find its wayinto the “circular file” instead of back into your hands.

4. Do not ask unnecessary questions. This is akin to teachers developing tests that don’t match what was taught—a common complaintdirected toward the administration of standardized tests. Often, we feel compelled to ask a great deal of trivial information on aquestionnaire that is tangential to our stated purpose.

5. Use structured items with a variety of possible responses. (See the discussion of Likert scales in this chapter.) Indicate what youmean by “often” and “frequently” and how they differ from each other. Otherwise, your respondents will interpret the meaning of theterms in quite different ways.

6. Whenever possible, allow for an “Other Comments” section. This provides respondents with an opportunity to respond openly toyour questions. These comments also provide you with an excellent source of “discrepant” data (“I hadn’t expected someone to saythat!”) and an opportunity to follow up with an informal interview to elicit more information from the respondent as your time, energy,and inquisitiveness allow. For example, “In your response to question 3 you stated that. . . . Can you tell me a little more about what youmeant?”

7. Decide whether you want respondents to put their names on the questionnaires or whether you will use a number to keeptrack of who has responded. You should assure respondents (students, parents, colleagues) that their confidentiality will be protectedthroughout the process. However, you can protect respondents while also keeping track of who has responded and deciding whetherthey have made comments that you feel warrant a follow-up conversation. The key issue here is to assure the students, parents, andcolleagues that they will not suffer any negative consequences for anything they might share with you. If we want respondents to behonest and forthright in their answers, we must assure them that they will not be persecuted if they tell us something we don’t want toread or hear. (For further discussion of this matter, see the discussion of ethics in Chapter 2.) See Research in Action Checklist 5–1 forguidelines for devising a questionnaire.

5.5 Quantitative Data Collection Techniques

Many data collection techniques can be used by action researchers that represent common “evaluation” practices in schools and providethe teachers with data that can be reduced to numbers. Action researchers must not confuse the quantitative collection of data with theapplication of a quantitative research design. Experimental quantitative research requires students to be randomly assigned to a controlgroup or an experimental group and involves manipulation of the independent variables in order to control group assignments. Inclassrooms, it is usually not feasible for classroom teachers to structure their classroom instruction in this way. However, even if actionresearchers can’t control all of the variables in their classrooms, they can still make use of quantitative data collection techniques to gatheruseful information about their students that can be analyzed and interpreted using the descriptive statistical techniques.

Teacher-Made Tests

Perhaps one of the most common quantitative data collection techniques used by teachers to aid them in their ability to monitor and adjustinstruction is the use of teacher-made tests. That is, teachers will not rely solely on the unit tests provided by textbook companies todetermine whether their students have achieved mastery of specific goals and objectives. Often, teachers adapt rather than adoptcommercial curriculum materials and therefore cannot rely on the unit test accompanying the curriculum to be a valid measure of studentperformance. Similarly, teachers are expert at developing innovative curricula to address a particular area of focus and must make theirown tests from scratch. Gathering data from teacher-made tests provides classroom teachers with accessible information about how welltheir students are responding to a particular teaching or curriculum innovation.

Standardized Tests

Teachers are all too familiar with the kind of standardized tests that swept the nation as a result of the reauthorization of the Elementaryand Secondary Education Act (ESEA) in 2001, touted as the “No Child Left Behind” (NCLB) legislation. These standardized tests wereintended to provide teachers, principals, parents, and state and federal education officials with individual student achievement data. Thesedata are often reported as percentile ranks or stanines (see Appendix B) and provide teachers with data about the relative performance oftheir students. That is, these data provided teachers with a snapshot of how their students were performing on a given subject test relativeto all other students taking the test. These data were also aggregated to provide policymakers (e.g., principals and superintendents) withinformation about whether groups of students and schools were meeting adequate yearly progress (AYP). In the United States, AYP was acritical component of the federal NCLB act. In July 2015, the federal government reauthorized the ESEA after 15 years with the new EveryStudent Succeeds Act (ESSA). The ESSA returns responsibility to the states to grapple with issues of teacher quality and studentachievement and specifically allows states to use nonacademic measures as part of school scores. Regardless of this move, it appearsunlikely that schools will be free of standardized test scores as a key measure of student achievement and that teachers will find thesequantitative data sources to be a critical component of any action research data collection plan.

Voices from the Field Teacher-Made Tests

The teacher researcher in this video vignette explains the challenges facing an action researcher who is tasked with teaching a requiredSpanish curriculum and using the associated formative assessments. This scenario is also complicated by the fact that a studentteacher/action researcher does not necessarily have the authority to modify the classroom teacher’s assessment strategies. However,Rachelle was able to develop a series of formative assessments based on her own lesson planning in the hope that she would be able tocollect meaningful data focused on student achievement and attitude throughout the teaching of her Spanish I and Spanish II curriculum.The challenges of using another teacher’s teacher-made tests rest with the validity of those tests to accurately measure what Rachelle isteaching in her classes. In this scenario, Rachelle had limited input on the structure and content of these formative assessments, and it isnot clear what impact the lack of control had on her findings.

Teacher researchers are often pressured or required to use standardized tests. It is not possible to list here all of the standardized teststhat exist. We should acknowledge, however, that standardized test scores are another data source that contributes to our understanding ofhow teaching practices affect our students. A good source for teachers who are investigating standardized tests is the Mental MeasurementsYearbook (MMY). The MMYs are published by the Buros Institute of Mental Measurements and are a major source of test information foreducational researchers. The yearbooks, which can be found in most large libraries, provide information and reviews of published tests invarious school subject areas (such as English, mathematics, and reading) as well as personality, intelligence, aptitude, speech and hearing,and vocational tests. The Web addresses for the Buros Institute and its catalogs are at www.unl.edu/buros and www.unl.edu/buros/bimm/html/catalog.html.

School-Generated Report Cards

I was at one time the parent of a high school-aged child (Time and tide stand still for no one! He is now a college graduate.), and I hadintimate knowledge of the kind of report cards provided to children and parents to map student progress. My son, Jonathan, was proud todisplay his report cards on the front of our refrigerator along with all the other important family artifacts commonly found on the familyrefrigerator (e.g., pictures of family and friends and special vacation places). Along with the teachers’ comments (e.g., “Jonathan is anawesome writer,” a chip off the old block I would say!), there were the all-important credits earned and the even more important grade! AtJonathan’s school, grades were reported as letters (A–F) that were ultimately translated into numbers (0–4) in order to calculate a grade-point average (GPA). Students who earned a 3.5 GPA or higher, with a minimum of four credits, qualified for the Honor Roll, and theirnames appeared in the local newspaper. Hence, school-generated report cards are a valuable data source for teachers (who can quantifystudent achievement) and for students and parents (who can interpret the data and set goals accordingly).

Attitude Scales

Many teacher researchers are curious about the impact of their work on students’ attitudes. Scales that are often used to measure attitudes,such as Likert scales and semantic differentials, are useful tools for the action researcher. The use of attitude scales allows teacherresearchers to determine “what an individual believes, perceives, or feels” (Mills & Gay, 2016, p. 164). Nearly all of the action researchvignettes in this text include examples of how teacher researchers wanted to know how children “felt” about something (a keyboardingsoftware program, the violence and harassment scenes presented by the Teen Theater group, the absenteeism policy at the school, and thedeemphasis of grades). In some cases, these teacher researchers used an attitude scale, whereas others used open-ended questions, suchas “How do you feel about the school’s absenteeism policy?”

Likert Scales

Likert scale asks students to respond to a series of statements indicating whether they strongly agree (SA), agree (A), are undecided (U),disagree (D), or strongly disagree (SD) with each statement. Each response corresponds with a point value, and a score is determined byadding the point values for each statement. For example, the following point values might be assigned for positive responses: SA = 5, A = 4,U = 3, D = 2, SD = 1. As Mills and Gay (2016) point out, “A high point value on a positively stated item would indicate a positive attitude and ahigh total score on the test would be indicative of a positive attitude” (p. 164).

Although these instruments provide teacher researchers with quantitative (numerical) data, these data can still be considered descriptive.The responses to such a survey can be reduced to numbers (e.g., the average response was 4.2), but the data are still largely descriptiveand analyzed using descriptive statistics, such as mean and standard deviation (see Appendix B) and an accompanying narrative (e.g., “Theaverage response was 4.2 and was supported by the following comments . . .”).

To illustrate, students experiencing a new math curriculum that emphasizes problem-solving strategies may be asked to respond to thefollowing item on a questionnaire:

Please respond to the following items by drawing a circle around the response that most closely reflects your opinion: strongly agree(SA), agree (A), undecided (U), disagree (D), or strongly disagree (SD).

1. I believe that the problem-solving skills I learn in class help me make good problem-solving decisions outside of school.

SA         A         U         D         SD

By assigning the following point values, SA = 5, A = 4, U = 3, D = 2, SD = 1, the teacher researcher would be able to infer whether thestudents felt positively or negatively about the effect of math problem-solving skills outside the classroom.

Semantic Differential

semantic differential asks a student (or parent) to give a quantitative rating to the subject of the rating scale on a number of bipolaradjectives. For example, following the implementation of a new math curriculum, students might be asked to rate the curriculum in terms ofwhether it was exciting or boring, relevant or irrelevant, or enjoyable or unenjoyable.

Each location on the continuum between the bipolar words has an associated score:

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7D5227205008a.jpg

By totaling scores for all items on the semantic differential, the teacher researcher can determine whether a child’s attitude is positive ornegative. Semantic differential scales usually have five to seven intervals, with a neutral attitude being assigned a value of zero.

A child who checked the first interval on each of these items would be expressing a positive attitude toward mathematics (for furtherdiscussion of semantic differentials, see Mills & Gay, 2016Pelto & Pelto, 1978). Key Concepts Box 5–5 lists quantitative data collectiontechniques.

If you are comfortable using the Internet, you can find a veritable smorgasboard of online, Web-based survey tools to the design andanalysis of your Likert scale and semantic differential quantitative data collection strategies. See “Digital Research Tools for the 21stCentury: Web-Based Survey Tools” to learn more.

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7Dkey.jpg KEY CONCEPTS BOX 5–5: Quantitative Data Collection Techniques

· Teacher-made tests

· Standardized tests

· School-generated report cards

· Attitude scales

· Likert scales

· Semantic differential

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7Ddigital.jpg Digital Research Tools for the 21st Century Web-Based Survey Tools

Web-Based Survey Tools

Many Web-based survey tools support the design and analysis of survey research instruments, and many commercial survey researchproviders have popular online products that cater to educational researchers’ needs for the development and analysis of surveyinstruments. Universities often provide students with free access to survey tool software hosted on the university server. However, donot be lured into a false sense of security by these user-friendly online providers. Remember the guiding principle of “garbage in,garbage out”! The survey researcher must still follow the steps in the research process to ensure that a survey tool based on an existing(commercially available) instrument collects the information necessary to answer the research questions.

What follows is a brief description of four selected online survey sites. However, a simple Google search of “online survey tools” willprovide a comprehensive list of free and subscriber services.

SurveyMonkey.com

SurveyMonkey.com provides templates for the development of questionnaires using a variety of response strategies (e.g., multiple choice,rating scales, drop-down menus, etc.) as well as the ability to administer the survey using e-mail invitations, with a record of respondentsand nonrespondents, and the ability to analyze results as soon as data arrive. Data are easily downloaded into statistical and spreadsheetprograms such as SPSS and Excel but can also be viewed through SurveyMonkey.com in graphic or table form. For detailed information,including pricing and guided tutorials for the development of a survey instrument, visit the home page at www.surveymonkey.comSurveyMonkey.com also provides links to other online providers so that potential users can conduct a comparison of the servicesprovided.

Zoomerang

Zoomerang provides survey researchers with a free trial to create an online survey, including the ability to pilot test the tool on a smallsample and to analyze the results of the trial. Like other commercial online survey providers, Zoomerang provides users with surveytemplates and the ability to conduct sophisticated statistical analyses of the results. Zoomerang charges users for its regular services butprovides a discount for educational institutions. For detailed information, including pricing and a free trial, visit the home page at www.zoomerang.com.

LimeSurvey

LimeSurvey is an open-source, free survey tool that the developers claim “contains everything you need for doing nearly every surveywith grace.” LimeSurvey has an impressive list of features, including multilingual versions of surveys currently available in 50 languagesand access to 20 different question types. The words easy and free are important descriptors for this source, which is available at www.limesurvey.org.

eSurveyspro

eSurveyspro is another open-source, free survey tool that provides 18 different question types and the ability to export your survey datato Excel or SPSS. Like other “free” services, eSurveyspro offers subscriptions for users with advanced survey needs. Visit www.esurveyspro.com for a complete list of survey features.

Qualtrics

Qualtrics is an open-source, free (up to a point), sophisticated survey tool that provides users with over 100 different question types anduses interactive question types and rich media sources in the hope of increasing survey response rates. Qualtrics also provides access toa large library of existing surveys to save time in the development process. Visit www.qualtrics.com for a complete list of survey featuresand a free account.

(Mills & Gay, 2016, p. 202)

5.6 Triangulation

In research terms, the desire to use multiple sources of data is referred to as triangulation. It is generally accepted in action researchcircles that researchers should not rely on any single source of data, interview, observation, or instrument. Sagor (2000) has suggested thataction researchers complete a “triangulation matrix—a simple grid that shows the various data sources that will be used to answer eachresearch question” (pp. 19–20). In the vignette that opened this chapter, you can see how Rockford has laid out his triangulation matrix toaddress issues related to bias in the data collection. (See Figure 5–3 for an example of a triangulation matrix.) We will adopt a lessprescriptive approach here, but we support the triangulation principle. That is, the strength of educational research lies in its triangulation,collecting information in many ways rather than relying solely on one (Wolcott, 1988). Pelto and Pelto (1978) have described this as a“multi-instrument” approach (p. 122). For our purposes in doing action research, this suggests that the teacher is the research instrumentwho, in collecting data, utilizes a variety of techniques over an extended period of time, “ferreting out varying perspectives on complexissues and events” (Wolcott, 1988, p. 192).

figure 5–3 Triangulation Matrix Example

https://media.thuze.com/MediaService/MediaService.svc/constellation/book/Mills.3071.18.1/%7Bimages%7D5227205006.jpg

It should be noted that this “ferreting out” may involve the combination of qualitative and quantitative approaches by including bothqualitative and quantitative data in a single study. For example, a teacher may be shocked to see the steady decline of student performanceon statewide reading assessments. In order to better understand the reasons behind the decline, the teacher develops and administers asurvey to students that is focused on out-of-school reading behaviors. Analysis of the survey may reveal that students do not like the choiceof reading materials provided by the school and as a result have stopped reading after school. The teacher uses these data as the basis forinterviews with some of the students (and, perhaps, parents) in order to better understand the kinds of reading materials that studentswould find interesting to read out of school. Therefore, our triangulation of data may involve collecting qualitative and quantitative data,allowing us to build on the synergy and strength that exist between qualitative and quantitative research methods. This approach willenable us to understand a phenomenon more fully than is possible using either qualitative or quantitative methods alone. As we begin tofocus our data collection efforts, we must keep in mind the principle of triangulation and apply it to our regular data collection efforts.

5.7 Realign Your Area of Focus and Action Research Plan When Necessary

By this point in the action research process, teacher researchers have already articulated their area of focus in a problem statement andreviewed the literature based on that idea. However, once they start their data collection, many teacher researchers find themselves drawninto other directions that appear more interesting, relevant, or problematic. That is the very nature of action research; it is intimate, open ended, and often serendipitous. Being clear about a problem is critical in the beginning, but once teacher researchers begin tosystematically collect their data, the area of focus will become even clearer.

Be prepared to modify and adjust your action research plan if necessary. For example, a group of teachers started their action researchproject with an area of focus on the impact of early literacy development on problem-solving skills in mathematics. As their study evolved, itbecame clear to the participants that their real focus was not on the transfer of literacy to problem solving but rather on the effects of aphonemic skills curriculum on early literacy development. When this focus became clear after some initial data collection, the groupdecided to change their research questions to more accurately reflect the real nature of their work.

There is nothing wrong with realigning your inquiry midway through it. Remember, action research is done to benefit you and the studentsin your classroom. The process is a spiral. If you discover a question or a method that seems more fruitful than the one you are currentlyusing, adjust your action research plan and continue on!

Voices from the Field Realign Your Area of Focus and Action Research Plan When Necessary

In this video vignette, our teacher researcher explains some of the challenges of being able to realign her area of focus and to makechanges given the context of being a student teacher working in a cooperating teacher’s classroom while also completing an academicprogram requirement: an action research project. However, the vignette provides a good example of the need for teacher researchers toreflect on their area of focus and data collection strategies and to be prepared to make changes “on the fly.” In this scenario, our teacherresearcher reflects on her desire to add to her data collection strategies by incorporating student interviews into her plan and in sodoing, to better understand students’ perceptions and attitudes toward assessment strategies in the classroom.