Creation of Summative Assessment

Figure 7.6 Developing performance-based assessment

Teacher-constructed performance-based assessment tasks may well require teachers to progress sequentially through these four steps, paying attention to the cautions and criteria summarized in the text. But in many cases ready-made and entirely appropriate performance-based assessments are available from a variety of sources, including commercially prepared instructional and assessment guides that often accompany courses or course material, system or state assessment guides and standards, and web-based material.

Note that the final step in this process is developing a scoring system. Basically, this step involves identifying and refining criteria that can be used to assess the performance of a task or the quality of a product.

Identifying Criteria

Say, for example, that you want to devise a performance-based assessment task for essay writing in a sixth-grade class. First you need to know the criteria for a good essay. A variety of approaches are possible: You might begin by researching published material, online or hard copy, and ferreting around for information about how your state, your school, or other authorities define the qualities of a good sixth-grade essay. You might also look at the pile of sixth-grade essays you or others have collected over the years and analyze them, trying to discover what makes some better than others. Or, better yet, why not spearhead the formation of a PLC so that you can consult and collaborate with other educators and perhaps even with parents and students? What do others think the characteristics of a good essay are? Why?

In the end, you might come up with a list of criteria that looks something like this:

A good sixth grade essay:

· focuses on its main topic

· is interesting and clearly written

· uses appropriate vocabulary and grammar

· has a good introduction

· is logically sequenced

· contains material that is demonstrably factual or opinions that are identified as such

Note that these simplified criteria reflect important common core standards that might be adopted by a state or a school jurisdiction.

Chapter 8

Planning for Teacher-Made Tests

FOCUS QUESTIONWhat are some important steps in planning for assessment?

Reading the chapter might have improved Mr. Moskal's construction of teacher-made tests (as opposed to commercially prepared standardized tests, discussed in Chapter 10).

He would know that he should not rely solely on his memory and intuition when constructing a test but should begin with a clear notion of his educational goals. He then needs to decide on the best ways of determining whether his learners have reached these goals. If his assessments are to be useful for determining how well his students have learned (summative function of tests) and for improving their learning (formative function of tests), he will need some detailed test blueprints, and perhaps some rubrics and checklists, to help him evaluate student performances.

Identify Goals and Learning Objectives

Educational goals are the nation's, state's, school district's, or teacher's general statements of the broad intended outcomes of the educational process. Learning, or instructional, objectives are more specific statements of intended learning outcomes relative to a lesson, unit, or even course. Whereas educational goals are often somewhat vague and idealistic, the most useful learning objectives for the classroom tend to be very explicit. Most are phrased in terms of behaviors that can be taught and learned and that can be assessed.

National Educational Standards (Goals)

The nation's educational goals (or standards), for example, are often detailed in legislation and regulations. As we saw in Chapter 1, in the United States the legislation governing K–12 education, ESSA, requires all states to develop standards and to devise or select appropriate assessments to determine the extent to which these standards are being met.

Virtually all states have now published descriptions of educational standards and criteria that can be used to assess the extent to which educational goals are being met. As we saw, following a nationwide education initiative involving a consortium of educators, Common Core State Standards (Council of Chief State School Officers, 2018) were developed. These standards describe what students should know at each grade level for each subject. One intended result of adopting common core standards is to bring about a realignment of curricula across different states.

LEARN MORE

National Science Standards

Another example of common core standards are the Next Generation Science Standards (NGSS) (Next Generation Science Standards, 2018). These standards are the product of a collaboration among 26 states and various national groups, including the National Research Council, the American Association for the Advancement of Science, and the National Science Teachers Association. They are designed to improve the teaching of science in U.S. schools and are built around the notion that there are three distinct dimensions involved in learning science:

1. core ideas in each of the main domains of science (physical science, earth and space science, life science, and engineering design);

2. practices, meaning what it is that scientists do and the range of skills and knowledge required to engage in these practices; and

3. crosscutting, which refers to making connections across the four domains of science.

Accordingly, each of the many standards is described in terms of all three of these dimensions. An illustration of a standard is shown in Table 8.1. More than two thirds of American states have now adopted the NGSS standards or have used them as a basis for developing their own science standards (National Science Teachers Association, 2018).

Create Test Blueprints

The best way of ensuring that assessments are directed toward instructional objectives is to use test blueprints. These are basically tables of specifications for developing assessment instruments. They are typically based closely on the instructional objectives for a course or a unit. They may also reflect a list or a hierarchical arrangement of relevant intellectual or motor activities such as those provided by revisions of Bloom's taxonomy (described in Chapter 4).

Many states provide blueprints for large-scale testing. For example, the Ohio Department of Education provides detailed, multigrade test blueprints for mathematics, English language arts, science, and social studies (Ohio Department of Education, 2018; Johnstone & Thurlow, 2012).

Examples of Test Blueprints

Suppose you are teaching sixth-grade mathematics in California. California core standards list detailed objectives at that grade level for five different areas: ratios and proportional relationships, the number system, expressions and equations, geometry, and statistics and probability (Sacramento County Office of Education, 2018a). The first of six core standards for geometry reads as follows:

Find the area of right triangles, other triangles, special quadrilaterals, and polygons by composing into rectangles or decomposing into triangles and other shapes; apply these techniques in the context of solving real-world and mathematical problems. (Sacramento County Office of Education, 2018a, p. 27)

Part of a test blueprint reflecting related learning objectives, based on Bloom's revised taxonomy, might look something like that in Table 8.2. Numbers in the grid indicate the number of test items for each category. Questions in parentheses are examples of the sorts of items that might be used to assess a specific cognitive process with respect to a given topic. Test blueprints of this kind might also include the value assigned to each type of test item.

There are several other approaches to devising test blueprints. For example, the blueprint might list what learners are expected to understand, remember, or be able to do. In addition, the most useful blueprints will include an indication of how many items or questions there might be for each entry in the list and the test value for each. Figure 8.2 gives an example of a checklist that can be used as a blueprint for a unit covering part of the content of Chapter 2 in this text. (For other examples of test blueprints, see Tables 4.4 and 4.5 in Chapter 4.)

Figure 8.2 Checklist test blueprint

A teacher might use a checklist test blueprint such as this as an assessment rubric; a student might use it as a study guide and self-assessment guide.

Uses and Limitations of Test Blueprints

A blueprint such as that shown in Figure 8.2 is useful for more than simply organizing and writing items for a test. It can also be adapted as a rubric that might be used for assessing learner progress, as well as for guiding learner efforts. Perhaps most important, it directs the attention of both teachers and learners toward the higher levels of mental activity.

In this connection, it is worth noting that despite teachers' best intentions and their most carefully prepared test blueprints, assessments do not always reflect instructional objectives. For a variety of reasons, including that they are much easier to assess, the lowest levels of cognitive activity in Bloom's taxonomy (knowledge and comprehension) are often far more likely to be tapped by school assessments than are the higher levels. As Adams (2015) notes with respect to health education, in spite of the importance of higher level cognitive skills that would foster critical thinking and evaluative judgment, educators "focus overwhelmingly on the lower levels of the taxonomy, knowledge and comprehension" (p. 153). When Broman, Bernholt, and Parchmann (2015) looked at problems used to determine student interest and knowledge in science, they found that almost all test items were assessing lower rather than higher order thinking. Similarly, Jideani and Jideani (2012) report that knowledge- and comprehension-based assessments predominated in their investigation of assessment in food sciences classes. And this was true even though instructors intended that their students go beyond remembering and understanding—that they also learn to apply, analyze, evaluate, and create.

Create Rubrics

As we saw in Chapter 7, another important tool for assessment is the rubric. A rubric is a written guide for assessment. Rubrics are used extensively in performance assessments—in which, without such guides, evaluations are often highly subjective, unpredictable, and unfair. Inconsistent assessments are the hallmark of a lack of test reliability. And measures that are unreliable are also invalid.

Rubrics, like test blueprints, are a guide not only for assessment but also for instruction. Also like blueprints, they are typically given to the learner before instruction begins. They often tell the student what is important and expected far more clearly than might be expressed verbally.

LEARN MORE

Approaches to Classroom Assessment

As we saw earlier, assessment can serve at least three different functions in schools.

1. Assessment might be used for placement purposes before instruction (placement assessment). Diagnostic assessment, which is a form of preassessment used to identify strengths and weakness and to detect learning difficulties, is generally considered a form of placement assessment.

2. Assessment might assume a helping role when feedback from ongoing assessments is given to learners to help them improve their learning and when ongoing assessments suggest to the teacher how instructional strategies might be modified (formative assessment).

3. School assessments often serve to provide a summary of the learner's performance and achievements. These unit- or year-end assessments are usually the basis for grades (summative assessment).

Monkeybusinessimages/iStock/Getty Images Plus

Because they are closer to real-life situations, performance-based assessments are often described as more authentic assessments. Some of the most important learning targets associated with the chemistry class to which these students belong cannot easily be assessed with a selected-response test. The test is in the performance.

Teacher-made assessments, no matter to which of these uses they are put, can take any one of several forms. Among them are performance-based assessments, selected-response assessments, and constructed-response assessments.