dis 2

Pierangelo, R., & Giuliani, G. A. (2012).  Assessment in special education: A practical approach . Boston: Pearson.

2.1 ASSESSMENT AND TESTING CONSIDERATIONS

The ways that children and adolescents can be evaluated for special education vary from individual to individual. The assessment methodneeds to be determined on a case-by-case basis. However, to obtain the most valid and accurate picture of a student’s strengths andweaknesses, a comprehensive measure of assessment involves using both formal and informal methods of assessment.

Formal and informal are not technical psychometric terms; therefore, there are no uniformly accepted definitions.  Formal tests  assume asingle set of expectations for all students and come with prescribed criteria for scoring and interpretation.  Informal tests  are used here toindicate techniques that can easily be incorporated into classroom routines and learning activities. Informal assessment techniques can beused at any time without interfering with instructional time. Their results are indicative of the student’s performance on the skill or subjectof interest. Unlike standardized tests, they are not intended to provide a comparison to a broader group beyond the students in the localproject or to predict future performance (McLoughlin & Lewis, 2008).

This is not to say that informal assessment is casual or lacking in rigor. Informal assessment requires a clear understanding of the levels ofability the students bring with them. Only then may assessment activities be selected that students can attempt reasonably. Informalassessment seeks to identify the strengths and needs of individual students without regard to grade or age norms.

Scores on  norm-referenced tests (NRT)  are not interpreted according to an absolute standard or criterion (e.g., 8 out of 10 correct) butrather according to how the student’s performance compares with that of a particular group of individuals (Salvia & Ysseldyke, 2007). Forthis comparison to be meaningful, a valid comparison group—called a norm group—must be defined. A  norm group  is a large number ofchildren who are representative of all the children in that age group. Such a group can be obtained by selecting a group of children whohave the characteristics of children across the United States—that is, a certain percentage must be from each gender, from various ethnicbackgrounds (e.g., Caucasian, African American, American Indian, Asian, Hispanic), from each geographic area (e.g., Southeast, Midwest),and from each socioeconomic class.

By having all types of children take the test, the test publisher can provide information about how various types of children perform on thetest. (This information—the types of students comprising the norm group and how each type performed on the test—is generally given inthe manuals that accompany the test.) The school will compare the scores of the child being evaluated to the scores obtained by the normgroup (Taylor, 2009). This helps evaluators determine whether the child is performing at a level typical for, below, or above that expectedfor children of a given ethnicity, socioeconomic status, age, or grade.

Thus, before making assumptions about a child’s abilities based on test results, it is important to know something about the group to whichthe child is being compared—particularly whether the student is being compared to children who are similar in ethnicity, socioeconomic status, and so on. The more unlike the child the norm group is, the less valuable the results of testing will generally be. This is an area inwhich standardized testing has fallen under considerable criticism. Often, test administrators do not use the norm group informationappropriately, or there may not be children in the norm group similar to the child being tested. Furthermore, many tests were originallydeveloped some time ago, and the norm groups reported in the test manual are not similar at all to the children being tested today.

Norm-referenced tests include basal and ceiling levels, which are used to prevent the examiner from having to administer all of the itemswith each test. A  basal  is the “starting point.” It represents the level of mastery of a task below which the student would correctly answer allitems on a test. All of the items prior to the basal are not given to the student. These items are considered already correct. For example, onan IQ test, the examiner may start with question 14 because of the age of the child. That is the basal. Here, the student starts with creditgiven for the first 13 questions (Overton, 2006).

Once the basal is determined, the examiner will administer all items until the student reaches a ceiling. The  ceiling  is the point at which thestudent has reached the predetermined number of errors, and therefore, testing is stopped because it is assumed that the student willcontinue to get the answers wrong. The ceiling is the “ending point.” It represents the level of mastery of a task above which the studentwould incorrectly answer all future items on a test. For example, if on a spelling test a child got numbers 15 to 24 wrong, and the ceiling is10 incorrect in a row, this means that the examiner would stop administering spelling words to the child because the ceiling has beenobtained (Cohen & Spenciner, 2011).

Intended Purposes of Norm-Referenced Tests

Norm-referenced tests compare a person’s score against the scores of a group of people who have already taken the same exam, called the norming group. When you see scores in the paper that report a school’s scores as a percentage—“the Lincoln school ranked at the 49thpercentile”—or when you see your child’s score reported that way—“Jamal scored at the 63rd percentile”—the test is usually a norm-referenced test. Norm-referenced tests are designed to “rank order” test takers—that is, to compare students’ scores. A commercial norm-referenced test does not compare all the students who take the test in a given year. Instead, test makers select a sample from the targetstudent population (say, ninth graders). The test is “normed” on this sample, which is supposed to fairly represent the entire targetpopulation (all ninth graders in the nation). Students’ scores are then reported in relation to the scores of this norming group. To makecomparing easier, test makers create exams in which the results end up looking at least somewhat like a bell-shaped curve (the normalcurve; see Chapter 3). Test makers make the test so that most students will score near the middle, and only a few will score low (the left sideof the curve) or high (the right side of the curve).

The major reason for using norm-referenced tests is to classify students. NRTs are designed to highlight achievement differences betweenand among students to produce a dependable rank order of students across a continuum of achievement from high achievers to lowachievers. School systems might want to classify students in this way so that they can be properly placed in remedial or gifted programs.These types of tests are also used to help teachers select students for different ability level reading or mathematics instructional groups.

Tests are normed using a national sample of students. Because norming a test is such an elaborate and expensive process, the norms aretypically used by test publishers for 7 years. All students who take the test during that 7-year period have their scores compared to theoriginal norm group.

Standardization

All norm-referenced tests include standardized procedures.  Standardization  refers to structuring test materials, administrationprocedures, scoring methods, and techniques for interpreting results (Venn, 2007).  Standardized tests  have detailed procedures foradministration, timing, scoring, and interpretation procedures that must be followed precisely to obtain valid and reliable results.Standardized tests are very much a part of the education scene. Most of us have taken many such tests in our lifetime. A wide variety ofstandardized tests is available to assess different skill areas. In the field of special education, these include intelligence tests; math, reading,spelling, and writing tests; perceptual tests; and many others. The fact is, standardized tests are a tremendous source of information whenassessing a child (McLoughlin & Lewis, 2009).

Concerns with Standardized Testing

Criticisms of standardized tests seem to have grown in proportion to the frequency with which, and the purposes for which, they are used(Pierangelo & Giuliani, 2009). Districts now administer such tests at every grade level, define success or failure of programs in terms of testscores, and even link teacher and administrator salaries and job security to student performance on standardized tests.

Three areas of criticism in regard to standardized tests are content, item format, and item bias. Standardized tests are designed to providethe best match possible to the perceived “typical” curriculum at a specific grade level. However, for programs such as a bilingual educationthat are built on objectives unique to the needs of their students, many of the items on a standardized test may not measure the objectivesor content of that program. Thus a standardized test may have low content validity (see Chapter 4) for specific bilingual educationprograms. In such a situation, the test might not be sensitive to actual student progress. Consequently, the program, as measured by thistest, would appear to be ineffective.

Standardized achievement tests generally rely heavily on multiple-choice items. This item format allows for greater content coverage as wellas objective and efficient scoring. However, the response required by the format is recognition of the correct answer. This type of responsedoes not necessarily match the type of responses students regularly make in the classroom, for example, the production or synthesis ofinformation. If students are not used to responding within the structure imposed by the item format, their test performance may suffer. Onthe other hand, students may recognize the correct form when it is presented as a discrete item in a test format, but fail to use that formcorrectly in communication contexts. In this case, a standardized test may make the student appear more proficient than performancewould suggest.

Further, some tests have been criticized for including items that are biased against certain kinds of students (e.g., ethnic minority, limitedEnglish proficient, rural, inner-city). The basis for this criticism is that the items reflect the language, culture, and/or learning style of themiddle-class majority. Although test companies have attempted to write culture-free items, the removal of questions from a meaningfulcontext has proved problematic for minority students (Navarete et al., 1990).

Thus, there are strong arguments in favor of educators considering the use of alternative forms of assessment to supplement standardizedtest information. These alternate assessments should be timely, not time-consuming, truly representative of the curriculum, and tangiblymeaningful to the teacher and student. Techniques of informal assessment have the potential to meet these criteria as well as programmaticrequirements for formative and summative evaluations. Validity and reliability are not exclusive properties of formal, norm-referencedtests. Informal techniques are valid if they measure the skills and knowledge imparted by the project; they are reliable if they measureconsistently and accurately.

According to Hart (1994, cited in Taylor, 2009) important criticisms of standardized testing include the following:

• Too much value placed on recall and rote learning at the expense of understanding and reflection

• Misleading impression given that a single right answer exists for almost every problem or question

• Students turned into passive learners who need only recognize, not construct, answers and solutions

• Teachers forced to focus more on what can be easily tested than on what is important for students to learn

• Content and skill development trivialized by reducing whatever is taught to a fill-in-the-bubble format (p. 127)

To best prepare students for standardized achievement tests, teachers usually devote much time to teaching the information found on thestandardized tests. This is particularly true if the standardized tests are also used to measure an educator’s teaching ability. With curriculumspecialists and educational policy makers alike calling for more attention to higher-level skills, these tests may be driving classroom practicein the opposite direction.

2.2 INFORMAL ASSESSMENT

Criterion-Referenced Tests

Many educators and members of the public fail to grasp the distinctions between criterion-referenced and norm-referenced testing. It iscommon to hear the two types of testing referred to as if they serve the same purposes or shared the same characteristics. Much confusioncan be eliminated if the basic differences are understood. Whereas norm-referenced tests ascertain the rank of students,  criterion-referenced tests (CRTs)  report how well students are doing relative to a predetermined performance level on a specified set of educationalgoals or outcomes included in the school, district, or state curriculum.

Educators or policy makers may use a CRT to see how well students have learned the knowledge and skills they are expected to havemastered. This information may be used as one piece of information to determine how well the student is learning the desired curriculumand how well the school is teaching that curriculum.

CRTs are scored according to a standard, or  criterion , that the teacher, school, or test publisher decides represents an acceptable level ofmastery. An example of a criterion-referenced test might be a teacher-made spelling test containing 20 words to be spelled. The teacher hasdefined an “acceptable level of mastery” as 16 correct (or 80%). These tests, sometimes called  content-referenced tests , are concernedwith the mastery of specific, defined skills; the student’s performance on the test indicates whether he or she has mastered those skills.Examples of criterion-referenced questions would be

• Does John correctly read the word happy?

• Does Jane do eighth-grade math computation problems with 85 percent accuracy?

• Did Joe get 90 percent of the questions correct on the social studies exam?

As you can see, in criterion-referenced assessment, the emphasis is on correctly answering a certain percentage of a series of questions.The test giver is interested in what the student can and cannot do, rather than how his or her performance compares with those of otherpeople (Salvia & Ysseldyke, 2007, p. 30).

An  informal reading inventory (IRI)  is an example of a criterion-referenced test. IRIs generally consist of two main sections: wordrecognition and passage reading. According to Bigge and Stump (1999),

the interpretation of an IRI is based on criteria or levels of performance, and identifies three reading levels: independent, instructional,and frustration. The independent reading level is the level at which a student reads fluently and for pleasure (word recognition of 96%to 99% correct paired with correct comprehension of 75% to 90%). The instructional reading level is the level at which the student canexperience success with assistance (word recognition of 92% to 95% correct paired with correct comprehension of 60% to 75%). Thefrustration level is the level at which the reading process breaks down for the student (word recognition of 90% to 92% or less pairedwith correct comprehension of 60% to 75% or less), as demonstrated by depressed comprehension and difficulties with wordrecognition (p. 197).

Standards-Referenced Tests

A recent variation of the criterion-referenced test is the  standards-referenced test , or standards-based assessment. Many states anddistricts have adopted content standards (or “curriculum frameworks”) that describe what students should know and be able to do indifferent subjects at various grade levels. They also have performance standards that define how much of the content standards studentsshould know to reach the “basic,” “proficient,” or “advanced” level in the subject area. Tests are then based on the standards, and the resultsare reported in terms of these “levels,” which, of course, represent human judgment. In some states, performance standards have beensteadily increased, so that students continually have to know more to meet the same level.

Educators often disagree about the quality of a given set of standards. Standards are supposed to cover the important knowledge and skillsstudents should learn—they define the “big picture.” State standards should be well written and reasonable. Some state standards havebeen criticized for including too much, for being too vague, for being ridiculously difficult, for undermining higher-quality local curriculumand instruction, and for taking sides in educational and political controversies. If the standards are flawed or limited, tests based on themalso will be. In any event, standards enforced by state tests will have—and are meant to have—a strong impact on local curriculum andinstruction.

Ecological Assessment

Ecological assessment  involves directly observing and assessing a child in the many environments in which he or she routinely operates.The purpose of conducting such an assessment is to probe how the different environments influence the student and his or her schoolperformance. Critical questions to ask in an ecological assessment include:

• In which environments does the student manifest difficulties?

• Are there instances in which he or she appears to function appropriately?

• What is expected of the student academically and behaviorally in each type of environment?

• What differences exist in the environments in which the student manifests the greatest and the least difficulty?

• What implications do these differences have for instructional planning?

According to Overton (2009), an ecological assessment analyzes a “student’s total learning environment” (p. 339). A thorough ecologicalassessment should include the following:

• Interaction between students, teachers, and others in the classroom and in other school environments

• Presentation of materials and ideas

• Selection and use of materials for instruction

• Physical arrangement and environment of the classroom or target setting

• Students’ interactions in other environments

Ecological assessment can also draw on:

• The culture and beliefs of the child

• The teacher’s teaching style

• The way time is used in the classroom

• Academic, behavioral, and social expectations within the learning environment

The components of an ecological assessment clearly reveal that it involves numerous aspects of the student’s life to get a detailed picture ofhis or her situation.

Curriculum-Based Assessment

Direct assessment of academic skills is one alternative that has recently gained in popularity. Although a number of direct assessmentmodels exist, they are similar in that they all suggest that assessment needs to be tied directly to instructional curriculum.

According to Cohen and Spenciner (2011),  curriculum-based assessment (CBA)  is an approach to linking instruction with assessment.CBA has three purposes: (1) to determine eligibility, (2) to develop the goals for instruction, and (3) to evaluate the student’s progress inthe curriculum. Based on the student’s performance on a CBA instrument, teachers and other professionals can specify instructional goals.Because there is such a close link between assessment and instruction, it is possible to conduct CBA frequently in order to determinewhether to make any changes in instruction or the curriculum. Data collection, interpretation, and intervention are all integral parts of CBA.Other terms for CBA are curriculum-referenced measurement, curriculum-embedded measurement, frequent measurement, continuouscurriculum measurement, and therapeutic measurement.

CBA is useful because it:

• links curriculum and instruction.

• helps the teacher determine what to teach.

• can be administered frequently.

• is sensitive to short-term academic gains.

• assists in the evaluation of student progress and program evaluation.

• can be reliable and valid.

Whereas standardized commercial achievement tests measure broad curriculum areas and/or skills, curriculum-based assessment (CBA)measures specific skills that are presently being taught in the classroom, usually basic skills. Several approaches to CBA have beendeveloped (Hall & Mengel, 2002). Four common characteristics exist across these models:

• The measurement procedures assess students directly using the materials in which they are being instructed. This involves samplingitems from the curriculum.

• Administration of each measure is generally brief in duration (typically 1–5 minutes).

• The design is structured such that frequent and repeated measurement is possible and measures are sensitive to change.

• Data are usually displayed graphically to allow monitoring of student performance.

“Tests” of performance in this case come directly from the curriculum. For example, a child may be asked to read from his or her readingbook for one minute. Information about the accuracy and the speed of reading can then be obtained and compared with other students inthe class, building, or district. CBA is quick and offers specific information about how a student may differ from his or her peers. Becausethe assessment is tied to curriculum content, it allows the teacher to match instruction to a student’s current abilities and pinpoints areas inwhich curriculum adaptations or modifications are needed.

CBA also offers information about the accuracy and efficiency (speed) of performance. The latter is often overlooked when assessing achild’s performance, but is an important piece of information when designing intervention strategies. CBA is also useful in evaluating short-term academic progress (Wright, 2007).

Curriculum-Based Measurement

Curriculum-based measurement (CBM)  is an assessment method that involves timing tasks and then charting performance. CBM is mostconcerned with fluency. This means that we are looking at the rate at which a student is able to perform a given task. After assessing thespeed at which the student performs the task, we then chart performance over time so that we can clearly see on a graph the student’sprogress (or decline) from the initial performance to the goal point. An example of curriculum-based measurement would be to examinethe number of words correctly read from a book in 5 minutes and then continually chart the student’s progress over the course of theschool year with the goal being set at a predetermined number (e.g., 150 words).

How Does CBM Work?

According to McLane (2006), when CBM is used, each child is tested briefly each week. The tests generally last from 1 to 5 minutes. Theteacher counts the number of correct and incorrect responses made in the time allotted to find the child’s score. For example, in reading,the child may be asked to read aloud for one minute. Each child’s scores are recorded on a graph and compared to the expectedperformance on the content for that year. The graph allows the teacher, and you, to see quickly how the child’s performance compares toexpectations. (Figure 2.1 is an example of what a CBM graph looks like.)

After the scores are entered on the graphs, the teacher decides whether to continue instruction in the same way, or to change it. A change iscalled for if the child’s rate of learning progress is lower than is needed to meet the goal for the year.

The teacher can change instruction in any of several ways. For example, he or she might increase instructional time, change a teachingtechnique or way of presenting the material, or change a grouping arrangement (for example, individual instruction instead of small-group instruction). After the change, parents—and the teacher—can see from the weekly scores on the graph whether the change is helping theirchild. If it is not, then the teacher can try another change in instruction, and its success will be tracked through the weekly measurements.

FIGURE 2.1 Example of Curriculum Based Measurement (CBM) graph for reading.

Dynamic Assessment

Dynamic assessment  refers to several different but similar approaches to evaluating student learning. One of the chief characteristics ofdynamic assessment is the inclusion of a dialogue or interaction between the examiner and the student. The interaction allows the examinerto draw conclusions about the student’s thinking processes (i.e., why he or she answers a question in a particular way) and his or herresponse to a learning situation (i.e., whether, with prompting, feedback, or modeling, the student can produce a correct response and whatspecific means of instruction produce and maintain positive change in the student’s cognitive functioning).

Dynamic assessment may be framed as a constructivist approach to assessment. That is, the goal is to determine what students do, can do,and can do with help, and to devote less time and attention to comparing student performance to set standards or to norm-groupperformance in an attempt to identify deficiencies. In dynamic assessment,

the assessment is focused on student learning and performance over time, and comparisons are made between a student’s current andpast performance. Additionally, dynamic assessment is concerned with learning what a student is able to do when provided supports inthe form of prompts, cues, or physical supports, some of which naturally exist in the environment (Bigge & Stump, 1999, p. 182).

Typically, dynamic assessment involves a test–train–retest approach. The examiner begins by testing the student’s ability to perform a taskor solve a problem without help. Then, a similar task or problem is given to the student, and the examiner models how the task or problemis solved or gives the student cues to assist his or her performance. In Feuerstein’s (1979) model of dynamic assessment, the examiner isencouraged to interact constantly with the student, an interaction that is called mediation, which is felt to maximize the probability that thestudent will solve the problem.

Dynamic assessment is a promising addition to current evaluation techniques. Because it incorporates a teaching component into theassessment process, this type of assessment may be particularly useful with students from minority backgrounds who may not have beenexposed to the types of problems or tasks found on standardized tests. The interactional aspect of dynamic assessment also can contributesubstantially to developing an understanding of the student’s thinking process and problem-solving approaches and skills. Certainly, havingdetailed information about how a student approaches performing a task and how he or she responds to various instructional techniquescan be highly relevant to instructional planning.

Portfolio Assessment

Perhaps the most important type of assessment for the classroom teacher is the  portfolio assessment . According to Overton (2009), a  portfolio assessment  is “a collection of various types of products or assessments collected over time that demonstrate student progress”(p. 20). The collection must include student participation in selecting contents, the criteria for selection, the criteria for judging merit, andevidence of student self-reflection. A portfolio collection contains work samples, permanent products, and test results from a variety ofinstruments and measures. For example, a portfolio of reading might include a “student’s test scores on teacher-made tests includingcurriculum-based assessments, work samples from daily work and homework assignments, error analyses on work and test samples, andthe results of an informal reading inventory with miscues noted and analyzed” (p. 243).

Batzle (1992; cited in Bigge & Stump, 1999) identifies three general types of portfolios:

•  Working portfolio :  Teacher, student, and parents all contribute to the portfolio. Both works in progress and final product pieces areincluded.

•  Showcase portfolio :  The portfolio houses only the student’s best work and generally does not include works in progress. The studentmanages the portfolio and decides what to place in it.

•  Teacher portfolio or record keeping :  The portfolio houses student test papers and work samples maintained by the teacher. Itcontains work not selected by the student for inclusion in the showcase portfolio.

When portfolios are used in the classroom, they allow teachers to assess student progress more closely over time, aid teachers and parentsin communicating about students’ performance, assist in program evaluation efforts, and provide a means through which students canactively participate with their teachers in the assessment process (Salvia & Ysseldyke, 2007).

There is some controversy about what should go into a portfolio, given that it could play a very important role in the educational future of astudent. Teachers have been urged to create portfolios and structure them to help them make future decisions for their students. Yet theliterature on portfolio assessment offers little practical guidance about (1) the types of decisions teachers should be making, (2) thecharacteristics of the content used for specific decisions, and (3) the criteria to guide decision making about grading, identification ofacademic weaknesses, instructional improvement, eligibility for entitlement programs, assessing educational outcomes, and educationalreform (Salvia & Ysseldyke, 2007). Consequently, for portfolio assessment to be more useful in special education considerations, moreresearch needs to be done and practical information and suggestions will need to be offered.

Authentic/Naturalistic/Performance-Based Assessment

Another technique that is becoming increasingly popular with classroom teachers to assess classroom performance is authenticassessment. This performance-based assessment technique involves the application of knowledge to real-life activities, real-world settingsor a simulation of such a setting using real-life, real-world activities (Taylor, 2009). For example, when an individual is being assessed in thearea of artistic ability, typically he or she presents artwork and is evaluated according to various criteria; it is not simply the person’sknowledge of art, materials, artists, or history. Authentic assessment is sometimes referred to as naturalistic-based assessment orperformance-based assessment. The terms can be used interchangeably. Each of the methods within  authentic / naturalistic / performance-based assessment  has common characteristics. These include the following (Herman et al., 1992, p.6; cited in Bigge & Stump, 1999, p. 183):

• Ask students to perform, create, produce, or do something.

• Tap higher-level thinking and problem-solving skills.

• Use tasks that represent meaningful instructional activities.

• Invoke real-world applications.

• Let people, not machines, do the scoring, using human judgment.

• Require new instructional and assessment roles for teachers.

This new category of assessment is up and coming, and, as such, an agreement on the appropriate terminology to describe it is still to come.

Task Analysis

Task analysis  is very detailed; it involves breaking down a particular task into the basic sequential steps, component parts, or skillsnecessary to accomplish the task. Task analysis is “a procedure for identifying the subskills that comprise a specific skill or behavior inorder to assist a student in acquiring that skill or behavior. The behavior that will be acquired or eliminated is referred to as the targetbehavior” (Cohen & Spenciner, 2007, p. 316).

Taking this approach to assessment offers the teacher several advantages. For one, the process identifies what is necessary foraccomplishing a particular task. It also tells the teacher whether the student can do the task, which part or skill causes the student to falter,and the order in which skills must be taught to help the student learn to perform the task.

Task analysis is an approach to assessment that goes far beyond the need to make an eligibility or program placement decision regarding astudent. It can become an integral part of classroom planning and instructional decision making.

Outcome-Based Assessment

Outcome-based assessment  has been developed, at least in part, to respond to concerns that education, to be meaningful, must be directlyrelated to what educators and parents want the child to have gained in the end. Outcome-based assessment involves considering, teaching,and evaluating the skills that are important in real-life situations. Learning such skills will result in the student becoming an effective adult.Assessment, from this point of view, starts by identifying what outcomes are desired for the student (e.g., being able to use publictransportation). In steps similar to what is used with task analysis, the team then determines what competencies are necessary for theoutcomes to take place (e.g., the steps or subskills the student needs to have mastered in order to achieve the outcome desired) andidentifies which subskills the student has mastered and which he or she still needs to learn. The instruction that is needed can then bepinpointed and undertaken (Pierangelo & Giuliani, 2009).

Learning Styles Assessment

Learning styles theory suggests that students may learn and problem solve in different ways, and that some ways are more natural for themthan others. When they are taught or asked to perform in ways that deviate from their natural style, they are thought to learn or performless well. Some of the common elements that may be included in  learning styles assessment  would be the way material is typicallypresented (visually, auditorily, tactilely) in the classroom, the environmental conditions of the classroom (hot, cold, noisy, light, dark), thechild’s personality characteristics, the expectations for success that the child and others hold, the response the child receives whileengaging in the learning process (e.g., praise or criticism), and the type of thinking the child generally utilizes in solving problems (e.g., trialand error, analyzing). Identifying the factors that positively impact the child’s learning may be very valuable in developing effectiveintervention strategies.

2.3 TESTING CONSIDERATIONS

There are many testing considerations that need to be understood when doing the assessment of a child for a suspected disability. This nextsection will address these testing considerations and explain the importance of each.

Selecting an Appropriate Instrument

Choosing an appropriate test for a given student requires investigation. It is extremely important that those responsible for test selection donot use only what is available to or what has “always been used” by the school district or school. The child’s test results will certainlyinfluence eligibility decisions, instructional decisions, and placement decisions, all of which have enormous consequences for the child. Ifthe child is assessed with an instrument that is not appropriate for him or her, the data gathered are likely to be inaccurate and misleading,which in turn results in faulty decisions regarding that child’s educational program. This is one of the reasons that many educators objectvehemently to standardized testing as a means of making decisions about a student’s strengths and weaknesses.

Therefore, selecting instruments with care is vital, as is the need to combine any information gathered through testing with informationgathered through other approaches. Given the number of standardized tests available today, how do professionals in special educationselect an appropriate instrument for a given student? Here are some suggestions:

• Consider the student’s skill areas to be assessed, and identify a range of tests that measure those skill areas. A variety of books can helpevaluators identify what tests are available. One useful reference book is Pierangelo and Giuliani’s (2007), Special Educator’sComprehensive Guide to 301 Diagnostic Tests. This book describes what each available test claims to measure, the age groups for which itis appropriate, whether it is group or individually administered (all testing of children with suspected disabilities must beindividualized), how long it takes to administer the test, and much more.

• Investigate how suitable each test identified is for the student to be assessed, and select those that are most appropriate: A particularlyvaluable resource for evaluating tests is The Fourteenth Mental Measurements Yearbook (Plake & Impara, 2001), which describes tests indetail and includes expert reviews of many tests. This yearbook is typically available in professional libraries for teachers, universitylibraries, and in the reference section of many public libraries. Publishers of tests generally also make literature available to helpprofessionals determine whether a test is suitable for a specific student. This literature typically includes sample test questions,information on how the test was developed, a description of what groups of individuals (e.g., ethnic groups, ages, grade levels) wereincluded in the “norm” group and general guidelines for administration and interpretation.

• According to the publisher or expert reviewers, what, specifically, is the test supposed to measure? Is its focus directly relevant to theskill area(s) to be assessed? Will student results on the test address the educational questions being asked? (In other words, will the testprovide the type of educational information that is needed?) If not, the test is not appropriate for that student and should not be used.

• Is the test valid and reliable? These are two critical issues in assessment (see Chapter 4). Validity refers to the degree to which the testmeasures what it claims to measure. For example, if a test claims to measure anxiety, a person’s scores should be higher under astressful situation than under a nonstressful situation. Reliability refers to the degree to which a child’s results on the test are the sameor similar over repeated testing. If a test is not reliable or if its reliability is uncertain—it does not yield similar results when the studenttakes the test again—then it should not be used. Test publishers make available specimen sets that will typically report the reliability andvalidity of the test.

• Is the content/skill area being assessed by the test appropriate for the student, given his or her age and grade? If not, there is no reasonto use the test.

• If the test is norm-referenced, does the norm group resemble the student? This point was mentioned earlier and is important forinterpreting results.

• Is the test intended to evaluate students, to diagnose the specific nature of a student’s disability or academic difficulty, to informinstructional decisions, or to be used for research purposes? Many tests will indicate that a student has a disability or specific problemacademically, but results will not be useful for instructional planning purposes. Additional testing may then be needed in order tounderstand fully what type of instruction is necessary for the student.

• Is the test administered in a group or individually? By law, group tests are not appropriate when assessing a child for the presence of adisability or to determine his or her eligibility for special education.

• Does the examiner need specialized training in order to administer the test, record student responses, score the test, or interpretresults? In most, if not all, cases, the answer to this question is yes. If the school has no one trained to administer or interpret thespecific test, then it should not be used unless the school arranges for the student to be assessed by a qualified evaluator outside of theschool system.

• Will the student’s suspected disability impact his or her taking the test? For example, many tests are timed tests, which means thatstudents are given a certain amount of time to complete items. If a student has weak hand strength or dexterity, his or her performanceon a timed test that requires holding a pencil or writing will be negatively affected by the disability. Using a timed test would beappropriate only for determining how speed affects performance. To determine the student’s actual knowledge of a certain area, anuntimed test would be more appropriate. It may also be possible to make accommodations for the student (e.g., removing timerestrictions from a timed test). If an accommodation is made, however, results must be interpreted with caution. Standardized tests aredesigned to be administered in an unvarying manner; when accommodations are made, standardization is broken, and the normsreported for the test no longer apply.

• How similar to actual classroom tasks are the tasks the child is asked to complete on the test? For example, measuring spelling ability byasking a child to recognize a misspelled word may be very different from how spelling is usually measured in a class situation(reproducing words from memory). If test tasks differ significantly from classroom tasks, information gathered by the test may do littleto predict classroom ability or provide information useful for instruction.

Selection of Test Content

Test content is an important factor when choosing between a norm-referenced test (NRT) and a criterion-referenced test (CRT). The contentof an NRT test is selected according to how well it ranks students from high achievers to low. The content of a CRT test is determined byhow well it matches the learning outcomes deemed most important. Although no test can measure everything of importance, the contentselected for the CRT is selected on the basis of its significance in the curriculum, whereas that of the NRT is chosen by how well itdiscriminates among students.

Any national, state, or district test communicates to the public the skills that students should have acquired as well as the levels of studentperformance that are considered satisfactory. Therefore, education officials at any level should carefully consider content of the test whichis selected or developed. Because of the importance placed on high scores, the content of a standardized test can be very influential in thedevelopment of a school’s curriculum and standards of excellence.

Test Interpretation

As mentioned earlier, a student’s performance on an NRT is interpreted in relation to the performance of a large group of similar studentswho took the test when it was first normed. For example, if a student receives a percentile rank score on the total test of 34, this means thathe or she performed as well or better than 34 percent of the students in the norm group. This type of information can be useful fordeciding whether or not a student needs remedial assistance or is a candidate for a gifted program. However, the score gives littleinformation about what the student actually knows or can do. The validity of the score in these decision processes depends on whether ornot the content of the NRT matches the knowledge and skills expected of the students in that particular school system.

Limitations of Testing

Even when all of these considerations have been observed, there are those who question the usefulness of traditional testing in makinggood educational decisions for children. Many educators concerned with the  limitations of testing  see traditional tests as offering little inthe way of information useful for understanding the abilities and special needs of an individual child.

Another concern about the overuse of testing in assessment is its lack of usefulness in designing interventions. Historically, it has seemed asif tests have not been interpreted in ways that allow for many specific strategies to be developed. Although scores help to define the areasin which a student may be performing below his or her peers, they may offer little to determine particular instruction or curricular changesthat may benefit the child.

Traditional tests often seem to overlap very little with the curriculum being taught. This suggests that scores may not reflect what the childreally knows in terms of what is taught in the actual classroom. Other concerns include overfamiliarity with a test that is repeated regularly,inability to apply test findings in any practical way (i.e., generating specific recommendations based on test results), and difficulty in usingsuch measures to monitor short-term achievement gains.

The sometimes circular journey from the referral to the outcome of the assessment process is frustrating. The teacher or parent requestshelp because the student is having problems, and the assessment results in information that more or less states, “The student is havingproblems.”

It may be, however, that it is not that the tests themselves offer little relevant information but, rather, that the evaluators may fail to interpretthem in useful ways. If we ask questions only related to eligibility (e.g., does this child meet the criteria as an individual with mentaldisabilities?) or about global ability (e.g., what is this child’s intellectual potential?), then those are the questions that will be answered. Yetsuch information is not enough if the goal is to develop an effective and appropriate educational program for the student.

CONCLUSION

Various methods of assessment are available to use when evaluating a student for a possible disability. Both formal and informal measuresof assessment are necessary to get the most complete picture of a student’s abilities. Ultimately, it becomes necessary for you to understandall the different measures. Selecting instruments with care is vital, as is the need to combine any information gathered through testing withinformation gathered through other approaches. Given the number of standardized tests available today, it is your professionalresponsibility to be sure that you understand the various methods of assessments and the purpose of their use.

Vocabulary

Authentic assessment: This is a performance-based assessment technique that involves the application of knowledge to real-life activities,real-world settings, or a simulation of such a setting using real-life, real-world activities.

Basal: The level of mastery of a task below which the student would correctly answer all items on a test.

Ceiling: The point at which the student has made a predetermined number of errors, and therefore, all other items stop being administeredbecause it is assumed that the student will continue to get the answers wrong.

Content-referenced tests: Tests that are concerned with the mastery of specific, defined skills; the student’s performance on the testindicates whether he or she has mastered those skills.

Criterion: The standard by which criterion-referenced tests are scored. The criterion represents an acceptable level of mastery.

Criterion-referenced tests (CRTs): Tests that are scored according to a standard, or criterion, that the teacher, school, or test publisherdecides represents an acceptable level of mastery.

Curriculum-based assessment (CBA): A type of direct evaluation. “Tests” of performance in this case come directly from the curriculum.

Curriculum-based measurement (CBM): An assessment method that involves timing tasks and then charting performance.

Dynamic assessment: The goal of this type of assessment is to explore the nature of learning, with the objective of collecting informationto bring about cognitive change and to enhance instruction.

Ecological assessment: Involves directly observing and assessing the child in the many environments in which he or she routinelyoperates.

Formal tests: Tests that assume a single set of expectations for all students and come with prescribed criteria for scoring andinterpretation.

Informal reading inventories: Commercial and teacher-made instruments for diagnosing reading difficulties, assessing a student’sprogress, and planning interventions for a student.

Informal tests: Techniques that are not intended to provide a comparison to a broader group beyond the students in the local project.

Learning style assessment: An assessment that attempts to determine those elements that impact on a child’s learning.

Limitations of testing: Traditional tests’ lack of useful information about the needs and abilities of an individual.

Naturalistic-based assessment: A performance-based assessment technique that involves the application of knowledge to real-lifeactivities, real-world settings, or a simulation of such a setting using real-life, real-world activities.

Norm group: A large number of children who are representative of all the children in that age group.

Norm-referenced tests (NRTs): These tests are not interpreted according to an absolute standard or criterion (e.g., 8 out of 10 correct)but, rather, according to how the student’s performance compares with that of a particular group of individuals.

Outcome-based assessment: Involves considering, teaching, and evaluating the skills that are important in real-life situations.

Performance-based assessment: See naturalistic-based assessment (terms used interchangeably).

Portfolio: A purposeful collection of student works that exhibits the student’s efforts, progress, and achievement in one or more areas.

Portfolio assessment: The process of collecting a student’s work to examine efforts, progress, and achievement in one or more areas.

Showcase portfolio: The portfolio houses only the student’s best work and generally does not include works in progress. The studentmanages the portfolio and decides what to place in it.

Standardization: Refers to structuring test materials, administration procedures, scoring methods, and techniques for interpreting results.

Standardized tests: Tests with detailed procedures for administration, timing, scoring, and interpretation procedures that must befollowed precisely to obtain valid and reliable results.

Standards-referenced tests: Tests that measure whether students meet standards of what they should know and be able to do in differentsubjects at various grade levels.

Task analysis: Involves breaking down a particular task into the basic sequential steps, component parts, or skills necessary to accomplishthe task.

Teacher portfolio or record keeping: The portfolio houses student test papers and work samples maintained by the teacher. It containswork not selected by the student for inclusion in the showcase portfolio.

Working portfolio: Teacher, student, and parents all contribute to the portfolio. Both works in progress and final product pieces areincluded.

3.1 SCALES OF MEASUREMENT

The way data can be expressed in assessment often depends on the type of score one receives. In descriptive statistics, there are four scalesof measurement that can be used to explain data: nominal, ordinal, interval, and ratio.

Nominal

In a  nominal scale of measurement , nominal data are categorical data. They are created by assigning observations into variousindependent categories and then counting the frequency of occurrence within each of the categories (Lane, 2011). This is referred to asnose-counting data. It is a scale in which scores represent names that are weighted equally—for example, observing how many malesversus females there are in a school.

With nominal data, the concept of quantity cannot be expressed for any individual unit of data. For example, the numbers on footballjerseys are examples of nominal data. A person who wears number 20 is not two times better than the person who wears number 10.Examples of nominal data include telephone numbers, social security numbers, and species of birds.

Ordinal

Ordinal scales of measurement  involve the rank order system. It is a scale in which scores indicate only relative amounts or rank order.When we discuss horse races and say first place, second place, and third place, we are using ordinal data. Although ordinal scales tell usrank, they do not tell us the distance between each subject. For example, even though we know which horse finished first, second, and third,we do not know by how much the first-place horse beat the second-place horse. In schools, class rank is a classic example of ordinal data.

Interval

An  interval scale of measurement  is one in which equal differences in scores represent equal differences in amount of the propertymeasured, but with an arbitrary zero point. For example:

• Fahrenheit temperature: A temperature of 40 degrees is not twice as hot as 20 degrees. Also, zero degrees does not mean notemperature; it is an arbitrary zero point.

• IQ scores: A student with an IQ of 100 is not twice as smart as someone with an IQ of 50.

Ratio

A  ratio scale of measurement  has all the properties of an interval scale with the additional property of zero indicating a total absence ofthe quality being measured. A score of zero means zero. For example:

• Distance: The distance 15 feet is three times more than 5 feet.

• Duration: The duration 20 minutes is twice as long as 10 minutes.

• Weight: A 300-pound man is six times heavier than a 50-pound boy.

• On a math test in which a child gets four wrong and another gets eight wrong, the child who missed eight questions got twice as manywrong as the other child.

3.2 MEASURES OF CENTRAL TENDENCY

Most students have learned the  measures of central tendency  many times in their academic lives. So, for many of you, this may be areview. There are three ways to describe central tendency in a set of scores. These are mean, median, and mode.

The measures of central tendency can be very important to know because they organize and describe data to see how the data fall togetheror cluster. Central tendency shows how scores are distributed around a numerical representation of the average score (Overton, 2009).

Mean

The  mean  is the mathematical average of the distribution of scores. Statistically, the mean is represented by the symbol M. The way tocalculate the mean score is simply to add up the scores in the distribution and divide by the number of units. For example, suppose thefollowing scores were obtained in a distribution: 8, 10, 8, 14, and 40. Calculate the mean score.

CALCULATION OF THE MEAN

• Add up the scores (this is also referred to as summating or summation): 8 + 10 + 8 + 14 + 40 = 80

• Count the number of units in the distribution. Here, there are five of them (8, 10, 8, 14, and 40 = 5 numbers in total).

• Take the total score in Step 1 and divide by the number of units calculated in Step 2: 80/5 = 16

The mean is 16 (or you can write it as M = 16).

Important Point: The mean is greatly affected by extreme scores. For example, suppose four students take an exam and receive scores of 90,95, 100, and 7 percent. The mean of the distribution is 73 percent. Notice though that three students did extremely well, but the one studentwho got a 7 percent took the mean from an A average to a C average.

Median

Another way to measure central tendency is to order the scores relative to where they fall in a distribution. The  median  is the middle scorein a distribution. It is the point at which half the scores fall above and half the scores fall below. In the distribution 8, 10, 8, 14, and 40, whatis the median?

CALCULATION OF THE MEDIAN

• Rank order the data from least to greatest. What you do is simply list the scores from the smallest number to the largest: 8, 8, 10, 14, 40.

• Now cross off the low score (8), then the high score (40). Repeat this step until there is only one number left. In our example you wouldnext cross off the 8, then the 14. This leaves 10 as the middle number. The median is 10.

• Now, suppose the distribution of scores had an even number of units. For example: 8, 10, 12, 8, 14, and 40. Calculate the median. In thisexample, first rank order the data: 8, 8, 10, 12, 14, 40. After crossing out the high and low numbers, you are left with 10 and 12.

• To find the median, simply take the average of the two numbers left. This would make 11 the median score: (10 + 12 = 22/2 = 11).

Important Point: The median is less affected by extreme scores than is the mean. For example, suppose four students take an exam andreceive scores of 90, 95, 100, and 7 percent. Although the mean of the distribution is 73 percent, the median is 92.5 percent, a much betterindication of how the four students did overall.

Mode

The  mode  is the most frequently occurring score in a distribution. For example: In the distribution 8, 10, 8, 14, and 40, what is the mode?The answer is 8. The number 8 occurs twice, whereas all other numbers occur only once.

What is the mode in the following distribution: 8, 10, 8, 10, 14, and 40? Here, the scores 8 and 10 occur twice; therefore, we have twomodes: 8 and 10. When you have two modes in a distribution, it is referred to as a  bimodal distribution . If you have three or more modesin your distribution, it is referred to as a  multimodal distribution . For example, what is the mode of this distribution: 8, 10, 8, 10, 14, 14,and 40? Because 8, 10, and 14 are the most frequently occurring numbers (three of them), it is a multimodal distribution.

3.3 FREQUENCY DISTRIBUTION

To see data more clearly (and often the way to find the mode) in a distribution, it can be extremely helpful to set up a frequencydistribution. A  frequency distribution  expresses how often a score occurs in a set of data. For example, suppose you had the followingdistribution of 11 students’ scores on a spelling test:

Student Name	Spelling Test Score (%)
Ted	100
Carmen	85
Ralph	75
Juana	98
Celest	98
Mohammed	100
Joaquinne	95
Amy	80
Carol	85
Tony	85
Jesus	100

A frequency distribution sets up a much easier way to look at the data. To set up a frequency distribution, simply make three columns:Column 1—Test Score, Column 2—Tally, Column 3—Frequency. Under each column fill in the appropriate information. Table 3.1 showswhat the frequency distribution would look like for the above 11 students’ spelling test scores.

Table 3.1 Frequency Distribution for Spelling Test Scores

Test Score (%)	Tally	Frequency
75	I	1
80	I	1
85	III	3
95	I	1
98	II	2
100	III	3

Important Point: When setting up a frequency distribution, always rank order the data from the smallest to the largest number or the largest tothe smallest. In Table 3.1, 75 is the smallest and 100 is the largest. Also, notice that when setting up a frequency distribution it is very easy tocalculate the mode(s) simply by inspection. (The scores that most frequently occur are 85 and 100—seen by the 3s in the frequencycolumn.)

· Notebook

3.4 RANGE

The  range  of a distribution is the difference between the high score and the low score in the distribution (range = high score − low score).For example, if we have a distribution of 8, 10, 8, 14, and 40, what is the range?

CALCULATION OF THE RANGE

1. Find the high score and the low score in the distribution: 40 and 8.

2. Subtract the low score from the high score: 40 − 8 = 32.

3. The range is 32.

Important Point: The range is very simple to determine, yet there is a serious problem with just giving the range of scores. Think about it:The range tells you nothing about the scores in between the high and low scores. And, if there is one extreme score, it can greatly affect therange. Suppose the distribution was 8, 9, 8, 9, 8, and 1,000. The range would be 992 (1,000 − 8 = 992). Yet, only one score is even close to992, the 1,000.

Variance

When looking at scores within a distribution, it is often very helpful to know how the scores are spread out. In order to get a better idea ofthe spread of scores within a distribution, it is necessary to calculate the variance. The  variance  is a statistical concept that tells you thespread of scores within a distribution. The variance is an extremely important concept to understand because it is necessary in thecalculation of the standard deviation and the analysis of data in the normal curve. (These two areas, discussed later in this chapter, arecritical to understand as special educators.)

To explain the importance of variance, let’s look at the following two distributions of scores on a 50-question spelling test (each scorerepresents the number of words correctly spelled):

Scores for 5 students in Group A: 28, 29, 30, 31, 32

Scores for 5 students in Group B: 0, 20, 30, 40, 50

Calculate the mean for Groups A and B.

Mean of Group A = 30

Mean of Group B = 30

The mean of both groups is 30. Now, if you knew nothing about these two groups other than their mean scores, you might think theylooked similar. However, the spread of scores in Group A (28 to 32) is much smaller than in Group B (10 to 50). Statistically, we say that thevariance of Group B is greater than the variance in group A. According to Sattler (2001), the general rule is the greater the spread, thegreater the variance. The fact that two different sets of scores have the same mean but different variances means that one has a largerrange or spread of scores than the other.

3.5 STANDARD DEVIATION

In almost all cases, we determine the variance to calculate the standard deviation. The standard deviation is the spread of scores around themean. It is an extremely important statistical concept to understand when doing assessment in special education (see normal curveexplanation).

Important Point: The standard deviation is calculated by taking the square root of the variance. The steps sfor calculating standard deviationare the exact same steps for calculating the variance except that there is one extra step. After finding the variance, take the square root. Thisis the  standard deviation .

3.6 NORMAL CURVE

According to Overton (2009), a  normal distribution  “hypothetically represents the way test scores would fall if a particular test is given toevery single student of the same age or grade in the population for whom the test was designed. If educators could administer aninstrument in this way and obtain a normal distribution, the scores would fall in the shape of a bell curve” (p. 108).

The  normal curve  (also referred to as the bell curve) tells us many important facts about test scores and the population. The beauty of thenormal curve is that it never changes. As students, this is great for you because once you memorize it, it will never change on you (and, yes,you do have to memorize it at some point in your academic or professional career). Figure 3.1 shows how the normal curve is alwaysrepresented.

Now, how does this help you? Well, let’s take an example that you will come across numerous times in special education: IQ. The mean IQscore on many IQ tests is 100 and the standard deviation is 15. (The most popular IQ test is the Wechsler Scales of Intelligence; see Chapter10.) Now, according to the normal curve, IQ on the Wechsler Scales is distributed as in Figure 3.2.

Given this information, there is so much we can say. First, notice that approximately 68 percent of the entire population has an IQ between85 and 115 (−1 SD to +1 SD: 34% + 34% = 68%). Also, 13.5 percent of the population has an IQ between 115 and 130. Furthermore, about95 percent of all the scores are found within 2 SD above and below the mean. (Look between the lines on the curve between −2 SD and + 2SD. The percent of scores are 13.5% + 34% + 34% + 13.5%, which totals 95%.)

FIGURE 3.1 Diagram of the Normal Curve

FIGURE 3.2 Diagram of the Normal Curve for the WISC-IV with a Mean of 100 and a Standard Deviation of 15

Do you know what the requirements are for most gifted programs regarding minimum IQ scores (that have a mean of 100 and SD of 15)?By looking at the normal curve you may have figured it out—the minimum is normally an IQ of 130 for entrance. Why? Gifted programs willtake only students who are 2 SD or more above the mean. In a sense, they want only those whose IQs are better than 97.5 percent of thepopulation.

How about mental retardation? On the Wechsler Scales, the classification of mental retardation is determined if a child receives an IQ scorebelow 70. Why 70? This score was not just randomly chosen. What we are saying is that in order to be mentally retarded, a student isusually 2 or more SD below the mean. In a sense, the child’s IQ is only as high as 2.5 percent (or even lower) of the normal population (or,in other words, 97.5 percent or more of the population has a higher IQ than this child).

Skewed Distributions

As you may have noticed, the normal curve is symmetrical. This means that the left side of the bell is exactly the same shape as the rightside. However, the normal curve may not always occur when you have only a small number of test scores in your distribution. When thepopulation of a sample is not large, there may be a tendency for the scores to be skewed. A  skewed distribution  is one in which themajority of scores fall at either the high end or the low end xsrather than the middle of a distribution (Venn, 1999).

FIGURE 3.3 (a) Positively Skewed Distribution and (b) Negatively Skewed Distribution

A distribution can be either positively skewed or negatively skewed (see Figure 3.3). In a  positively skewed distribution , more of thescores fall below the mean. In a  negatively skewed distribution , more of the scores fall above the mean.

Correlations

Correlations  tell us the relationship between two variables (Berk, 2007). There are three types of correlations: positive, negative, and zero(see Figure 3.4).

1.  Positive correlation : Variables are said to be positively correlated when a high score on one is accompanied by a high score on theother (direct relationship). Conversely, low scores on one variable are associated with low scores on the other. Examples include:

• IQ and academic achievement—as IQ increases, academic achievement increases.

• Education and income—as education increases, income tends to increase.

2.  Negative correlation : Variables are said to be negatively correlated when a high score on one is accompanied by a low score on theother (an inverse relationship). Conversely, low scores on one variable are associated with high scores on the other. Examples include:

• Teacher stress and job satisfaction—as job stress increases, job satisfaction decreases.

• Student anxiety and student performance—in general, as anxiety increases, student performance decreases.

FIGURE 3.4 (a) Positive Correlation, (b) Negative Correlation, and (c) Zero Correlation

Table 3.2 Interpreting Correlation Coefficients

Correlation Coefficient	Statistical Interpretation
.00	No relationship between the variables. The two variables never occur together.
.01–.25	Weak relationship. The two variables rarely occur together.
.26–.50	Moderate relationship. The two variables occur together sometimes.
.51–.75	Strong relationship. The two variables occur together often.
.76–.99	Very strong relationship. The two variables occur together very often.
1. 00	Perfect relationship. The two variables always occur together

3.

Zero correlation : Here, there is no relationship between the variables. Examples include:

• Foot size and grades on exams—as foot size increases, nothing changes with respect to grades. They are not related whatsoever.

• Weight and intelligence test scores—as weight increases, nothing changes with respect to IQ. They are not related whatsoever.

When describing the relationship between any two variables, you determine the  correlation coefficient  (see Table 3.2). Statistically, this isrepresented by the letter r. Now, the general rules for correlations are as follows (Tabachnick & Fidell, 2007; Berk, 2007):

Correlations range from +1.00 to −1.00.

The closer you get to +1.00 or −1.00, the stronger the relationship.

The closer you get to Zero, the weaker the relationship.

0.0 is the weakest correlation—no relationship between the variables.

For example, a correlation coefficient of −.95 tells you that there is a negative correlation (− sign) and that there is a strong relationship(because .95 is close to 1.0). Finally, and perhaps the most important point with correlations, is this: Correlations do not indicate cause andeffect. Just because two things are related to each other does not mean that one causes the other to occur. For example, there is a strongpositive correlation between depression and anxiety (as depression goes up so does anxiety). But does the depression cause anxiety, or isthe anxiety causing the depression? The fact is, you do not know. Therefore, when determining or reading about correlations, never losesight of the fact that they indicate only relationships, never cause and effect.

CONCLUSION

Descriptive statistics play a very important role in the assessment process. The fact is, without statistics there would be no way to collecttruly objective data to be interpreted. Statistics give us the opportunity to compare children to the norms in many different ways.Understanding statistics is a vital part of being an effective special educator.

Numerous results will be presented to you on a daily basis. Without the proper understanding or interpretation of data, you will not beable to critically evaluate and properly diagnose a child with a disability. Therefore, being able to look at data and make sense of it arefundamental professional responsibilities of special educators.

Vocabulary

Bimodal distribution: A distribution with two modes.

Correlation: The relationship between two variables.

Correlation coefficient: A numerical value that expresses the degree of relationship between two variables.

Descriptive statistics: Statistics that describe and summarize data in a meaningful fashion.

Frequency distribution: Expresses how often a score occurs in a set of data.

Interval scale of measurement: An interval scale is one in which equal differences in scores represent equal differences in amount of theproperty measured but with an arbitrary zero point.

Mean: The arithmetical average of the distribution of scores.

Measures of central tendency: The mean, median, and mode of a distribution of scores.

Median: The middle score in a distribution. It is the score that separates the top half of the test takers from the bottom half.

Mode: The score in the distribution that most frequently occurs.

Multimodal distribution: A distribution with three or more modes.

Negative correlation: An inverse relationship: Variables are said to be negatively correlated when a high score on one is accompanied by alow score on the other. Conversely, low scores on one variable are associated with high scores on the other.

Negatively skewed distribution: A distribution in which more of the scores fall above the mean.

Nominal scale of measurement: Nominal data are categorical data. Assigning observations into various independent categories and thencounting the frequency of occurrence within each of the categories creates a nominal scale.

Normal curve (bell curve): In this frequency polygon, most of the scores cluster around the mean. The farther above or below the mean ascore appears, the less frequently it occurs.

Normal distribution: Represents the way test scores would fall if a particular test is given to every single student of the same age or gradein the population for whom the test was designed.

Ordinal scale of measurement: Ordinal scales involve the rank order system. It is a scale in which scores indicate only relative amounts orrank order.

Positive correlation: A direct relationship: Variables are said to be positively correlated when a high score on one is accompanied by ahigh score on the other. Conversely, low scores on one variable are associated with low scores on the other.

Positively skewed distribution: A distribution in which more of the scores fall below the mean.

Range: The difference between the high score and the low score in the distribution (Range = High Score − Low Score).

Ratio scale of measurement: A scale having interval properties except that a score of zero indicates a total absence of the quality beingmeasured. A score of zero means zero.

Skewed distribution: A distribution in which the majority of scores falls at either the high end or the low end rather than the middle of adistribution.

Standard deviation: The spread of scores around the mean.

Variance: A statistical concept that tells the spread of scores within a distribution.

Zero correlation: No relationship between the variables, so that a change in one is not associated with a change in the other.

Practice Problems

3.1 . Given the following set of IQ scores from students, calculate the mean:

Student Name	IQ Score
Billy	100
Juan	110
Carmela	75
Fred	120
Yvonne	95
Amy	80
Carmen	85

3.2 . Given the following IQ scores, calculate the median:

Student Name	IQ Score
Ravi	100
Jesus	110
Carmela	75
Fred	120
Yvonne	95
Amy	80
Chenel	85

3.3 . Given the following IQ scores, calculate the median:

Student Name	IQ Score
Ralph	100
Marguarita	110
Mike	75
Fred	120
Juanna	95
Amy	80
Carol	85
Ricky	85

3.4 . Given the following spelling test scores, calculate the mode:

Student Name	Score
Edwin	100
Marguarita	85
Tom	75
Fredrika	100
Juan	95
Amy	80
Caroline	85
Ravi	85

3.5 . Given the following spelling test scores, calculate the mode:

Student Name	Score
Ed	100
Joe	85
Miguel	75
Jean	100
Joan	95
Jose	80
Carol	85
Tony	85
Cory	100

3.6 . For the following set of numbers, (a) create a frequency distribution and (b) calculate the mode: 20, 50, 45, 50, 25, 40, 20, 55, 20, 60,33, 45, 33, 20.

3.7 . For the following distribution, calculate the range: 20, 50, 45, 50, 25, 40, 20, 55, 20, 60, 33, 45, 33, 20.

3.8 . For the following 10-point Reading Quiz scores, find the measures of central tendency, find the range, and draw a frequencydistribution:

Student Name	Score
Caitlyn	10
Erin	8
Tom	7
Kate	6
Lynn	9
Miguel	9
Jen	5
Carol	6
Tony	9
Mohammed	10

3.9 . For the following correlations, list them in order from strongest correlation to weakest correlation.

a. −.67

b. +.53

c. −.91

d. +.03

e. −.47

Answers to Practice Problems

3.1. M = 95. To solve this problem, first summate the IQ scores. This total is 665. Now count the number of IQ scores. There are 7 of them.Now take 665/7, and you get 95 as the mean IQ score.

3.2. 95. Rank order the data from lowest score to highest score: 75, 80, 85, 95, 100, 110, 120. Now, cross off the low and high scores (75and 120). Do it again (80 and 110). Do it again (85 and 100). You are left with 95 as the median.

3.3. 90. Rank order the data from lowest score to highest score: 75, 80, 85, 85, 95, 100, 110, 120. Now, cross off the low and high scores(75 and 120). Do it again (80 and 110). Do it again (85 and 100). You are now left with 85 and 95. Take the average and you get 90 as themedian.

3.4. 85. The test score of 85 occurs three times, the most in the distribution.

3.5. 85 and 100. The test scores of 85 and 100 each occur three times, the most in the distribution.

3.6. 

(a). Test

Score	Tally	Frequency
20	||||	4
25	|	1
33	||	2
40	|	1
45	||	2
50	||	2
55	|	1
60	|	1

(b). The mode is 20.

3.7. The range is 40. The range is calculated by taking the high score (60) and subtracting the low score (20), which equals 40.

3.8. Reading

Quiz Score	Tally	Frequency
5	|	1
6	||	2
7	|	1
8	|	1
9	|||	3
10	||	2

The mode is 9. The mean is 7.9. The median is 8.5. The range is 5.

3.9. strongest to weakest: c, a, b, e, d.

4.1 VALIDITY

Validity  denotes the extent to which an instrument is measuring what it is supposed to measure. Validity is the most essential qualityneeded in a measuring instrument. Obviously, if an instrument is not producing the information that it is supposed to, it is essentiallyworthless. The greater the validity of a test, the greater our confidence that it measures what it is designed to measure (Cohen & Spenciner, 2011). Questions about validity are of ultimate importance for special educators because they address whether an instrument fulfills thefunction for which it was created. Accordingly, effort must be put into determining the validity of any measuring instrument that is to beused in a study. This section covers the most important and often utilized types of validity seen in special education assessment.

Criterion-Related Validity

Criterion-related validity  is a method for assessing the validity of an instrument by comparing its scores with another criterion (or criteria—the plural of criterion) known already to be a measure of the same trait or skill. Simply stated, the instrument in question is comparedwith another instrument that has already been established as being valid. The closer the two tests are to each other, the better the criterion-related validity.

Criterion-related validity is usually expressed as a correlation between the test in question and the criterion measure. This correlationcoefficient is referred to as a  validity coefficient . The closer the correlation coefficient is to +1.00, the stronger the criterion-relatedvalidity (see Chapter 3 for a review of correlations). Consequently, when students completing both instruments obtain similar scores, theinstrument in question is said to have high criterion-related validity (Overton, 2009).

If you created a new achievement test, the readers would have to know how it compares with an already established and valid achievementtest. To establish criterion-related validity for your test, administer your test and then administer an already established test to the samegroup of students. Whether you give the criterion test soon after or at a much later time will determine the type of criterion-related validityyou have chosen.

With respect to criterion-related validity, it is important to understand that a test is only as valid as the criterion measure. If a new testdeveloper reports a high validity coefficient between his or her new test and a criterion test that is not considered valid, this correlationdoes not make the new test valid. Therefore, when evaluating criterion-related validity, you must not only look at how strong the validitycoefficient is (i.e., how close it is to +1.00), but also examine the criterion measure to which it was compared (Salvia & Ysseldyke, 2007).

There are two types of criterion-related validity: (1) concurrent validity and (2) predictive validity. The ultimate difference betweenconcurrent and predictive validity is the time at which scores on the criterion measure are obtained.

Concurrent validity  is the extent to which a procedure correlates with the current behavior of subjects. It refers to how precisely aperson’s present performance (e.g., a test score) estimates that person’s performance on the criterion measure administered atapproximately the same time (Cohen & Spenciner, 2011).

To do a concurrent validity study, both measures must be given in close proximity. Normally, the administration of each of the two measuresshould not exceed more than two weeks. The procedure consists of administering the first instrument (i.e., the instrument to be validated)and very shortly thereafter, administering the criterion measure. Correlating the data from the two instruments then determines theconcurrent validity (Overton, 2009).

Predictive validity  is the extent to which a procedure allows accurate predictions about a subject’s future behavior. It is a measure of aspecific instrument’s ability to predict future performance on some other measure or criterion at a later date (Overton, 2009). For example,many colleges believe that the SAT has predictive validity with respect to how well a student will do in college. Similarly, the GraduateRecord Exam is often required by admissions committees for graduate school because it is believed to have high predictive validity forfuture academic performance in graduate school.

Content Validity

Content validity  refers to whether the individual items of a test represent what you actually want to assess. When we evaluate contentvalidity, we are asking, “Does the content of our measure fairly and accurately reflect the content desired to be measured?” Thus, when weare measuring academic achievement with a new achievement test, we ask, “Is the score that we obtain truthfully measuring the actualacademic achievement of the student?” Overall, content validity describes how well a test’s items reflect the area of learning to be assessed(Venn, 2007).

According to the Standards for Educational and Psychological Tests (American Psychological Association, 1999),

to demonstrate the content validity of a set of test scores, one must show that the behaviors demonstrated in testing constitute arepresentative sample of behaviors to be exhibited in a desired performance domain. An investigation of content validity requires that thetest developer or test user specify his objectives and carefully define the performance domain in light of those objectives (p. 4).

For a test to have good content validity, it must contain the content in a representative fashion (Overton, 2009). For example, a 100-questionsocial studies test on information about the United States that has 50 questions about the East Coast states and 50 questions about theMidwest states has not fairly represented the content of United States knowledge, because there are no questions pertaining to theSouthern, Southwestern, or West Coast states. A good representation of content will always include several items for each domain, level,and skill being measured.

The questions college students might raise about an exam are often questions of content validity. A college exam is supposed to measurewhat students have learned. However, students sometimes feel an exam includes only questions about things they did not understand(Myers & Hansen, 2002).

Finally, when doing an assessment of the content validity of an instrument, you should seek the rationale for item selection as described inthe test’s technical manual. According to McLean, Wolery, and Bailey (2004),

An initial test of content validity would be the extent to which the test developer convinces you that a thorough and systematic processhas occurred in the selection of test content. Essentially, content validity is assessed through a logical analysis of the item developmentprocess of the actual items (p. 39).

Construct Validity

Construct validity  is the extent to which a test measures a theoretical construct or attribute.  Constructs  are abstract concepts, such asintelligence, self-concept, motivation, aggression, and creativity, that can be observed by some type of instrument. They represent relativelyabstract concepts that are difficult to define and therefore difficult to measure (Taylor, 2009).

A classic question of construct validity involves intelligence tests, which determine intelligence by measuring subjects in areas such asvocabulary or problem-solving ability. The question of whether intelligence is being measured by these particular variables is anassessment of the test’s construct validity.

Because establishing construct validity entails a long and involved process, most tests provide little information about this type of validity.Construct validity is normally determined through extensive research studies using numerous and intensive statistical procedures.According to the Standards for Educational and Psychological Testing (APA, 1999), evidence of construct validity is not found in a singlestudy; rather, judgments of construct validity are based on an accumulation of research results. Consequently, only the most well-established tests in special education present solid evidence of construct validity. A test’s construct validity is often assessed by itsconvergent and discriminant validity. A test that has good  convergent validity  has high positive correlations with other tests measuring thesame construct. In contrast, a test that has good  discriminant validity  has low correlations with tests that measure different constructs.For example, an academic achievement test should correlate highly with established academic achievement tests (convergent validity) andhave lower correlations with social and cognitive measures (discriminant validity).

Factors Affecting Validity

Various factors can affect the validity of any test (Sattler, 2008). These include the following:

1. Test-related factors: These consist of, but are not limited to, such things as anxiety, motivation, speed, understanding test instructions,rapport, physical handicaps, language barriers, deficiencies in educational opportunities, and unfamiliarity with testing materials.

2. The criterion to which you compare your instrument may not be well enough established: If your comparison instrument is notvalid, then the results you receive are to be questioned as to their validity.

3. Intervening events: These include life experiences such as the death of a parent, divorce, breakup with a boyfriend, and a move to anew school district that occur at the time of testing.

4.  Reliability : If the reliability of a test is low, then the validity also will be low.

According to McLean, Wolery, and Bailey (2004),

Validity is both separate and tied to reliability. Although conceptually they ask very different questions, it is a well accepted axiom in testdevelopment that test validity can be no higher than the test’s reliability, and usually is considerably lower. This makes sense, for howcould an unreliable or inconsistent measure have accuracy? However, the fact that a test is reliable does not mean that it has any validityfor certain purposes. For example, a screening test may be perfectly reliable but be of no use in planning instructional programs (p. 42).

4.2 RELIABILITY

Reliability  refers to the consistency of measurements. If a test lacks reliability, it is not stable, reproducible, predictable, dependable,meaningful, or accurate. In assessment, reliability relates to the confidence in an instrument to give the same score for a student if the testwere given more than once.  Reliable test scores  are similar across various conditions and situations, including different evaluators andtesting environments (Venn, 2007).

How do we account for an individual who does not get exactly the same test score every time he or she takes the test? Some possiblereasons are the following (U.S. Department of Labor Employment and Training Administration (1999):

Test taker’s temporary psychological or physical state: Test performance can be influenced by a person’s psychological or physicalstate at the time of testing. For example, differing levels of anxiety, fatigue, or motivation may affect the applicant’s test results.

Environmental factors: Differences in the testing environment, such as room temperature, lighting, noise, or even the test administrator,can influence an individual’s test performance.

Test form: Many tests have more than one version or form. Items differ on each form, but each form is supposed to measure the samething. Different forms of a test are known as parallel forms or alternate forms. These forms are designed to have similar measurementcharacteristics, but they contain different items. Because the forms are not exactly the same, a test taker might do better on one form thanon another.

Multiple raters: In certain tests, scoring is determined by a rater’s judgments of the test taker’s performance or responses. Differences intraining, experience, and frame of reference among raters can produce different test scores for the test taker.

These factors are sources of chance or random measurement error in the assessment process. If there were no random errors ofmeasurement, the individual would get the same test score, the individual’s “true” score, each time. The degree to which test scores areunaffected by measurement errors is an indication of the reliability of the test. Reliable assessment tools produce dependable, repeatable,and consistent information about students. To interpret test scores meaningfully and make useful assessment decisions, you need reliableinstruments.

Reliability Coefficients

The statistic for expressing reliability is the  reliability coefficient , which expresses the degree of consistency in the measurement of testscores. The symbol used to denote a reliability coefficient is the letter r with two identical subscripts (rxx). Reliability coefficients can rangein value from 0.00 to 1.00. A reliability coefficient of rxx = 0.00 indicates absence of reliability, whereas a reliability coefficient of rxx = 1.00demonstrates perfect reliability.

Acceptable reliability coefficients should never be below rxx = .90. A coefficient below rxx = .90 normally indicates inadequate reliability. Atest should not be trusted if its reliability coefficient is low. High reliabilities are especially needed for tests used in individual assessment(Sattler, 2008). A reliability coefficient of rxx = .95 on a test means that 95 percent of a test score is accurate while only 5 percent consists ofunexplained error. However, a test with a reliability coefficient of rxx = .60 does not have acceptable reliability because approximately 40percent of the test score may be due to error (Venn, 2007).

Test–Retest Reliability

Test–retest reliability  suggests that subjects tend to obtain the same score when tested at different times. For example, if an IQ test hasstrong test–retest reliability, a student who produces a low score now should also produce a low score later. Conversely, a student receivinga high score now should also produce a high score later. In other words, test–retest reliability is evident when there is a high positivecorrelation between the scores obtained from two testings (Heiman, 2002).

The reliability coefficient expresses the correlation between the scores obtained by the same students on two administrations of a test.According to Venn (2007), the critical factor with test–retest reliability is the length of time between testing. Too little time between testingand retesting inflates the reliability coefficient, whereas too much time deflates the reliability coefficient. In most cases, a two-week intervalallows enough time to adjust from any learning that may take place from the first testing experience. Longer intervals may reduce thereliability estimate due to maturation of the students or the influence of other outside events (p. 77).

The usual procedure for obtaining a test–retest reliability coefficient is to administer the same test to the same group on two differentoccasions, usually within a short period of time. Generally, the shorter the retest interval, the higher the reliability coefficient, becausewithin a shorter span of time there are fewer reasons for an individual’s score to change (Sattler, 2008).

Split-Half Reliability or Internal Consistency

Split-half reliability  (sometimes referred to as internal consistency) indicates that subjects’ scores on some trials consistently match theirscores on other trials. Typically, we make this determination by computing each subject’s total odd score and correlating it with the evenscores. For example, if the questions on an achievement test have split-half reliability, then subjects producing a low score on the oddquestions should also obtain a low score on the even questions (Heiman, 2002).

Split-half reliability is a procedure for determining accuracy that involves correlating two halves of the same test. The steps in the processinclude giving a test once, splitting the test items in half, and comparing the results of the two halves to each other (Cohen & Spenciner, 2011). The reliability coefficient obtained is an estimate of the correlation between the items on each half of the test (Venn, 2007).

Interrater Reliability

Interrater reliability  involves having two raters independently observe and record specified behaviors, such as hitting, crying, yelling, andgetting out of the seat, during the same time period. For example, suppose two observers are to determine each time they see a certainchild tap his pencil during a math lecture. Tapping the pencil during the math lecture is considered the  target behavior . A target behavior isa specific behavior the observer is looking to record. After each observer determines the total number of times the target behavior occurs,the scores are compared, and an estimate of the percentage of agreement between the two observations is done (Venn, 2007). Thereliability coefficient obtained in this case correlates the observations of two independent observers. According to Overton (2009),interrater reliability is normally done by administering the test and then having an objective scorer also score the test results. The results ofthe tests scored by the examiner are then correlated with the results obtained by the objective scorer to determine how much variabilityexists between the test scores. This information is especially important when tests with a great deal of subjectivity are used in makingeducational decisions.

The formula for interrater reliability is:

Number of agreements/Number of agreements + Disagreements × 100 = Percentage of agreements

For example, suppose you and another observer watch a child to see how many times she looks out the window during a science lesson.Then the two of you compare when you saw this behavior occurring. The results are listed below, indicating the interrater reliability foryour observations.

Agree: 47 times

Disagree: 3 times

Therefore, 47/50 × 100 = 94% (.94). Because 90 percent or higher is our goal, there is adequate interrater reliability.

Practice Problem

4. 1 .In order to assess interrater reliability, you work with someone to examine how many times a child gets up from his chair over thecourse of the day. You agree with your partner 55 times but had different recordings on five separate occasions. What is the interraterreliability?

Answer to Practice Problem

4.1. 55/60+100 = 91.67%5 = .917

Important Point: Accuracy is the unit of measure that compares a child’s performance against a standard (e.g., the dictionary). In theEnglish language, cat is spelled c-a-t. One does not need interrater reliability when an accuracy standard is available.

Alternate Forms Reliability

With  alternate forms reliability , also known as equivalent forms reliability or parallel forms reliability, two different forms of the sameinstrument are used. Alternate forms reliability is obtained by administering two equivalent tests to the same group of examinees (Cohen &Spenciner, 2011). Determining alternate forms reliability requires a test developer to create two forms of the same test, give both forms tostudents, and compare the scores from the two forms. The reliability coefficient in this case describes the correlation between the scoresobtained by the same students on the two forms of the test (Venn, 1999). If the two forms of the test are equivalent, they should have thesame means and variances and a high reliability coefficient. If there is no error in measurement, an individual should earn the same scoreon both forms of the test (Sattler, 2008).

In alternate forms reliability, the items are matched for difficulty on each test (Overton, 2009). For example, if three items of long divisionare on one version of the test, then three long division problems need to be on the alternate form of the test at the same level of difficulty.

Several published achievement and diagnostic tests that are used in special education consist of two equivalent forms (Overton, 2009). Theadvantage of having alternate forms is that there are two tests of the same difficulty level that can be administered within a short timeframe without the influence of practice effects. To determine alternate forms reliability, it is necessary that the time frame between givingthe two forms of the instrument be as short as possible. This eliminates the chance that other factors might affect test performances (Taylor, 2009).

Standard Error of Measurement

When you administer a test you get a score. This score is known as the  obtained score . In theory, the obtained score consists of two parts:the true score and the error score. The obtained score is the amount of the trait the child actually possesses (true score) plus the error ofmeasurement (error score). According to Sattler (2008), the child’s true score is a hypothetical construct; it cannot be observed. The theoryassumes that the child possesses stable traits, that errors are random, and that the obtained score results from the addition of true anderror scores.

Error exists when doing assessment. The fact is, we are human beings administering tests to human beings. Therefore, it is to be expectedthat neither the examiner nor the examinee will be “perfect.” Errors should always be considered when giving tests. Special educators needto know that all tests contain errors, and that a single test score may not accurately reflect the student’s true score (Overton, 2009).

Test manuals report a statistic called the  standard error of measurement (SEM) . It gives the margin of error that you should expect inan individual test score because of imperfect reliability of the test. The SEM represents the degree of confidence that a person’s “true”score lies within a particular range of scores. For example, an SEM of “2” indicates that a test taker’s “true” score probably lies within 2points in either direction of the score he or she receives on the test. This means that if an individual receives a 91 on the test, there is agood chance that the person’s score lies somewhere between 89 and 93 (U.S. Department of Labor Employment and TrainingAdministration (1999).

The SEM is a useful measure of the accuracy of individual test scores. The smaller the SEM, the more accurate the measurements. Whenevaluating the reliability coefficients of a test, it is important to review the explanations provided in the manual for the following:

Types of Reliability Used. The manual should indicate why a certain type of reliability coefficient was reported. The manual should alsodiscuss sources of random measurement error that are relevant for the test.

How Reliability Studies Were Conducted. The manual should indicate the conditions under which the data were obtained, such as thelength of time that passed between administrations of a given test in a test–retest reliability study. In general, reliabilities tend to drop asthe time between test administrations increases.

The Characteristics of the Sample Group. The manual should indicate the important characteristics of the group used in gatheringreliability information, such as education level, occupation, and so on. This will allow you to compare the characteristics of the people youwant to test with the sample group. If they are sufficiently similar, then the reported reliability estimates will probably hold true for yourpopulation as well.

Factors Affecting Reliability

According to Sattler (2008), several factors can affect reliability:

1. Test length: The more items on a test and the more homogeneous they are, the greater the reliability.

2. Test–retest interval: The smaller the time interval between the administration of two tests, the smaller the chance of change and,hence, the higher the reliability is likely to be.

3. Variability of scores: The greater the variance of scores on a test, the higher the reliability estimate is likely to be. Small changes inperformance have a greater impact on the reliability of a test when the range or spread of scores is narrow than when it is wide.

4. Guessing: The less guessing that occurs on a test, the higher the reliability is likely to be.

5. Variation within the test situation: The fewer variations there are in the test situation, the higher the reliability is likely to be. Factorsinclude misleading or misunderstood directions, scoring errors, illness, and daydreaming.

CONCLUSION

In conclusion, an instrument or test should be both valid and reliable. Although both terms define two completely different concepts, theywork together. A test needs to measure what it is supposed to measure and it must be consistent with its results. Therefore, as specialeducators, when you find out or hear about a new test and wonder if it is technically adequate, examine the various validity and reliabilitycoefficients to determine whether the test will be useful. Remember, making determinations about classifications for children is veryserious. Therefore, you always want to be able to defend your decisions by stating that when you did your assessment, you used the mostvalid and reliable instruments to make your conclusions and recommendations.

Vocabulary

Alternate forms reliability: Reliability obtained by administering two equivalent tests to the same group of examinees.

Concurrent validity: Refers to how precisely a person’s present performance (e.g., a test score) estimates that person’s performance onthe criterion measure at approximately the same time.

Construct validity: The extent to which a test measures a theoretical construct or attribute.

Constructs: Theoretical concepts, such as self-esteem and intelligence, that can be observed by some type of instrument.

Content validity: Refers to whether the individual items of a test represent what you actually want to assess.

Convergent validity: A test that has good convergent validity has high positive correlations with other tests measuring the same construct.

Criterion-related validity: A method for assessing the validity of an instrument by comparing its scores with another criterion knownalready to be a measure of the same trait or skill.

Discriminant validity: A test that has good discriminant validity has low correlations with tests that measure different constructs.

Interrater reliability: Involves having two raters independently observe and record specified behaviors.

Obtained score: The score actually calculated in the assessment process.

Predictive validity: The extent to which a procedure allows accurate predictions about a subject’s future behavior. It is a measure of aspecific instrument’s ability to predict future performance on some other measure or criterion at a later date.

Reliability: Refers to the consistency of measurements.

Reliability coefficient: Expresses the degree of consistency in the measurement of test scores.

Reliable test scores: A test score that produces similar scores across various conditions and situations, including different evaluators andtesting environments.

Split-half reliability: Indicates that subjects’ scores on some trials consistently match their scores on other trials.

Standard error of measurement (SEM): The amount of error that exists when using a specific instrument.

Target behavior: A specific behavior an observer is looking to record.

Test–retest reliability: Suggests that subjects tend to obtain the same score when tested at different times.

Validity: The extent to which a test measures what it is supposed to measure.

Validity coefficient: Criterion-related validity is usually expressed as a correlation between the test in question and the criterion measure.This correlation coefficient is referred to as a validity coefficient.

5 SCORING TERMINOLOGY USED IN ASSESSMENT

Key Terms

Age equivalent

Chronological age

Data

Deciles

Grade equivalent

Percentile rank (percentile)

Protocol

Quartiles

Raw score

Scaled scores

Standard score

Stanine

T score

z score

Chapter Objectives

When you administer tests as special educators, you collect data.  Data  (datum is the singular) represent information gathered andcollected during the assessment process. However, data need to be interpreted. You do not test a child and then come to the parentmeeting with stacks upon stacks of data and test materials. On the contrary, you break the data down into statistical components thatdescribe how the child performed on various parts of the assessment process. This chapter covers the various statistical ways in whichdata are reported to parents and school personnel when doing assessment. After reading this chapter, you should be able to understandthe following:

■ Calculation of age

■ Raw scores

■ Percentiles

■ Standard scores

■ z scores

■ T scores

■ Stanines

■ Age equivalents

■ Grade equivalents

5.1 CALCULATION OF AGE

Any time you test a child, perhaps the most important piece of information you must obtain is the child’s age at the time of testing (knownas  chronological age ). Miscalculating a child’s chronological age will result in faulty interpretations and scores. Therefore, it is necessary totake your time and be sure of a child’s chronological age when determining how old he or she is at the time of testing.

Now, you may be saying, why not just ask the child his or her age? The answer is threefold:

1. Many children do not know when they were born.

2. Children think they know their date of birth, but are incorrect.

3. Ages (when doing an evaluation) are broken down into years, months, and days, something that children would not normally know.

For example, you may calculate that a child has a chronological age of 7-9-13. This means that the child is 7 years, 9 months, and 13 daysold. If you determine that a child is 11-5-17, this represents a child who is 11 years, 5 months, and 17 days old.

Now, on every test you give as a special educator, there normally will be a box on the  protocol  (the booklet in which you record the child’sresponse) to calculate the child’s chronological age. The box almost always looks like this:

	YEAR	MONTH	DAY
Date of Test	_________________	_________________	_________________
Date of Birth	_________________	_________________	_________________
Chronological Age	_________________	_________________	_________________

To calculate age, the first step is simply to fill in the appropriate lines for Date of Test and Date of Birth. For example, a child who was testedon November 25, 2011, and who was born on July 9, 1997, would have these data in the following box:

	YEAR	MONTH	DAY
Date of Test	2011	11	25
Date of Birth	1997	7	9
Chronological Age	_________________	_________________	_________________

Date of Test of November 25, 2011, is represented by 2011-11-25, whereas Date of Birth of July 9, 1997, is represented by 1997-7-9. Nowall you have to do is subtract the Date of Birth from the Date of Test to find the child’s Chronological Age.

Important Point: Always start the subtraction process from RIGHT to LEFT (i.e., subtract the days, then the months, and last, the years).You must always follow this procedure!

	YEAR	MONTH	DAY
Date of Test	2011	11	25
Date of Birth	1997	7	9
Chronological Age	14	4	16

This child is 14-4-16: 14 years, 4 months, and 16 days old. (On many tests, if the days are over 15, the age is rounded up to 14-5.) Now,suppose you have a child whose Date of Test Days is less than his Date of Birth Days. All you need to do is subtract 1 from the Date of TestMonths and add 30 to the Date of Test Days (you are simply replacing 1 month with 30 days). For example: Suppose you have a child whowas tested on August 11, 2011. He was born on May 23, 2001. The box would look like this:

	YEAR	MONTH	DAY
Date of Test	2011	8	11
Date of Birth	2001	5	23
Chronological Age	____________	____________	____________

You cannot subtract 23 from 11, so simply subtract 1 from the Date of Test Months (8 − 1 = 7) and add 30 to Date of Test Days (11 + 30 =41). Now the box looks like this:

	YEAR	MONTH	DAY
Date of Test	2011	7	41
Date of Birth	2001	5	23
Chronological Age	____________	____________	____________

Now, simply subtract as you normally would:

	YEAR	MONTH	DAY
Date of Test	2011	7	41
Date of Birth	2001	5	23
Chronological Age	10	2	18

This child is 10-2-18. (For assessment purposes, the child’s age probably would be recorded as 10-3.)

Now, suppose the Date of Test Months is less than the Date of Birth Months. Here, subtract 1 from the Date of Test Years and add 12 to theDate of Test Months (you are replacing 1 year with 12 months). For example: Suppose you tested a child born on November 4, 2004. Shewas tested on April 15, 2009. Calculate her age at the time of testing.

	YEAR	MONTH	DAY
Date of Test	2009	4	15
Date of Birth	2004	11	4
Chronological Age	____________	____________	____________

Subtract the Days as you normally would and you get 11 days. However, you cannot subtract 11 from 4 Months. Therefore, subtract 1 fromthe Date of Test Years (2009 − 1 = 2008) and add 12 to the Date of Test Months (4 + 12 = 16). Subtract as you normally would. Now, thebox looks like this:

	YEAR	MONTH	DAY
Date of Test	2008	16	15
Date of Birth	2004	11	4
Chronological Age	4	5	11

This child was 4-5-11 when tested.

If you can do this problem, then you should be able to do any calculation of age. Try this one: A child is tested on March 14, 2011. He wasborn on December 29, 2004. What was his age at the time of testing? (In both situations, the Date of Test Days and Months are less thanthose of the Date of Birth.)

Answer: This child is 6-2-15.

Just for fun, suppose that you were tested today. Calculate how old you are today.

5.2 RAW SCORES

When you administer any test, the first step in scoring almost always will be to calculate the number of correct items the student obtained.For example, if a student took a 20-question spelling test in your class, the first thing you would do is determine how many words thestudent spelled correctly. This score is known as the raw score. The  raw score  normally indicates the number of items correctly answeredon a given test. In almost all cases, it is the first score a teacher obtains when interpreting data. A raw score is a test score that has not beenweighted, transformed, or statistically manipulated.

In general, raw scores by themselves mean very little. For example, suppose the student in your class got 18 out of 20 correct on thespelling test. The number 18 has no real meaning. What is important is what you do with the 18. For example, most teachers would say thestudent got 18 out of 20 and turn it into a percentage indicating that the student got 90 percent (18/20 is 90%) on this test.

5.3 PERCENTILE RANKS (PERCENTILES)

A  percentile rank  (often referred to as a  percentile ) is a score indicating the percentage of people or scores that occur at or below a givenscore. For example, if you have a percentile rank of 75 in a class, this means that you did as well as or better than 75 percent of the studentsin the class. A percentile rank of 16 means that you scored as well as or better than only 16 percent of the population. Percentile ranksrange from the lowest (1st percentile) to the highest (99th percentile). A percentile rank of 83 means that a student has scored as well as orbetter than 83 percent of the students taking a test. Notice, however, it does not mean that the student got a test score of 83 percent. Thepercentage correct on a test is not the same as the percentage of people scoring below a given score, the percentile rank. The 50thpercentile normally signifies the average ranking or average performance.

There are two other types of percentiles used in assessment: quartiles and deciles.  Quartiles  divide scores into four units: 1–25, 26–50,51–75, and 76–99. The first quartile (1–25) marks the lower quarter (bottom 25%) or bottom fourth of all scores, whereas the fourthquartile represents the upper quarter (top 25%).  Deciles  divide scores into tenths or ten equal units. For example, the sixth decile is thepoint at which 60 percent of the scores fall below, whereas the ninth decile is the point at which 90 percent of the scores fall below.

In assessment, percentile ranks are very important because they indicate how well a child did when compared to the norms on a test.Knowing that a child had a percentile rank of 97 on a test would tell you that he is exceptional in this testing area; knowing that he got apercentile rank of 7 would tell you that this is an area of weakness.

Important Point: It should be noted that there is a serious drawback to percentiles. According to Venn (2007),

The major drawback to percentiles involves the unequal length of percentile units, especially at the extremes. This characteristic results ina tendency to overemphasize differences near the middle and underemphasize difference near the ends. In other words, the differencebetween 50 and 55 may be less than the difference between 90 and 95. This inequality occurs because percentiles, which are calculatedfrom ranked data, designate relative standing, not absolute differences (p. 104).

Calculation of Percentile

Suppose 20 students take an exam. The scores of these 20 students are: 70, 70, 70, 73, 76, 78, 79, 80, 82, 84, 84, 87, 88, 90, 94, 60, 62, 65,67, 69.

Billy is the student who got an 80 on this exam. What is his percentile?

Calculation of percentile can be done in an easy 3-step process.

Step 1: Sort the test scores so they are in order from lowest to highest score.

Our Example: Here are the 20 test scores in order from lowest to highest: 60, 62, 65, 67, 69, 70, 70, 70, 73, 76, 78, 79, 80, 82, 84,84, 87, 88, 90, 94

Step 2: To calculate the percentile of a given test score, the formula to use is (Adkins, 2010):

L/N(100) = P

L: is the total number of test scores less than the score obtained by the student

N: is the total number of test scores

P: is the percentile

Our Example:

Billy got a score of 80.

L is the number of tests with scores less than 80 (which is 12; test scores 60, 62, 65, 67, 69, 70, 70, 70, 73, 76, 78, and 79 are all less than80).

N is the total number of test scores (which is 20; 60, 62, 65, 67, 69, 70, 70, 70, 73, 76, 78, 79, 80, 82, 84, 84, 87, 88, 90, 94).

P is the percentile we are calculating.

So, this gives us L = 12 and N = 20.

Step 3: Divide out L/N to get the decimal equivalent. Multiply this by 100. (Discard any digits to the right of the decimal point, leaving youwith a whole number). This is your percentile (Adkins, 2010).

Our Example: 12/20 = .60.

Multiply by 100: .60 × 100 = 60.00

Remove the decimal points: 60

Billy’s percentile is 60. Billy scored at the 60th percentile.

5.4 STANDARD SCORES

A  standard score  is a score that has been transformed to fit a normal curve, with a mean and standard deviation that remain the sameacross ages. Normally, standard scores have a mean of 100 and a standard deviation (SD) of 15. Perhaps the most well-known version ofthe standard score with a mean of 100 and an SD of 15 is the Wechsler Intelligence Scales (see Chapter 10 on assessment of intelligence).Using this scoring system, a child with a standard score of 115 would be 1 standard deviation above the mean, whereas a child with astandard score of 85 would be 1 standard deviation below the mean. Also, the percentage of scores between a standard score of 85 and115 is 68 percent. (If this is unclear, refer to Chapter 4 for a review of the normal curve.) Often, when doing assessment, you will have to tellparents and administrators the standard scores the child received on the given test and the appropriate classification that they represent.For some tests with a mean of 100 and a standard deviation of 15, the general classification system may appear as follows:

STANDARD SCORE	CLASSIFICATION
Less than 70	Developmental Delay
70–79	Well Below Average or Borderline
80–89	Low Average
90–109	Average
110–119	High Average
120–129	Superior
130 and higher	Very Superior

Important Point: The classification system shown is only one form of representing standard scores. Different tests may use differentranges and terminology.

The standard score of 100 with a mean of 15 is the most often common representation of standard scores. However, other types ofstandard scores also represent test performance. The three other types of standard scores that you will come across in doing assessmentare z scores, T scores, and stanines.

5.5 SCALED SCORES

Many tests used for assessment of children have subtests that comprise the entire test. For each subtest, a student receives a raw score.This raw score is often transformed into a scaled score. A  scaled score  is a conversion of a student’s raw score on a test to a common scalethat allows for a numerical comparison between students. Scaled scores are very specific subtest scores. In many cases, scaled scores rangefrom 1 to 19 with a mean of 10 (Table 5.1). They follow the following classification format:

SCALED SCORE	CLASSIFICATION
1–3	Developmental Delay
4–5	Well Below Average
6–7	Low Average
8–12	Average
13–14	High Average
15–16	Superior
17–19	Very Superior

For example, if a student gets only a scaled score of 7 on a reading subtest but a 13 on a math subtest, this indicates a much greaterstrength with respect to math than with reading, compared to the norms of the age group.

Table 5.1 Relationship among Ranges of Scores, Scaled Scores, and Percentiles

RANGE	SCALED SCORE	PERCENTILE
Very Superior	19	99.9
Very Superior	18	99.6
Very Superior	17	99.6
Superior	16	98.6
Superior	15	95.6
High Average	14	91.6
High Average	13	84.6
Average	12	75.6
Average	11	63.6
Average	10	50.6
Average	9	37.6
Average	8	25.6
Low Average	7	16.6
Low Average	6	9.6
Well Below Average	5	5.6
Well Below Average	4	2.6
Developmental Delay	3	1.6
Developmental Delay	2	0.4
Developmental Delay	1	0. 1

5.6 Z SCORES

A  z score  indicates how many standard deviations a score is above or below the mean. A z score is a standard score distribution with amean of zero and a standard deviation of one. For example, if a student has a z score of +1.0, this means that he scored 1 standarddeviation above the mean on the test. If a student has a z score of −1.7, this means that she scored 1.7 standard deviations below the mean.To calculate z scores, the formula is

z = (Test Score − Mean Score)/Standard Deviation

For example, suppose a student had an IQ of 130 on an IQ test with a mean of 100 and a standard deviation of 15. Use the formula:

(130 − 100)/15 = +2.0

A student with a 130 IQ would be 2.0 standard deviations above the mean. (You already knew this from the normal curve.)

5.7 T SCORES

A  T score  is another way to express test performance. T scores have a mean of 50 with a standard deviation of 10. Therefore, if you have a T score of 40 you are 1 standard deviation below the mean, whereas a T score of 60 would be 1 standard deviation above the mean. Tocalculate T scores:

T = 50 + 10z

For example, a student who scored 1.5 standard deviations above the mean would have a T score of 65 because T = 50 + 10(1.5). Here the1.5 represents 1.5 standard deviations above the mean, which is z = 1.5.

Previous section

Next section

5.8 STANINES

A  stanine , an abbreviation for standard nines, is a type of standard score that has a mean of 5 and an SD of 2. Stanine scores can rangefrom 1 to 9. A stanine of 7 is 1 SD above the mean (5 + 2). A stanine of 9 is 2 SD above the mean (5 + 2 + 2). Conversely, a stanine of 3 is 1SD below the mean (5 − 2) and a stanine of 1 is 2 SD below the mean (5 − 2 − 2).

5.9 COMPARING Z SCORES, T SCORES, AND STANINES

The table that follows and Figure 5.1 can help you to remember how standard deviations, z scores, T scores, and stanines compare to eachother.

STANDARD DEVIATION	z SCORE	T SCORE	STANINE
−2.0	−2.0	30	1. 0
−1.0	−1.0	40	3. 0
0. 0 (mean score)	0. 0	50	5. 0
+1.0	+1.0	60	7. 0
+2.0	+2.0	70	9. 0

FIGURE 5.1 The Normal Curve.

5.11 GRADE EQUIVALENT SCORES

A  grade equivalent  is a very general score that is used to compare the performance of children in the same grade with one another. It isthe estimated grade level that corresponds to a given score. Grade equivalent scores are almost always given in years and months in school.For example, a child who gets a grade equivalent score of 3.5 is performing as well as the average student in the third grade, 5th month.

Important Point: Age equivalent scores do not compare the performance of the child with children at the age given by the age equivalentscore. What they do compare is the child’s raw score—the score achieved on the assessment measure—with the average raw score ofstudents in the norm group who took the same test. Likewise, a 6.5 grade equivalent score does not mean that a student is performing aswell as the average student in grade 6 midway through the year. It does mean that the student’s raw score on the assessment measure wasequal to the average raw score of students at the 6.5 level in the norm group.

ONCLUSION

It is evident that there are numerous ways to express test scores in assessment. The fact is, no one way is superior to all others. However,the more information you can give parents and administrators, the more objective and solid the case you make for determination of adisability or in planning a program. Consequently, being able to determine, calculate, and express the various scores from testing in a clearand cogent manner is a very important responsibility of a special educator.

Vocabulary

Age equivalent: A very general score that is used to compare the performance of children at the same age with one another.

Chronological age: The child’s actual age.

Data: Information gathered and collected during the assessment process.

Deciles: Division of scores into tenths or ten equal units. For example, the sixth decile is the point at which 60 percent of the scores fallbelow, whereas the ninth decile is the point at which 90 percent of the scores fall below.

Grade equivalent: A very general score that is used to compare the performance of children in the same grade with one another.

Percentile rank (Percentile): A score indicating the percentage of people or scores that occur at or below a given score. If you have apercentile rank of 75, this means that you did as well as or better than 75 percent of the students in the class.

Protocol: The booklet where responses and scores are recorded.

Quartiles: Division of scores into four quarters: 1–25, 26–50, 51–75, and 76–99. The first quartile (1–25) marks the lower quarter (bottom25%) or bottom fourth of all scores, whereas the fourth quartile represents the upper quarter (top 25%).

Raw score: The raw score indicates the number of items correctly answered on a given test. In almost all cases, it is the first score a teacherobtains when interpreting data.

Scaled scores: A conversion of a student’s raw score on a test to a common scale that allows for a numerical comparison between students

Standard score: A score that has been transformed to fit a normal curve, with a mean and standard deviation that remain the same acrossages.

Stanine: An abbreviation for standard nines, it is a type of standard score that has a mean of 5 and a standard deviation of 2. Stanine scorescan range from 1 to 9.

T scores: Another way to express test performance. T scores have a mean of 50 with a standard deviation of 10.

z score: Indicates how many standard deviations a score is above or below the mean. A z score is a standard score distribution with a meanof zero and a standard deviation of one.

Practice Problems

5.1 . Given the following numerical representation of a child’s age, write, in words, his age: 14-3-24.

5.2 . A student is 13 years, 7 months, and 12 days old. How would her age be expressed numerically?

5.3 . A child was tested on June 12, 2004. He was born on January 20, 1994. Calculate his age at the time of testing.

5.4 . A child was born on July 24, 1996. She was tested on May 28, 2005. Calculate her age at the time of testing.

5.5 . A child was tested on February 13, 2007. He was born on August 21, 993. What was his age at the time of testing?

5.6 . On a test, 1 point represents a correct answer while 0 points represents an incorrect answer. On this test, Sally got the followingcorrect and incorrect answers:

0, 1, 0, 1, 1, 0, 1, 1, 1, 0.

What is Sally’s raw score?

5.7 . For the following standard scores, assuming a mean of 100 and an SD of 15, give the appropriate classification:

1. 97

2. 57

3. 103

4. 117

5. 84

6. 72

7. 125

8. 139

5.8 . A student gets a 75 on a test with a mean of 90 and a standard deviation of 10. How many standard deviations above or below themean did this student score?

5.9 . Calculate the T score of a student who scored 1.5 standard deviations below the mean on a test.

Answers to Practice Problems

5.1. 14 years, 3 months, and 24 days old.

5.2. 13-7-12.

5.3. 10-4-22.

5.4. 8-10-4.

5.5. 13-5-22.

5.6. 6.

5.7.

1. Average,

2. Developmental Delay,

3. Average,

4. High Average,

5. Low Average,

6. Well Below Average or Borderline,

7. Superior,

8. Very Superior.

5. 8. z = (75 − 90)/10 = − 15/10 = − 1. 5. The student scored 1.5 standard deviations below the mean.

5. 9.35.

T = 50 + 10(−1.5)

T = 50 − 15

T = 35

PART II THE SPECIAL EDUCATION PROCESS

The process of identifying a student with a suspected disability is referred to as the special education process. This process involves a varietyof steps that must follow federal, state, and district guidelines. These guidelines have been created to protect the rights of students, parents,and school districts. Working together within these guidelines allows for a thorough and comprehensive assessment of a student and theproper special education services and modifications, if required. When a student is having difficulty in school, the professional staff makemany attempts to resolve the problem. When these interventions do not work, a more extensive look at the student is required.

The remaining chapters in this text outline in detail the step-by-step process that is normally followed in special education. A briefexplanation of this assessment continuum follows. Each step is covered in depth in the chapters noted.

Step 1. Prereferral: When concerns are realized by the classroom teacher, he or she attempts simple classroom interventions such asmeeting with the child, extra help, simplified assignments, parent conferences, and peer tutoring. At this point, Tier I RTI strategies are alsointroduced by the classroom teacher. These are high-quality instructional and behavioral supports that are provided for all students ingeneral education. Chapter 6 focuses on the most talked about new area of intervention, response to intervention (RTI). RTI plays a criticalrole in the referral or nonreferral of children for evaluations for suspected disabilities. In this chapter, frequently asked questions about RTIand its importance are addressed.

• If unsuccessful, then:

Step 2. Child study team and prereferral strategies: When teachers realize that Tier I RTI strategies are not working, they will move toTier II RTI strategies. These students whose performance and rate of progress lag behind those of peers in their classroom, school, ordistrict may receive more specialized prevention or remediation within general education.

At this point the teacher may also choose to find out more in-depth information on the child that may shed light on other factors which maybe contributing to the lack of performance. This would normally result in a referral to the school’s Child Study Team. Referral to a school-based child study team (sometimes called the prereferral team or pupil personnel team) for a more comprehensive look at the child, and aprereferral intervention plan is usually made by the classroom teacher (although anyone can make a request for a meeting). More involvedprereferral strategies are considered, such as direct classroom intervention strategies that include the following: classroom management,classroom modifications, observation by professional staff, observation and analysis of teaching methods, in-school counseling, assessmentof environment, extra help, classroom modifications, change of program, consolidation of program, disciplinary actions, further parentconferences, medical referral, and so forth (discussed in Chapter 7).

• If strategies prove unsuccessful, then:

Step 3. Screening: The child is screened for a suspected disability by members of the school staff, such as the school psychologist,educational evaluator, and speech and language clinician. If screening reveals a possible suspected disability, then a referral for a morecomprehensive assessment (discussed in Chapter 7) is made to:

Step 4. Multidisciplinary team (MDT): This team is made up of parents, school staff, and other professionals. When required, they decidewhich evaluations and professionals will be involved in this specific assessment. The team then provides a thorough and comprehensiveassessment for possible special education services. Assessments may include such measures as standardized tests, portfolio assessments,curriculum-based assessment, criterion-referenced assessments, and the like (discussed in Chapter 2 and Chapters 8 through 15). If thefindings of this team indicate the existence of a disability, then:

Step 5. Putting it all together: Once the MDT team completes the assessment, members of the team determine the strengths andweaknesses of the student; a possible diagnostic category; level of severity of the problem; recommendations to the school, teachers, andparents; and other information that later will be used to determine any appropriate special education recommendations (discussed in Chapter 16).

Step 6. Writing a professional report: Once the members of the team establish their findings, they should write up a professional report(discussed in Chapter 17) clearly outlining their findings. This report will be part of the materials that go to the eligibility committee.

Step 7. Preparation for presentation to the eligibility committee: The MDT puts together the information packet for the presentation tothe eligibility committee. This packet contains all the necessary forms, reports, and results of assessment that will be used to determinepossible classification and special education services (discussed in Chapter 18).

Step 8. Eligibility committee meetings: Once the packet is complete, an eligibility committee meeting (committee on special education, IEPcommittee, eligibility committee) is scheduled. This committee determines whether the student meets the criteria for a disability, a specialeducation program, and services (discussed in Chapter 18). If the student is classified, then:

Step 9. IEP development and alternate planning: Final IEP development occurs and placement is instituted (discussed in Chapter 19). Ifeligibility is not accepted, alternate planning is formulated and suggested by the eligibility committee to the local school (also discussed in Chapter 19).

6 RESPONSE TO INTERVENTION

Key Terms

At risk

Core academic subjects

Early intervening services

Fidelity

Intervention

National Research Center on Learning Disabilities (NRCLD)

Office of Special Education Programs (OSEP)

Progress monitoring

Research-based

Research-based interventions

Response to intervention (RTI)

Schoolwide screening

Specific learning disability (SLD)

Tiered or multitiered service delivery model

Universal screening

Chapter Objectives

The focus of this chapter will be to present a basic overview of response to intervention. After reading this chapter, you should have abasic understanding of the following:

■ Overview of response to intervention (RTI)

■ Purpose of RTI

■ Importance of RTI

■ History of RTI

■ Core principles of RTI

■ Events that led to changes in learning disability identification in IDEA 2004

■ Rationale for replacing the discrepancy model with RTI

■ Major issues related to using the concept of ability–achievement discrepancy

■ The role RTI should play in identifying children with specific learning disabilities

■ Can RTI be used as the sole determinant for SLD classification?

■ In the big picture, how does RTI fit into the LD determination process?

■ Multitiered service delivery model

■ Continuum of intervention support for at-risk students

■ Focus of Tier I

■ Focus of Tier II

■ Focus of Tier III

■ Importance of parent involvement for successful RTI programs

■ Fidelity

■ The RTI process for teachers

■ What teachers need in terms of pr

6.1 OVERVIEW OF RESPONSE TO INTERVENTION

The response to intervention (RTI) process is a multitiered approach to providing services and interventions to struggling learners atincreasing levels of intensity. RTI can be used for making decisions about general, compensatory, and special education, creating a well-integrated and seamless system of instruction and intervention guided by child outcome data. RTI is an initiative that takes place in thegeneral education environment. RTI calls for early identification of learning and behavioral needs, close collaboration among teachers andspecial education personnel and parents, and a systemic commitment to locating and employing the necessary resources to ensure thatstudents make progress in the general education curriculum.

The  National Research Center on Learning Disabilities  (NRCLD, 2007) defines RTI as

an assessment and intervention process for systematically monitoring student progress and making decisions about the need forinstructional modifications or increasingly intensified services using progress monitoring data.

RTI is an integrated approach to service delivery that encompasses general, remedial, and special education through a multitiered servicedelivery model. It utilizes a problem-solving framework to identify and address academic and behavioral difficulties for all students usingscientific, research-based instruction. Essentially, RTI is the practice of (a) providing high-quality instruction/intervention matched to allstudents’ needs and (b) using learning rate over time and level of performance to (c) make important educational decisions to guideinstruction (National Association of State Directors of Special Education, 2005). RTI practices are proactive, incorporating both preventionand intervention, and are effective at all levels from early childhood through high school.

6.2 PURPOSE OF RTI

RTI is intended to reduce the incidence of “instructional casualties” by ensuring that students are provided high-quality instruction withfidelity. By using RTI, districts can provide  interventions  to students as soon as a need arises. This is very different, for example, from themethods associated with the aptitude achievement discrepancy models traditionally used for  specific learning disability (SLD, alsoreferred to as LD)  identification, which have been criticized as a “wait to fail” approach.

IDEA 2004 allows the use of a student’s “response to scientific, research-based intervention” (20 U.S.C. 1414 (B)(6)(A)) as part of anevaluation.  Response to intervention  (RTI) functions as an alternative for learning disability (LD) evaluations within the general evaluationrequirements of IDEA 2004. The statute continues to include requirements that apply to all disability categories, such as the use ofvalidated, nonbiased methods, and evaluation in all suspected areas of difficulty. IDEA 2004 adds a new eligibility concept that prohibitschildren from being found eligible for special education if they have not received instruction in reading that includes the five essentialcomponents of reading instruction identified by the Reading First Program. These requirements are those recognized by the NationalReading Panel: phonemic awareness, phonics, reading fluency (including oral reading skills), vocabulary development, and readingcomprehension strategies. RTI is included under this general umbrella. By using RTI, it is possible to identify students early, reduce referralbias, and test various theories for why a child is failing. It was included in the law specifically to offer an alternative to discrepancy models.

A key element of an RTI approach is the provision of  early intervening services  when students first experience academic difficulties, withthe goal of improving the achievement of all students, including those who may have LD. In addition to the preventive and remedial servicesthis approach may provide to at-risk students, it shows promise for contributing data useful for identifying LD. Thus, a student exhibiting(1) significantly low achievement and (2) insufficient RTI may be regarded as being at risk for LD and, in turn, as possibly in need of specialeducation and related services. The assumption behind this paradigm, which has been referred to as a dual discrepancy (Fuchs, Fuchs, &Speece, 2002), is that when provided with quality instruction and remedial services, a student without disabilities will make satisfactoryprogress. The concept behind RTI has always been the focus of the teaching/learning process and a basic component of accountability ingeneral education. In other words, does instruction (i.e., strategies, methods, interventions, or curriculum) lead to increased learning andappropriate progress? In the past few years, RTI has taken on a more specific connotation, especially in the Individuals with DisabilitiesEducation Improvement Act of 2004 (IDEA, 2004), as an approach to remedial intervention that also generates data to inform instructionand identify students who may require special education and related services. Today, many educators, researchers, and other professionalsare exploring the usefulness of an RTI approach as an alternative that can provide (1) data for more effective and earlier identification ofstudents with LD and (2) a systematic way to ensure that students experiencing educational difficulties receive more timely and effectivesupport (Gresham, 2002; Learning Disabilities Roundtable, 2002, 2005; National Research Council, 2002; President’s Commission onExcellence in Special Education, 2002).

6.3 IMPORTANCE OF RTI

According to current early reading research, all except a very few children can become competent readers by the end of the third grade.RTI is a process that provides immediate intervention to struggling students at the first indication of failure to learn. Through systematicscreening of all students in the early grades, classroom teachers identify those who are not mastering critical reading skills and providedifferentiated intervention to small groups of students. Continuous progress monitoring of students’ responses to those interventionsallows teachers to identify students in need of additional intervention and to adjust instruction accordingly.

Response to intervention is about building better readers in the early grades and consists of multitiered reading instruction in the generaleducation classroom. In an RTI model, all students receive high-quality reading instruction and struggling readers receive additional andincreasingly more intense intervention. Early intervention and prevention of reading difficulties are fundamental to the process. However, ifa student’s learning history and classroom performance warrant, a multidisciplinary team may determine that the student has a disabilityand needs special education services to ensure continued and appropriate academic progress.

Three major developments concerning the education of students with learning problems have coalesced to establish RTI as a promisingapproach. First, longstanding concerns about the inadequacies of the ability–achievement discrepancy criterion—which was a componentof the Individuals with Disabilities Education Act of 1997 for identifying LD—have accentuated the need to develop alternative mechanismsfor the identification of LD. At the LD Summit of August 2001, sponsored by the Office of Special Education Programs, RTI was thealternative proposed by several researchers (e.g., Gresham, 2002; Marston, 2001).

Second, special education has been used to serve struggling learners who do not have LD or other disabilities. An RTI approach has beensuggested as a way to reduce referrals to special education by providing well-designed instruction and intensified interventions in generaleducation, thereby distinguishing between students who perform poorly in school due to factors such as inadequate prior instruction fromstudents with LD who need more intensive and specialized instruction.

A third major reason for the increased interest in an RTI approach has been the abundance of recent research on reading difficulties, inparticular, the national network of research studies coordinated by the National Institute of Child Health and Human Development (NICHD).A number of NICHD research studies have demonstrated that well-designed instructional programs or approaches result in significantimprovements for the majority of students with early reading.

History of RTI

RTI is not a new approach. It is recognizable under other names such as dynamic assessment, diagnostic teaching, and precision teaching.Those terms, however, have been applied to approaches used to maximize student progress through sensitive measurement of the effectsof instruction. RTI applies similar methods to draw conclusions and make LD classification decisions about students. The underlyingassumption is that using RTI will identify children whose intrinsic difficulties make them the most difficult to teach. Engaging a student in adynamic process like RTI provides an opportunity to assess various hypotheses about the causes of a child’s difficulties, such as motivationor constitutional factors like attention.

CORE PRINCIPLES OF RTI

In general, RTI is comprised of seven core principles that represent recommended RTI practices (Mellard, 2003). These principles representsystems that must be in place to ensure effective implementation of RTI systems and establish a framework to guide and define the practice.

1. Use all available resources to teach all students. RTI practices are built on the belief that all students can learn. RTI requires thateducators shift their focus from the student to the intervention. The initial evaluation no longer focuses on “what is wrong with thestudent”; instead, there is a shift to an examination of the curricular, instructional, and environmental variables that affect inadequatelearning progress. Once the correct set of intervention variables has been identified, schools must then provide the means and systemsfor delivering resources so that effective teaching and learning can occur. In doing so, schools must provide resources in a manner thatis directly proportional to students’ needs. This will require districts and schools to reconsider current resource allocation systems sothat financial and other support structures for RTI practices can be established and sustained.

2. Use scientific, research-based interventions/instruction. The critical element of RTI systems is the delivery of scientific  research-based interventions  with fidelity in general, remedial, and special education. This means that the curriculum and instructionalapproaches must have a high probability of success for the majority of students. By using research-based practices, schools efficientlyuse time and resources and protect students from ineffective instructional and evaluative practices. Because instructional practices varyin efficacy, ensuring that the practices and curriculum have demonstrated validity is an important consideration in the selection ofinterventions. In the absence of definitive research, schools should implement promising practices, monitor their effectiveness, andmodify implementation based on the results.

3. Monitor classroom performance. General education teachers play a vital role in designing and providing high-quality instruction.Furthermore, they are in the best position to assess students’ performance and progress against grade-level standards in the generaleducation curriculum. This principle emphasizes the importance of general education teachers in monitoring student progress ratherthan waiting to determine how students are learning in relation to their same-aged peers based on results of statewide or districtwideassessments.

4. Conduct universal screening/benchmarking. By conducting universal screening and giving benchmark tests in all  core academicsubjects  and behavior, school staff gain data on all students that indicate individual performance and progress compared to the peergroup’s performance and progress. These data form the basis for an initial examination of individual and group patterns on specificacademic skills (e.g., identifying letters of the alphabet or reading a list of high-frequency words) as well as behavior skills (e.g.,attendance, cooperation, tardiness, truancy, suspensions, and/or disciplinary actions). Universal screening is the least intensive level ofassessment completed within an RTI system and helps educators and parents identify students early who might be  at risk . Sincescreening data may not be as reliable as other assessments, it is important to use multiple sources of evidence in reaching inferencesregarding students at risk.

5. Use a multitier model of service delivery. A RTI approach incorporates a  tiered  or  multitiered service delivery model  in which eachtier represents an increasingly intense level of services associated with increasing levels of learner needs. The system described in thischapter reflects a three-tiered design. All multitiered systems, regardless of the number of levels chosen, should yield the same practicaleffects and outcomes.

Tier I represents the largest group of students, approximately 80 to 90 percent, who are performing adequately within the corecurriculum. Tier II comprises a smaller group of students, typically 5 to 10 percent of the student population. These students will needstrategic interventions to raise their achievement to proficiency or above based on a lack of response to interventions at Tier I. Tier IIIcontains the fewest students, usually 1 to 5 percent. These students will need intensive interventions if their learning is to beappropriately supported (Tilly, 2003).

In an RTI system, all students receive instruction in the core curriculum supported by strategic and intensive interventions whenneeded. Therefore, all students, including those with disabilities, are found in Tiers I, II, or III. Important features, such as universalscreening, progress monitoring, fidelity of implementation, and problem solving, occur within each tier. The basic tiered model reflectsour knowledge that students in school have varying instructional needs. Thus, the nature of the academic or behavioral interventionchanges at each tier, becoming more rigorous as the student moves through the tiers.

6. Make data-based decisions. Decisions within an RTI system are made by teams using problem solving and/or standard treatmentprotocol techniques. The purpose of these teams is to find the best instructional approach for a student with an academic or behavioralproblem. Problem solving and standard treatment protocol decision making provide a structure for using data to monitor studentlearning so that good decisions can be made at each tier with a high probability of success. When using the problem-solving methodteams answer four interrelated questions: (1) Is there a problem and what is it? (2) Why is it happening? (3) What are we going to doabout it? (4) Did our interventions work (NASDSE, 2005)? Problem-solving and standard treatment protocol techniques ensure thatdecisions about a student’s needs are driven by the student’s response to high-quality interventions.

7. Monitor progress frequently. To determine if the intervention is working for a student, the decision-making team must establish andimplement progress monitoring.  Progress monitoring  is the use of assessments that can be collected frequently and are sensitive tosmall changes in student behavior. Data collected through progress monitoring will inform the decision-making team whether changesin the instruction or goals are needed. Informed decisions about students’ needs require frequent data collection to provide reliablemeasures of progress. Various curriculum-based measurements (CBM) are useful tools for monitoring students’ progress.

6.4 RTI AND THE ASSESSMENT PROCESS

The role of RTI in the assessment process is one that needs to be determined so that special educators can determine how RTI effectsmaking referrals for special education services. The Virginia Department of Education’s Office of Student Services (2009) answeredquestions concerning the role of RTI in the eligibility process for special education.

How is RTI used in the eligibility process?

RTI can be useful in the eligibility process in the following ways:

• By helping the eligibility group decide if more evaluation data is needed

• By documenting that the student was provided appropriate high-quality research-based instruction in general education settings, andthat the instruction was delivered by qualified personnel

• By providing data to the eligibility group as one part of the evaluation process used to determine if the student has a disability thatrequires special education and related services.

RTI practices that help identify unexpected lower learning levels and lower learning rates practices implemented with fidelity will helpschool teams monitor student progress to decide when there is a need for additional information about a child that can only be gatheredthrough comprehensive individual assessment obtained through the special education evaluation process.

WHEN USING RTI AS A COMPONENT OF ELIGIBILITY DETERMINATION, DOES A PATTERN OF STRENGTHSAND WEAKNESSES HAVE TO BE ESTABLISHED?

Yes. Whether RTI is used, or any other permissible method of identifying a specific learning disability or other disability, a pattern ofstrengths and weaknesses in performance, achievement, or both, must be established relative to age, grade level standards or intellectualdevelopment. This evidence/documentation must be considered as part of the evaluation as described in 34 CFR § 300.309.

Can eligibility for special education be determined solely by RTI?

No. RTI practices can assist eligibility groups in determining special education eligibility by providing useful information to the evaluationand eligibility process, as well as determining the educational needs of the child. The information obtained through RTI progress monitoringwill provide the eligibility group with documentation that the student’s lack of academic progress is not the result of inappropriateinstruction in reading or mathematics, or the result of limited English proficiency (34 CFR §§ 300.301 through 300.311).

Can a child be found eligible for special education services without using RTI?

Yes, as long as the eligibility team’s decision is compliant with state regulations that outline the individual disability identificationrequirements and procedures. However, as noted in the RTI guidance document, when a student is suspected of having a specific learningdisability, the data collected during the course of RTI is an assessment that is part of the evaluation leading to the eligibility determinationprocess.

Events That Led to Changes in LD Identification in IDEA 2004

Through decades of educational practice, it has become generally accepted that a “severe discrepancy” is in fact a learning disability and/ora proxy for a learning disability and its underlying processing disorders. It is now widely acknowledged that there is not a scientific basisfor the use of a measured IQ achievement discrepancy as either a defining characteristic of or a marker for LD. Though numerousauthorities (Fletcher et al., 2005; Lyon et al., 2001; Stanovich, 2005) have identified problems with discrepancy models, it has persisted asthe most widely used diagnostic concept. In the 1997 IDEA reauthorization process, the concern with discrepancy approaches reached ahead and the U.S.  Office of Special Education Programs (OSEP)  committed to a vigorous program of examining and summarizingevidence around LD identification. That effort resulted in the Learning Disabilities Summit, as well as subsequent roundtable meetingsinvolving representatives of major professional organizations. While preparing for the 2004 IDEA reauthorization, OSEP conducted the2002 Learning Disabilities Roundtable to generate a series of consensus statements about the field of learning disabilities. With respect tothe use of discrepancy formulas, the members stated:

Roundtable participants agree there is no evidence that ability–achievement discrepancy formulas can be applied in a consistent andeducationally meaningful (i.e., reliable and valid) manner. They believe SLD eligibility should not be operationalized using ability–achievement discrepancy formulas.

Rationale for Replacing the Discrepancy Model with RTI

Response to intervention offers the promise of “building better readers” through the provision of differentiated instruction based on datafrom ongoing assessments for all students in the early grades. That is, all students receive scientifically research-based reading instructionand, most importantly, struggling readers receive additional instructional time and research-based reading interventions within thestructure and context of the general education classroom. In essence, RTI replaces the practice of “waiting to fail” with deliberate earlyintervention and prevention.

Major Issues Related to Using the Concept of Ability–Achievement Discrepancy

Issue 1:Discrepancy models fail to differentiate between children who have LD and those who have academic achievement problemsrelated to poor instruction, lack of experience, or other problems. It is generally agreed that the ability–achievement discrepancy modelwas influenced by research conducted by Rutter and Yule (1975; Reschly et al., 2003). This research found two groups of low-achievingreaders, one with discrepancies and one without. This finding formed the basis for the idea that a discrepancy was meaningful for bothclassification and treatment purposes. Later analyses of this research, and attempts to replicate it, have failed to produce support for the“two group” model for either purpose. In fact, it is now accepted that reading occurs in a normal distribution and that students withdyslexia or severe reading problems represent the lower end of that distribution (Fletcher et al., 2002).

Issue 2:Discrepancy models discriminate against students outside of “mainstream” culture and students who are in the upper and lowerranges of IQ. Due to psychometric problems, discrepancy approaches tend to under-identify children at the lower end of the IQ range andover-identify children at the upper end. This problem has been addressed by various formulas that correct for the regression to the meanthat occurs when two correlated measures are used. However, using regression formulas does not address issues such as language andcultural bias in IQ tests, nor does it improve the classification function of a discrepancy model (Steubing et al., 2002).

Issue 3:Discrepancy models do not effectively predict which students will benefit from or respond differentially to instruction. Theresearch around this issue has examined both progress and absolute outcomes for children with and without discrepancy, and has notsupported the notion the two groups will respond differentially to instruction (Stanovich, 2005). Poor readers with discrepancies andpoor readers without discrepancies perform similarly on skills considered to be important to the development of reading skills (Gresham,2002).

Issue 4:The use of discrepancy models requires children to fail for a substantial period of time—usually years—before they are farenough behind to exhibit a discrepancy. To show a discrepancy, two tests need to be administered—an IQ test, such as the WechslerIntelligence Scale for Children, and an achievement test, such as the Woodcock-Johnson Tests of Achievement. Because of limitations ofachievement and IQ testing, discrepancies often do not “appear” until late second, third, or even fourth grade. Educators and parents haveexperienced the frustration of knowing a child’s skills are not adequate and not typical of the child’s overall functioning and being told to“wait a year” to rerefer the child. While waiting for a discrepancy to appear, other persistent problems associated with school failuredevelop such as poor self-concept, compromised motivation, vocabulary deficits, and deficits associated with limited access to writtencontent.

The Consideration of RTI in the Process of Determining Specific Learning Disabilities (SLD)

RTI is being strongly considered as part of the SLD identification process because it has the potential to address areas of the SLD definitionand construct that are not adequately assessed with current approaches. If the features of RTI are implemented correctly

• There is some assurance that students are being exposed to high-quality instruction in the general education classroom by stipulatingthat schools use evidence-based instructional practices and routinely monitor the progress of all students.

• There is an emphasis on underachievement through its focus on discrepancy models that examine whether a student is failing torespond to instruction through both low overall achievement and inability to make adequate progress.

• They encourage access to early intervention because, with the regular monitoring of progress, at-risk students are identified early, andan infrastructure for the appropriate delivery of services already is established.

• They are designed to address many students with achievement problems, so the label of learning disability is applied only for thosestudents who fail to respond to multiple levels of intervention efforts.

• They are meant to be applied as multiple measures of child performance rather than to limit determination to a single point in time.

6.5 THE ROLE RTI SHOULD PLAY IN IDENTIFYING CHILDREN WITH SPECIFIC LEARNINGDISABILITIES

When considering adopting an RTI approach for identifying students with specific learning disabilities (SLD), school districts should keep inmind a number of provisions of IDEA 2004. Under IDEA 2004 schools districts may but are no longer required to consider whether astudent has a severe discrepancy between achievement and intellectual ability. At the same time, IDEA 2004 gives school districts theflexibility to determine that a student has an SLD using RTI data. Proponents point out that identifying SLD through RTI shifts the emphasisof the evaluation process from documenting the student’s disability to the student’s instructional needs. RTI emphasizes this shift of focusthrough documentation of a student’s persistent failure to progress even after receiving intense and sound scientifically research-basedinterventions in the general education curriculum.

IDEA 2004 is silent about the exact criteria school districts may use in establishing SLDs. It is expected that when final federal regulationsare published, specific criteria will be established and states will be provided clarifying guidance regarding these procedures. Until that time,districts implementing RTI are strongly encouraged to use established approaches for using RTI data to identify SLDs. The followingprocedure is recommended:

After appropriate CBM probes have been applied, and after attempts have been made to implement at least two Tier III interventions withfidelity, a student should be considered nonresponsive when the student’s level of academic achievement has (a) been determined to besignificantly lower than that of his or her peers, and (b) the gap between the student’s achievement and that of his or her peers increases(or does not significantly decrease). Absent other information to explain the lack of achievement, students who are nonresponsive at TierIII should be suspected of having a disability.

Once a referral for special education is initiated the school district must determine whether an initial comprehensive evaluation is requiredto determine the presence of a disability. Unless mitigating information exists to explain why the student was nonresponsive at Tier III, aninitial evaluation, for which the school district must obtain written consent from a parent or guardian, will be completed. A comprehensiveevaluation may or may not require additional testing but should include a formal observation of the student by a team member unless arecent observation was completed by a team member prior to the evaluation. If the student’s evaluation team determines that the existingdata developed through the RTI process is sufficient to complete the evaluation report in all suspected areas of disability, additionalinformation does not need to be obtained. If the existing data do not establish the need for special education services, further assessmentmay be needed to rule out the possibility of a qualifying disability, including a disability in a category other than SLD.

The Use of RTI in the SLD Classification

Although RTI addresses some significant shortcomings in current approaches to SLD identification and other concerns about earlyidentification of students at risk for reading problems, RTI should be considered as merely one important element within the larger contextof the SLD determination process. Implementing RTI allows schools to have more confidence that they are providing appropriate learningexperiences to all students while identifying and targeting early those students who may be at risk for reading or math problems but whodo not necessarily have a learning disability. Although IDEA 2004 provides flexibility to local education agencies (LEAs) in determining SLDidentification procedures, the following recommendations by the National Joint Committee on Learning Disabilities (2005) should helpguide the development of these procedures:

Decisions regarding eligibility for special education services must draw from information collected from a comprehensive individualevaluation using multiple methods including clinical judgment and other sources of relevant information. Students must be evaluated onan individual basis and assessed for intra-individual differences in the seven domains that comprise the definition of SLD in the law—listening, thinking, speaking, reading, writing, spelling, and mathematical calculation. Eligibility decisions must be made through aninterdisciplinary team, must be student-centered and informed by appropriate data, and must be based on student needs and strengths.

As schools begin to execute a process of decision making more clinical than statistical in nature, ensuring through regulations that this teamof qualified professionals represents all competencies necessary for accurate review of comprehensive assessment data will be critical.

One of the advantages of RTI is the timely identification of children who struggle with learning. RTI is not intended as a stand-aloneapproach to determining specific learning disabilities, but it can be a key component of a comprehensive approach to disabilitydetermination. In an RTI model, if a student does not respond to robust high-quality instruction and intervention that is progress monitoredover time, he or she may indeed be determined to have a learning disability. The benefit of RTI for these at-risk students is the wealth ofmeaningful instructional data provided for use in creating well-targeted individualized instructional programs and evidence-basedinstructional interventions. In addition RTI sets in place a student progress monitoring process that facilitates communication and promotesongoing meaningful dialogue between home and school.

Although RTI addresses some significant shortcomings in current approaches to SLD identification and other concerns about earlyidentification of students at risk for reading problems, RTI should be considered to be one important element within the larger context ofthe SLD determination process. RTI as one component of SLD determination is an insufficient sole criterion for accurately determining SLD.As part of a larger process, RTI provides the following information about a student:

1. Indication of the student’s skill level relative to peers or a criterion benchmark

2. Success or lack of success of particular interventions

3. Sense of the intensity of instructional supports that will be necessary for the student to achieve

Incorporating this information into SLD determination procedures has the potential to make important contributions to identifyingstudents with SLDs in schools. In addition to an RTI process that helps ensure appropriate learning experiences and early intervention,identification of SLD should include a student-centered, comprehensive evaluation that ensures students who have a learning disability areaccurately identified.

Although IDEA 2004 provides flexibility to LEAs in determining SLD identification procedures, the following recommendations by theNJCLD should help guide the development of these procedures (2005):

• Decisions regarding eligibility for special education services must draw on information collected from a comprehensive individualevaluation using multiple methods, including clinical judgment and other sources of relevant information.

• Students must be evaluated on an individual basis and assessed for intra-individual differences in the seven domains that comprise thedefinition of SLD in the law: listening, thinking, speaking, reading, writing, spelling, and mathematical calculation.

• Eligibility decisions must be made through an interdisciplinary team, must be student-centered and informed by appropriate data, andmust be based on student needs and strengths.

• As schools begin to execute a process of decision making that is more clinical than statistical in nature, ensuring through regulationsthat this team of review of comprehensive assessment data will be critical.

Processes for SLD identification have changed and will continue to do so. Within that context, remembering that RTI is but one resource foruse in the SLD determination process is important. More broadly speaking, RTI procedures have the distinction that when implementedwith fidelity, they can identify and intervene for students early in the educational process, thereby reducing academic failure amongstudents.

6.6 MULTITIERED SERVICE DELIVERY MODEL

An RTI approach incorporates a multitiered model of educational service delivery in which each tier represents increasingly intenseservices that are associated with increasing levels of learner needs. The various tier interventions are designed to provide a set ofcurricular/instructional processes aimed at improving student response to instruction and student outcomes.

Much discussion continues surrounding the issues of how many tiers constitute an adequate intervention (O’Connor, Tilly, Vaughn, &Marston, 2003). Most frequently, RTI is viewed as a three-tiered model, similar to those used for other service delivery practices, such aspositive behavioral support. Figure 17.1 depicts a three-tiered model as conceived in an RTI framework.

Like other models, RTI is meant to be applied on a schoolwide basis, in which the majority of students receive instruction in Tier I (thegeneral classroom), students who are at risk for reading and other learning disabilities are identified (such as through  schoolwidescreening ) for more intense support in Tier II, and students who fail to respond to the interventions provided in Tier II may then beconsidered for specialized instruction in Tier III.

The application of RTI is typically understood within the context of a multi-tiered model or framework that delineates a continuum ofprograms and services for students with academic difficulties. Although no universally accepted model or approach currently exists, themany possible variations can be conceptualized as elaborations on or modifications of the following three-tiered model:

Tier I: High-quality instructional and behavioral supports are provided for all students in general education.

• School personnel conduct universal screening of literacy skills, academics, and behavior.

• Teachers implement a variety of research-supported teaching strategies and approaches.

• Ongoing curriculum-based assessment and continuous progress monitoring are used to guide high-quality instruction.

• Students receive differentiated instruction based on data from ongoing assessments.

Tier II: Students whose performance and rate of progress lag behind those of peers in their classroom, school, or district receivemore specialized prevention or remediation within general education.

• Curriculum-based measures are used to identify which students continue to need assistance and with what specific kinds of skills.

• Collaborative problem solving is used to design and implement instructional support for students that may consist of a standardprotocol or more individualized strategies and interventions.

• Identified students receive more intensive scientific, research-based instruction targeted to their individual needs.

• Student progress is monitored frequently to determine intervention effectiveness and needed modifications.

• Systematic assessment is conducted to determine the fidelity or integrity with which instruction and interventions are implemented.

• Parents are informed and included in the planning and monitoring of their child’s progress in Tier II specialized interventions.

• General education teachers receive support (e.g., training, consultation, direct services for students), as needed, from other qualifiededucators in implementing interventions and monitoring student progress.

Tier III: Comprehensive evaluation is conducted by a multidisciplinary team to determine eligibility for special education and relatedservices.

• Parents are informed of their due process rights and consent is obtained for the comprehensive evaluation needed to determinewhether the student has a disability and is eligible for special education and related services.

• Evaluation uses multiple sources of assessment data, which may include data from standardized and norm-referenced measures;observations made by parents, students, and teachers; and data collected in Tiers I and II.

• Intensive, systematic, specialized instruction is provided and additional RTI data are collected, as needed, in accordance with specialeducation time lines and other mandates.

• Procedural safeguards concerning evaluations and eligibility determinations apply, as required by IDEA 2004 mandates.

Standard protocol as used in describing Tier II refers to an approach in which students with similar difficulties (e.g., problems with readingfluency) are given a research-based intervention that has been standardized and shown to be effective for students with similar difficultiesand uses a standard protocol to ensure implementation integrity (Fuchs et al., 2003).

Variations on this basic framework may be illustrated by options often found within Tier II. For example, Tier II might consist of twohierarchical steps, or subtiers (e.g., a teacher first collaborates with a single colleague and then, if needed, problem solves with amultidisciplinary team, creating in effect a four-tiered model). Alternatively, more than one type of intervention might be provided withinTier II (e.g., both a standard protocol and individualized planning, based on the student’s apparent needs).

RTI is a critical component of a multitiered service delivery system. The goal of such a system is to ensure that quality instruction, goodteaching practices, differentiated instruction, and remedial opportunities are available in general education, and that special education is provided for students with disabilities who require more specialized services than can be provided in general education. The continuousmonitoring of the adequacy of student response to instruction is particularly relevant to an RTI approach as a means of determiningwhether a student should move from one tier to the next by documenting that existing instruction and support are not sufficient. Forexample, in moving from Tier II to Tier III, insufficient responsiveness to high-quality, scientific, research-based intervention may be causeto suspect that a student has a disability and should be referred for a special education evaluation. In addition, however, the right of aparent, state education agency, or a local education agency to initiate a request for an evaluation at any time is maintained in IDEA 2004.

Focus of Tier I

Tier I is designed to meet the needs of a majority of the school population and has three critical elements:

a. A  research-based  core curriculum

b. Short-cycle assessments for all students at least three times a year to determine their instructional needs

c. Sustained professional development to equip teachers with tools necessary for teaching content area effectively

In Tier I, the goal is to prevent failure and optimize learning by offering the most effective instruction possible to the greatest number ofstudents. Instruction takes place in a regular education setting and is, for the most part, whole-class (scientifically based) instruction thatproduces good results for most students. Based on data, classroom teachers monitor student progress and differentiate instruction forstudents who do not meet grade-level expectations.

Focus of Tier II

Tier II is for students who are falling behind same-age peers and need additional targeted interventions to meet grade-level expectations. InTier II, the goal is to accelerate learning for students who need more intensive support. The interventions typically take place in a regularsetting and may include instruction to small groups of students, targeted interventions, and frequent progress monitoring.

Focus of Tier III

Tier III is designed for students who still have considerable difficulty in mastering necessary academic and/or behavioral skills, even afterTier I and Tier II instruction and interventions. Tier III addresses students’ needs through intensive individualized services. In Tier III,students receive intensive and highly focused intentional research-based instruction, possibly over a long period of time. Tier III involvesstudents who did not respond to Tier II intervention. These students undergo a more formal diagnostic evaluation.

Importance of Parent Involvement for Successful RTI Programs

Involving parents at all phases is a key aspect of a successful RTI program. As members of the decision-making team, parents can provide acritical perspective on students, thus increasing the likelihood that RTI interventions will be effective. For this reason, schools must make aconcerted effort to involve parents as early as possible, beginning with instruction in the core curriculum. This can be done throughtraditional methods such as parent–teacher conferences, regularly scheduled meetings, or by other methods. This must be done bynotifying parents of student progress within the RTI system on a regular basis.

Districts and schools should provide parents with written information about its RTI program and be prepared to answer questions aboutRTI processes. The written information should explain how the system is different from a traditional education system and about the vitaland collaborative role that parents play within the RTI system. The more parents are involved as players, the greater the opportunity forsuccessful RTI outcomes.

Because RTI is a method of delivering the general education curriculum for all students, written consent is not required beforeadministering universal screenings, CBMs, and targeted assessments within a multitiered RTI system when these tools are used todetermine instructional needs. However, when a student fails to respond to interventions and the decision is made to evaluate a student forspecial education eligibility, written consent must be obtained in accordance with special education procedures. When developing screeningmeasures, districts should also consider the parallel measures that may be used for evaluation.

Failure to communicate and reach out to parents will lead to confusion, especially among parents who believe their children have a learningdisability. Schools may also want to provide other means for keeping parents engaged and informed:

• Involving them in state and local planning for RTI adoption

• Providing them written information on their right to refer their child at any time for special education evaluation as stipulated in IDEA2004

• Providing written material that outlines the criteria for determining eligibility under IDEA 2004 and the role of RTI data in making LDdeterminations

Taking measures to build strong, productive relationships with parents can only increase the likelihood that students will benefit greatlyfrom the RTI model.

6.7 FIDELITY

Fidelity  refers to the degree to which RTI components are implemented as designed, intended, and planned. Fidelity is achieved throughsufficient time allocation, adequate intervention intensity, qualified and trained staff, and sufficient materials and resources. Fidelity is vitalin universal screening, instructional delivery, and progress monitoring.

6.8 THE RTI PROCESS FOR TEACHERS

An RTI outcome vital to the effectiveness of a school system is that all teachers, both general and special educators, will feel an increasedaccountability for student learning as well as strengthened confidence in their own skills and knowledge related to teaching reading. Thegoal of all students learning to read will be a unifying force that includes all staff and all students. All teachers will see themselves as part ofa system that delivers high-quality instruction that continually assesses student progress and that provides extra help and extra time tomeet the needs of students.

If we are to close the achievement gap in schools, roles of school personnel will change. Collaboration among teachers will increase inorder to determine student needs, designate resources, and maximize student learning. Genuine access to and participation in the general curriculum for students with disabilities may require a shift in the way we think about and ultimately provide special education and relatedservices. Building better readers must become the collective responsibility of all teachers so that all students achieve.

Although RTI presents a promising way of addressing many issues associated with SLD identification, unanswered implementationquestions remain. We must ask how many issues relevant to SLD determination are due to the specific assessment components as well asthe limited fidelity with which those components were implemented (e.g., appropriate learning experiences, prereferral intervention,application of exclusion clause, and ability–achievement discrepancy). Further, we must consider how well states, districts, or schools couldimplement an assessment process that incorporates significant changes in staff roles and responsibilities (i.e., most dramatically for generaleducation staff) while lengthening the duration of disability determination assessment and possibly lengthening service time.

Another significant consideration is that current research literature provides scant scientific evidence on how RTI applies in curricularareas other than reading and beyond primary or elementary school-age children. In conjunction with the standards that have beendeveloped (NCSESA, 1996; NCTM, 2000), science-based research needs to be conducted using the RTI construct in the areas of science andmathematics. Utilizing an RTI framework across educational disciplines, as well as grade levels, is synergistic with the No Child Left BehindAct of 2001 and promotes the idea that schools have an obligation to ensure that all students participate in strong instructional programsthat support multifaceted learning.

What Teachers Need in Terms of Professional Development and RTI

Teachers of students with learning disabilities will need to acquire specialized knowledge to individualize instruction, to build skills, andrecommend modifications and accommodations needed for students with learning disabilities to be successful in the general curriculum.

Within the RTI framework, professional development will be needed to prepare these teachers in the following skills and knowledge(Division for Learning Disabilities of the Council for Exceptional Children, 2006):

• Understanding and ability to apply pedagogy related to cognition, learning theory, language development, behavior management, andapplied behavioral analysis

• Possession of a substantial base of knowledge about criteria for identifying scientific, research-based methodology and instructionalprograms useful for students with learning disabilities and individualization of instruction

• Proficiency in providing direct skill instruction in reading, writing, spelling, math, and listening and learning strategies

• Ability to adjust instruction and learning supports based on student progress, observation, and clinical judgment

• Ability to conduct comprehensive evaluations that include standardized assessment measures, informal assessment, and behavioralobservations

• Ability to translate evaluations into meaningful educational recommendations

• Guidance in explaining test results to help parents and teachers understand the student’s needs and the recommendations generatedduring the assessment process

• Strengthening of communication skills to function as collaborative partners and members of problem-solving teams

• Knowledgeability about the legal requirements of IDEA 2004, federal and state regulations, and the history of learning disabilities

Vocabulary

At risk: A term used for children who may, in the future, have problems with their development that may affect learning or development.

Core academic subjects: English; language arts; reading; mathematics; science; the arts, including music and visual arts; social studies,which includes civics, government, economics, history, and geography; and modern and classical languages.

Early intervening services: Refers to a broad application of scientifically based prevention and support services for students who are notidentified as needing special education programs or service but who need additional academic and behavioral support to succeed in thegeneral education classroom.

Fidelity: Refers to the intensity and accuracy with which instruction and intervention are implemented.

Intervention: Instructional strategies and curricular components used to enhance student learning.

National Research Center on Learning Disabilities (NRCLD): A joint project of researchers at Vanderbilt University and the University ofKansas with funding provided by the U.S. Department of Education, Office of Special Education Programs. NRCLD is part of a federal effortto find improved research-based ways of identifying students with learning disabilities.

Office of Special Education Programs (OSEP): The Office of Special Education Programs is a federal program of the U.S. Department ofEducation dedicated to improving results for infants, toddlers, children, and youth with disabilities ages birth through 21 by providingleadership and financial support to assist states and local districts.

Progress monitoring: A set of assessment procedures for determining the extent to which students are benefiting from classroominstruction.

Research-based (Activities, Practices, Instruction, Intervention, or Treatment): Interventions or treatment approaches that have beenscientifically demonstrated to be effective, regardless of the discipline that developed them.

Research-based interventions: Instructional strategies and curricular components used to enhance student learning. The effectiveness ofthese interventions is backed by experimental design studies that have been applied to a large study sample, show a direct correlationbetween the intervention and student progress, and have been reported in peer-reviewed journals.

Response to intervention: A system used at schools to screen, assess, identify, plan for, and provide interventions to any student at risk ofschool failure due to academic or behavior needs. It is an assessment and intervention process for systematically monitoring studentprogress and making decisions about the need for instructional modifications or increasingly intensified services using progress monitoringdata.

Schoolwide screening (also known as universal screening): An assessment characterized as a quick, low-cost, repeatable test of age-appropriate critical skills (e.g., identifying letters of the alphabet or reading a list of high-frequency words) or behaviors (e.g., tardiness ordiscipline reports). Measures are not too complicated and can be administered by someone with a minimal amount of training.

Specific learning disability (SLD): A categorical condition considered important for providing legal protections and entitlements. UnderIDEA 2004, SLD is defined as “a disorder of one or more of the basic psychological processes involved in understanding or using language,spoken or written, which disorder may manifest itself in [the] imperfect ability to listen, think, speak, read, write, spell, or do mathematicalcalculations. Such term includes such conditions as perceptual disabilities, brain injury, minimal brain dysfunction, dyslexia, anddevelopmental aphasia. Such term does not include a learning problem that is primarily the result of visual, hearing, or motor disabilities, ofmental retardation, of emotional disturbance, or of environmental, cultural, or economic disadvantage.”

Tiered or multitiered service delivery model: Provides tiers of increasingly intense interventions directed at more specific deficits and atsmaller segments of the population.