Accessing Information About Evidence-Based Practices

 

BY CAILIN O’CO University of W

Meeting local n  

WHAT WORKS,

                                A  major  appeal  of  evidence‐b These  programs  have  shown significantly  affect  important  o demonstrated  positive  effects  i funders,  and  program  practiti evidence‐based program more a only assume  that  a  program  w according to the original progra referred to as program fidelity. Un practice. Practitioners often cha them, whether intentionally or n   For many years,  there was a d evidence‐based programs was a more to which approaches to p undermine program effectivene changes that are sometimes ma then suggest strategies for main based program implementation   

    Program fidelity and adaptation:   eeds without compromising program effectiveness

ISSUE #4, APRIL 2007  NNOR, STEPHEN A. SMALL, AND SIOBHAN M. COONEY  isconsin‐Madison and University of Wisconsin–Extension 

 WISCONSIN – RESEARCH TO PRACTICE SERIES

ased  programs  is  their  promise  of  effectiveness.  ,  through  rigorous  evaluations,  that  they  can  utcomes  for  participants.  The  best  of  them  have  n  a  number  of  different  settings.  For  policymakers,  oners,  that  potential  for  effectiveness  can  make  an  ttractive than an unproven program. However, we can  ill  continue  to  have  those  effects  if  it  is  implemented  m design. Staying true to the original program design is  fortunately, true program fidelity is not easily achieved in  nge or adapt evidence‐based programs as they implement  ot.  

ebate  in  the scientific  literature over whether adaptation of  t all acceptable. In recent years, the conversation has turned  rogram adaptation are acceptable and which types are likely to  ss [1]. In this Research to Practice Brief, we explore the types of  de to programs and the effects those adaptations can have. We  taining program effectiveness, based on research about evidence‐ and adaptation. 

Program adaptation and its effects  Types of program adaptations   

Acceptable adaptations:  Changing language – Translating and/or  modifying vocabulary  

Replacing images to show youth and families  that look like the target audience 

Replacing cultural references  Modifying some aspects of activities such as  physical contact 

Adding relevant, evidence‐based content to  make the program more appealing to  participants 

 

Risky or unacceptable adaptations  Reducing the number or length of sessions or  how long participants are involved 

Lowering the level of participant engagement  Eliminating key messages or skills learned  Removing topics   Changing the theoretical approach  Using staff or volunteers who are not  adequately trained or qualified 

Using fewer staff members than recommended 

Programs  are  often  adapted  from  their  original  design when they are implemented by a new org‐ anization, in a new community, or by a new staff  member. Changes might be made to a program to  better meet the needs of the community where it is  being  implemented, to fit the program within an  organization’s  budget  or  calendar,  or  to  accom‐ modate the preferences of the local staff members  facilitating it. While adaptations for some of these  reasons may be  justified, changes  to  the content,  duration,  or  delivery  style  of  the  program  can  diminish the program’s effects.    One very common reason for adapting a program  is a perceived cultural mismatch between a pro‐ gram  and  its  targeted  audience  [2].  Although  research shows  that,  for example,  juvenile delin‐ quency programs tend to be equally effective for  youth  from  many  cultural  backgrounds  [3],  cul‐ tural mismatch continues to be a concern in many  communities.1 A large study of the effectiveness of  the Substance Abuse and Mental Health Services  Administration  (SAMHSA)  Model  Programs  in  various  settings  offered  some  support  for  adap‐ tations designed to address cultural mismatch: the  researchers found that fidelity to the original pro‐ gram design was generally important to program  effectiveness, but less so when there was a cultural  mismatch [4]. In other words, in situations where  the “culture” of  the program was different  from  the  culture  of  the  target  audience,  adaptations  were  less  damaging  to  the  program’s  effectiveness. However, another study found that  culturally  adapted  versions  of  a  violence  prevention program had higher retention rates but  weaker  outcomes  when  compared  to  the  non‐ adapted  program  [5].  The  authors  suggest  that,  although the adaptations made the program more 

attractive  to participants and  improved retention  rates,  the  adaptations  also  may  have  eliminated  crucial  elements  of  the  original  intervention,  making it less effective.     Other intentional changes to evidence‐based pro‐ grams may have similar effects, making a program  more attractive  to potential participants or spon‐ soring agencies, but potentially reducing or elim‐ inating the positive effects of the program. Cutting  the  number  or  length  of  program  sessions  is  a  common example. Organizations often worry that  potential participants will be unable to commit to  a lengthy program, so they shorten it. Or, in times  of tight budgets, agencies may reduce the number  of staff  involved  in delivering a program or use  volunteers or paraprofessionals who do not have  adequate  experience  or  training.  Unfortunately,  reducing the “dosage” of a program, changing the  staff‐to‐participant  ratio,  or  staffing  the  program  with less qualified personnel is likely to diminish 

  1 Issue #1 in this series addresses the issue of culture  and evidence‐based programs. 

Program fidelity and adaptation  2  What Works, Wisconsin – Research to Practice Series, #4 

the program’s effectiveness. Sufficient dosage and  the  opportunity  to  form  positive  relationships  with  well‐trained  staff  have  been  identified  as  important  principles  of  effective  prevention  pro‐ grams [6].    Eliminating  parts  of  a  program’s  content  and  shortening the duration or intensity of a program  are the riskiest forms of adaptation. A piece may  be  removed  that  was  critical  to  the  program’s  effectiveness;  there  may  not  be  enough  time  for  participants to develop a key skill, or to build the  relationships  that  are  critical  to  the  change  pro‐ cess.  On  the  other  hand,  adding  material  or  sessions  to  an  existing  program  while  otherwise  maintaining  fidelity  does  not  generally  seem  to  have a detrimental effect. One study even showed  that  adaptations  that  added  components  to  an  existing program tended to be more effective than  programs  implemented  without  added  compo‐ nents  [7].  However,  other  researchers  point  out  that components added at the local level have the  potential  to be counterproductive –  for example,  adding  lessons  based  on  scare  tactics,  which  research has shown to be harmful – and can  jeo‐ pardize the overall success of the program [8].    Another  pervasive  type  of  program  adaptation  comes  in  the  form  of unintentional  changes  that  are  made  as  the  program  is  implemented  over  time.  This  is  sometimes  referred  to  as  “program  drift” [1]. These changes may happen when a fac‐ ilitator  adjusts  the  program  to  fit  his  or  her  facilitation  style,  eliminates  content  he  or  she  doesn’t like, or adds in pieces from other curricula  that may not support the goals of the program. As  the  number  of  these  changes  grows,  it  becomes  less and less likely that the implemented program  will have the promised effects. For this reason, it is  not  uncommon  for  evidence‐based  programs  to  require regular “re‐certification” of facilitators and  provide tools to measure program fidelity.   

Strategies for maintaining  program effectiveness   If  you  have  made  the  decision  to  implement  a  proven or evidence‐based program, implementing  the  program  as  it  was  designed  should  be  your  goal. As you prepare  for and  implement an evi‐ dence‐based  program,  keep  the  following  strat‐ egies  in  mind  to  minimize  the  risk  of  reducing  program effectiveness.   

Select a program that meets your needs.  In general, the fewer changes that are made to  a  program,  the  more  likely  it  is  to  have  the  desired  effect  on  participants.  It  is  almost  always  preferable  to  choose  a  program  that  won’t need to be adapted, rather than getting  into the risky business of program adaptation.  Before  purchasing  a  program  or  deciding  to  implement  it,  analyze  the  program,  the  cur‐ riculum, and any accompanying handouts or  recruitment  materials  to  determine  whether  they are appropriate for your target audience  and  your  organization. Look  at  the  program  with  a  critical  eye,  considering  whether  it  would make sense and appeal to members of  your  audience,  and  whether  it  seems  like  it  would have the desired effect on their know‐ ledge, skills, relationships, or behavior. To the  extent possible, find a program that will need  little to no adaptation for your circumstances.  If this is not possible, select a program that has  been adapted for other audiences in the past,  or one whose developer is willing to assist you  in the adaptation process.2   

2 Issue #3 in this Research to Practice series addresses  guidelines for selecting an evidence‐based  program. 

Program fidelity and adaptation  3  What Works, Wisconsin – Research to Practice Series, #4 

Ensure that staff members are committed  to  program  fidelity.  Decisions  about  pro‐ gram  selection,  adaptation,  and  implementa‐ tion should involve all relevant staff members,  particularly  those  who  will  be  staffing  or  facilitating the program. They need to be com‐ fortable  with  the  material  and  the  style  of  interaction,  and  they  also  must  commit  to  delivering the program as agreed. Particularly  when  a  program  is  being  implemented  by  more  than  one  staff  member  or  in  multiple  locations, commitment from all staff is critical  to ensuring program success. 

  Contact the program developer. Program  developers can tell you whether they or others  have already adapted the program for specific  audiences or circumstances. Program develop‐ ers can also provide you with key information  about  the  theory  and  assumptions  that  in‐ fluenced the program’s development. You can  typically find contact information for program  developers  on  registries  of  evidence‐based  programs.3  Getting  input  from  the  program  designer is one of the best ways to ensure that  any  adaptations  made  to  the  program  are  appropriate.  Many  program  developers  will  be happy to discuss your plans for implemen‐ ting or adapting the program.    

Determine  the  key  elements  that  make  the  program  effective.  Sometimes  called  core components analysis [1], this is the process  of  identifying  the “active  ingredients”  in  the  program, those things that are responsible for  a program’s effectiveness. Ideally, you would  get this information from the program devel‐ oper based on his or her research and exper‐

ience.  More  and  more  evidence‐based  pro‐ grams are  identifying  their core components,  often  as  they  develop  guidelines  for  imple‐ mentation  and  tools  for  measuring  program  fidelity. For example, the Families and Schools  Together (FAST) program allows local imple‐ mentation  planning  teams  to  modify  up  to  60%  of  the  program  content  as  long  as  they  implement the core components identified by  the program developer [9].    

Assess the need for cultural adaptation.  Keep in mind that culture is reflected both at  the surface  level of the program, such as the  language  and  visual  symbols  used,  and  at  a  deeper level, for example in the risk and pro‐ tective factors that are targeted [10].  

 

• On the surface level, consider the  lan‐ guage  used  in  the  program;  the  visuals,  examples  and  scenarios  used;  and  the  activities that participants are asked to en‐ gage in. For example, when the Strength‐ ening  Families  Program  for  Parents  and  Youth  10‐14  was  adapted  for  use  with  Hmong  families  in  Wisconsin,  changes  were  made  to  de‐emphasize  verbal  and  physical expressions of love among family  members,  and  activities  that  required  physical  contact  were  modified  to  make  the  program  culturally  acceptable.  These  types of changes, which tailor the existing  program  to  a  particular  group  of  par‐ ticipants,  are  unlikely  to  diminish  the  program’s effectiveness.   

• At  the “deep”  level  of  program  struc‐ ture and goals, the cultural mismatch may  be  more  subtle  and  harder  to  pinpoint.  There is also a greater risk of reducing the  program’s impact when changes are made  at  this  level.  Making  adaptations  to  the  program’s  targeted  risk  and  protective  factors  or  other  “deep”  elements  of  the  program  design  should  probably  not  be  attempted unless it’s done in collaboration  with the program’s developer. If you are 

3 Program registries are on‐line guides to effective  programs created and maintained by federal  agencies or research organizations. Issue #3 in this  Research to Practice series includes information about  some of these registries and how to use them. 

Program fidelity and adaptation  4  What Works, Wisconsin – Research to Practice Series, #4 

considering  these  types  of  changes,  look  first  for  a  different  program;  one  better  suited  to meet your needs may be avail‐ able.    

Stay true to the duration and intensity of  the original program. Several studies have  indicated that fidelity to program intensity, or  the amount of contact participants have with  the program and  the  length of  time  they are  involved in the program, is one of the keys to  replicating  the  effects  of  an  evidence‐based  program  [11].  It  is  also  this  aspect  of  a  program  that  is  most  likely  to  be  changed,  whether because of budgetary concerns or in  an attempt to make the program more appeal‐ ing  to  participants.  For  example,  a  program  designed  for  seven  weekly  sessions  may  not  have the same effect  if all the content  is pre‐ sented  in two full‐day sessions. Even though  all  the  content  may  be  covered,  participants  will not have  time  to practice  the new skills  they are learning or to integrate these changes  into  their  everyday  behavior.  Similarly,  con‐ densing  the material  to  limit  the program  to  four  weekly  sessions  will  likely  reduce  the  program’s  effectiveness:  critical  content  may  be cut  inadvertently,  in addition  to  the risks  posed by reducing participants’ contact with  the facilitator and the program. It is important  to  follow  the  program’s  guidelines  for  how  often  the  program  meets,  the  length  of  each  session,  and  how  long  participants  stay  involved.     

Take  steps  to  avoid  program  drift.  Facilitators  and  managers  should  use  tools  provided by  the program developer  to mon‐ itor  program  implementation.  Be  vigilant  in  tracking how the program is implemented and  address any unintentional variation from  the  original  program  design.  This  is  particularly  important if a program is handed off from one  staff person to another, and when a program  is being  implemented at multiple sites or by  multiple staff members. 

  Stay  up‐to‐date  with  program  revisions  and  new  materials.  Evidence‐based  pro‐ grams  may  be  periodically  revised  and  up‐ dated, or new materials may become available  as  the  program  developers  continue  their  research on the program’s effectiveness. Check  the program’s website, or contact the program  developer  and  ask  to  be  informed  of  any  updates to the program or materials. 

          In summary, program adaptation is not a task to  be taken lightly, if it occurs at all. Taking program  selection  seriously,  being  thoughtful  about  what  (if anything) you change, and adding appropriate  components or topics as needed will help you to  avoid  changing  the  core  components  of  the  program and diluting its effectiveness. 

Sources   1.  U.S. Department of Health and Human Services. 

(2002). Finding the balance: Program fidelity and  adaptation in substance abuse prevention: A state  of the art review. Retrieved March 1, 2006, from  http://modelprograms.samhsa.gov/pdfs/Finding‐ Balance1.pdf 

2.  Castro, F.G., Barrera, M., & Martinez, C.R. (2004).  The cultural adaptation of prevention  interventions: Resolving tensions between fidelity  and fit. Prevention Science, 5, 41‐45. 

3.  Wilson, S.J., Lipsey, M.W., & Soydan, H. (2003).  Are mainstream programs for juvenile  delinquency less effective with minority youth  than majority youth? A meta‐analysis of 

Program fidelity and adaptation  5  What Works, Wisconsin – Research to Practice Series, #4 

outcomes research. Research on Social Work  Practice, 13, 3‐26. 

4.  Emshoff, J., Blakely, C., Gray, D., Jakes, S.,  Brounstein, P., et al. (2003). An ESID Case Study  at the Federal Level. American Journal of  Community Psychology, 32, 345‐357. 

5.  Kumpfer, K.L., Alvarado, R., Smith, P., & Bellany,  N. (2002). Cultural sensitivity and adaptation in  family‐based prevention interventions. Prevention  Science, 3, 241‐246. 

6.  Nation, M., Crusto, C., Wandersman, A.,  Kumpfer, K., Morrisey‐Kaner, E., et al. (2003).  What works in prevention: Principles of effective  prevention programs. American Psychologist, 58,  449‐456. 

7.  Blakely, C.H., Mayer, J.P., Gottschalk, R.G.,  Schmitt, N., Davidson, W.S., et al. (1987). The  fidelity‐adaptation debate: Implications for the  implementation of public sector social programs.  American Journal of Community Psychology, 15, 253‐ 268. 

8.  Elliott, D.S. & Mihalic, S. (2004). Issues in        disseminating and replicating effective prevention        programs. Prevention Science, 5, 47‐52. 

9.  Wisconsin Center for Education Research. (2006).  Families and Schools Together: Research and  program development: Implementation.  Retrieved December 19, 2006, from  http://www.wcer.wisc.edu/fast/imp/start.htm 

10. Dumka, L.E., Lopez, V.A., & Carter, S.J. (2002).  Parenting interventions adapted for Latino  families: Progress and prospects. In J. Contreras,  K.A. Kerns, and A.M. Neal‐Barnett (Eds.), Latino  children and families in the United States: Current  research and future directions (pp. 203‐233).  Westport, Conn.: Praeger. 

11. Allen, J.P., Philliber, S., & Hoggson, N. (1990).  School‐based prevention of teen‐age pregnancy  and school dropout: Process evaluation of the  national replication of the Teen Outreach  Program. American Journal of Community  Psychology, 18, 505‐524. 

Program fidelity and adaptation  6  What Works, Wisconsin – Research to Practice Series, #4 

WHAT WORKS, WISCONSIN: RESEARCH TO PRACTICE SERIES  

This is one of a series of Research to Practice briefs prepared by the What Works, Wisconsin team at the University  of Wisconsin–Madison, School of Human Ecology, and Cooperative Extension, University of Wisconsin– Extension. All of the briefs can be downloaded from www.uwex.edu/ces/flp/families/whatworks.cfm.    

This series expands upon ideas that are discussed in What Works, Wisconsin: What Science Tells Us about Cost‐ Effective Programs for Juvenile Delinquency Prevention, which is also available for download at the web address  above.   

This publication may be cited without permission provided the source is identified as: O’Connor, C., Small, S.A. &  Cooney, S.M. (2007). Program fidelity and adaptation: Meeting local needs without compromising program  effectiveness. What Works, Wisconsin Research to Practice Series, 4. Madison, WI: University of Wisconsin– Madison/Extension.   

This project was supported by Grant Award No. JF‐04‐PO‐0025 awarded by the Wisconsin Office of Justice  Assistance through the Wisconsin Governor’s Juvenile Justice Commission with funds from the Office of Juvenile  Justice and Delinquency Prevention.   

The authors wish to thank Mary Huser of the University of Wisconsin–Extension and Gay Eastman of the  University of Wisconsin–Madison for their edits, comments, and suggestions in the development of this Research  to Practice brief.