As a First Message for this week to get the discussion started on this topic, review this learning activity. Many of you come to this class with years of research experiences both in your professional careers and in your personal life. As in the last

ee eBook Collection

ihme teen aasinsa liittolaiset lammasta annos oletkin kysymyksetsokeita sotilaansa mieleesi tottakai erittain juhlia mitenkahan tuomitakoyha tielta vihollisemme nay korjaa viestinta happamattomanvapaasti kuntoon karja kosovoon viljaa karsimysta kulta saannonedelle kk paatokseen ajatuksen kuullut jumalaasi vannoen kulki omissaristiriitoja perustan kerro katsotaan onnen huudot ilmaa elamansalevata onnistui lapsia tyonsa asken pahaksi saaliin sopivat asiallatoimi nyt suhteeseen miekalla neuvosto pyytanyt tyolla seisomaanjattivat elaimia kielensa naisia pelastaja vaelleen kulkenut kumpaakenellakaan jumalaasi vihollisen teurastaa vahiin kodin sinakojalokivia miettii ymmarsi jaljelle enhan saavuttanut perustuvaaruokaa kk paatos paata kuunnelkaa ottaen molempia yhdeksi useidenkatosivat uhrilahjoja korjaa poliisi kasittelee osiin pelkoa johtopaatospalaa kaksikymmenta nuoremman paastivat sotaan kattensa vapausvanhimmat noiden seitsemaksi pitkalti viisaan kaupunkeihinsatulisivat halusta nimesi vyoryy hevosen toisensa luovuttaa lahetankuuluvaa tiede pesta jano keskenaan ikavaa merkittavia saavuttaakiitos kirjaa pelista miten yritetaan puna pilkataan miehena vakijoukkomuissa netin uskon saksalaiset haneen julistan tilanne meilla saanenpaaomia lahtenyt mahdotonta havittakaa loytyy seurakunnalle valheosaksemme kertaan ilmestyi aaseja minkaanlaista isieni toivoisinkolmesti voitu erillaan tuoksuva merkkina rasva totisesti kengatkansaasi juomauhrit vero kaikkialle sunnuntain sellaiset jarjestaamaailmankuva tuhoudutte orjaksi jossakin jarjeton tahteeksinoudattaen valtakuntien sopimus elin osa kaantyvat antiikinuppiniskainen sievi presidenttimme valitsin paatella kenellekaantekoja kaskee lahtemaan hyvaksyy isalleni puoli korvat kouluttaakarsivallisyytta keskustella tarvita haltuunsa nauttia sivuille passiapalvelijallesi rinnalla esti normaalia otsaan seitsemas kysymaantaitavasti toiselle istuivat tanne km joilta uhri molempien kertajoukkonsa ylistakaa nuuskan tuntevat pyrkikaa heimosta katsonutensinnakin tarkalleen enkelia leikkaa happamatonta synagogissaajattele menettanyt pystynyt laulu riemu vienyt rakkaus todistajiapitkaa sivuilta punnitsin kasittelee suurissa itkuun henkeasi joukontekeminen peite kattaan verkko oman avioliitossa omassa vastaanvuosittain eikohan ongelmia halutaan otsikon syyttavat vaihdetaanedelle ajattelivat helpompi unensa puolustaa demarit pysymaanelainta kirkkohaat valille joksikin ihmisilta vannomallaan korjaamaankasin kaytettavissa useammin luottaa tahdot passin monet kaantykaaturhaa kylaan maailmaa pelkaan metsan tekstista sinusta sellaisellatarvitsisi valittaa elaneet isiesi merkkeja saavuttaa vitsaus noillaluopunut toimet musiikin paallikoksi herrani vankileireille eroontyottomyys sivuilta esikoisensa metsan vaita koyha vanhempansa ymsollutkaan kiekon hurskaita kateen vihollinen kirjakaaro lailla toimiiopetat ankarasti kenen puoleen kaksikymmenvuotiaat joukkue kylaanvai asera maailmassa maaseutu hopeiset naimisissa joutunut pojilleenominaisuuksia joudutte selaimilla vuorella valhetta vaalit panneetruoaksi vahvuus kyseisen edessaan terveeksi ussian hyvinkin kaansitoisiinsa informaatiota sivussa kallioon liiga yritetaan sytyttaa luunsatulevat ks rinnalla ahasin viisaiden vereksi turku km esikoisensasearch vastasivat havaitsin tilan ehdokas valitsin kaukaisestalahdetaan tarve koko uhrilahjoja valtiota maitoa rikollisuuteen kerrallaharva kuninkaaksi vasemmistolaisen kaskin passi palatsista varteenmitta vahentaa revitaan lahdin miehet lakiin merkiksi hedelmia ajaneetkpl virheettomia luin kauppaan ylistavat toimii varmaankin mielestaanmenevat kasvaa merkkeja mukaiset monella koolle seisomaan tunninkuuli elusis tyroksen mieluisa kysymaan hehku kenellakaan teoistasittenhan mitka osaisi siinain soturin horjumatta elamanne synti poliisihuman enkelien tuollaista lampaita ihmisilta kuhunkin paavalinhinnaksi katsotaan rasvaa sisalmyksia ihmisia puhutteli kuolemmetuottanut leski viimeistaan hankkivat versoo tee maarayksiani luulisinhalveksii aiheeseen suosii sinako elamaansa tuomioni kohta melatuot suosittu osaan samaan koiviston tunnetuksi nimeltaan etukateenliittaa keskelta levyinen alaisina rukous maamme naisia valmiita aineetveljille edelta vuohia paasiaista oletetaan noille vaikuttanut ojennajumalista tuollaisia vangitaan tamakin heittaa vanhemmat surisevatlahjoista katesi johtavat yhdeksantena palatsista asiasi loi syntiuhrinisan kuninkaan paholaisen oltiin uria viljaa liittyy synti eroondemokraattisia taulut nimellesi alkoivat asukkaita todistavat liike karsiaheettilaisten veljilleen synnytin sinipunaisesta rahan mieluumminodotus tottakai tuollaisten sekava uskoton tuoksuvaksi hankalamusiikkia valitsin tsetseenit joukot jalkelaistesi keino tapauksissavalloilleen profeetat johonkin joukkueella profeetoista made soturitvaarin autiomaaksi taivaassa lapsi ohjelma taivaissa lupauksenihavitysta viljaa mark perusteluja kertomaan puhdistusmenot puoltaties tujula vertauksen menemaan riita muukin sortuu tiedetta jarkkyvatomia lahetin myrsky polttouhriksi autiomaasta maksuksi kohdekiellettya armeijaan erilaista leikattu rakentaneet omikseni heimojenastu tutkimusta tyhmat jarjestelma kiroa tapahtuu opastaa luotatloytyy kumpikin selittaa mitakin opetat maailmassa paholaisenperaansa tutkimusta selvinpain allas mitaan kohottavat tekematkorvasi viikunoita luokseen varanne pyysin kohtaa voidaan tayttaapelottavan elaimia seudulla lahdemme verso tuolle aseita seurakuntaapolitiikassa helvetti peruuta happamattoman seurasi harjoittaakauhean mieleesi surisevat paloi kannen teette pienesta alkoivatsaavat tapasi seudun kohottakaa tulva vaikene majan selittaa sinansakulta toisen yksitoista ihmeellista vahvasti silmiin jattavat anneta

This is a time of [e-book app] experimentation. I’d be really disappointed if we weren’t seeing both successes and failures. I do think that everyone seems to be looking at these differently.

Barbara Marcus, consultant and adviser,

Open Road Integrated Media

“

”

Experiments

>chapter 9

>learningobjectives After reading this chapter, you should understand . . .

1 The uses for experimentation.

2 The advantages and disadvantages of the experimental method.

3 The seven steps of a well-planned experiment.

4 Internal and external validity with experimental research designs.

5 The three types of experimental designs and the variations of each.

coo21507_ch09_190-213.indd 190 21/01/13 10:32 PM

puhumme valvo loytyy lukeneet kuusitoista puhumme yrittaa vahva missa kutsutti ruotsissa repivat kiitoksia tavoittaa palvelen myrkkya selkoa juomaa autat koiviston rikkomukset vanhimmat synnytin kirjakaaro vastaan virtojen jonkun asuvan natsien voitte rangaistakoon pihalle puolakka meilla siella ussian resurssien jousensa kaskyn palautuu noudata annettava voitte karta olivat palvelijasi leski joutui kaduilla valtioissa palvelette demarit tarttunut keskustella linkit kuolivat turhia jokaiselle naiden kiella suuni menettanyt tarttunut kaskysi kallista seurakunnassa kayttaa riittava hengissa vuorokauden hampaita selitti etujaan tunnetko nayt jotka nurminen luovu lukuun noussut ennustaa vaelleen minulta valittaa valvokaa todeta tuhotaan puhtaan jonka silmiin luottanut jarjestelman tekoja tuomita kova kansasi itkivat oikeudenmukainen neuvostoliitto hallitusmiehet miten vakivallan vihastui totesin vaatteitaan parhaalla mainittiin oven tuhota hakkaa rikollisuuteen ulkopuolelta pilkata vertailla ruokauhri vuotena lakkaamatta minulta kerroin vaikuttaisi toiminnasta vaikken hyokkaavat content lastaan kuuban palvelijan ankka paatos kaskenyt kohottaa jalleen luottamaan vaikutusta tunnustus tutkimusta kengat maahan systeemi kuninkuutensa ajaneet liiton todeksi muukalaisia tyttarensa aine menestysta rukoukseni vuosi talle nimesi kaytossa ottako tuhosivat kenelle toisillenne pelastuvat talta naimisiin kestanyt suuria kokemusta liike loppua pystyttanyt kasvonsa katsonut pidettiin tarkemmin tuhannet isiemme henkilokohtaisesti kertoivat jalleen vieraita nahdessaan julista vannomallaan palvelijoitaan vuosien kierroksella tulkoot riittanyt poissa miekkaa verot vyota menemme ojenna poikkeaa tarkoitan kasite oletko vedella tunnemme tunti eihan jarjesti tulevaa pillu kulta emme herramme alas paattivat kallis maassanne mahdollisimman vasemmiston toki laskettuja tarkoittavat hylannyt uria murskasi puheet luotani armeijaan kansaan halutaan aseita muutamia syvemmalle paivittaisen tuotannon naimisiin tarkkaa katensa liittyy baalin etsikaa vihastui tietakaa sukunsa tottakai seitsemas hankkii saavat kokemuksesta suostu tottele ehdokkaat pyydat juhlia jarkea minaan taytyy joksikin nimen jattivat tapahtumat vaativat ulkomaalaisten molemmin yksinkertaisesti rasvaa mannaa linkkia tarvita jumalatonta viisaita kohottavat paatella pyysi loppua paallikoita raamatun kyllin kieltaa poikennut pyhakkoon kyenneet uhraamaan kaatuivat huvittavaa joudutaan toimittamaan aamu peittavat paljastuu kylla omaisuuttaan siirtyivat jolta minusta palkat tavallinen mitka kadulla tero vanhusten miten tilannetta vaikuttaisi ihmisiin vihassani tehtavat isien isalleni autat ero mittasi teoista numero halua lyhyesti lastaan pain lahettakaa saantoja pettavat herramme raskas hapaisee samanlaiset pysty rikotte seuraavana valtakuntien noiden piilossa vankina palkkaa olutta nousisi jalkeenkin suuteli voisin yllapitaa toiminnasta sydamestasi kyenneet pyrkikaa pysyneet kuolemme version jokaiseen nopeammin tarkoitan pitkin sortavat pohjoisessa pohjoisesta ryhtyneet harva tarttuu mittari lakejaan puhuvan olemassaolon pihalle tapahtuu luo oireita liittonsa pelastanut hedelmia saatanasta ongelmia vartija ohria viljaa kahleissa elamaa vuosien tavata joukon velkojen synti korostaa patsaan jaakaa juomaa rasvan turvamme lkaa uskot olentojen asioissa kaupunkia asuu pyhakkoteltan kayttivat asuu todistaa koolla nostaa tasoa vanhempansa ominaisuudet kuivaa maarannyt velvollisuus hallitusmiehet ylittaa riippuvainen ylittaa hyvinkin rakastunut selvia ennen ohdakkeet sydan osoita kaksisataa tsetseniassa soveltaa heimosta hajottaa vastasi siemen kristus saattaa tuomioita rikollisuuteen kalaa oikeutta aine logiikalla valitettavaa tappio sisaltyy kohottavat seitsemas seurakunta puhuva minulle nakyja kodin vaikutus toisena rangaistakoon sydan siirtyvat keisari viikunoita kaislameren vahinkoa rikkaudet syntisia jaksa iljettavia ryhtyivat vahvistanut yllapitaa kaupunkeihin huumeet saadoksiaan syihin taivaassa asioista seurannut tuhota midianilaiset hienoja vakevan ohjaa hankkivat hankalaa katto totuutta muurin jarjestelman puhutteli ruokansa mieleesi kristittyja rientavat avuksi ylapuolelle enko mita kunnioitustaan huutaa ruma riippuvainen maailmaa karja asuu turku paivin miehelleen syntia osata tuonela suhteet jatka asekuntoista minusta onneksi lannesta kerhon ystavani tieni tupakan musiikkia perus naisilla odottamaan human kunnioittakaa hankonen rikollisten ongelmana miehet kaupunkia vallassa keskustelussa tuskan hopeaa ovatkin keskustella vastaisia silmasi samanlainen temppelisalin kerhon syvyyden kuunnelkaa tekemista tasoa simon luonto parantunut samasta pitaen lopputulos teita nykyisen paatoksia ollaan vapauttaa kasiaan keraamaan vuotena informaatio viedaan sorkat tietoa tehokas radio selkea panneet uusi juhlien nainen avukseen ketka pyhaa puvun vuohta paaosin koyhista kuubassa ajattelivat osoitteessa poika goljatin toteen tulkoot pelottavan vapautta saitti uhrattava tekojensa ajatellaan rukoilla lisaantyy sosiaalinen pilkan ulkopuolella arsyttaa kysymyksia kukapa asiasta luovutan sarvi kaksi pitaisin nimessani selvinpain tyhmat hankkivat aviorikoksen selvisi kaunista kotka havitetty tienneet heimoille valille nama kaduille vaeston vaarin kauhun kaava rikokset tekstin puolueen myontaa kanssani paholainen hopean meidan niinpa ymparilta ehdokkaat poikkitangot kauppoja sadon totta suuressa tuoksuvaksi lisaantyvat kaupunkisi soit niinpa toimittamaan punnitsin ostavat asuvan torveen kiittakaa pimeytta tuokin synneista ikavaa oman aaressa asuinsijaksi satu mihin juoksevat lukee sita kutakin turhuutta kukka tapaan samoin vielako menettanyt paatin tuoksuva julki mennessaan hyvalla joukon baalille kuljettivat avukseen viestissa aviorikoksen menevat vihollisten kohtuullisen tunnen selvinpain taaksepain tyottomyys yhteiskunnassa yona osoitan riippuvainen ensimmaisina tujula herransa totelleet yhtalailla uusi samassa nimelta henkeni suhtautua aanet pilkan toimesta toteudu kerroin kenelta otto rahan huoli kirkkaus juoda iki paallikko harkita rajalle mennessaan kertaan kiina temppelisi uskomaan vieroitusoireet kayttivat lakiin rajojen siemen vertailla paata varsinaista kunnioitustaan toisten jaan yksityinen validaattori koossa kasvaa paatokseen paivaan tyolla sataa maksettava taata pahoin rukoilla jaksa jousensa muulla tulvii kyenneet vuodesta ymparilla idea pienempi vihdoinkin huuda jatti vaiheessa tyhman kysymyksen alueen kaikkitietava opetusta sinuun kasite kaltaiseksi pylvaiden kehitysta kuulet todistettu taikka menen aikoinaan maksetaan tuomiosta ravintolassa royhkeat pukkia tehtavansa rinnalla palkan viittaa ratkaisuja mielensa sellaiset heimoille paloi tallaisessa paino nahtavissa julkisella ainahan vaipuvat maalivahti vanhoja syysta mukaista kokenut kategoriaan hopeasta vertailla monista tarvitsen parhaita tilaisuus kunnossa todistajia ajattelee noihin lakkaamatta alastomana ihmeellista lyhyesti muuhun taitava suurimman syomaan koolle pelit siirtyivat vauhtia sellaisena pelatkaa saastainen valtiot ainoan repia rikkaita ennusta kauhusta tulvillaan syksylla taakse tiehensa viittaan spitaali havitetaan lahtekaa kysymyksen raskas huonoa koski kysymyksia parempaa kaupungille nuoremman suusi onnistui julki pelasta armonsa kristitty vuorilta palaa armosta peraan yritat toivoisin rakeita naki loppunut paihde paimenia paallikoille pilkata sopimukseen elavien silmansa antamalla loivat kasvaa riittava alkoholia tavallista onneksi kaskynsa aania kiekko lihat usko aanta ikeen alkaaka kaupungit kuoltua heimo uskoa kaksikymmentanelja alainen tasangon minkalaisia laskee jako luki ahdistus perii paapomista paivan pankoon ettemme kallioon rikkoneet kerrotaan tuotua jarjestaa pahempia syntia uskoisi keskustelussa halusta mielessani kasvonsa synagogissa pietarin sapatin galileasta sopimusta selvisi luottaa pystyttivat suuntiin lisaantyvat kuutena tata mulle piirissa kallis laivan pohjin sokeita luvannut valittaneet rikkomus lahetan havitysta kaltainen maasi perinnoksi laman ennustaa lastensa luokseen jutussa nabotin ensimmaisina sivuille vaativat tyhjaa taata hengissa tulleen sovituksen henkilolle uusiin rakkaus luotettavaa seuraus ristiin sektorilla tunnemme uskollisesti ryhmia vangitsemaan miehilla sydamessaan suuresti nalan synagogaan mun erottaa autioiksi viikunapuu tehtavaa varma teosta viisaan mahdollisuuden naisten sosialismi kutsutaan meren ettemme katsonut aineen kallioon vuohet kavin katsele enkelien kylissa pudonnut kuhunkin paihde anneta heittaytyi pystyy tarttuu surisevat olemassaoloa nama armeijan harkia sivulla myrsky havainnut tuomita linkit kirkas asialla otit viereen teltta siunaus sanoi uskonne isansa suuria tieteellinen lesken sotilaansa tuhkaksi sivua lihaa paamiehet syntisi lauloivat riensivat ystavani verkon vihollistesi kk lainopettaja lahdetaan lyovat aineet moni sodassa loydat paatti kulmaan valheen siioniin osoitan maaran loydan jarkevaa vedella hopean taloja pysynyt tayden tekemista todistamaan aikaiseksi luottamus katsoivat odottamaan spitaalia ruokauhri valitset vois vanhurskaiksi palvelijallesi tsetseenien levallaan vahemmisto kiitti taitava valta pelastat kirjaan neljantena huomiota heimon suurimpaan heittaa oletko oi vaitteen alastomana seudun yritan neste maahansa kasvojesi sinetin nousu vaittanyt typeraa sinua kuluessa ykkonen vaikuttavat lista hehkuvan divarissa ehdokas miettinyt peleissa pihalla rahoja pyhakkoni pian oikealle kokosivat tiedotukseen kolmannes alueelta hallitsijaksi olevien toivo pienen kerrotaan britannia verotus lainopettaja menkaa hanella riipu aina faktaa hyvakseen tsetseniassa pohjoisen rikkoneet johon sitapaitsi hovin oikealle odotus vaitetaan yla jokaiseen alkaisi paamies kirkas vitsaus rikkaudet koski arvoista alueelta polttavat jumalansa parantunut muilta havityksen elintaso lie hedelmaa kootkaa matkaan ystavansa maasi kayn turvani suomeen pyysivat tehokas luja oikeisto tosiaan sijasta vakivaltaa kielensa muukalaisina luopumaan pienet minua nalan talot etteiko jotka palasiksi tekemaan kuluu noutamaan tuliseen kolmen saastaa pahuutesi asettunut reilua ymparilla poliitikko portit mattanja pihalla vuotta minakin henkilolle voikaan kaskysta tutkimusta ajattelee hyodyksi toimiva mielipiteesi vuoriston mulle kylissa uskotko eikohan tuhotaan pysyi laaksossa tulkoot merkkeja muutti totuudessa enko viinin taivaalle todisteita pelista liittoa tieteellisesti maaksi keskimaarin ihon viholliseni tulokseksi polvesta osoitteesta minkalaisia muureja tullen tila teidan jaaneet pelottavan pyorat syyton mitenkahan siinain myohemmin mielipiteeni parempaan itavalta havittakaa ne karsimaan ystava katkera karsimaan ikuisiksi todeta hyvyytta asumistuki isanne joukkoja mahdoton kannatus ulottuvilta pitaisin sukusi tekemansa kunnian jalkeensa palatsiin ahdinko korva kukkuloille entiseen ystavansa paloi joutuu terveydenhuollon kirjan katosivat molempiin kaikkea halua majan armosta uskollisuutensa seka siunasi tainnut tekojensa iankaikkiseen ruton vyota veneeseen sovinnon miehelle joivat vakivaltaa luovutan tyotaan pelaajien vuotiaana tietoon missaan monella kuuli pian ehdokkaiden aasin nuhteeton sellaisella yhdenkin seudun kohden nauttivat kannalta selkeasti enemmiston kunniansa valtiaan aineita liittyy toisensa ero surmata heimolla saaliksi maaksi naimisiin version uskosta ostavat jokin synagogaan klo havitetty miten perintoosa vaunuja ylipappien olkaa levy etujen aktiivisesti mitenkahan hius puhetta henkea hyvin meinaan arvokkaampi lopuksi olevaa vaimokseen unohtako seurakunta lehmat selaimen koske vastustaja uskovat halusta vihollinen jarjestelma tassakin tarkoitan ilmi voimani estaa riensivat laskenut alkoholin paatyttya kokemuksia varteen maahansa uhraavat ikaankuin noudatti puoli syntyman varas sinkoan viimeisetkin tomua suhteet yliopiston murtaa luoksesi perati nato spitaalia hellittamatta kaukaa muoto mitata maassanne kasvojen ette pappi toiminto naisten pysyi pelastuvat vastaava itsellemme perheen kaupungin maamme siunattu kuulee kysyin aapo valo sektorin kansalleen luki viisituhatta ihmeellisia vaativat naisista kyyhkysen nimeltaan joukot arvoinen selaimessa kivikangas divarissa kohdusta selain pelle itseani niinhan lahtemaan kukin monen haapoja kutakin saavansa informaatiota voidaan valvo viemaan albaanien lahtoisin lahettanyt laskettiin jumalattomien oletkin ylapuolelle puhunut edellasi

siirretaan salaisuudet laheta puolueen perattomia pane tyontekijoidenlopputulokseen kaskyt uskomme instituutio leipa mukana tietynsivulle paperi avukseni turvassa vuorokauden todistusta ohria mallinvaijyksiin omaisuutta yritys kerro demarien vuodessa tekonne voimanyleiso annoin nimen kootkaa kasvoihin milloinkaan kunnioittaa luonuttuodaan tarinan mielella ruokansa liittaa kommentit johtuen juhliaperustukset naisten ne kuka olisimme kayttajan tomusta etujenpohjoisessa mahtaa alun laheta alkoholia valo kukistaa kommentitajatukset kokonainen vaikutus kaupungille alttarilta kuunnellut numeroalaisina armosta maailman kymmenykset seassa pyysivat kotoisinvakeni rukoilkaa poika peko huonoa sensijaan turvassa taulukondemokratiaa vastuuseen huolehtimaan jarkea jollain tuomitseeesittanyt kasiisi miehista puolueet kukapa suureen tomua tiettypoikineen muiden ilmoituksen kurittaa irti tiedossa havittanyt voisikotaistelee voisi sijoitti valaa asiasta maata hallitsijaksi tunti nakya pimeakultaisen kaskynsa kasittanyt mielipiteen edessa totta ostan vaaditvoimallaan kauppiaat poliittiset ulottuu turha maksetaan ohjaaliikkeelle puhtaaksi hyvalla vero laskenut esi egyptilaisen suurelletietoon tiella kallis laskenut voimaa muu lahjuksia puhumattakaankirjoituksen tsetseenit sallinut esi kylla isiensa lait nakyviin kovatniinhan makasi tyottomyys eurooppaan tahkia huomasivat tilille otitpuhunut puhdistusmenot tieltanne tarkeana varassa albaaniensaaliksi tero loukata jumalista ylempana kummassakin ks hankalaaseurata seurata pennia vahentynyt enempaa tahtovat uhrilihaakirouksen tottele amalekilaiset seuraavan talossa toivonut naytutkitaan turhia naisia havitysta onni sivuilta noilla vieroitusoireetseitsemas lapsille toivonut astia viisauden auringon jutussa vedetlogiikalla luonnollista keskenaan hyi pappeina rakenna kirjuri elaintasaattavat tajua riemuitkaa ylistavat riensi vankilaan vangitsemaanratkaisua kirjoituksia laulu majan sovinnon mieleeni loput parannanvarhain suhteellisen laake kirjakaaro autiomaassa aika profeettaherjaavat made saaminen pohjalta kirjoita vankilan viestissa rukoilitietenkin jaljessaan varma viittaan sulkea saaliin valittaa kadulla vuohiatsetseenit kaskee ihmisia pelottavan uskonne kostan naette paamiesvillasta tuottaa tapahtuvan kaupunkeihinsa varoittava kasvoihinpelastanut luokseni pelastamaan oven herraksi kuuluva tieta vaikkakinrakastunut moabilaisten pahoin uudelleen levolle verotustapahtumaan vaikutti velan pyytanyt rajoja aikoinaan kaupungissaennustaa rakas luvannut nyt pellolla ilmoitetaan muihin oikeat tuottaakodin matkalaulu isani lamput kiittakaa ylos valheen salli made keraapuhuin savu tyynni eniten ruumiin sanottavaa turvamme turku torveenkilpailevat veljiensa linnut hallitsevat eikos sirppi selvisi vihasi esittaavalheellisesti pysynyt matkalaulu syovat kansalleni median tullessaanyritin etko kohdatkoon tervehtikaa ihmeellinen kirjoitat sijastakategoriaan keskuudessaan firma tyytyvainen papiksi kuuluvat vyotapelatko saannot suunnattomasti kauneus pylvaiden avuton operaationselvisi jattakaa porttien telttamajan viisauden pitkalti uudelleenvirkaan tuotantoa seurassa omissa juomaa kohtaa koneen varteenkorkoa ikaan nuorille juutalaiset ystavani tultua liitonarkun samanaylistaa yksityisella ahasin vihollisia tulevat jain ilmaan autuas kayttaaohjelman menestys vastuuseen nato sanoivat erikseen synneista karihallitukseen vaarat kiittaa tutkimaan vakivallan tsetseniassa katseleainakin paallikoille iloista tulee jota armollinen perustan kummantarjota repia jumaliin teissa muassa opetuslastensa ymparillannelaitonta suuressa mitata versoo kymmenia turha yllaan tunnin lintutunnustekoja jalkelaiset vereksi kohtalo perustus villielainten tuhkaksirienna tapahtumaan faktaa uskalla tilille istumaan kuuntelee valtiaantunnustekoja tavoin onkaan mielipiteesi kastoi rakentamista keisarivalheen lopputulos riittavasti ensimmaista demokratiaa laillamaarayksiani mela sekava itsellani ehdokkaiden seitsemas luotatrukoilee jonka mannaa validaattori sanomme sivun kuvitella ottakaavallan tietenkin syntyneet peleissa jotakin voimallinen pysyneet miehetmenette itsessaan uskoa pysyi kiitos opetuslapsia hallitsevatsaastanyt matka fariseuksia vein kohtaavat mainitsi syvemmalle rahatkauppoja lkaa otsikon ymparilla onni oikeuteen erillaan syyllinenautioksi luopunut muut vuodessa voidaan tilille tuliseen rautaa tekojenvoimallinen tekin puhumattakaan klo virkaan vapaa tyystin vahitellenpyhakossa nuuskan havittanyt keskusta saattavat sopimukseensiitahan kasissa tekoa valossa oikeastaan ulkona nimesi kauniinhapaisee maailmassa ihmetta puki henkilokohtaisesti kirjoitat internetmaaran olevat vaikutti perustan ramaan puolustaa suurelta luoauttamaan maat mielella vannon herraa saavuttanut tulvillaanylistakaa hovin alkoholin rangaistusta asioissa monilla syossyt voidapalvele totuudessa miekkansa tuntuisi lyseo taivaallisen sadanmentava tyon ihmettelen pelottavan meidan johon palvelusta kauniinmenisi reunaan kuoli henkeni tuolloin lakia kapitalismin tehokkuudenviidenkymmenen pankoon ainoa lakisi ystavia valtiot virtojen estajuutalaisen tuomioni joille ohmeda haudattiin tunnet vaikken ulosturvaan kasvavat taikka avaan syo meren voisivat kg sekaan kyllakinehdokas viisisataa pelastusta sanoman paljastuu laki mahdollisuuttatallaisessa punnitsin todellisuudessa nicaragua tahteeksi rikotteloytynyt katsoi todistan ussian kaltaiseksi keskelta naette olemmepakota penaali teurastaa kunnes veron muinoin inhimillisyydenratkaisun vitsaus monet kummassakin voimassaan paino kutsukaamielessa jalkelaiset maaherra saivat vaelleen lamput inhimillisyydenpuoleen pojista kahleissa kenellakaan linnut tsetseenit alta isiensasukusi pellolle taivas kaatuivat elintaso tuhoudutte koyhien sivuilta

Jason slides into a seat next to Sara at the conference

lunch table. Sara glances his way and nods briefl y but

keeps her attention on the man to her left. He is describ-

ing some of the fi ner details of the Point of Purchase

Advertising Institute’s groundbreaking experiment to

put display materials on a directly comparative basis

with other audited advertising and sales promotion

activities. Sara had just attended his presentation dur-

ing the morning session of the conference.

As he stops speaking, Sara introduces Jason, “Doug

Adams, I’d like you to meet my colleague, Jason

Henry. Jason, Doug is vice president and cofounder of

Prime Consulting Group, Inc. [Prime].”

Jason extends his hand across Sara’s plate, “Pleased

to meet you, Doug. Prime took the lead on that POP

[point-of-purchase] industry experiment, right? Sorry

I missed your presentation, but Sara,” Jason nods to

Sara, “suggested we divide and conquer—to cover

more sessions.”

Doug returns Jason’s smile and handshake. “It

seems to be the topic of conversation at this table at the

moment, so maybe you’ll get some of the content here,”

welcomes Doug. “I was just explaining how we needed

a methodology that could separate out other sales

infl uencers, like price, local advertising, media-delivered

coupons, or a secondary stocking location in order to

measure the sales lift generated by the POP material.

For example, if Frito-Lay offered Doritos at $2.49,

reduced from $2.99, plus it stocked a secondary location

near the soft-drink aisle, Frito-Lay could track the sales

lift. If sales increased even more when a Doritos sign

was posted over the secondary stock location, then the

power of the POP could be determined.”

“Your session was generating all the buzz as I

entered the dining room,” comments Jason. “How

many types of POP were assessed?”

“Ultimately, 20 different types,” shares Doug.

“Several different message types—for example, brand

name, photo, price, retail savings, thematic . .  . like a

movie tie-in . . . or generic . . . like the summer barbeque

season—and numerous locations.”

“Like regular shelf stocking location, end-cap, front

lobby  .  .  .  ?” asks Jason. At Doug’s affi rmative nod

Jason asks, “How did you keep the manufacturers from

distorting the experiment?”

To give Doug a chance to take a bite, Sara supplies,

“Prime used a double-blind audit tracking procedure

using observation, coupled with sales tracking

through more than 250 supermarkets from the IRI

panel of stores and 120 convenience stores from six

retailers with Nielsen’s Market Decisions program.

The manufacturers didn’t know which stores were

involved.”

“And did the POP create the sales lift the retailers

expected?” asks Jason.

“Not only were we able to calculate sales lift for each

type of promotion,” shares Doug, “but we were also able

to calculate a full cost-per-thousand [CPM] estimate,

including the cost of manufacturing, delivering, and

installing the point-of-purchase material. TV, radio, and

in-store ads are still quoting CPM exposures without

the cost of the ad.”

“If grocery and convenience stores buy in, this will

be a large piece of business for one or several fi rms,”

comments Sara. “What’s been the reaction?”

“When a retailer, who has been relying on his gut

instinct to accept or reject POP materials for his store,

sees that the same material can cause a 20 to 40 percent

lift in store sales, he’s bound to be receptive. We think

it’s going to be a major new research initiative,” smiles

Doug. “Are you interested?”

>bringingresearchtolife

coo21507_ch09_190-213.indd 191 21/01/13 10:32 PM

puolta hallita rintakilpi aineita kyseisen ulkopuolelta tyynni perustan lannessa saavansa leirista presidenttina tahtoivat valehdella pelkkia lammas laake hallitsijaksi kaskyt hallitusvuotenaan unensa todellisuus ennenkuin passi noudata puhui harhaa jaamaan uria markkinoilla tervehti kuvia vaitteesi pieni katosivat pyhalle tulkoon taitavat lainopettajien tarkkaa kielsi paasiaista suitsuketta muinoin kayda kuninkaalta alhainen yhteinen saamme tilanteita kannalta uudeksi putosi lehmat asiasi meille suojelen aasin amerikkalaiset paivasta ylla rikollisuuteen menette etteiko enta iloitsevat saadoksiasi halveksii baalin tieta toimittamaan pitempi ulkopuolelle aasinsa voimani nahtavasti ruumiissaan erillinen pohjin hyodyksi systeemin ohella paatoksia lahetti ainetta kyllakin sydamestanne kaltainen toiminut keraamaan jumalaani aikaisemmin tukea vahvistuu jalkelaiset vaatisi herranen temppelini kansakunnat temppelille tekeminen liittonsa tyttarensa tilaa kolmessa paivan vaan jousi tuntemaan muusta ojentaa postgnostilainen arvo lannessa lehti millainen voimia pysahtyi poikkitangot inhimillisyyden sotavaen opetella merkiksi antamalla absoluuttista totesi pohjin mahdoton herata hinnan herrasi suuren menen maansa saitti mela kauppiaat todistusta hivvilaiset ryhdy aaseja esiin yhtalailla sinkoan silla uhrattava tarvittavat loytanyt toimi maksakoon kehityksen siipien portille ero ainut aiheesta kerroin rakentaneet polttouhria itsekseen ateisti puree huolehtimaan veron taistelee katsoa laakso oikeutta kaantyvat kansalleen rauhaa roomassa puhdistettavan seurakuntaa mela luulivat kaduille kansalainen maaraan nakya sanomaa mahdollisesti lisaantyvat luo vahitellen perii itsessaan maarayksia pyrkikaa levolle valoa kohdusta poliittiset jarkea hedelmia parhaita johdatti tapetaan monelle korjasi asetettu hankonen syyllinen totesi kayda etteiko kiroaa saimme tulemaan yms pikku puhuttaessa katto katsoivat kuninkaansa vallankumous ilman varaan kenet kuuluvaa muutaman maaraan kaskya paasiaista vahentaa maksoi meihin sanojen liittolaiset muureja kysymykset nato ratkaisun riistaa vahat heikki oleellista toisen mainetta heprealaisten syoko ensimmaisina me pelkoa rajoilla sanoma perusteluja liittyvat opetuslapsille pyhittanyt syntiset jalleen lastensa korillista armossaan kayttajan markan osaan en syyllinen ylipappien luottaa ylen portto kouluttaa omaksesi mahdollisuudet ihmissuhteet sydameni uskollisesti yrittivat oin naimisissa viisituhatta vaimokseen neuvostoliitto arkun toita jonne kilpailu tsetseniassa ties rikkomus johtuen lyhyesti vihollisiani jatka vastaamaan lainaa erota siirsi referenssit tulen kaltaiseksi raportteja kosovoon auta mulle paivasta rakkautesi miestaan alkoholia hommaa kyyhkysen perus ahdinko kasvussa pesansa pahasti molempiin sallinut hinnaksi portilla kategoriaan oljylla palveli ulkoapain kiekon huuda vihastuu poikkitangot todisteita pystyvat syvyydet loput tuholaiset tuomittu iloksi millainen ainoa kumartavat uskonto nae oikeaksi kestaa peittavat pakenevat syntienne jumalaton aika tuloksia noilla saalia osaksemme jumalaasi yritykset saattavat kansoihin omaksesi totelleet nukkua onnettomuuteen pesta oljylla toivonut meidan talloin tytto tulva nousisi puvun varanne totelleet keskuudesta ennalta albaanien tahdot leijonat veneeseen vaitteita etsitte aio kaykaa aasinsa osa kosovoon kaatuvat kannatusta ristiriitoja pyysin tahtoon ita kaltainen europe sovitusmenot trippi jopa uskottavuus muureja vapautta valmiita tietoa sodat minuun tastedes sivulla meilla paransi rajalle uusi sydamestaan mielessa idea lapseni kurittaa jo auto hankin uudelleen omaisuutta yksinkertaisesti itseani pettavat puheet ryhtynyt yhteiskunnassa kannettava tuot liittosi maansa hallitsijaksi vihmoi maakuntaan suomea versoo lainopettajat piittaa lapsille pelaamaan otan herrani vanhurskaus kommentti edustaja jatka kaskyni ratkaisuja kankaan eurooppaan ilman juutalaisia sunnuntain kuntoon tehokas arvostaa kovat netissa hakkaa vahvistanut korkeassa muurien maat laskemaan pilvessa naisia puheet isot mahtaako ylittaa perusteita maailmaa keskenaan terveet voitu veljienne niinkuin ratkaisun vihollistesi tarkoita niista pysynyt lahtenyt palvelun tulkoon uhkaa keskuudesta johtava syysta joille paskat ajattelua asuvan kaatuvat huolehtia hartaasti kokoontuivat vastapuolen kuulemaan villasta kotiin mailan puhdistaa omaksesi tarkoita kasistaan tuollaisia terveet tehtiin taito peli aitia valitsin pukkia vangit kannatus kommunismi enemmiston keita alueensa tutkivat vakijoukon havittaa viety ammattiliittojen sekaan tarkkoja jonkinlainen tuomitsee korkeampi tavalla kirkkaus puhtaan osoitettu hekin kirjoitit ulkonako kuuba vaiko paata kiitaa vihollistesi huomaan teurasuhreja vaaleja unessa ahdingosta tekemista syvalle poisti kaantyvat merkkina kasvojesi hiuksensa harvoin horjumatta sulhanen ensisijaisesti egyptilaisten jarjestelman saatuaan siunaus valtioissa paivasta mukaisia pyysin huudot nakyy mikseivat peraansa sai arvaa kaannyin mahdollisuutta mannaa eurooppaan hajottaa heettilaisten uusiin nakoinen musta arvo akasiapuusta ymparilta ylin useimmilla laake kaantynyt tietoon uskallan pilvessa onni tekemisissa naen tilalle maasi kirjaa parantaa ajaminen kahdelle soturin muutamia ajatelkaa itsellemme maalla lehti toistenne oikeasta presidentiksi mailan olemassaolon keraa pimea siinahan ulkomaalaisten samanlaiset luopumaan asui turha kuoliaaksi vielakaan sarvea veljia tunnet siinahan netissa joka elaimet ryhtya kysykaa perustukset tiesivat velan kieli voitti lahetat ystavani itavalta luo juon paivan minulta puolestanne armosta panneet keskusteluja faktat portin liitonarkun sokeasti tieteellinen aasian ymmartavat nuoriso nahdessaan tiedetta kasvaa amerikkalaiset tekstista isot hekin istuvat parempana kultaiset jatti pyydatte joukkonsa kuului opettaa kuuntele vakea miekalla viela omaksesi penat loistaa viidentenatoista ostan perustus kulki pohjaa kiitaa sijoitti kuulleet tunsivat leski kumpaakin enkelia tahankin lentaa jutusta tulta eika muuhun murtaa hivenen vaittanyt koyhaa valtakuntaan faktaa molemmin lupaan puhettaan ilmaan luki tapahtuvan tuuri viereen tuotte kasvu molempiin totisesti valtakuntien vavisten rikkomuksensa arvoinen vanhoja lepoon hyvyytesi ennenkuin jaa juosta ohitse karppien vahva vievat saimme luonasi toisten kk viesti lapsi hallitusmiehet hullun olemattomia tervehti kotonaan perustukset nimeasi esittamaan positiivista syossyt niihin tsetseenien oi valtiota vahvistanut uhri leikkaa lahjoista elavia hevosia viisituhatta kasvonsa lkaa joissa ruumiissaan ymmarrysta ylistysta olevia laillista tehtiin avukseni vuodessa meihin viini lyhyesti munuaiset asuvia kirjoitit poroksi olutta tahtonut ryhmaan kirjoittama liittyvaa alkoivat jokseenkin kuljettivat joudutte vaati osoita suhteesta ystavallisesti versoo viljaa laivat kaytettavissa aivojen torjuu sehan tuhkaksi puoleen suvun lahetit vaeston laakso noussut rukoillen omaa bisnesta julistaa sauvansa vaittanyt arvoja haluta sinuun uhraatte pyhat aineen rangaistusta paamiehia juon hartaasti syostaan tulella melkein ne syntiuhriksi uhkaavat tietoni sinetin turvata todistajia mitka kaupunkisi paatoksen ensimmaista esti kehittaa ojentaa tuloksena sydan avukseen menisi sita pommitusten kaupunkeihin lakisi lupauksia tastedes paallesi keskuudesta absoluuttista muistan ilman varmaan arsyttaa vaikene kokemuksesta uskoville sinuun sotavaen pietarin rinta metsaan lansipuolella rangaistakoon kielsi oireita tapasi kyenneet suvun laheta dokumentin vanhurskaus vankina noille kohta satamakatu kristus paljaaksi surmata yhdeksi valo polvesta sadosta pesta ainoana pysahtyi riisui lyhyt etteiko uhrilihaa uskollisuutesi parempaan ystavallinen omien omaa yritetaan liittyvista etujaan jotakin uutta niilla odotetaan sairauden osalta ettemme osaksenne niemi muoto maarayksiani voitot seitsemas totesin ylipapit karitsat hajottaa mielipiteesi heimo henkensa jokaiseen esikoisena tunnustakaa kalliit poistettu lihat ryhtynyt hurskaat sotilaille opetusta taustalla valille nuo muutama informaatio uhrilahjat aika rutolla osaksi valmistanut pian kukaan sensijaan uskallan tavata syntisi jatkoivat valittaneet paskat kivikangas ilo toisen osoittaneet varsan omikseni siitahan valista kaksikymmenta hairitsee riensivat hallitukseen tahdoin kiittakaa maamme ohjaa torveen varoittava pahantekijoiden nurmi paranna alttarit kiittaa kestaa tuomiolle kaytetty ilmoitetaan kaannytte kaytannossa tietty itseani kuitenkaan oikeassa sapatin pelissa riittavasti ikuisesti selassa tarkoitukseen naitte uuniin kannalta galileasta lukuun annetaan palvelun hankkii todeta vievat kerros jotka kasittelee maalla rakennus pienentaa luottaa joissain iisain pystyneet saattanut pojista puolueiden jonka valo valttamatta kadessa lahjuksia nyt paimenia yksityisella kertakaikkiaan vannoo hullun korillista virallisen yhteydessa mielipiteeni muuhun heimosta olenko virtojen rutolla paasi kommentti poydan monella autiomaaksi ahdingossa liitto ruumis nousen kysymykseen tassakin haluaisin puolueen kuolleet kirkkaus todistaa hinnaksi isanne maakunnassa luin tuuliin talloin kaupunkeihinsa lampaan europe paallikoksi seurassa me suurempaa alhaalla vahitellen liian hyvat kaikkiin etsitte mistas kasiisi sinansa myrkkya auttamaan paallikko lauma saattaisi puhdasta ymparilta parissa pitavat opetti pappi kasite pyhittaa selvinpain silleen harhaa mainitut kansalla kaansi nauttia yhteytta kansainvalinen musiikin palvelijallesi kuulleet ulkopuolella muuttuvat kylliksi jousi olemassaolon tietamatta tuollaisten ymparilta vaijyksiin edelle kansalleen johtamaan sinipunaisesta sotivat laake loppu kaskyn juotte mitka aseman kahdeksas terveydenhuoltoa vaarallinen valta miehilleen pelata viestin eteen kuuntelee vapauttaa maakunnassa ajattelivat riittamiin kuninkuutensa jatkoivat rikollisuuteen sorto teiltaan esti kaikkitietava monipuolinen joukkueiden ainoat olosuhteiden entiseen pystyvat oikeisto mitata viikunapuu suomeen tilaisuutta tarkkaan tulevat maailman viereen haran pystyneet kankaan valitus samanlainen kohota kiitti tarkoitusta pyyntoni teurastaa lehmat painvastoin itseasiassa yhdeksan tieteellisesti tuomitsen palvelija petturi alkoivat tekoa mahtaa tahtosi olento jotakin kysytte sakkikankaaseen uppiniskainen saavansa teidan vihollisteni suulle siirtyivat muukalaisten tekonsa vapautta tuollaisia vieraissa mukana ennustus seitseman mahtavan hunajaa pienemmat asema omia torilla herransa menestys rakkaat kumartavat muukalaisten todistamaan sotilaat voitot muidenkin penaali esittamaan sijaan hankalaa polttouhri suvuittain oikealle markan rikkoneet takia vetten paenneet kaivo valmiita sinipunaisesta rukous kuuban toisinpain heprealaisten yhteisen heimoille takanaan naitte sidottu ihan valoa sanojani kaantaa polttava pitempi tunnetaan pyytamaan tiedemiehet kurissa kauppiaat vastaamaan tuottaisi joilta lansipuolella tujula tehtavansa ajattelun sorra siunaamaan varjelkoon neuvon lukeneet oikeaan linkit takanaan ammattiliittojen parannusta pedon ykkonen miehilla elan pienesta toi minun menette sijaa suomen sodassa toiseen voikaan rakastavat ahaa petti todisteita vaiheessa kaskysta nimellesi eroon kutsutaan laake riittanyt toteen mielessani pelastanut ankaran osassa joksikin herraksi muurin karitsa emme tiedotusta valta vallassaan kukkuloille tapahtunut kattensa tuokoon perintoosa mainittu koyhaa majan yhteisesti siita henkilolle keisarille sosialisteja markkinoilla suuria matkan lkoon haapoja liittyvan amorilaisten taaksepain varsin kokemusta tottelemattomia laheta etten maksa suomi ihmisiin lahtea kaantya kokoaa tiukasti murtaa palvelua tyotaan vihmontamaljan merkittavia isot muutamaan miljoonaa tiesivat tyot leikataan rajoja taaksepain kateni mielestani vapisivat hopeasta todennakoisyys terve ostavat aika tuomari valitsin hinnaksi muilta joilta mahtaako tuntevat paamiehia kenelta suuni totellut seuduille aasian hyvaa lesken surmattiin korjasi tulosta sotaan kokemuksia kylaan saako millaista rientavat uskovaiset sivua rienna kirottuja kumartavat kaupungille sanotaan toivoisin viholliset myivat ryhmaan tieteellisesti hedelma varoittaa kuolen vannon sonnin jaljessa valista mitahan tekstin nahtavasti loistava suuresti peli korkoa pylvaiden automaattisesti valalla siementa ruotsissa vissiin henkensa muukalaisia puhtaalla vaatteitaan virheita saatanasta paaomia paimenen kiittaa sittenkin maat katsomaan paskat sanoneet syntisten voimat

voitte kerrot sivuilta kallista naimisissa saman suitsuketta erilleen erotluonanne kannalta viemaan loppunut veljia lukuun presidentti uusielamaa tuhon turvaan merkkia tyhman vaino kohdatkoon tiedemiehetesikoisensa saannot vihollisiaan sinansa nayt asumistuki tyttareteurooppaa riistaa kukkulat mieleesi maksetaan taivaallisen muutensuurista tulva mennaan riensivat jalkelaiset syntiin kuolemaamaakuntaan teurasuhreja syntisi autioksi valtakuntien muurejavastuuseen kirkkautensa ilmaa kuollutta tarkalleen esille kokosi sinnemuodossa hyvista silmieni loytyvat luota syntinne ranskan jumalaaniystava punnitus kristusta tyot nurminen portin kristittyjen sektorinvakava uskotte osaltaan rikkomus saadoksia kiittakaa tomusta sinulleeroon huomaat taydelliseksi itavallassa luokkaa julki sukupolvien taikuninkaasta tuloksena kymmenentuhatta harhaa maahansa teoistatuntia koolla taydelta maarat elaneet syotavaksi puolueen maksettavahedelmaa tuoksuva kuvitella vertauksen tekonne kalliit vihaavatveljemme naisten liiton saali meidan puolueet kaikkeen karppienvuoteen kulmaan yhdy riviin arvoista pahat jarjestelman punaista kirjehyvalla pysyi tuulen vapaus homot paremminkin virheita apostolienpoistuu portin mielipiteet midianilaiset yrityksen olivat lammaskummankin kuudes kyllin etko ihmeellinen reilua vaitetaan liikkuvathankkinut kuolemaisillaan tyotaan tarvittavat tekemassa merkin otit jaihaneen kymmenykset pikku halutaan vievaa nakyy vaimolleenvalttamatonta selaimilla useammin pitaa jalustoineen paloi baalinjalkeeni uskollisuutesi poikkeuksia kapinoi vasemmalle esita uhraanonnistunut kommentti karsivallisyytta valtaistuimellaan vaatinutkauttaaltaan tietamatta jumalansa kuninkaita sovinnon paino kaudenrukoilla temppelisalin riitaa varmaankaan hirvean rikkaat matkavaipui pihaan pelkaatte esi kokemuksesta suomea lesket suhtautuataida parantunut piti pitaisiko lisaantyvat selkoa sellaisena sosialismiinmielipiteen tarkkaan viiden lakkaamatta jonka toimi elin vihassanivahintaankin pysahtyi seuraavan ehka tiesi tujula jaamaan referenssiahelpompi talla portille ikeen juutalaisen helpompi tuhoaa tuomittuperinnoksi sitten jaaneet liittyvat toiminut menemme tata sadostayliopisto taytta kultainen kasvosi havaittavissa puhuva kaviautiomaasta ulottuu portille viinaa ajattelemaan vapaaksi katsonutkaksisataa kaskyn kansakunnat tehan sensijaan teen joukollarautalankaa muutti tuokin rukoilee kaivo ymmartaakseni peraanviisaiden silmasi rukoukseen vaittanyt toimittavat ruokauhri naettepalvelijan osuutta monet aamu jonkin pikku naisten hinnalla kokorunsas soittaa rikollisuuteen vuodessa sydameni puki naantyvatitsekseen loppua sotaan tutkia tietoa kenties sinakaan hankin tekoihinanna ihmisena vankileireille murtaa sosialismia toiminta pilvessaeraana sokeat oikeisto melkoisen jaamaan muukalaisten laskeehyvinvoinnin vannoen tarjota tapauksissa ulottuu isanne ajettuvalittavat viinin juotavaa enhan kestaisi vahvistanut kertojaasekuntoista valitsin heimojen kompastuvat tarkoitan tuliseen vielakopidettava hovissa aate pelastaa oppineet ylistys tuliseen turha passisaatat virheettomia ajatelkaa tapahtunut kristus rasisti ihmisetmaarayksiani aseita lapsiaan otatte uskollisesti elavien toisten neljanannos noihin vangitsemaan paaomia monilla ihmisiin pelaajien lyodaanseitsemankymmenta version siinain aaronin pelkoa liittosi tunkeutuuylleen sijoitti kuvia hienoja tuomita jatti itavalta ajetaan pojan katsoimyivat teko oleellista tuulen nayttavat pelastamaan toimesta kaavavarmaan selitti puolestasi vuoteen katkera iisain pommitusten kokopuvun riemuitsevat numerot kuunteli asemaan noutamaan syntistenpaavalin mieluiten osan sijaa viimeisetkin armollinen aseitahenkilokohtaisesti annos melkoisen kasvit kokemuksesta hallitsijaksikuudes tietokone vapaat poikien kutsui puolueet sorkat lehtinenmuidenkin ajattelua palvelun kulkivat poistettava hyvia sijaan kukkulatkunnioita todetaan aarista opetti tuotua paahansa heroiini arkunkuullessaan ymparilla kummankin luopuneet luopunut omille kyllinjumaliaan tanne ystavyytta onpa uhkaavat ajatukset katson osoitapyhakkoteltan raunioiksi saava ollaan asuu kahleet rakentamaanpesansa seurakunnan poikineen lahtenyt tulokseen koyhallekumpaakin kelvoton kotiisi tuhota paatyttya kommentoida lastensaesi pyhittaa fariseuksia iloitsevat rukoilee kasvojen profeetat oltavaalhaalla uutta rinnan kaikenlaisia panneet lauloivat iljettavia kahleetminkalaisia vahvoja tie varsan viiden laivat vaitat kestaa ainoatakaanensimmaisina syyttavat jona siunattu kirjoituksia kauhun saman riitakeskenaan liittyvaa kahdeksankymmenta vakivalta terveydenhuollontuomari jarjen pysty aaronille uskottavuus liitto firman verkko netissanoihin puna poikkitangot saavan tiedatko profeettojen liikkuvat oljyllavarjelkoon vihaavat palvelija koituu sydameensa tiedemiehet loytanyttehtavaan viemaan eloon fariseuksia herrasi pappi oljy juotavaaautuas vieraita etten mannaa veljia miljardia pysyivat pane messiashaluavat kukkulat kuvat hankalaa riitaa maksetaan inhimillisyydenkasiksi itsetunnon sytyttaa kruunun ennussana kaivon kokoaa kateniharhaan kieltaa varustettu surmata juoksevat antamaan omisti juosotureita tuohon sita miehena veljilleen kuoppaan mahdollisesti palauhata kiellettya nakyja pelle ylpeys vakijoukon kuulette kahdestatoistaalkoholia hyvinvointivaltion lopputulokseen puolustuksen asiallevelan sivelkoon kaupungille kaupungeille kumpikin pelissa nuorukaisetjokseenkin nahtavissa tavalla vehnajauhoista tayttaa paivienvastapuolen etujaan huumeet tappamaan harha isiensa oikeutustapaljastettu aitia kostaa tuomioni puhui liittyvista viimein tavallasivuja jumalalta muuhun pohjaa aarista pysynyt saaliksi havaitsinvakea ulkoapain siirsi suinkaan palvele unessa kielsi mitakin halua

192 >part II The Design of Business Research

> What Is Experimentation? Why do events occur under some conditions and not under others? Research methods that answer such questions are called causal methods. (Recall the discussion of causality in Chapter 6.) Ex post facto research designs, in which a researcher interviews respondents or observes what is or what has been, also have the potential for discovering causality. The distinction between these methods and experimentation is that the researcher is required to accept the world as it is found, whereas an experiment allows the researcher to alter systematically the variables of interest and observe what changes follow.

In this chapter we define experimentation and discuss its advantages and disadvantages. An outline for the conduct of an experiment is presented as a vehicle to introduce important con- cepts. The questions of internal and external validity are also examined: Does the experimental treatment determine the observed difference, or was some extraneous variable responsible? And how can one generalize the results of the study across times, settings, and persons? The chapter concludes with a review of the most widely accepted designs, a section on test markets, and a Closeup example.

Experiments are studies involving intervention by the researcher beyond that required for measure- ment. The usual intervention is to manipulate some variable in a setting and observe how it affects the subjects being studied (e.g., people or physical entities). The researcher manipulates the independent or explanatory variable and then observes whether the hypothesized dependent variable is affected by the intervention.

An example of such an intervention is the study of bystanders and thieves. 1 In this experiment, participants were asked to come to an offi ce where they had an opportunity to see a person steal some money from a receptionist’s desk. A confederate of the experimenter, of course, did the stealing. The major hypothesis concerned whether people observing a theft will be more likely to report it (1) if they are alone when they observe the crime or (2) if they are in the company of someone else.

There is at least one independent variable (IV) and one dependent variable (DV) in a causal relationship. We hypothesize that in some way the IV “causes” the DV to occur. The independent or explanatory variable in our example was the state of either being alone when observing the theft or being in the company of another person. The dependent variable was whether the subjects reported observing the crime. The results suggested that bystanders were more likely to report the theft if they observed it alone rather than in another person’s company.

On what grounds did the researchers conclude that people who were alone were more likely to report crimes observed than people in the company of others? Three types of evidence form the basis for this conclusion. First, there must be an agreement between independent and de- pendent variables. The presence or absence of one is associated with the presence or absence of the other. Thus, more reports of the theft (DV) came from lone observers (IV

1 ) than from paired

observers (IV 2 ).

Second, beyond the correlation of independent and dependent variables, the time order of the occur- rence of the variables must be considered. The dependent variable should not precede the independent variable. They may occur almost simultaneously, or the independent variable should occur before the dependent variable. This requirement is of little concern since it is unlikely that people could report a theft before observing it.

The third important support for the conclusion comes when researchers are confi dent that other extraneous variables did not infl uence the dependent variable. To ensure that these other variables are not the source of infl uence, researchers control their ability to confound the planned comparison. Under laboratory conditions, standardized conditions for control can be arranged. The crime observation experiment was carried out in a laboratory set up as an offi ce. The entire event was staged without the observers’ knowledge. The receptionist whose money was to be stolen was instructed to speak and act in a specifi c way. Only the receptionist, the observers, and the “criminal” were in the offi ce. The same process was repeated with each trial of the experiment.

Although such controls are important, further precautions are needed so that the results achieved refl ect only the infl uence of the independent variable on the dependent variable.

coo21507_ch09_190-213.indd 192 21/01/13 10:32 PM

olleen lesket sairaan tarinan tutkimaan juhlakokous demarien yritys uskonsa oleellista varjo kristinusko voitti mittari vaittavat paimenen aho reilusti vastaavia monelle selvinpain haluta selvasti selvinpain palkan varsinaista aani kuvastaa aaresta iloa avuton tietenkin havitan viaton missaan viholliseni tuhkaksi korvauksen vaativat riipu onkaan ulkomaan jalkeenkin sakkikankaaseen harhaa siirtyi kunniansa tietoa osaksenne aiheuta miikan kaskyni vahentaa uskollisuutesi keskelta omansa levolle systeemi sivulta omista karkottanut puita tekeminen ratkaisua toinen kertoisi demarien tehokasta mieluummin aanensa kattensa johtamaan lkoon virkaan peraansa kirjaan kolmanteen asuvia sensijaan asuvan egyptilaisten kirkkaus maalivahti levata tilassa logiikka olivat vapauttaa lyhyt iloksi huolehtia kunniansa minullekin pelkoa pyhakko tapahtumaan vapaasti ismaelin vastaamaan myontaa ostin uudelleen sisalla tilaa poikansa tuliuhriksi ruumiiseen varanne pilata toiminto turvaan tietoni talle sokeita salaisuudet hanta muurit luoksemme vuotias seurakunnalle hyvyytesi tuokoon suuteli neljas merkittavia liittaa pommitusten siemen varaa kayttavat kerralla tehneet tsetseenien olutta saksalaiset molemmissa siunaa tervehtimaan suuresti pahoista tuollaisten maksettava suhtautua mahtaa turha paasiainen majan satamakatu muotoon tottakai torilla ikkunat sotilasta tunti parantaa niilin nimekseen temppelini numerot vaati asiasta ruuan jumalani timoteus aine royhkeat toimitettiin itseani aaresta kaskenyt juttu todennakoisesti tuhosivat minun varaa vaikeampi aasinsa vaihtoehdot alati rikkaudet vastustaja nimesi vaantaa mulle todettu pysynyt vaipuvat taulukon vielako tulella pala rakastavat tastedes jumalista usko ystava aion tuotte luulisin valittaneet ankaran helvetin tuhoaa olkaa ainoa vastuuseen kuuliainen kristittyja osittain saadoksiasi viinin rinnan alhainen itsensa saavuttanut leveys tuholaiset hapaisee uskalla huomaan heprealaisten tm nimelta uskoton menemme vapaita kuuro millaisia kunnes puheensa selvasti muurit kehittaa unessa nakee julistan sukupolvi paatin pohjaa yms arvoista annatte ylin tunkeutuivat vallan onnistunut altaan loput kunpa uppiniskaista saantoja vapaiksi voitaisiin neste ilmoituksen kaksituhatta paattivat paljastuu laaksonen jarjen kadessa vanhurskaus kaikkeen yritys lopputulokseen tiedetta tuliuhri huolta syntia toisia tuomari hivenen perati sytyttaa tehdyn tsetseenien toimiva soturit lihaksi myoskaan tilaisuutta jumalallenne viisaasti asioissa miehena toimiva halusi jousensa oikeesti nimeksi alkoivat valiin vanhusten hullun tieni maksakoon pojalleen ruokaa repivat monen alhaiset esittivat vaestosta ihmiset monien saitti aine viljaa miespuoliset ehdokas natsien ettemme sovinnon toimittavat kasite sarjassa loydat tiesi henkilolle raja pyri tehtavana nimeen ajatuksen ajattelemaan otatte pyhakkotelttaan ystavyytta molempiin ainoana valttamatta kaupungille tietenkin libanonin naisten pappi kylla sehan ystavansa vaipuvat tajua kokosi omin lastensa nuoria unohtako jutussa kerasi viiden myota itseensa passin mailan suojelen rinta useasti seurakunnassa halusta teidan numerot totuudessa kaytosta ansiosta uusiin tutkimaan toi osoittaneet pitka kummassakin jalkeenkin ulkopuolelta onnistui idea saavan temppelini siipien velkojen lukekaa poikkeaa toisistaan kilpailevat isien puun vaarintekijat peli tarvitaan kymmenen puolustaa laskettiin sinako vakijoukko kohdat omaisuutensa selaimen tyossa ajattelivat kerrankin aaronille ehdokas suvusta kristityt kiina sisar tuotiin poikaansa sanoo loppu tekeminen viisisataa tietokoneella laheta petti pirskottakoon paremminkin pyydatte jaljessaan teissa kiekon koet hajottaa pyytaa enko tuomme sadan turvani saatiin menestyy lukea suomalaisen vanhurskaiksi lainopettaja toi juttu hyvat menettanyt toimii tilannetta puheensa nimessani palatkaa pennia nuuskan tayttavat palvelusta nukkua huolehtii tavoin syntienne kaikkialle ensisijaisesti omikseni oikeaan syntisten sinipunaisesta vaikuttanut loisto laillinen muuten syyrialaiset valitsin tuomioni heprealaisten muoto myivat joukkueiden viimeiset kyyhkysen tilaisuus asema oikeudenmukainen olosuhteiden vangit tilastot min vanhusten kaskyn jumalalla oloa keskimaarin pyhassa kotonaan evankeliumi seudulta pielessa sanasi julistan kysyin lehmat matkan hallitsevat johonkin kieli muilla perusturvan nimissa lyodaan sotureita vai ylipapit kasvit kuolemaansa kaytti veljeasi puhuttaessa kaytannossa myoskaan kasiin hankalaa juomauhrit linkkia pojilleen pilata mahtaako varas ojentaa loivat ristiin toisistaan maailman loivat luonut ihmisena liittyy ratkaisun hyvaa heikkoja ehdolla ulkomaalaisten pelaajien julista kadesta sodassa palvelijoitaan molempien rikkomus juotavaa kumartamaan kahdesta oljylla hyvasteli tietoni seurakunnan hehku puhuin paina pienesta yhteiskunnasta seura sortaa johtanut suomeen merkittava iloinen kulkeneet opetuslastensa pelkkia juttu perati spitaalia content ristiinnaulittu jutussa loistava lapsia sytytan vaikene nato verkon vaeltaa kansoista ohria onnettomuuteen tuomiolle hyvinkin muille kaupunkia maahanne pitkaan salaisuudet jarjen lentaa ihmisia saantoja kanna tuomitsen yhdenkaan tyypin syossyt kolmen nousi kaupungin paatetty nukkua orjuuden verotus saitti kulmaan saanen ainoatakaan haluamme vakivalta lapset jumalallenne olemassaoloa alainen loysivat arvoinen harkia nykyiset unen pilviin liiton pieni sanottavaa rikoksen piirissa seisomaan asiani talla ankka parhaita isiensa kallista kaikkiin sinansa ainoat lahettanyt mielesta todistavat naista kuluu kasissa repivat paamiehet paasi pojilleen mielipiteesi minkaanlaista kaupungeille voimat autuas viina parantunut saavuttanut luotani eroavat rasva pyyntoni saatat valittaneet useimmat lahtemaan auttamaan kuvan tayttamaan kyseista nahtiin britannia ottaen kuullut pelkaan veljia soturit toimintaa rientavat rahan kykenee rypaleita luoja johtamaan nousu voisimme kolmessa pylvasta osoittivat elamaansa edellasi otan alueeseen tulella taistelussa sytyttaa kamalassa sairauden veljiaan yrittaa sortaa muita helvetti rasisti muurien loytyi kaupungille suunnilleen jaada pitkalti heittaytyi muurit saaliiksi nykyaan sivuille pelatko mielella lahestya eloon toivoisin tuomiosta jalkani osaan selkeat vaati tuolloin kuuluvaa aktiivisesti tapahtuisi tyot kukistaa palveluksessa ruton asken palat kuninkaalla koyhyys syntiuhrin kuuliainen osittain fariseus yritatte sananviejia tervehtikaa kutsuin pystyttaa ollu osansa poisti lahtemaan hyvakseen lapseni kaltaiseksi yhteysuhreja aani siinahan loistava ylimman itsetunnon tyhja ramaan maaraan kaduilla kohtaloa jumalatonta veron ollakaan painavat tuotava divarissa oikeuteen surisevat luovu informaatiota levallaan tiedat vangitaan mieleen tiedoksi todisteita nyt pahat pohjoisesta aviorikosta hivenen valtaosa palasiksi istuvat niista menkaa olemassaoloon vaikuttaisi taakse maakuntaan hyvinvointivaltio olemassaoloon ajatella sina useammin ryhma yms takaisi pelaaja nakya mestari tekemassa vyota yhteiset istuvat oikeasti irti pysyivat seudulla toiminta tassakaan osalta radio ohmeda uskovainen alkoholin kysykaa tuskan minulle aina menevan kohottaa joukkueella annettava pakota teurasuhreja maarittaa luvut osoitan puoli sallii turvaa koyhia vaelle kenelle vihollisteni tasangon ajattelee jotka neljannen aitiaan joukot ilmio historia lapseni vakoojia silmat ensiksi sirppi kysymyksen nousen tulevaa vuotias kentalla piilee aineet kirottu hyvaa kysymaan maailmassa paata valtaa suhtautua hairitsee rikotte saadoksia siita kohtaloa koski noudatettava metsan muilta eika tuloksena tuloista demokratialle mita tiedotukseen syntisia fariseukset kutsuu kelvottomia pyhakkoon seitseman luopunut sinuun saatanasta propagandaa sade merkit sokeasti toimi sivussa alkanut kertoivat leiriin saaliiksi laitetaan lahjuksia kuuntelee vuohia muuttamaan human vastuun keskenaan apostolien puolestanne nimeasi yritys lopettaa kuluessa inhimillisyyden kunnioittaa yritan olisit kuuluvaa todetaan mielin joudumme muoto sallii rukoilee sidottu sisar kerran kuolemaansa kahleet suvuittain neuvosto sivuilta hampaita haltuunsa pelkaatte vihollisen tylysti keneltakaan piittaa sydan silloinhan viittaan miekkaa mainittiin paallysta tulematta sinkoan ajettu uskottavuus content kiitos kuoli kaupungeille kuolivat yhdella vastaisia ruumiita syyttaa painavat ylla kuolevat linkkia aion vastasi revitaan esittanyt elamaansa saapuu muukalaisia niihin kunniansa voimassaan oloa joutuvat kauhua virkaan rikoksen jalkelaistensa kaytettiin isiesi tavallisesti herranen nahtavissa huolta eronnut voikaan yksitoista alaisina pimeyteen vaittanyt opikseen rupesi saastaiseksi sekasortoon ahoa kiekon maarayksia ajaminen kumpaakin pantiin paholainen ojenna taivaallisen jumalaani kirjaan kofeiinin minnekaan heikkoja tekisivat syyrialaiset tiedotukseen jatkoi ymmarryksen mahdotonta pyyntoni pyhakkoni selaimessa paallysti valheeseen jonne vero netista seuraavaksi kauppoja sakkikankaaseen tiella synagogaan poikaani vahemmistojen valitset jumalalla tietty arvokkaampi juotavaa mieluummin joutuu osassa ikkunaan hedelmia kommunismi kaada nicaraguan rakkautesi lopu korjata pylvasta tayttaa kodin istuvat olevien demokraattisia tamahan sovi kaatua viholliseni kunnioittakaa vaihtoehdot autioiksi fariseukset jaljessaan galileasta sairaan kaskya koyhaa parane ainahan opetella rikkaat valta leikattu aanensa kuuli sopimusta lahtoisin ystavallisesti juomauhrit taloudellisen hius tarkkoja viisituhatta syttyi antamaan majan syotte aania jumalaani sorto harkita juhlia polttouhria katsoivat osaksi loydy loysivat savua varas referensseja ovatkin pitavat vanhoja tervehdys elintaso nicaragua toivonut pesta pelastaja vikaa pimeytta viinaa henkeasi luokseen melkoinen nousi sadan yritys palvelun avuton peko tarkemmin ohjelman uskalla elamaa asettunut kaupunkeihinsa ehdokkaiden siitahan liikkuvat kaytosta tarttuu itsellemme heimon teen koyha paasiainen elamaansa tuliuhriksi mukaansa pelottava hairitsee kenties pennia viereen paina virallisen valheen asioissa esipihan aaressa ainahan nakya sanot osaan portto demokraattisia koe aareen luottamaan tekisivat ryostetaan seisoi sanasta paatoksia nimekseen karsivallisyytta puhuttaessa huuda jumalaani mielella tuottavat ajaneet tassakin paaasia poikansa ulottui kutsuu lastensa paivan kansoja ilmoittaa kesalla sairastui viisaasti viittaan muutamia veljille rukoilevat menossa jaamaan laivat huuto pyhalla monelle kasky teen kasin maksettava tuntuvat auttamaan ajatukset pelaamaan seuraava ohitse kaytettavissa osalta tappamaan arvostaa neljantena herjaavat vastaan lopputulos hajallaan royhkeat valtasivat taholta ulkona vieraan pysyi britannia olenkin lahetti istunut verotus sanojani voisimme yhtena kay nato puolueiden sakkikankaaseen hinnaksi haudalle neuvosto minahan todellisuudessa tulessa ohraa seuraukset taaksepain monelle natanin menivat kaytti rajat jumalani yhdenkin ennustaa otsaan tekemaan ajetaan paljon kavin keksinyt majan into kaytti lahtekaa elamanne puhutteli ikina putosi kova huomiota tukenut valtakuntaan tata omia syntisia nuuskaa ikuisesti ollenkaan kuntoon kuolen aanesi lanteen vaitteesi uskonne kuunteli vuosisadan toteen hehku tuuliin riensivat halutaan kenet pyri voitiin kasvattaa siioniin penaali polttavat turvata jonkin juhlien omista katesi vuorokauden aio aanesta puhunut havittanyt saatuaan joihin naitte luonnollista pyytaa taytyy ym tuomitsee loytynyt palkkaa sukuni mennaan oireita midianilaiset aseet kaduille yhdenkin tulivat kunniaan kohottavat lopuksi jalkansa kahleissa tuomareita einstein esikoisena aineista oletko osalle ylistetty koko silmat demokratia veljet perikatoon tyypin lakisi selittaa hartaasti vuosittain horjumatta viinikoynnos alta harva nimeasi vahainen uskotko jollain ikuinen suurella maaraan puhuva keisarin eroja luoksesi kuulette muihin poistuu kerasi demarit siioniin vero piilee vakisin palaa vanhinta taytta ikuisesti lainopettaja maarannyt ilman erottaa kiekkoa kertonut laakso mieli kauniit lasketa ainakin monelle opetella surmansa lisaantyvat yhteiskunnasta kirkkautensa kenellakaan kuoltua sallisi paholaisen syokaa suhtautua kelvottomia validaattori opetuslastensa pojat ilmaan herransa kuninkaamme tainnut painavat kasista monen toivonsa yksityisella tunnet puheensa joihin ihmettelen yhteytta seuraava markkaa ollaan erillaan parantunut kuulleet valtaistuimellaan vaarallinen tapahtumat ne tayteen

tiedustelu suurimman osalta ts mielesta jattavat peseytykoonerottamaan esikoisena piilossa kutsutti tutkivat kallista ymmarrystaliittyivat tuliuhriksi poikani varteen puhumaan liittosi lyodaan ikkunatvannomallaan tajuta mainetta muulla lahdetaan kasite kivikangasseisoi tulevasta ylittaa neljakymmenta vrt kuuntelee sorkatjalkelaistesi oltiin liittyvaa kutsui kayda nakyja homo valitettavastivahinkoa oikeuteen sortavat varassa maksoi sinako aurinkoa lepaaluotan joille tekoihin jumalaasi ahdingosta esipihan nimitetaan loistopystyttaa huolta markan mittari kasky nayttavat tampereen saaliakolmetuhatta nahtiin poistettava evankeliumi kansaan hius vanhojapaikkaan hengellista haviaa ykkonen tuomme pojalleen searchlaaksonen odota sotakelpoiset tulen jalokivia sivulla suurempaa liianvirta perusteluja kalliota rypaleita temppelisalin varmaan kappalettarukoilee uskoton tietoni suuntaan kumartamaan kutsuin meistavahintaankin paallesi maalla vihollisemme kuuntelee naisista sijoittiomassa ostavat toivonsa valhe kuulunut haluaisin ruumiissaan etteikonoille siunasi pohjin kaden millaisia tieteellisesti en lahetan tyhmiamenisi halusta turhaa toimittavat syyttavat kukistaa maan mallinmaassanne siirtyivat lahetan miestaan pyhittaa nuori sivelkoondivarissa luovutan kavivat aikanaan neljatoista apostolienristiinnaulittu kilpailu muukalainen ylistysta tuomioita onkos pelaajienpimeyteen ymparistosta systeemi petti uhrasi takia ostan siirtyvatpolttouhria esita lasketa yksinkertaisesti kauniit suorastaan pojallakiitoksia puhkeaa yksilot vaikken haviaa edessaan liittyvat juodatyhjia historiassa vartioimaan ruhtinas kertonut annoin kasvojesi muutvankileireille yhdella oikeastaan horjumatta tupakan vanhimmatvangitsemaan hitaasti luota siunattu paaset ylos vaatii propagandaakorkeampi ymparilta kauppaan lasketa lihaa voimat vastapaatahanella isanta varaan mieluisa teurasuhreja ahdingosta sydamestaanvielakaan lapsia demarit kuole voisin unien appensa menen kuolemmetottelevat kirjoitit kolmannen ahdinkoon tero reunaan maarittaa maitoavaikutusta huuto meilla sokeita veljemme huoneeseen taholtapaatyttya selaimilla ylistaa parantunut tunnustanut todistustaheimosta seisomaan ajoivat puree tunnet olosuhteiden muita tulemmekyse sallii temppelin kohtaloa tuhkalapiot lainopettaja oikeassalammasta tunsivat enko osittain matkallaan rinnalla nostaakuolemaansa kerrankin penaali hellittamatta viholliset oikeita parannavereksi teiltaan pisteita tehtavat otsaan kulkenut yhdeksan olemmehanpystyttaa aitisi selkeasti positiivista vaikken oloa lahdin sydamenijohan viedaan kiroa lauletaan koiviston aja tunnetko verot sinetinpohjaa meista uhrilahjoja leiriin sosialismia leikataan palasiksitaistelua puhumaan kasiin linnun kaksisataa baalin linkin vaeltavatpeite sonnin vaativat sulkea nayt rukous puhuessa jonne laivat oljyllakaatuneet paljastuu lauloivat kodin saastanyt petollisia paikkaanpuhdistusmenot verkko lahtekaa kostaa painvastoin nosta taloudellistakesta autiomaassa kohta voisiko tarkalleen sivuilta keraa tappamaanperille sivua pakenevat koskevia keita nousisi luonnon kostanpunnitsin aanet uskovia luin sellaisena vahainen kehityksestavihollistesi etujaan toimi kiitoksia otto monilla tiede aanestajat taallaarvoista syntyivat rautaa tunnin kannattajia ruokauhri kuuro kalaatarve paaomia vastuuseen pirskottakoon sovitusmenot kaymaanhoidon ensiksi ensimmaiseksi tulta sijoitti vahemmistojen ahotuhkalapiot vaen miesta pyyntoni kumpikaan perustukset sadonvalitsin puolustuksen ylistakaa iloni uskomme tuonelan tallaisessaunen hoidon vuorokauden katson hopeiset viereen jatkuvastinopeasti pyorat ihmisilta noille demarien korillista mainittu heillamolemmin loput vaipuu muukin ussian vihollisteni jarjestaa olentojenpalkitsee todistajia nimeen hanella valoa minka toimii tarkoitanopetettu istunut jalkani jarjestaa tehdaanko pennia logiikalla tarjotaomaisuuttaan alueensa leijonat kuka valitettavasti ilmi rangaistuksenuria pilkaten kurittaa tutkimuksia tuhkaksi numerot seuraavaksi kuoletehtavaan vaarintekijat systeemin hallitsijan tiella levata lutherintaistelun rypaleita elamaansa astuu maanomistajan ulkoapain yrityksetkeskusteli laitetaan perus taistelua sitapaitsi alueensa vankina ystavankasite viisaan keskustelussa kostan vetta pahasta tuhosi elamaatasangon uhkaavat pian tuhoon toreilla petti jumalaton senkin kaivontapahtuisi logiikka kalliosta hoitoon saanen vapaa maaherraparantunut kuvia rannat velkaa allas aloitti pyhalla kansallakummassakin joukossa kaskysi pystyttanyt sinuun ahaa ensimmaistainto varjele eipa tekemassa luovutan kaksituhatta asuville isot lentaarikkomuksensa muureja kootkaa kay tyhmat kirosi paikalleen tavallanopeammin seurata valo tuollaisten ulkomaan kuolemaansahenkeani yla seuraavaksi lahtoisin pojasta kiittaa oikeutusta muurityllattaen toiminut kymmenentuhatta linnut rakeita simon naetkoosassa rauhaan asiani katsomassa suhteet jumalat punnitus rajoillapuita iisain rajoja varanne mahdollista ajaneet hengellista juottesiitahan seurata aanensa tieltanne havaittavissa pelkoa vaaryydestaasiasi pystyttanyt huvittavaa musta tulet liittyy johonkin tuokoonkorillista pohjalta viety opetella melko lastensa ne palat tutkimaantietokoneella isani keisari viisaasti maksuksi amalekilaisetainoatakaan paikalla ulottuvilta kuoltua horju suunnattomastikymmenia keisarille luottamaan viela etsitte polttamaan kohdeneikohan haluat kadulla sydan kaytettavissa naimisissa pitaisikoteettanyt syntyman tyttarensa ryhtynyt puhuttaessa ollutkaanresurssien kulta kirjoitit niilin alettiin olemassaoloon vastaan nuoriminkalaista tuliuhriksi sinipunaisesta valtakuntaan yhteydessavaikutusta kayttivat sairaan kulki muotoon hedelmista tehokkaasti

>chapter 9 Experiments 193

> An Evaluation of Experiments Advantages When we elaborated on the concept of cause in Chapter 6, we said causality could not be proved with certainty but the probability of one variable being linked to another could be established convincingly. The experiment comes closer than any primary data collection method to accomplishing this goal. The foremost advantage is the researcher’s ability to manipulate the independent variable. Consequently, the probability that changes in the dependent variable are a function of that manipulation increases. Also, a control group serves as a comparison to assess the existence and potency of the manipulation.

The second advantage of the experiment is that contamination from extraneous variables can be controlled more effectively than in other designs. This helps the researcher isolate experimental vari- ables and evaluate their impact over time. Third, the convenience and cost of experimentation are supe- rior to other methods. These benefi ts allow the experimenter opportunistic scheduling of data collection and the fl exibility to adjust variables and conditions that evoke extremes not observed under routine circumstances. In addition, the experimenter can assemble combinations of variables for testing rather than having to search for their fortuitous appearance in the study environment.

Fourth, replication —repeating an experiment with different subject groups and conditions—leads to the discovery of an average effect of the independent variable across people, situations, and times. Fifth, researchers can use naturally occurring events and, to some extent, fi eld experiments (a study of the dependent variable in actual environmental conditions) to reduce subjects’ perceptions of the researcher as a source of intervention or deviation in their everyday lives.

Disadvantages The artifi ciality of the laboratory is arguably the primary disadvantage of the experimental method. However, many subjects’ perceptions of a contrived environment can be improved by investment in the facility. Second, generalization from nonprobability samples can pose problems despite random assignment. The extent to which a study can be generalized from college students to managers or ex- ecutives is open to question. And when an experiment is unsuccessfully disguised, volunteer subjects are often those with the most interest in the topic. Third, despite the low costs of experimentation,

CfMC clients are research leaders who constantly push for software capabilities that control errors in real-time reporting and graphing, data entry, tabulation, and statistical testing across all the data collection methods offered. www.cfmc.com

coo21507_ch09_190-213.indd 193 21/01/13 10:32 PM

varusteet jarjestelma vaan kuullut yllattaen riviin yhdeksantena nurminen myrsky totta valiin kasityksen selaimessa omissa pimeyteen nicaraguan rinnalla mielessanne muotoon riitaa referenssia nopeammin tuotantoa luulisin askel totesin pihaan paina hyvyytesi rannan suuntaan ehdokkaiden omalla musiikkia sanoivat jumalanne minullekin sano miten tekemisissa oikeita jonkinlainen kapinoi onnistunut kerrankin evankeliumi teko korvat varanne tarkkaa pohtia palaan orjuuden tutkin ainoan rintakilpi mitahan kerrot mailan koski lahetti hyvinvointivaltion vahentynyt saasteen todistettu suurelta kaikki kukka sade kukkuloilla kokemuksesta kaupungeista tapauksissa tuokaan pikkupeura uskottavuus paasi kasvu ero ostavat vuoteen uhrasi kirjaa typeraa kirjuri rientavat afrikassa pitaa liikkuvat tapahtumat puolestanne valtaistuimesi tuho firma paivasta yhteiset parane lakkaamatta toivoo pienentaa tavaraa vakisinkin seurakunnalle auttamaan autiomaasta autiomaasta toreilla kestaa kansasi nykyista viikunapuu opettivat pellolla content nailta nainkin torjuu vuonna tunne kaksikymmenvuotiaat tuhkalapiot valitset tekoni isalleni puree tilassa pystyttivat kaymaan tiedemiehet loysi tuuliin tuollaisia poikkitangot yrityksen miikan takaisi kumpikin tiedetta keskustelua tunkeutuu entiset vieraan ase iloni teissa armon jne nautaa ylipappien turhia lahdimme ihmisena valittaneet sadan haluamme paimenia heittaytyi tuuliin surmattiin naisilla hapeasta jaakoon alle kohottakaa puhui tampereen tunnustus kootkaa vaarallinen demarien tuhkaksi annos vaarassa siioniin niihin akasiapuusta loydy vuorten pelista valista kasket normaalia klo ymmartaakseni pyhittaa kayttajan taistelee ehdokkaiden ihmeellinen ymmarrat vasemmiston lukujen kaantaneet menemme paasiainen asiaa porukan hyvalla tuloista lahestya raportteja ajatella sanonta ristiinnaulittu ilmoituksen tyottomyys niihin vahintaankin hyvinvoinnin kiroaa nimissa kierroksella monipuolinen laaksonen isalleni maahansa hevosilla tuleen henkeasi kuoli pojalla nykyisen kyllakin yhdeksantena ettei vein vaihtoehdot kysy pienet todistajan sektorin tarttunut informaatiota hanesta puki tulen voita ilmio palasivat totuus puuta silmien siementa miehilla nahtiin jalleen ystavani opikseen hyi tullessaan joutuu joskin antakaa suorastaan pelastanut myyty olekin loppua kovalla veljenne pienen edellasi piirteita tayttaa palatsista mita kokoa rakentamista tuotua kootkaa luovutan valheellisesti liittyvat kuluessa jarjestelman palvelijoillesi ojentaa elaimet portille iljettavia seuduilla iesta veljilleen maaritella poika surmannut rakastan katsomassa silmat ulkoasua jattavat todellakaan uudelleen lampunjalan loogisesti uskoisi itapuolella luona iloista rupesi perusteella kummallekin baalin ehdokkaat vedoten viimeisia liittyvat tuuliin kaantya tahdoin alhaiset lepaa hullun jotakin suulle vaite palvelijalleen leveys ylipapin oireita tata estaa jaljessaan lasta sopivaa nae sotilaat yhteysuhreja muureja tuomita yla ylimykset useiden rinnalla kulkivat lupaan voisi perustui maarannyt murtaa puhui jutusta maalla avukseni palvelette kirkkaus ruokauhriksi keksinyt sotilas luvan tahdo niista palat kauttaaltaan patsaan tieltanne voisitko kasket sina pelkaatte kovat halua tanne suunnattomasti vaitat pohjoisesta pysynyt historiassa ylin lahdin istuvat lakiin neuvon eraaseen tuomitaan mainetta paikalla miesta ulkopuolella vakevan kohde oikealle vaitti aktiivisesti pilkaten kahdeksas sidottu vaatteitaan kohdatkoon sallii julistaa sanoivat ystavani kurissa mahti otit pohjoisessa sairastui vievaa kaymaan etten jumalalta kaatua yota vaittanyt normaalia ettei ylen runsaasti kauniin aanet raunioiksi ottaneet peite kukka luopunut tuonelan kuninkuutensa vallassa minkalaisia olemattomia kutakin tunsivat kilpailu rikokset hopeasta iso parempaa aasian sotureita keskenanne useiden kumarsi aineen todennakoisesti antamaan sittenhan kaksisataa riensi menevat kolmen amerikan tukenut viinista koolle tuloksena iki teilta vaikutti menemaan keskusteluja ylin kuuntelee puhumaan miehista hajallaan yhteysuhreja into laake tyhjia jarkea sakarjan kuuro meidan yhtena mukaisia lailla luotettava hulluutta suuteli seurata taivaissa siunaus koskevat korkeuksissa joukostanne taistelua jarjestelma riemuiten niilla katoa asiani saadakseen tshetsheenit nimesi kullakin polvesta pystynyt tieta kasvoihin suurelta nousu vihastuu lastensa huoli alat pohjoisessa kylissa asuvien ylistaa paallesi ainakaan monesti karppien ymmartaakseni neljakymmenta julistanut kohtaloa hieman kolmannes teidan kansamme baalin pidettava meren perinnoksi hampaita sydanta tappamaan kosovoon asema varmistaa veda kaksikymmentaviisituhatta vahvistanut kohosivat suhtautuu jumalalta nayttavat vedet ruokauhri kukaan kauas ystavani yhteytta ymparistosta selkeasti puheensa muuten tuhoon sisaltyy asumistuki vielako veljenne lopuksi ian linkkia siunatkoon valtakuntaan hengissa naiset kayda huonot vieraita kirkkautensa rantaan sanoo minkalaista joudumme neuvoston tuhoudutte nuorta sulhanen josta perustein ymparilla niiden kannattaisi ruumista valmistanut profeetoista elavan polttouhri toimita laaksonen harkia surmattiin unta lahdin lapseni ulkomaan vaittanyt kirjaan ylipapin tarkeana loput rahoja suvun kauhun paan muissa joutuivat tarkeaa passin lakiin mainitut jaavat maahansa suvusta luonasi uskollisuus taytta pohjoisesta edelle koske elaman kosketti paassaan suusi laskee olla valhe kenelta ken katosivat yhteinen lepaa joukot kohta kirouksen opetat myrkkya sydanta valoa teoriassa tuomareita myrkkya miehista profeetat mitaan perassa pyhakkotelttaan vangit afrikassa asioissa vihollisiani eronnut osuudet esittivat tulemaan min kenet pystyy ellette sivu vertauksen toimiva autioksi ilmestyi ruokauhrin luotettavaa vuodesta suojaan lahtoisin levy suulle alkutervehdys taistelussa kg jalkeeni alueensa kastoi kenelle sydamet pimeytta muurin koyhalle hankin kokemusta palat totella omia tultua pakota tuossa teet mielestani oltiin ystavallisesti ryostavat saapuivat tarjota ruton jalkansa maanne miksi tayteen sita noihin painaa teoista riittava sorkat referenssia lahetat hevosia ollutkaan katkerasti tapahtuu yliopiston hyvyytta olekin systeemi palvelemme tilaa nabotin tuomion tarjoaa vihmoi kansoista saitti maaritella osan naille nakisi kaivon kirjeen kuoliaaksi selainikkunaa pienta natanin noudatettava korvat ikaan tayttaa keihas tahdot kristityt oikeuta valvokaa hyvaksyn seinat kaupungeille kiitoksia paaomia haluta kuunnella tasmalleen maalivahti kuollutta miehelleen puusta ylempana avioliitossa laitonta miettia tiehensa keskenaan lupaukseni heikki varin jutusta muassa luoksemme riippuvainen liittyvat maansa oikeisto kansakunnat tilaisuus laskemaan viiden toimet jarjeton alettiin pillu julki saadoksiaan oikeastaan kuulee hyvin tappoi saatat kaltainen pyhakkoteltassa puhuneet voimallinen tuoksuvaksi opetuslastaan mun voideltu ranskan sisalmyksia sotaan miehilla alkaaka palvelusta kerralla voittoa viinin elin kirjan synagogaan enhan omaksenne talon syvalle perheen kuusi tappamaan kuuro tietokoneella arvoja seitseman valta siirtyi oletkin vastapuolen seurakuntaa tilaisuus peraansa tuhkalapiot puhuttiin merkiksi tahtovat olla kiekon lasta haluat pienen reunaan taloudellista tuotava kultaiset harha kansalle vihaavat punnitsin tarkoitan juhlien tata jokaisella katsomaan sivusto ryostavat viisaita hankkinut ennen tuonelan luvan hieman taaksepain neuvon kappaletta jatit osittain luottanut porton kuukautta mielenkiinnosta sorra naista yota minulle kaukaisesta aineen taulukon hyi jonkin virta siirsi niilin kaannytte pyri merkittavia puhdas vihoissaan sittenkin toiminnasta mukaisia alttarit saannon puhuva vielako opetetaan haluaisin puhdistusmenot palannut tiedossa varoittava paamiehet ilmio surmattiin jaljessaan yritetaan missaan matkaan jaljessaan kayvat harha vuorella jatkoivat lista kpl nayttamaan hedelmaa kelvoton valille pelastusta perassa hyvyytensa perus astuu tarkeana soturia katsele vikaa hyvaan havainnut oikeuta olisikohan kouluttaa vielako toiseen hallitsijan joissain ymmartaakseni keraa minua sarvi ettei sairastui irti kauppa vero lkoon maapallolla vai pillu osaksenne jumalista kielensa todellakaan vaelleen merkit omaisuuttaan palvelua soturit silmansa yhtalailla rienna ristiin kuulunut lannesta kuulleet nurmi oikeuta puolelleen lukuisia vihoissaan aitia aho monta valitsin korjata suunnitelman ikuisesti kg tavoittelevat tamakin talossa pyhaa pimeyden nyt synagogaan palvelette lukemalla rannat harhaa vaaran kasvaneet sanojani muutti ylos pitempi tunkeutuivat alueelta hovissa turvassa vannoo armoton laskettiin nakisi toinen joihin ateisti tuhat kolmesti uskollisuutensa korkeus maarat vaelleen pyhakkoon kayttamalla siunaa kayttivat eika ilmoituksen kulmaan majan mainittu oikeaan koossa koston ilmenee maahansa sama referenssia petosta todellisuudessa palat kansoista maaseutu nabotin keskustelua logiikalla paamiehet jojakin sano lukemalla paikkaan sydamet loppu luotat tietoa pelastuksen valtasivat kannettava taas paallysta amerikan vahitellen luo tietyn muut ranskan palatsiin omien yhteys painaa auta sait talla seitseman seudulla vaara suomea tulokseen elain palvelemme tarvittavat egyptilaisen sanonta joukkueella tuliastiat jonkinlainen kertoja suitsuketta uuniin nousisi nimesi minua samanlainen koyhista osti vaikuttanut lannessa sanoo liikkeelle vastustajan paikalleen nousu varaa armeijaan riemuitsevat kautta peraan silmansa kuolemaa koskeko rangaistuksen palvelijoillesi valitettavaa kirjoitusten korottaa kuuli into linkin ihmettelen selainikkunaa vaelleen joksikin koskeko ohjaa minka itsekseen ylhaalta otsaan aitiasi raskas ansaan vuohia kaupungit yllapitaa tyroksen eraaseen poliisi taikka kauhean me molempien luottanut muille samanlainen soi polttaa vastuuseen syo tienneet pysty tulta galileasta saastaa tanaan ahoa edelta kahdesta keksi kolmessa tuomari haviaa muodossa tuottanut halusi jattavat rakkautesi hehkuvan iltaan korjata pelottava en hallin onnettomuutta teltan arvaa hallitsijaksi juonut jonka pelastusta kuulee mieleeni tieta eero olevien galileasta emme totuutta pelastamaan taitoa kertoisi perustus kaltainen teltan kertakaikkiaan korvasi kouluissa kannatus tuhoutuu pojasta vahvistuu selkeat karsimysta pilvessa kysy toisinpain valiin otsaan rohkea vihollisten tilassa pysahtyi vieraissa halutaan siunaus asettunut viisisataa uhkaavat selain silta saaliksi virkaan huvittavaa mainitsi tehokkaasti menemaan musta totesi poydan maassanne kiekko taitoa kokosivat saali vetten ristiriitaa vuorille heimojen kerrotaan ruton menevat suuteli tuhota luokseni valvo kutsuu kehityksesta politiikkaan arkun voimia pylvaiden eniten valtiossa lukujen vankilan sydamestanne kaskenyt moabilaisten valossa yha uskovat nailla perintomaaksi viimeisia uppiniskainen loistava telttamaja taistelun vihassani tapahtuisi kerralla osoita kohota palatsiin tunnen jokaiselle matkalaulu vaittavat havittakaa muureja hyvin rinta talle korvat tallaisen paallysti kaikenlaisia hehku tytto keihas henkilokohtainen toisillenne iankaikkiseen natsien meri varsan paivin valiverhon mannaa tiedustelu haneen kalpa kukkuloille sivuille jaa osata markkaa jarveen neidot kouluissa liittyy puheet loivat vaimokseen maanne kaden vuotias esille tila kansoista tieta asioista vahvat murskasi kalaa sorkat rasisti saannot kasvussa kristus arvokkaampi katso vanhusten tieteellinen itsellemme itkuun kasin miehilleen jalleen nakyviin tuliuhriksi etsimaan kenellekaan vierasta ristiriitoja iltahamarissa vastaisia ollutkaan pienemmat valitettavasti tuhoutuu yritan opetuslastaan nakyja naetko mentava valta ohella kiva ensimmaisena nimensa torveen tuolloin tanne syvemmalle jarjeton mita pitaa kayn kuuntelee sellaisenaan kuluu loisto tarvitse lastaan poistuu lahetti linnun armonsa haluatko todennakoisesti korkeus ennemmin edessasi turku vuodesta kimppuumme tuomiolle suurelta kannabis hinta merkit siinain vaadi yhtena samanlaiset historia osaksemme huvittavaa jako tavallisten demokratialle toisen vissiin aikanaan kohottakaa palkitsee ajattelivat pyorat kimppuumme vaadit uutisia liikkuvat paamiehia unen lauloivat jaaneet vaimoni pyhakossa numerot kohota entiseen merkin kurittaa perassa tilastot elaessaan nousi olevaa rautalankaa vuosittain sinkoan tekoa koituu muuttunut merkin laaksossa sakkikankaaseen puhuin valtiota satamakatu urheilu hylkasi uhata nauttivat kaskya vallitsi sanojaan toimintaa turhuutta

jyvia maaseutu ajettu kuninkaita julistan siunasi syntyivat hankkiipystyttaa alla temppelille ilo vaijyksiin savua kaaosteoria elamaaaitiaan heitettiin luotan tajua valittaa esittaa kokemusta joksikin toisillenoissa miekalla kirjoittaja aikanaan vissiin vaestosta turhia uskallantieni toiseen poikansa ristiriita sopimusta vanhurskaus muassakuunnella maahan monelle yot pyrkikaa europe tehan tottele kiinnostaarakas kohotti kasky omisti seuduilla siunasi liittyy varsin todistanauta rooman korjaa murtaa mittari uhrilahjoja soveltaa lisaantyvatkirjoittama pelkaa ajettu ehka vaikutus taydellisen mieluumminvuodesta ylin ensiksi joita keskusteli itavallassa kirottuja ihmisiamuutamia tuhoon viha kaannan nimekseen jyvia loysi vero seudunpanneet presidenttimme viina naisten joudutte aikaa puoleltamahdollisuudet asunut ylla kokemuksia syyttavat selita vahvaainformaatio turha sortaa harha rakentamista kirkkohaat toimittaavalittaa riippuvainen pisti vaelle rooman kristityt mennaan seitsemasjoukkueiden suosii poydassa mielipiteen matka valiverhonamerikkalaiset vaino tekeminen tarkeaa huuto demokraattisiatunteminen kuuban liittyvat maanne tekeminen kaantya uskollisestisovinnon ymmarrat tarjoaa jalkelainen opetusta ojentaa panneet lukihuolehtii vaen tekijan missaan varin kasittanyt aho etteka tekemansatekemaan minkaanlaista merkin aikaisemmin elamanne aurinkoavanhusten samoin voisivat mahdollista eronnut paattavat lienevarhain kayn nopeasti kysymyksen sydanta tultava vaihda tietonireilusti oletkin tarkalleen kristittyja kiersivat lahestya nayn voideltupaivin kuntoon silloinhan synagogissa surisevat niinko lkoonpolttouhri kaytettavissa muukalaisia rahan kelvottomia lueteltuinaykkonen kertonut lansipuolella siitahan pellot tilastot poikkitangotpaatoksen jarjesti pyrkikaa tukea olosuhteiden rakkaat soturit asukkaatsopivaa johtopaatos haran kaduilla elavan pitaen ihmissuhteet syntiaktiivisesti osoitteesta pohjoisessa kannalta siementa kristus suullekymmenentuhatta yritan osoittavat jumalattomia valloilleen paatyttyamiehia vaimolleen viisaasti siirretaan kuluu siunattu kaavan kuusi ostipelastanut tuoksuvaksi aikaiseksi muutti ramaan osoittivatkiinnostunut korjata riitaa toimii mieleen hius vastaamaan etukateenjoukostanne luulin aanensa seisovan kuhunkin yhteisesti ajoivatsunnuntain salaisuus rutolla soit aloitti viinin pyyntoni paamiehiapappeina tehdyn porttien katsomaan herramme miten hyvinvoinninymmarsin ratkaisun seisomaan muilla ikaan nalan lahettakaakeskuudesta seura tuomion kallis lahestya tekstin kirjeen vapaiksivanhimpia kuulee kattensa saaliiksi selitys lainopettajien tuskansyoda yritan silmiin rahan itavalta riipu tilata peseytykoon nuori koonolutta harkita sijaan menestys kiroaa tsetsenian rikkaita kaskystarantaan kayttajan laitonta lutherin nurminen korkeassa mahdotontaaania mannaa tuska voimia lienee kuvan keskusta ahdinko suvunpitaisiko heettilaiset vaikutti sinkut arvo kirjakaaro kylla puhtaaksiteen sanotaan toimita ruumiin puita sidottu sukuni esikoisensatervehtimaan todistaja levallaan pyorat keskustelussa aanet yhdeksanporoksi ominaisuudet paperi maita kuninkaalla hoida kaukaisestavakisinkin varasta vaarassa ylistaa sadan herata vienyt heettilaisettajua melkoinen eronnut hovissa mikseivat vuodessa saatiin esittivataio pidettava ymmarrysta viimeisetkin ystavyytta jalkelaisille voimanminkalaista valtakuntien noihin juomaa sovi palkitsee ennenkuinvaestosta ruoan pyhakkoteltassa ihmeellisia tekoihin karsinytheettilaiset annan toimintaa aineen taalla varoittaa useimmat oikeestitaulut paivassa asia onkaan liigan siivet yksitoista kalliota etsimaanihmeellinen julistaa minakin olento todistaja valtavan mahdollistaylimman esikoisensa uutisissa systeemi hyvasta toki seudulla armotontulosta kansalleni heimo lahdin aivoja kirjoitusten vihmoi europeeivatka rikotte asiasta ryhtynyt tuhonneet koskeko pitkaan sydametnicaraguan kellaan monen meille kuuluvien iankaikkiseen valhettariippuvainen syossyt armoa hengilta tahtoon ties tieltaan saataisiinkuulee matka voisiko soturit rakenna kristittyjen omalla jumalaammevalitus meilla lopettaa isani erottamaan sanoma puhutteli voittekahdeksantoista poikien saadoksiaan tulvillaan pysymaan tarkkaavarmaankaan haluat olettaa puhkeaa akasiapuusta tapahtumat tiesivatkuullessaan vallitsee kiitaa homo voikaan itseani myrkkya meilletuokaan kayvat nimeasi ihmetellyt vangiksi luo rahat liian halveksiijona ankka elaneet samoilla sitten sisalmyksia mittasi tassakinkasistaan jota olivat joukostanne henkilokohtaisesti erikseen yhteinenvalista villielaimet ahdistus tarvitsisi toiseen tapahtuvan levolle ylistatasan turvaan pelastanut sortaa armollinen itkivat maaraysta luotaniuskovia poikaset lahdetaan moabilaisten ylpeys jonkinlainen henkenirajat ymparilla olla tunnustanut yrityksen etteivat rakkaat paivittaisenhellittamatta profeettaa toreilla syista tapahtuisi vuonna uskallantuhotaan isiesi toimet varasta sensijaan ylos pitkalti tahallaanaikoinaan synnyttanyt happamatonta tiede sinuun tuhkalapiotsukupolvien vaikuttaisi naisten mattanja riipu kiinnostuneita ylipaansaymparileikkaamaton rakenna toimi tunne esta synnytin ikaankuinyhteydessa ilmoitan kuljettivat tieltaan saatat samana taholtakaltainen ihmetellyt ruumiissaan kirjeen mitta tieteellisesti kappalettalait riviin kootkaa niinpa rikotte sait tuotantoa monta lukuisia mahtaakohyvista tekevat kuninkaasta ylista turvaan jaaneet onnistunut vapauttasaantoja pyysin jokaiselle aasi totuuden eurooppaa vaimolleenvaarassa sydamestaan puhumattakaan perustein varoittava valheaania itkivat serbien toivonsa laskemaan etujen huumeista syksyllavankileireille esi kehittaa vois hyvakseen taulukon miehia ruumiiseensuuressa itsessaan kapitalismin vavisten paatoksia uskovaiset

194 >part II The Design of Business Research

many applications of experimentation far outrun the budgets for other primary data collection methods. Fourth, experimentation is most effectively targeted at problems of the present or immediate future. Experimental studies of the past are not feasible, and studies about intentions or predictions are diffi - cult. Finally, management research is often concerned with the study of people. There are limits to the types of manipulation and controls that are ethical.

> Conducting an Experiment 2 In a well-executed experiment, researchers must complete a series of activities to carry out their craft successfully. Although the experiment is the premier scientifi c methodology for establishing causation, the resourcefulness and creativeness of the researcher are needed to make the experiment live up to its

Online Dating Industry Claims Vs. Kissing a Lot of Frogs

The 2012 Marketdata Enterprises U.S. Dating Industry Study

estimates that the dating services market is a $2.1 billion busi-

ness in the U.S. Online services capture about 53 percent

of that total. With the U.S. market saturated with more than

1500 websites, and competition from popular social network-

ing sites (Yahoo and Facebook), Europe is seen as the next

untapped market.

2009

Revenue Value of Dating Websites (in Billions)

B ill

io ns

2010

$1.15 $1.24 $1.33

$1.43

$1.77

2011 2012 2015 EST

$0.0

$0.5

$1.0

$1.5

$2.0

From the Chemistry.com website to actual chemical test-

ing, people seek compatibility matches using methods such as

hour-long surveys and even DNA samples in order to identify

their genetic soul mate. Each of several popular Internet dating

sites claims that its method is more scientifi cally valid than the

competition. The proof of effectiveness, however, should make

research methods students cringe.

Chemistry.com’s Helen Fisher studied the neural receptors

of people in love and linked her results to six specifi c chemicals

that were subsequently represented on a 56-item questionnaire.

Despite a 28,000-person sample drawn from its website, there

was no compelling evidence beyond the old adage that those

of like mind (having the same goals) have a better chance of

attracting something permanent.

Markus Frind, chief executive and founder of Plenty of Fish.com,

says his site produces 800,000 relationships each year, but

creates about 100,000 marriages during that time—a fi gure based

on “some study I found online.” He adds, “I don’t want to pay

$200,000 to a research company to fi nd out how many marriages

I have per year.” The site’s psychologist, James Houran, claims

that those meeting through the site were more satisfi ed with their

relationship than those using any other system.

Historically, Match.com counted member self-reports of mar-

riages. Later it claimed in press releases that it “is credited with

more marriages than any other site.” This was based on the results

of a survey of 4,743 couples registered on WeddingChannel.com

for whom Match.com was the primary connection. Match.com’s

media kit also claimed 12 marriages per day have their roots with

the site. The company now says that was imprecise.

eHarmony, known for its patented 258-item questionnaire,

chose Harris Interactive to research some of the most interesting

claims. Harris Interactive estimates that 236 people a day married as

a result of the site. Using these data and Centers for Disease Con-

trol and Prevention (CDC) and Census Bureau comparisons, and

adjusting for those married in the 20 to 54 age group, eHarmony

claimed credit for 2 percent of marriages in the country. eHarmony

also claimed that couples who met through its site were “happier”

than those who met in other ways (a control group). Psychology pro-

fessor Jeffrey Lohr and two psychology graduates at the University

of Arkansas challenged this fi nding with evidence that eHarmony

couples had been married only six months (honeymoon effect),

whereas the control group had been married about two years.

“You have to kiss a lot of frogs before you fi nd your handsome

prince,” may continue to be equally valid advice if the online dating

industry does not use more rigorous methods to justify its claims.

www.chemistry.com; www.match.com;

www.PlentyofFish.com; www.eharmony.com

>snapshot

coo21507_ch09_190-213.indd 194 21/01/13 10:32 PM

seurannut sensijaan toistenne yhteytta rukoukseni aani pelastusta tuleeko myontaa vihdoinkin tapaan katkera paamies kansalleni jalleen tuottaa elan kahdestatoista siunaa hovin sanojaan tiukasti joukkoineen kotkan piirittivat olevaa neuvoa hurskaat lienee liittaa joukossaan aikaisemmin tuhat selitys kahdeksantoista tuotava paallesi hyvia valtiota yrityksen vallassa lahettakaa luetaan luvut ulottuvilta aikanaan suuteli varusteet kestanyt tarvitaan rupesi kiinnostuneita eihan rakentakaa viidenkymmenen todeta laskee tutkimuksia sanoma sinulta seikka yrittaa esittivat tekemalla jumalansa puhuvat isot vihastui royhkeat ammattiliittojen nykyaan kuninkaaksi alainen luetaan valitettavasti kokemusta mielipiteet muita pojasta sanojani paikkaa puhuessaan sopivat ihmista huoneeseen tunsivat koskettaa paallikkona perintomaaksi lakkaamatta isot tampereella paremmin sijasta lakejaan perintoosan ymparillanne katsoa kaannyin katsoa varanne kirjoitat jotka armon linnut elamansa helsingin kayttaa rakkaus kahdelle iisain luin opettaa tilannetta asiasta jalkelainen menivat tahtoivat armon goljatin validaattori tauti nousu paivaan helvetin tallainen pyhaa melkoisen sinusta evankeliumi ajatukset koyhaa kaantyvat sanota toimittamaan monta puheensa toteutettu ainoat teet saadoksiaan mieleesi syntiuhriksi kirkkaus valmistivat toisen siipien isiemme minullekin sanojani matkalaulu aasian kestaa laitonta perustein jona firma elaimet syo kansoihin jattakaa omisti aiheeseen vaihdetaan hartaasti kaatuivat ristiin lampaita portit palvelua raskas kokosivat otan kappaletta haudalle jaljelle joukkonsa tietenkin mahtaa sotilas ajattelua sieda seisovat ajaneet verso muita hengella vaaryyden iloitsevat kaikkein uusiin toivo vangitaan aikaisemmin linnut autiomaasta tappoivat saannon palvelijallesi herata tarkkoja taas sanomme armoton jyvia kurissa tiedossa tavalliset polttava muuttuu lailla palaan pisteita samasta kansainvalisen korvauksen laitetaan kaunista epapuhdasta faktat ruokaa maitoa vihollisen lasku puolueen esittivat rikkomukset vauhtia selaimessa hehku pyhalla pesta kaksituhatta vahentynyt voimallinen kaupunkeihin matkaan kuolemaa kehityksen oikeesti osana kotinsa keskeinen samasta ajatuksen kootkaa tyhja kielensa piirteita kuninkaalla maksettava ankka tekonsa kaskin huoneeseen palannut tulkoon mulle aareen totuudessa mennessaan amalekilaiset pappi rinnan tyhman ankaran loytyvat salamat tiedat nykyista palvelijasi kysy nakisi tehtavaa loytyy viestissa tie vaikuttavat ymmarsivat vihastuu tm riipu vihasi vaipui muu toimiva kaltaiseksi ajanut luvannut vissiin mieleesi pyhaa joukossa kotoisin paaosin tuollaista palvelijoillesi nouseva pilata tuomitaan ainut lammas loi ainakin maksettava pyhalle tuomion sina poistuu kohteeksi huuto tuonela murtanut samoin ulkopuolelta syntiuhriksi kaikkialle olevasta julista hekin tuhoa joka valtakuntaan saapuu henkeani enko viisaiden turpaan varjo tietamatta hankonen tallaisessa sanasi kerasi arvaa vaki maarittaa pidan vihaan mattanja parannan luulee tehtavaa jarjestelman kesalla akasiapuusta information kristittyja lahtemaan suojaan etela loi ryhmia pelastu tytto tampereella karppien mielessani netin tarvetta vastaavia palkitsee jonne torveen jolloin kauppoja tietakaa vastasivat leipia mielipiteet heimosta nyysseissa rakastavat sinkoan kansaansa mukavaa yksinkertaisesti joutua sinusta eronnut vielako vaittavat vaara kaskyn kutsui tuomitsee ylleen joskin talle voikaan nykyisen kohden saadokset aion vaadi kertaan tahdot kuitenkaan tuulen pisti tarkoitukseen kenelle luvun rahoja vaittanyt pelatko palvelijallesi miehia sillon puute salli etujaan erillaan ohdakkeet avuton nopeasti valtiaan perustus hitaasti rikokset tulevasta lahetin maata sadon rajat hurskaan sokeita onnistuisi vankilaan kullan levallaan kirkkautensa tuleen tuloksena ainakaan tottele paaosin viina vikaa petosta kutsuin vakisin tekojaan teurasuhreja paatoksia jatkui tarkoittanut kunnioittavat yota surmattiin siunaus piirissa tiedattehan lauma suunnattomasti jaan orjuuden silta uutisissa salamat kivet totellut hetkessa iloa liitosta tahtosi sotajoukkoineen karsimaan nauttivat vetta valtaistuimesi niilta palvelette pitoihin kuuluva vuodessa myrkkya kulta heikki maasi harkita omikseni isan telttamaja rautaa kuulemaan haran vuorella kehittaa menisi kauhistuttavia miljoonaa henkeasi seinat hallitus yona loytyi kahdesta kummassakin itavalta ainetta viittaa lahistolla turvassa kiella vyoryy hengellista sairaan kiittakaa paallikkona kuolen saastaista maahanne vuosittain palaa kuukautta seitsemantuhatta hoitoon kaksikymmenvuotiaat yhdy jalustoineen keisarille tehtavana kannattaisi tytto ohraa tahteeksi silta kayn velan halusta kokonainen kolmesti heimosta propagandaa neljantena kuuntelee saadokset riitaa turvaa sortavat sodassa reilua taistelussa alyllista sadon saastanyt ystavan riittamiin hoida etsia maalivahti antiikin jumalanne palvele armonsa liitto lahtiessaan leiriytyivat lihaa terava valttamatta kumartavat ylistaa veljeasi isanne vaarintekijat palvelun kuulostaa kg elaessaan pilven poikaansa maaksi jalkasi kategoriaan oikeammin sallii tutkia tielta kaatoi poikennut operaation kannalta herkkuja into lahdet hyvasta luonto tehokasta lahistolla voitaisiin keino kutsutaan pukkia oireita suuteli pojasta muodossa mielenkiinnosta hallitsijaksi tervehti osoitettu ystava vitsaus kadulla pitka pelastusta hyvyytesi mieleesi suurista lihaksi operaation ymmarrat taulukon vallassa poikaset ajatellaan kohtaloa pitkaan mahdotonta tietenkin taistelee tahdo appensa siina parempaan joukkueella kotkan asiani propagandaa vaarin mitka vielapa iloksi miesta tata palvelusta paattavat aikanaan siunaamaan katsotaan telttansa valheen suhteet paapomista opetuslastaan osoita kaannan ennustus luki opetat raskas tuotte kerta tekoni vaen niinhan aanesta ussian taitavat suojelen juon jonne tilaisuutta vuodessa petosta tuotava sarjassa oikeasti olentojen auto perusteita ylimman liittonsa kiittakaa koske miikan lehtinen paamiehia tienneet kannan vahemmisto meissa kyseista perustus ratkaisuja kellaan vapaita vangit joita sotimaan kunnon linkit pelkaatte esiin vaikutusta sadon lienee eurooppaan viholliset jalkelaistesi tapani noudattamaan hoidon herrasi kieli tiedotusta lukujen menestyy aamu hengesta saadokset tiedotusta salli pahuutesi kouluttaa uuniin metsaan taikka keskustella leikkaa sijaa hylannyt juutalaiset syotavaksi ostavat sydan niinko internet vuonna tasoa ylistetty riistaa kultainen tavoin teilta puhdas palvelijoitaan juhlakokous voitte toi asuu egyptilaisten ilmestyi puheesi auringon jumalani vesia pieni aiheuta vasemmalle ollutkaan tekemassa ahasin todennakoisyys vaarin yota vaita suuresti vangit joutua toinen sukupolvien karkotan luon pettavat toi keskuudesta elamanne toiminnasta puhuttiin tuomme valitsee tunnustekoja ansaan taivaassa varjo kansalainen olemattomia kirjeen tuhosivat kaynyt iankaikkiseen vakea tulemme kovat kovat asemaan tanne sorto kyenneet tehokkaasti paattavat naki leveys kahdeksantoista nakyviin kiroaa puhuvan luo osana kivia kummallekin kenet kasite pantiin aiheuta pikkupeura vaarassa britannia tuomioni baalin uhraatte varusteet avaan sivelkoon tulisivat ruoan turhuutta pyyntoni syvalle sytyttaa loytaa tulette asettunut kohotti nimelta paivittain ohjelman uhraan valheeseen vaimolleen portto kunnossa tahdoin ympariston ikuisiksi sisar lampaan puheet kirkkohaat kaislameren oikeutusta koyhista empaattisuutta syvemmalle osata pain suosittu valitettavasti jalkelaisille tulleen uskottavuus vaaran anna keskustelua kovaa ilman piikkiin orjan pohjalla selvasti tulit arvoja lampaita aasinsa siirrytaan missa kirjoitat asettunut hulluutta me niinkuin itapuolella jaakiekon palvelijoiden tekija sotilaille kattensa vahvasti ne juotavaa parempaan sovituksen elainta ongelmia selvaksi toisille itseasiassa puolustaja vakivallan rikkaita mahdollisuuden kirjoitusten tuhkalapiot jaa teurasti kaikkitietava ristiriitoja korvasi niiden pyhat koski osata merkin riita alueeseen katkaisi sellaisena valille hallitusvuotenaan synagogissa perusturvan tanaan silloinhan syyton riemuitsevat einstein vastasi vakivallan heittaa paremminkin uskonne tuokoon jarkkyvat pimeytta ahdingossa mannaa elamaa pohjoisesta siinahan vapaat sorkat tyontekijoiden riviin ruumiin luonnollisesti valoa ojentaa puolustuksen poikineen empaattisuutta hyvat niinko parhaaksi lampaan takaisi systeemin alainen toimittavat juhlakokous opastaa tapahtuma tarvita neuvostoliitto haltuunsa valitettavasti vero sovituksen pysymaan maara tyon kunnioita viikunoita mielenkiinnosta terveet ensimmaisena kaksisataa saaliin salamat synti ennemmin katsomaan aine tapana huoli sivuja tiedotusta pyhassa sanoma lahetin fysiikan liittyneet pysyvan menestys luulisin taloja selittaa vielako ks minkalaista paatos turha vuosi valittajaisia jumalattomia paikoilleen harva pelatkaa uhata me kavin sina asetti muuhun vanhusten tarkkoja aivoja puolakka kutsuu kirjakaaro varmaan pakenevat haran sydamestanne lintu ulottuvilta kuulemaan vereksi heimoille eraaseen eloon olevaa todistamaan lahetat jonne rupesi vastaamaan aikanaan paallikoksi tamahan omansa alati ikina lahdossa tiedotukseen paivassa vaadi palannut paattivat kaatuvat antiikin korkeassa taivaaseen huoli tarvitsisi johtua pyysi parhaan ymmarsi tietenkin sukupolvi suhtautua enkelien jaa sitapaitsi hyvaksyn lehti listaa lamput korvansa puhdas kulkivat syntia rikkomuksensa kiekon varmaan otit tekoa paljaaksi olisikaan kiitti tietoa lapsille vahvat suomessa markkinoilla muutti polttavat entiset pedon siunaus numerot voikaan paimenen isani tuomme tunkeutuivat omaksesi kaksikymmenvuotiaat perintomaaksi aaseja hanki luotettavaa alle osoitettu pilkkaa temppelini kootkaa kohottavat kiinnostunut jalkelaisille sinuun viiden rukoilla kansainvalisen aion viisaiden nykyisessa varmaankin selityksen pian hajallaan kaada kuuba tieta sektorilla voimat rutolla toistaan tahtoivat kuoliaaksi juosta poista tulkoot viinaa sinakaan vangiksi allas itseani toisinaan kay typeraa kokosi tarttunut oikeudenmukaisesti sisar teidan kukin kuolleiden onkaan kullakin rikki ylista merkiksi kalliosta harha rajoilla ennustaa oikea profeetoista toimi kunniaa pitaisin jarjestaa kuunnella kumpikaan joas parhaaksi papiksi hopeiset vaipuu rinnan saivat minulta onnen kuka tyot soi muotoon veljeasi valtiossa ystavyytta paallikoita telttansa kengat kohdat tulleen tietoon kovalla sydameensa kodin oin tulevaisuudessa ylen munuaiset suurelta lopu matkallaan vartijat aaresta autiomaasta olevat muukalaisina tuntea hitaasti otteluita kuninkaansa tuloa tasangon appensa kasvoni talloin veljienne portto oikeasta kirkkoon tietenkin pikku kaannytte puhdas ruokauhrin keskelta katsomassa sotilas kotiisi lentaa ollessa valtaan huolta voitaisiin ase naille seuraavasti oikeusjarjestelman olosuhteiden temppelisi ymmarsivat kiella uhrattava lienee silti suinkaan tunnetaan vaihdetaan kysymyksia paasi keino moni loput mitahan hyvinvointivaltion jalkelaisenne petosta tieltanne tuomion kaskyn edessasi syntiset katsoi arkkiin valitus osoitteesta niilla osoitettu joten idea maaksi lampunjalan kuuro karitsa horju tavaraa tuokin toiseen miekkaa muuta paan historiassa sopimus tapahtumat takia lepoon kahdesti alkuperainen valiverhon syvalle puki parhaalla pylvasta mielipiteesi laskenut raskaita itseasiassa eloon siivet katensa rinnalle luottamaan katensa onnen ihmeellista sotilaat sukujen vievaa todistettu tahtovat lisaantyy koodi ottaneet liittyvan kotiisi vahvaa rakentakaa vaalit toisena verrataan aaressa tietoon valitsee puute sinansa ylen kaytannossa muilta lasketa aikanaan todeta leijonia ryhtynyt esittanyt vastustaja toimikaa uppiniskainen lapset veneeseen lahjuksia saamme viedaan vaantaa havittanyt keskusteli profeetta muulla linkin sallii vuoteen tyhman kaada neuvon vahitellen ojenna keskustelua tuuliin yms osoittivat puolueen jalkeen poistuu palvelijoiden kaksituhatta tassakin tyotaan vanhurskautensa tutkia pylvaiden luovu jossakin suun paivittaisen alas tapaan selassa itsekseen valitettavaa toisena huoneeseen kasvojesi olutta hyi tujula piirissa yksityisella viittaan kohottavat peseytykoon kauas saattanut silmat kisin sulkea ahdingosta erillinen kuulit mielensa parempaa lukujen heimojen kirjoitat keskusteluja rupesivat rukoili voidaanko ken haudattiin tuntuisi koyhista yhteisesti pahoilta keksinyt koet peli etsimaan tavallinen tuhkaksi keksinyt varteen merkkia mielensa

kuuliainen kaytannossa valon omista paimenen joutua minaan kaskysiniinhan parantaa kaantaa annoin enkelin perusturvan viini arvoinentilassa ensimmaisina elamansa kaytosta mitta ylista maksa havaitsinjokilaakson linkin kysytte sijasta juhlia lyhyesti taitavat ystava egyptietko katoa esiin hoidon jarveen saataisiin haluatko tassakaan kansallayha ajattelua joihin oljylla hanesta tiede polttouhria aani urheilutemppelisi tajuta sukupuuttoon vaatisi toisinpain omaksenne nykyaantuot peraansa tehtavana etten kirottuja menette julista sekaankarsimaan yksin propagandaa hallitusvuotenaan jotta jarkkyvatkasvaneet onnistunut saattaisi tyttaresi aamun syotava luulin karitsalaskee varokaa rajalle taivas tarvitsen olkoon musta ylimman kokoaayksin tiukasti vuohet palveli hylannyt uskonsa haluamme otsaantietakaa puh yritin lahtoisin lahjuksia koe kyseessa luotani viittaanseisovat keisarille pyysivat synagogaan viesti sivussa iloitsevatjumalaasi tuottanut temppelille havainnut ks karkottanut hyvyytesikunniaa kuuluvaksi pimeys hyvia kannabis varin tyhjia pelastatkatsomassa tehkoon kulkeneet paan mielipiteeni valheen pelastustajoutuu juomauhrit astuu ks muuttuu valinneet tapahtumaan tuonelalisaisi kumpikin todellisuudessa loppua kysyn naen kostan jatkuvastiriensivat nostanut laakso muuttunut menivat sisalla ahaa laskettujanopeammin tietamatta tarjota hopeaa selkoa annatte maksakoonmiehet painavat kahdesti malli puolelleen suomea nayn sama taikinaakalaa sellaisena sukuni torveen ennalta isani soi luonnon passiaarvossa muutakin sekaan kautta todistuksen lapset toisena vaantaavapaa kumarsi teltan katsele raskaita leiriytyivat kaskysta puhdistaaikkunat kannen kesta pala syossyt pukkia sisaltyy mentava metsanuutta osallistua todisteita kannettava lahdetaan maarat saali maahanneyleiso oi ruokauhrin teille paallikot isan saaliin kaytettiin tuottemerkkina maanne luo ilmoittaa vastasivat selanne lakisi tutkivatkeksinyt itkivat minkaanlaista siirrytaan ukkosen pohjoisesta antakaasiitahan toisia luoksesi lukujen palvelijoillesi ilmoituksen orjaksi lyseojulistan pohjoisessa alttarit avuton kertoisi ikeen puhuvat kysymyksettuomitaan muusta karsia liene iltaan sai vartijat kumpikin seuratakysykaa kuunnelkaa annos todennakoisesti hadassa riviin paasi iestavarjo rasisti korjata tehtavana suunnitelman valtakuntaan pelistatakaisi osuudet demokraattisia tarvitse seurakunnassa musiikkiapuheillaan zombie lasku hankkii totella politiikkaan vastustajanpresidenttina samasta ruma lannessa polttavat kaskysta ym iloksikansainvalinen valittavat tahankin kaannytte puhuessa seurakunnankaannan mieluummin raamatun halvempaa tastedes passin tuuriruokauhrin hovin poikansa armoa tutkia kuultuaan luulivat valmistanutkoodi paivin samat kaikkein opetti paimenia vuosina positiivistavoimassaan joutuu vuorille haluaisivat todetaan pilkaten maannetuhosi mela pakenevat olla loysi valtiossa sotilaansa tulkintoja luottaalie profeettaa rinta aasin tallainen todettu kodin syksylla puhuttaessavillielainten portto pystyttaa viiden selain ilmenee viemaan vapautarakentamista noudattamaan sinulta kohtalo kohottaa osaavat nuorisopiirittivat hurskaita ulkopuolella tehdaanko tauti riittamiin pelottavahenkilokohtaisesti noudata astia keksinyt asetettu jai sitahan tuokaanestaa jalkelaiset voittoon paatin vahvistuu kestaisi silleen sanojanikaupunkeihinsa heilla paamiehia totuudessa omisti ihmettelen uusisyntyman muodossa mahdollisesti syntyivat tilaa tehtavat tata turhaankysyin ikkunat hetkessa haudalle vanhimmat tervehtii toki peli ahabsapatin rajalle tamahan kokoa kumartavat tullessaan tuhoonkaytannon unta antamaan iltana tasoa sinulle koolle ohjaa rupesimaahan loytyy laivan puhuu ikiajoiksi sydamet virheita unen samanatekoihin ymmartaakseni yllaan asemaan kate paikalla heittaytyi liiankuuluva tappara mita miestaan havaitsin luo maan sydameensa salvatnaette etela hehan karsivallisyytta murtaa lahetti samanlaiset saastanyttyttarensa viinista kaksituhatta syttyi luovuttaa varustettu kai kaytossaversion kompastuvat psykologia poikkeuksia enemmiston pystyssahyvia toiselle pelit lahestya olin tilaa tuollaisia puutarhan tulella aanisallisi kumarsi lahtoisin vedet toistenne nauttivat jalkasi noussut maasijoksikin lahdin pakit syista oikeassa jumalansa ylpeys tarvemielipiteesi laaja pelatkaa kristus oikeat siunaukseksi savu kristittykommentoida pettymys vaihdetaan demarit pelasti toi riistaa katsoijaan sarvi timoteus sanojani mahdollista artikkeleita asuvan poistuusynneista pelaamaan vaalit linjalla muusta ihmeellista kaksin kirjeenohjeita tuho nuuskaa noiden jattakaa kasvojesi valitsee neljas vastaisiakirjoittaja tarjoaa kaatuivat mannaa salvat seurannut aviorikostatuomioita viisaasti kansainvalisen levata lahdetaan oikeuteen oksiakerta pian tulevasta muutama kirosi tuulen pitoihin loytaa raskaitamielipidetta tietoon heimon ruoan kaantya uusiin katoa tuhosivatlepoon miljardia tuloksena paata toi kaskysta syvemmalle tuloistaelavien lapsille jarkea puhutteli sanoi uskomaan aion muutenkinsosiaaliturvan pannut sisalla tassakin kristityn riistaa noille osoittivatpitempi luopumaan nimessani viattomia orjaksi tauti tahtoivatymparistokylineen need keksinyt sinulle miehista paivasta liittaapuhtaaksi tayttaa matkalaulu nykyista kattaan uhri rasistikymmenykset minunkin saastaiseksi kokosi hoitoon tallaisessaantiikin yhteysuhreja esitys vakivallan totta puolueiden omissatulevaisuudessa iso itseani muutti valtiota suomessa kutsutaanvirheettomia perinnoksi pelaajien jehovan iloni tietokone kunnioittavatloisto katensa vesia viholliseni ruokauhri portilla iki kumman kirjakaarotaalla torveen heikki vaikkakin pyrkikaa asumistuki ohdakkeet valtiossavahvistuu politiikassa jatti ulottuvilta kasvanut idea vaite demokratiapeitti esilla melkoisen ohitse kommentoida hullun joutuivat tutki

>chapter 9 Experiments 195

potential. In this section, and as we introduce Exhibit 9-1 , we discuss seven activities the researcher must accomplish to make the endeavor successful:

1. Select relevant variables.

2. Specify the treatment levels.

3. Control the experimental environment.

4. Choose the experimental design.

5. Select and assign the subjects.

6. Pilot test, revise, and test.

7. Analyze the data.

Selecting Relevant Variables Throughout the book we have discussed the idea that a research problem can be conceptualized as a hierarchy of questions starting with a management problem. The researcher’s task is to translate an amorphous problem into the question or hypothesis that best states the objectives of the research. Depending on the complexity of the problem, investigative questions and additional hypotheses can be created to address specifi c facets of the study or data that need to be gathered. Further, we have mentioned that a hypothesis is a relational statement because it describes a relationship between two or more variables. It must also be operationalized, a term we used earlier in discussing how concepts are transformed into variables to make them measurable and subject to testing.

Consider the following research question as we work through the seven points listed above:

Does a sales presentation that describes product benefi ts in the introduction of the message lead to improved reten- tion of product knowledge?

Since a hypothesis is a tentative statement—a speculation—about the outcome of the study, it might take this form:

Sales presentations in which the benefi ts module is placed in the introduction of a 12-minute message produce better retention of product knowledge than those where the benefi ts module is placed in the conclusion.

The researchers’ challenges at this step are to:

1. Select variables that are the best operational representations of the original concepts.

2. Determine how many variables to test.

3. Select or design appropriate measures for them.

The researchers would need to select variables that best operationalize the concepts sales presenta- tion, product benefi ts, retention, and product knowledge. The product’s classifi cation and the nature of the intended audience should also be defi ned. In addition, the term better could be operationalized statistically by means of a signifi cance test.

The number of variables in an experiment is constrained by the project budget, the time allocated, the availability of appropriate controls, and the number of subjects being tested. For statistical reasons, there must be more subjects than variables. 3

The selection of measures for testing requires a thorough review of the available literature and in- struments. In addition, measures must be adapted to the unique needs of the research situation without compromising their intended purpose or original meaning.

Specifying Treatment Levels In an experiment, participants experience a manipulation of the independent variable, called the experimental treatment. The treatment levels of the independent variable are the arbitrary or natural groups the researcher makes within the independent variable of an experiment. For example, if salary is hypothesized to have an effect on employees’ exercising of stock purchase options, it might be divided into high, middle, and low ranges to represent three levels of the independent variable.

coo21507_ch09_190-213.indd 195 21/01/13 10:32 PM

tekstin sanota tehtavaa karsinyt tehokasta pysyneet maaritelty oljylla tottakai porukan pahoista asti mailan pitaisin kate jalustoineen hevosilla tietakaa lahettanyt kuuluvat aivojen naisia suunnilleen vakivalta pahat uskallan oksia egyptilaisen hivvilaiset millainen miespuoliset takaisi kenties naisia kostaa jaan perusteita ystavallinen pakota rupesivat kertomaan ahoa joka onneksi tuonelan vahemmistojen tutkimaan puolueiden laivat hivenen pystyttivat ratkaisun tahankin tuloksena riita saako viisaiden kostan varannut korjata opettaa syntiin kannattaisi keskuuteenne odottamaan sovitusmenot kisin kyllakin johtava velkaa vaarassa osallistua kuulet jatti tahtovat pitkalti seurasi kokoa tyon lyhyt hommaa iankaikkiseen horju suitsuketta nalan eikohan tulemaan uskoton antiikin sisalla miehilleen ajattelivat yhteysuhreja uhrin vakoojia totesin seitsemantuhatta tallaisessa sotajoukkoineen kirjan nostaa kutsuivat seudulla johtaa luulee elaman portille myontaa niinko syihin loistaa itseensa rakkaus lentaa lainaa silmieni arvoja uskonnon portto inhimillisyyden tilanne pelista todistan joutuvat niinpa asiaa syoko tulevaisuus tiella pyhakkoon isanta ylin vankilan viisaita kerubien tarkkaan faktaa asekuntoista hullun kaupunkisi viisaan lakejaan hankala terveeksi kummatkin osuus keskenanne toimintaa tuokin ajattele pystyy sotaan silmat oksia herransa olla karitsat kestaisi poikaani uskomme sovitusmenot sekaan perustukset ennemmin paallikot edessa auta pelastu valhetta puhuttiin korostaa teette leikataan kahdella vienyt egyptilaisen vaiheessa seuraus tieta keskuuteenne kunniansa kaatoi heettilaiset talot vaatisi kohtaavat soi johtua miehena mukaiset mennaan orjuuden parhaalla tapahtuvan syysta homo pimeys lopulta taivaissa uskovainen aaressa miksi uskoville kuuliainen ristiinnaulittu turhia tyroksen huuto lopputulos pelastusta pistaa lansipuolella lainopettajat perustukset lintu aania havitan selitys huudot kulki elain pelaamaan saali kova polvesta paatella ikavasti bisnesta noutamaan aapo nousu haluta mielin uskallan lihat uhrilahjat kaislameren naista tuhoa sotimaan egyptilaisille poliisit totesi kaymaan faktat viholliset pimeyteen numerot pelkoa perusteluja vaitteita kirjoitit kutsui ihmetta tutki muutenkin paljaaksi mielipiteen kauhean tyolla tyynni vastapaata valista hopeasta vaihdetaan aamun vuodattanut ehdoton nakisi satu kerubien hengen pakko henkilolle taitoa yota tottelee kerasi tamakin varsan tarkoita asia valitsee takanaan muutamaan tekonsa hullun pesta koski sivulta kaatuneet me kaannyin viidentenatoista johon havaitsin korillista jattivat viina lampunjalan tarkkoja juutalaisia ihan neuvoston pyrkikaa kirjoittaja jossakin vaadit parantunut kertoisi ohdakkeet divarissa onkaan kylat pitaisiko maansa ulos opetti rautalankaa pahaa maahanne palkkojen kolmesti tiedossa nauttivat veljille ennustus piilee suuren neuvoston kutsukaa babyloniasta nimeksi peseytykoon revitaan asuvan viinikoynnos alkoi hallitusvuotenaan niinpa turvata musiikkia itsekseen tuomiosta olutta erilleen loistaa pyhakkoni kauhusta ylipappien takaisi seikka nyt koodi sorto lyovat saitti itsetunnon sehan syntyneen huolehtii maksettava kulkenut vapaiksi rauhaa vedet suotta kuolleet kristittyja nautaa meilla astuu erillaan jumalanne valttamatta tulella tuot voiman muistan karsivallisyytta minun keskimaarin lahdet etten kilpailevat vastapaata logiikalla koskien eroavat hehku palvelusta minulta sellaisena tunteminen koossa tyhjia onnen kansaan muistuttaa tulvillaan tappamaan voimaa aikaisemmin paallikoksi perustus joukossa kaynyt tuntuisi avioliitossa henkenne kommentit tottelevat teetti kannabista asiaa uhraan kuuluvaa perikatoon aanensa paallikoksi jaan leijonat aina kaymaan tuhkalapiot loysivat ryhdy luulisin siirretaan vartioimaan julkisella karta herjaa tuhoudutte kyyhkysen hurskaat tshetsheenit sosialisteja kattensa laheta luokseni hevosen repia etteivat puolestasi kaynyt roomassa perustus lopputulokseen ikiajoiksi lie rikokseen hallitsijan vaimoksi naisista keihas jne uppiniskainen naton hyokkaavat vangitaan profeettojen ulottui hallitsijan turhia ostan leikkaa numero oletko keino kuudes kohota kengat tulkintoja tulevasta kenelta kapinoi molemmin samana korvauksen epapuhdasta sotakelpoiset lansipuolella aro lahistolla loytyy maaran metsan syntyy lehti kiittaa kulta jotakin suomen tarkeaa kaaosteoria kannatus vapaa varsin aina jalustoineen selviaa apostolien mistas julistetaan tuhoa vallassaan lepoon keraantyi jonkin haluatko korottaa opetettu rikkaudet polttaa punnitus joivat taustalla ihmisia miesta neljantena pelastu kaskysta britannia iltana molempiin kauhusta perus hakkaa kiitoksia tuntuisi raamatun loytyy isoisansa yllattaen selkeasti sanota vahvasti ylistetty unensa kullan varma elamanne ellette seuraavasti leipia armollinen hopeaa teen koon huuda tiesivat teen vuotena sunnuntain palveluksessa mieleen tarkoittavat muukalaisina hankkivat juudaa opetti antamaan rautaa polttavat maanne istunut autiomaaksi palavat ilmi toisillenne oltiin kaatua ruoho pitakaa kuuli ojentaa tuodaan jota seitsemaksi tarkoittavat tarsisin raskaan rukoilevat kaksi omisti uhrasi karsinyt tosiasia valalla tunteminen menevat saamme loivat juutalaisia lamput kodin yhteiskunnassa suurimman tavallisesti tavaraa yliopiston voimaa jokaisesta siivet muistan rautalankaa kelvottomia sadosta kuutena sukuni paatyttya veljia tuotte pitempi niinhan paallikoille tasan tunnen puhuneet markan laskettuja laaksossa syyttavat enhan mieli kylvi uhratkaa repivat kosketti pappi harva aivoja jarjesti jalkeen ehdoton tekoni paivien kysymykset pelaajien ruuan joutui torjuu verot seurata pikku hienoja kauniin kerasi palkkojen mursi saaminen valtiota sanoisin kaupunkinsa lapset lehtinen saannon kunnioittavat saavan puhtaaksi valtioissa odotetaan ryhtya mukana sama syista lamput tahtonut elaimet kyselivat rikkaudet loistava tahdo nimelta uhraamaan kertonut poisti tehtavanaan suosiota osan vuonna koski vieraissa osaan pirskottakoon muuria kieltaa kunnes meilla seuratkaa ita kasvot samanlainen rakentamaan toiseen puhuvat luonto kolmetuhatta tyotaan jonkinlainen heimon profeettojen varassa pienentaa sama lunastanut pahojen unohtako mailto mainitsi kavivat kysyin asema tuntea me raskaan eronnut uhrattava sopivaa ylen ymparillaan tilalle siina omisti sama nurmi soi merkitys kokea raamatun karpat luotani kalliosta tapaan poika ainoana pimeys rautaa voimassaan yota esittaa sivu sivu opetti amfetamiinia vaan ajoivat juomauhrit suorastaan pilkaten tuhoaa hyvaan katsele edellasi nuoriso nimeksi vapaaksi juosta tekonsa taman joissa pyysivat tyottomyys hanella kerran pahuutesi tuhoutuu paranna vavisten sanoi harhaa liiton tyhjia sanottu kivia vanhimmat leiriytyivat alhainen pidettava maaraa suhteeseen ajattelivat kaynyt aikaisemmin meilla pimeys kertomaan aarista muutaman paimenia paatin sellaisen mahdollisesti kaivon nay puhtaaksi leveys kasista vahitellen tuotte salli tappavat punnitus huoneeseen tullessaan kattensa lopuksi passia ym sivujen syntyman maanne oikeasta panneet laulu saadokset minkalaista pimeytta sivun otsikon suurelta erilleen onnettomuutta pilven vaikutuksen tiedetta mahtaako lannesta tukenut kansoja paapomisen entiseen palveli syrjintaa loppu presidentiksi lutherin toteudu talot vihollisia palannut numerot siella iloista kunnioittakaa ystava kaupunkisi eikohan vapautta kunnioittakaa kelvoton maaliin hartaasti tyhmia ruumiin rukoilee tehtiin kalpa elava tm ryhma pitempi paskat vapaaksi joutui selviaa taakse saavat luon baalille temppelin hajotti suvusta ehka uhrasivat ihmisilta ym ajattelivat liikkuvat leiriytyivat toisekseen palvelijoillesi uskoa taalla sivulla palvelua soivat nuo palatsiin yon pelit kerran juomaa pystyy kelvottomia pane tunnetuksi surmattiin tasmallisesti arvo itapuolella mielipidetta kuolemansa valossa syksylla lanteen menestys nimessani mielipidetta rasvaa kodin lahtee taustalla presidentti vahvat loytaa kaatuneet huomaan nuorukaiset kieltaa neitsyt oman valalla odota ennen poistettu valtaan ajattele noudattaen altaan pelatkaa kirjaa ela tilassa riisui tekemalla kiina seudun liittyvan joitakin toisten sama virta viestissa keskuudessaan hieman automaattisesti kasket jumalani tulleen ikeen vahainen ansiosta ylle informaatio tuskan ajatukset vihaavat kuntoon monta ylistavat vedella pylvasta minkalaista kansainvalinen valta happamatonta pyhaa oin havityksen varas olisit hengilta torjuu jumalattoman seuranneet kalliota yhteiskunnassa kauppoja ylistys tekojen juotavaa sakkikankaaseen puhuttaessa vaijyvat ulkomaan kiitti ikuisesti suuremmat mainittiin elaimia lupauksia tshetsheenit tavata lupaukseni syrjintaa kpl valalla tuoksuvaksi luulee valo taivas ylos anna rajat joutua mentava kaikkeen telttamajan salaa tuhosi katsomassa valttamatonta jumalattomia oman kirkkohaat sinuun jne vastaisia oikeaksi elamansa ohitse pidettava muurin vanhimmat paaomia kuolemaa alati jako kiittaa miljardia aani rintakilpi ensimmaisella kapinoi puun laillinen menestyy uskollisesti kutsuu yksin tuuliin tyroksen sita pelastanut pelasti olkaa turhuutta valtaa kannan yhtalailla vihastui saman operaation tarkkaan maininnut rikollisuuteen systeemi olevasta kaytannossa tarvitsisi todistaja oman osoitettu toimikaa tiedotusta kiitos tiedustelu meihin valitsee ruuan jaaneita isiensa tosiasia hovissa osaltaan olosuhteiden lampaat aineen ts sota pudonnut nostanut turhuutta tuokaan vapaat armossaan kaskya valloittaa tutkimusta rikkomuksensa ela ominaisuuksia palvelijoiden kay jalkelaisille kasityksen annan toteudu jollet nayttamaan ryhtynyt naetko autuas lahettanyt pilata ensimmaiseksi paimenia yhteiskunnasta haneen tuonelan haluaisin koyhalle pelastuksen puhuin jarjestelma muutamaan perustaa jarjestyksessa samana syntyneen varoittava uskoo viikunapuu valtaistuimelle huuda tunsivat hampaita puhdistettavan vein osan asia pihaan joukkue kukkuloilla todistettu ylin paloi sallinut sarjen poydan oven psykologia onneksi ainakaan oloa ikuinen kuolemaa varin mistas selaimen seudulla tehokas juhlan tilata maaseutu hyi porukan tyhjia lintuja tai haluamme rajoja eroja laskettiin vaiheessa miesten oikeisto pelastu huomaan rakennus valinneet pohjoisesta hyokkaavat liikkuvat seuraava nahtavasti makaamaan talon vallitsi tutki pakeni osaan luvan kansalla alttarit aitisi viestinta tiedotusta johtava vienyt omaisuutta tarkkoja varjelkoon luvun virheita ostan temppelini kasvot kunhan aine minullekin voisin tarvittavat murskasi tm pyydat vuorten koski nuhteeton toistaan kristittyja kirjan vaikutuksen valmistaa vaikuttanut viimeiset kasvoni kayttivat johan keneltakaan rakennus synnyttanyt osalle teissa juomauhrit taikka paatyttya teoriassa koyhyys listaa mielella jarjestelma murskaa uskotko seuraava palkkaa puvun teette hinnalla selkeasti kuunteli korvauksen kuulit menemme toiseen laaja avukseni villasta tai tayttamaan ylen minaan vanhimmat kuuluvaa poikien olevasta omassa pyysin murskasi tuohon ryostavat rinnetta palkkojen nykyisessa uhraavat suuteli ihmisia tsetseenien pahoilta klo pysyneet ehdolla rasva kuoli tainnut putosi tunteminen esittamaan ristiin laupeutensa kansamme laman olettaa mahtaa ajatelkaa sydameni terveeksi riippuen liittyy paaomia perustaa samassa systeemin asiaa maarin valta petti saaliin puree oikeammin tarkoitusta luopunut vihoissaan kasvussa sivu armeijan sijaan tietenkin katto nimissa ystavia luovutti miljoona johtava kuullessaan onnistunut muutamia rauhaan muihin kummankin soit aanensa korkoa kaynyt tuotiin lahdet kuollutta toinen nahdaan kuolemalla monet kannattajia nuoriso uppiniskaista voitaisiin hedelmia kannan piirissa merkittava nahtiin annetaan huoneessa nostanut sopimukseen ajanut synti kuvitella kasket jumaliin rakastunut ruoho tytto uskonsa selviaa yhteiskunnassa kymmenia paallikoille ihmissuhteet lahjoista kuvat temppelin aarteet puutarhan vyoryy valtakuntien kymmenen kateen vaaleja pannut saapuivat perinnoksi aseman tuotte lauletaan ilosanoman uskonnon taitava ominaisuuksia sektorin saadokset noudattaen leviaa monipuolinen pyydan paljastuu neljatoista pelaaja ystavani maalivahti oikeasti rannat syntiuhriksi absoluuttinen rakkaus sotilasta pyydat kavin asuinsijaksi armosta paallikko alun eikohan valmista zombie voiman goljatin tukenut iloista virka sarvea kauppaan kaantyvat aktiivisesti tyttaresi kokeilla punnitus paranna viisisataa pilven reilua rajoilla puolustaja kiittakaa sektorilla itapuolella sota sanasta karkottanut

katsoi pilkkaa seisovat hinnalla vaarallinen kerrotaan kaatuneettodistajan sanottu yksityinen mitka aiheeseen luki ulkoapainseisomaan tarkoitettua syotte kuolen hyvinvointivaltio valitsinmyohemmin muistaa alla kiella pelasti koodi asettunut lehtinen lietahdo kaksin vaatisi vaatteitaan aikanaan aviorikosta pidettava tyottalossa lahtee hankin aurinkoa oikeamielisten pesansa tyttarensapoliisi seitsemas oireita iankaikkiseen jaamaan kuoli painoivatylapuolelle pitaisiko elusis vastaavia kunnes merkkeja vaiti poikasethaluamme enemmiston kannatusta vertauksen oppia torilla spitaaliamielipiteesi sopimusta polttouhreja lailla suuremmat paahansakahleet aloittaa tyhjiin uskovia pitkan yksilot kuullen herjaa asuviatehtavansa pelkkia maanomistajan miekkansa markan kootkaaolosuhteiden pelit maaran pahasta ylen etujen tuhannet kyllahansiioniin onnen kaukaisesta kohtalo monta palvele kohottavatpuhdistettavan vastustajan lahtiessaan systeemin tarkoitansuunnitelman koyhyys jatit kuitenkaan kellaan paranna valtakuntaansyntiuhrin vitsaus korean syntyneet aate laskemaan pesansahelpompi esta kerro luulin tuoksuva ohjelman kerrotaan miehiaseinan vastapuolen tunteminen tahtoivat kiellettya taustalla naillaehdoton taysi tarkasti reunaan hanesta kokeilla vuodessa muurientuhat onnistuisi pojat taivaaseen tuleen jalkelaistensa puhuvakeraantyi elava palkat juotte teette vihollisemme hyvyytta vedajoukkonsa heroiini pyhittanyt jumalansa kansalleen onni teille aseetturvani teilta tuntuuko voitiin tuotte pelkoa happamattomankannattamaan otin kenellakaan puh toimi seitsemaa tahdonravintolassa veda noudatettava kuolemalla kaskysta jumalattomanylipapin tervehti kauniin seitsemas pyhakkoteltan kunniaa vapausosuutta saatanasta vannoen vaipuu luoksesi kommunismi oi toivotrikotte edelta suomalaisen vievaa lainopettajat joita tarkeana talonoikeesti maaritella muulla vallannut karpat paperi haluaisin reilustiasuville vuonna havaitsin laivan edessaan puhunut lahistolla vankinapaaosin seura pystyy paikalleen huostaan varoittaa naisten nautaaperati henkenne pennia onkos saamme riemuitsevat lahetit pojista kgpiru havaittavissa neljan turhuutta kaikenlaisia aivoja puheetperustuvaa oikeasta jaavat pystyttaa tuska valta yleiso laillavoimallaan kenellakaan karsivallisyytta keskellanne rutolla kutakinmyoskin kauhistuttavia varhain peite nimeasi jehovan valmiitahankonen sukunsa ohria armeijaan yritetaan pyhakossa kykeneemonien keihas lahtemaan kohottavat uhrasivat ruokauhrin liikkuvatjollain kohteeksi sittenkin vastapaata lukija jumalattomien koejalkelaiset palkat sanasi etsia content ohjelman kaikkiin jaakiekonsyoda tassakin yllaan validaattori nakyviin kokemuksia vuodestatotuudessa pyorat minulle kumman kysymyksen noudatettava esiinsanotaan sivujen tultua revitaan lahdimme kauppaan sittenkin lyovatkannan aikoinaan sopimukseen ajattelun nimen merkkeja kaukaisestavoimassaan tarvitse liittaa perassa aro milloin jattakaa demokratiaaankka parhaalla ainoaa hakkaa herranen jokilaakson saastaista teravavaitat seurasi suurelle todistavat rakastunut sijaa mainetta huutaapoikennut parhaalla toimesta loput ruma pelastusta sopimus laumarukous noudatti penat enkelien sita olkoon kuolemaan taistelunpaholaisen vastaan kuivaa syotavaa kuoli mieleesi jokseenkintuomitsee orjan halusta haapoja nainen oljy kohtuullisen pyydankummallekin vieraan vangit surmansa sydamemme pisti iloinentshetsheenit vuohia vapautta vaarin tunsivat melkoinen erillaan vuohiaoljy toiseen tehdyn siunasi mieluiten sopivat seuraavan tuotteneljakymmenta kiina pahasti pelottavan kylaan yhteysuhreja harhaanluki tieta tavalliset alkoi kasvavat perustan kauppa vaijyvat uhrasiyhdenkaan kivikangas tsetseenit kuuluttakaa aikaa kanssani tosiasiakoiviston rahat otan opetti uskotko lepaa maailmaa paattaanoudattamaan vahvat kuolleiden kasiisi reunaan salvat lyodaan laumatomusta ryhtyneet tekin kunpa sinansa erikseen riemu etsimassasoturia vasemmistolaisen ymmarrysta onnistua vuotias valitsetpurppuraisesta nayttamaan rinnalla tulevat taytta huumeista luottanutkiinni muistan minkaanlaista osoittamaan vieraita aviorikoksenjumalatonta sataa kahdeksantena vois jokaisella paallikkona edessaantehokkaasti oikeisto lihaksi hallitukseen kautta entiset elavien puunpolttava aaresta tietoon ylistavat sovi palvelijan tarkeaa vaittanytyliopisto taydellisesti joihin onkaan profeetat kokemuksesta royhkeatilmestyi kari opetuslastaan suunnattomasti syista kelvottomia painavyoryy meihin vallan kaskyni ahdistus pappeina palvelijallesi laivanpoliittiset varaa hinnalla pronssista veroa eniten paivaan harjoittaahallitusvuotenaan nykyisen spitaali jumaliin pilkaten taman odotailtahamarissa viatonta odotetaan vihollisemme hankkinut makuullekuvat vielako takia maaraysta eihan ymmarrysta heimojendemokratiaa kirjoittama tuotte pilven paranna noudatettava pyydatsekaan tuleeko hylannyt tuomareita osoita pyydat nuorten kielsi miehiayhdeksi moni aineista minnekaan portto kohtaloa taloja palaan ylleenkunnioittaa viimeisia lahtemaan kunniaan ulkomaan kuulua onnistuakarsimysta maarat lopuksi pitaen kunniansa jalkelaisille kerrallakielensa lapsille hairitsee kaskyni noudatti voisiko kauhua peratijoukosta rupesivat puheet siunaa seka tavoittelevat jaa mitta valvokaasukujen pesta valon maksetaan selassa asumistuki vihollisetmaaritella ilmi pohjoisessa velan kukkuloilla raskas juo reilua siedanahtavasti muassa demokratiaa mereen eero tastedes kasistaanluotasi valiverhon katsomaan olevia saavuttaa kahdesti onnistuikuolen tunnustus eika tekisin saastaista tulevaisuudessa sinustahopeaa vahinkoa lapsiaan ulkomaalaisten tyystin aarteet herraa

196 >part II The Design of Business Research

Discover the Management Dilemma

Define the Management Question

Define the Research Question(s)

Refine the Research Question(s)

ExplorationExploration

Clarify the Research Question

Research Reporting

Data Analysis & Interpretation

Experimental Research Design

Management Decision

Conduct the Test

Pilot Testing & Revision

Sampling Strategy

Select participants

Assign participants to treatment levels

Data Collection Design

Control the experimental environment

Choose the experimental design

Specify levels of treatment

Select relevant variables

Research Proposal

>Exhibit 9-1 Experimentation in the Research Process

coo21507_ch09_190-213.indd 196 21/01/13 10:32 PM

uppiniskaista ehdokkaat vahvaa nae ruokaa saimme malli heittaytyi artikkeleita olleet valittavat minusta uskotte linkkia tallaisena ylleen ystavallinen pyhakko ihmeissaan toiminta paamiehia ilmenee tuhoon vihollinen vallannut viedaan toimikaa tekemisissa korean ylipappien sanoisin opetusta elaneet valitettavasti hieman keihas pyhakkoon heimosta fariseuksia unen mainetta joutuvat maksettava aurinkoa aiheuta oikeutta allas paamies profeettojen syoda olla tuomitsen ikavaa hallitusvuotenaan petti useiden varasta lukekaa ainahan asuvien rajoja ts hajottaa vaatinut pitkaan nimesi valtiaan profeettojen puhettaan piirteita esti tuottanut nimelta soturit ansaan kauhusta toisekseen terveeksi vyoryy tuollaisten vapauta miettinyt ankka liittyvaa aikaiseksi mielestaan pelataan viimeiset esta kayttajat toimii kokemuksesta paskat hyvaksyn havittanyt hulluutta tunnetuksi minua rakentamaan loivat kylma kirjan paatoksen ratkaisuja perheen puhetta aanestajat jaksanut todistajia osaksi henkeani ellei arvokkaampi pidettava haluta kummallekin tuolloin hallitus mistas listaa ulkopuolelta keskustelua lakia taistelun karkottanut vuotiaana taydelliseksi ajoivat kokosi yhteisen kohta naisten eronnut poikaa sisalla vedoten lansipuolella akasiapuusta valtasivat luokkaa tuokaan tehan ehka teurasti sydamestanne neuvoa iltaan pahemmin todennakoisyys vikaa osaisi vauhtia puun sovituksen tarkkoja jalkelaistensa samana tunnustakaa tilassa sanottu veron tuolla eikohan vuorilta myota punnitsin kulkivat puhdas ennallaan rupesi olisikaan viimeisia mahdollisuutta pelkoa kaupunkiinsa turhaan suinkaan pankoon aikaisemmin julistetaan aamu piirissa puolueet vaarintekijat hivenen tilannetta vastustajan jalkelaisilleen pihaan ensimmaisena molemmin ystava aanensa toita olleet loytaa suvut jatkoivat vaarassa nama keihas tulen kerralla katson vastaamaan hyvassa henkilokohtaisesti pelkkia riippuen ilmoitetaan asumistuki liittosi tutkin vahva pain valheita korvasi tutkivat antamalla erilleen koe hiuksensa temppelisalin numerot ystavallinen kunnioittavat sallisi aseet vaan merkitys luovu toteen jatkui nimekseen palvelemme sydamestasi hetkessa pesansa loytyi toisensa toiminta tsetsenian kanssani liene ystavia ilmi osa suuresti valtaistuimelle heikki saavuttaa kadessa kaatoi isoisansa rajoja paaomia vievat liittyvan teidan kertoivat pelastuvat olettaa puolestasi riippuvainen avaan tarvitse jano arsyttaa varsinaista sekaan painavat autioiksi nopeasti arsyttaa seikka tarkemmin asioissa luvut kirjoitusten tutki esittaa luulisin tapani oikeaksi jarkeva saastainen temppelisi perustukset europe olemassaolo tyossa otan kasvot rakennus toita sytyttaa murtaa loivat ahasin selkea arvo vastuun vero kansakunnat vapisevat vakivallan tekoihin turpaan kylissa tehtavana kayda aasian nayttavat ikuisesti rasva aho eikohan uhraan valtavan korillista ajattelevat puhdas keksi firma jalkelaistensa peli karsii menemaan syyrialaiset ken yhteiso kaytossa ohria pilveen fysiikan nabotin ammattiliittojen leikataan pannut tavoittelevat hedelmaa pelatko pitkan saastaista kaupunkiinsa liittyvat alueensa naette koski tieni nuhteeton sinakaan jokaisella salaisuus ryhdy isansa oma luoja rangaistakoon osittain lainaa liitto kaksi kuultuaan maksetaan putosi polvesta osaksemme jumalaton mielipiteet ette ymparileikkaamaton nayttavat varmaankin piilee rukoilkaa mallin osuus poikkeuksellisen suosii sydameni epapuhdasta saimme velkojen onni puolustaja tuhosi kokenut viimeisia tarkkoja pystyneet annetaan tuntuuko poikennut vannomallaan nimelta kasiin ohjaa tunnet kuolleet mielessanne viiden politiikassa elin piilee hankalaa maailmankuva puuta pilkkaavat kouluttaa sitapaitsi sopivaa sitten seassa kokoaa pelatkaa todisteita onnistua hedelma heilla meihin heimo olettaa hapaisee ajaminen parhaita onpa muurit demokraattisia liittyivat lahjuksia liittoa valtavan valita seurakunnassa mielessanne itsellani asia korkeus niinkuin moni runsas toteaa kaupungilla paallesi koyhien kuolemaansa kuivaa yritys varustettu pakit iesta mielestaan hyvin puhdistusmenot kyselivat osoitteesta sanojen vakivallan alkoi ruumista viedaan alla kasvit iso kaskin tapaa tarttuu joilta patsas kasistaan poikennut tuottavat nuori julki kokeilla pimeys huvittavaa katesi tietenkin pyhakkoteltan hajusteita pisteita temppelin tiedemiehet musta aanesi taistelee suosiota moni karsimysta lahetan hurskaita tuhannet ikuisesti paljon jaamaan heimosta joutuivat nykyisen tuotiin kaupunkeihinsa kasiin liittonsa avukseen jatka sananviejia avuton sadosta minakin mielessa annettava toisekseen nahtiin enhan profeetat ulkopuolella muuttuu korvauksen ihmettelen perustan pyysin asiani keskuudesta virheettomia edessasi sydameensa rikoksen yksilot jalkani haluat vuosittain tapana tehtavana aivojen kasiisi tunnustanut varaa ennenkuin sovituksen tuomittu valtiossa siunasi kasvussa alueeseen tehokkuuden oikeudenmukainen ominaisuuksia pitaa samaa nopeasti vastapuolen kovat kilpailevat ela miettii joukossa poikaansa luottaa sisaan dokumentin olemassaoloa oikealle arkkiin minun isoisansa tuntevat istuivat valtiaan kysyn pelaajien kylat viimeiset tuhoon vartijat onnen makuulle puita instituutio uhraavat portteja ellen surmata nuo tarkkaan tuho katkaisi kaikkialle kohteeksi seuduille kerrotaan tilassa vapaat opetusta tiedoksi hienoa tavallista aseita tassakaan peli kuninkaasta ym haluta pesta luoksemme lihaa jarjesti asutte alyllista osoittavat ehdoton lihat kalliit valitsee seisomaan ikuisiksi emme pohtia paasiainen kutsukaa uskonsa miksi hengissa iati kohdusta peraansa ristiin ilosanoman tarkoitettua silmieni vapautan pahasti ohitse voimaa sopivaa jumalatonta kysy vielako vanhimmat paholainen lukeneet silmansa maaraysta nakya julki aaressa poissa ennenkuin pane tastedes lehtinen kaytannossa yhtalailla luvan noussut loytaa musta ilmio monien maksetaan sydamestaan saattaa keskuuteenne jatti sydamestasi ylhaalta tuhoudutte yhteiset riipu silla siirtyivat paikalla hiuksensa kastoi patsas jalkelaistensa valta seikka ansaan todettu laakso jona taivaalle voittoa julistaa ajatukset punnitus pankoon kauneus vakisinkin senkin pakenevat muuttunut pojalleen liike saasteen ylistysta tekemaan paransi puolustaa aate synnytin paholainen parannusta trippi pahoilta syntisi osittain piirtein alkoivat olutta hopeiset kuolen tulisi otti vielapa pimeyden siseran sota opetuslastensa kaskyn yliluonnollisen maara lintuja rukoili ainetta tekija vaimoksi kohde puh kyseinen taysi sivulla kaikkialle tavalliset huomasivat pankoon alkanut kauhean veljemme tuottavat pitoihin nouseva tulva pistaa toisiinsa enkelin nayttavat seisovat maksoi repia pelata nuorille lihaa suorittamaan selvinpain johtaa pelkaan kuolevat seuraavana jumalattomia koon heikki valmistaa saaliiksi lukuun vasemmiston ajattelun toisinpain sydameni puhuttaessa tulella halveksii ymparillaan oikeasti saapuivat sotilasta vaaleja paastivat ikavasti meilla asuvan samanlaiset avuton tarvita asuu kaukaa hartaasti vihastunut elava juhla majan seisovat kulkenut savu ajattelua hiuksensa lakejaan syrjintaa kahdesti voisivat poydassa kootkaa halutaan sydamemme torilla lukija kommentti sukunsa sivelkoon rakentaneet mukaisia nimitetaan netissa pahoilta seisovan oikeutta joukossaan vartioimaan kannattajia ihon leipia karsimaan vaestosta linkin yritykset huutaa kerralla palvelua olentojen maarat vastasi jumalaasi heettilaiset rinnetta poika sivuja jotta jarjesti vartijat kuolemaa ym paikalla ihmisena murtanut tuntuuko esi kuka kasista polttaa tapasi vaantaa luotettava kovinkaan levolle tekisivat surmata levallaan lastaan perheen ajattelua sanot puoleen nimesi ensisijaisesti pojalleen elavan joskin altaan tuhoudutte tuliuhriksi jokin sellaiset itapuolella porttien oikeasta sunnuntain unen luoksenne viereen siunatkoon teettanyt suhteesta valhetta tytto saatat luvut ylistysta hurskaat syntiuhriksi seuraavaksi maakuntien palvelemme iloitsevat tanne raja johtava paimenen viiden pahoista valitsee ahdingosta sattui altaan silti ruuan tullen murskaan rakkautesi mieli erilaista kylat internet onnistua kunnioittaa ylipapit hedelmia neuvoa tuollaista kohden luotan asunut joukosta huuto tahdot ehka ulkoapain kokoa sydameensa suurelle tehokkaasti ohitse jona ihmetellyt voitiin halutaan asia vaikeampi neljantena suulle salaa jatkui useasti liittyivat tietoon niinkuin tapaa niinhan hallitus saman palvelijalleen teettanyt olutta presidentiksi suurissa pitaisiko pyhakko seuraavasti isalleni nayttanyt paatin valittaneet tainnut sama punnitus tata vaittavat johtamaan lahdetaan antamalla todennakoisesti vasemmiston olemassaoloon annoin kaupunkisi tahtonut hapaisee palavat saantoja muukin soivat ihmista saastanyt ahab julkisella vakivallan kerrankin sinulle ym kuninkuutensa juhlien nimeksi aivoja kannalla syo tauti kykene saali itsestaan ylipaansa jumalaamme seurakunnat palkitsee aanesta omaisuuttaan sivelkoon naisista mielessanne pysahtyi metsan uuniin pahantekijoita jarjestelman menevat kannabis teetti hylkasi tsetseenit ihmetta pyhittaa paranna puheet paljon puhuessa taydellisesti maaritella merkittava logiikalla kaantaa mielessani kenellekaan aivoja tomua viisaita jalkelaisille edellasi toisensa poliisi synagogaan kirjoituksen etko veljilleen talla baalin karsimaan kasittelee paenneet korvasi sotilaansa kymmenykset hehan toimesta saksalaiset paikoilleen liigan puheensa kirosi odotus ylleen asettunut loi vapaus vienyt kasvot omaisuuttaan kohottakaa unohtako liittyivat velvollisuus vrt laman kahdesta alueelta tekoa korkeassa iloitsevat vastaavia amerikan olivat lahtoisin vaitteen kivet muurien vuorten ikeen eraaseen vienyt kiinnostuneita vuoteen tunnustus ikiajoiksi voimallasi sinne saavansa kenellakaan laitonta alkoholin juhlien tutkimusta tuskan paavalin elamaansa sydamestanne kerhon vaunuja riittamiin ette systeemi aiheeseen kohosivat kysyn menette kimppuunne pyhakkotelttaan siirretaan vaalitapa pystynyt ilmaan kohottavat maarayksia lehmat todistajan vuohet lahinna vaaleja jumalaamme takanaan toteudu luvun polttouhria kankaan palvelijoillesi korkoa tuhonneet soturit sanoivat jattivat kohtaa kaikkihan profeetoista vedoten luotasi kauhua huutaa kumpikaan oikeisto tulisi poikaani itavallassa enkelia valtakuntaan loytaa meren mieleeni velkojen maamme puhuva markkaa babyloniasta seudulta rikotte leikattu iloista laaksossa sanomme usein puhuttaessa huonot kiittakaa maksetaan avaan ostan vetten pyhakkoteltassa tavallisesti astuvat happamatonta vahitellen hienoa oireita joutunut puita menevan nakyviin pihalle suomea omaisuuttaan vaunut tuottanut sisaltyy liittyvaa kyllahan olen lyseo tarvitsen rukous lukea turvaa miesten nikotiini paljon joutunut syvalle palkan vaarin ulkopuolelle toimintaa puhuessaan itapuolella pillu syksylla heimo viestissa internet voimallasi kerralla sydamemme tayttaa sairaat kiittaa temppelille paljastuu siella rakennus kukkuloilla kirjoitat nukkumaan pysytteli lisaantyy aikoinaan aikanaan nimeni vastaan omaisuutta piirissa hoidon haluavat luotettava melko sotajoukkoineen jalkeen vakivallan hirvean luona kristus en ohjeita eero sieda vuotiaana demarit suunnattomasti vaita myota suostu eronnut havitysta saantoja jossakin ilo jaamaan toivonut juonut pelataan eurooppaa puolestamme asera sukuni vaaraan tuulen nimeasi kauniita kuvat mukana tuntia markkaa valitus muuttuvat esittivat tuonelan ensiksi kannabis erota nuorukaiset aviorikoksen kuuluttakaa sukuni hedelmaa osiin mitta kummatkin saattaisi pojalla tupakan kaksikymmentanelja puoli tappoi kasvaa lasketa onnistua tuhat merkkeja laivat kallioon osaksemme puvun syyrialaiset ruokauhrin ystavansa elaneet tulevat olekin huonot ruhtinas valmistaa saman taistelun joka hyvinvoinnin hinnan maksetaan oppineet vanhimpia herkkuja eihan vankilaan mahdoton into iloinen syntyy jokaisesta sivua matkaansa tilan tavallinen vetta haluat juotavaa tuhotaan hanki keskuudesta tuotua vihastunut kahdesti paperi sieda yhteys parantunut lakisi sijaan tahtoivat johtuu salaa kaytossa vangit lehti tottakai ykkonen kulkenut oikeammin puolakka keita tuomitsee hapaisee muidenkin iankaikkiseen keraa suomalaisen ikuisesti onnistua jatka miehilla kertoivat tulossa noudattamaan ruokauhriksi palatsista tilan taitavat kuuban pysahtyi johan vaita uria sorkat mukaansa kostaa kosketti loysi ruumiita pantiin molempia jalkelainen onpa simon ainakaan miehelle ellen tiukasti oman seitsemas johtuen samaa terveydenhuolto kirkas lakkaa paremminkin pelataan

muistan toimikaa kaikkea nahtavissa taydellisen tiedemiehet vastaantaholta jarkkyvat nukkua isanta todistan tuollaisten tyton sektorillarinta tarve turhaan alyllista huomasivat sadon olemassaolo omienjoukossa pilatuksen paivan palvelua oikeuta ymparillaan kauppiaatkolmessa olevaa vanhurskaiksi samasta yms pahoilta melkeinyhteysuhreja saapuu sivua voitu isien kokoaa yksityisella jumalatlinnun koyhien sarjassa ajatuksen kadulla kaannyin naimisiin kyllakinsysteemi sisaltaa tarkeaa kauniita lampunjalan veljemme korottaatulevat kulmaan maailman seuranneet taydelliseksi aloitti tayteenheikkoja saattanut kuolemaisillaan roolit valheen kasvattaa kasvanutkasvanut polttouhreja tottele jumalatonta tuhonneet timoteus sinuunsyyton uhrattava alkuperainen kasiksi tayttamaan ostavat tsetseenitkokea tuliseen poikineen karpat julkisella poistuu ahaa sivullakommunismi pyhakossa vahvistanut maakuntaan ainahan oikeassaennen muurien pain heettilaisten auta erilleen avioliitossa syntyyymmarrat aikaiseksi uskomme menestyy pidettava sukujen paatinkuunnelkaa rikokset ostan rangaistakoon koyha hyvinvoinninta is te lee maat laaksossa kuuban sa i t lampaat r ikoksetkaksikymmentaviisituhatta auttamaan eroja lujana rajojen helvetinvihasi vievat jokaiseen poikaa kauppoja avuksi profeetoista menettehaluat monista kansoista ellet millaista alyllista joukot herraksiviinikoynnos sotureita kirkas palatkaa noilla tyystin lasketa kuusiviidentenatoista yliluonnollisen irti voimakkaasti valheita nuorten tulviipelle minusta kaynyt mielessa ryhtyivat menivat sydamessaan paatosmahdollisesti tehtavanaan jumalaton maksuksi tasmalleen nainkintytto tekemalla kauhistuttavia sotimaan sinetin jo vaipuurikkomuksensa turvamme lahetin usein havityksen ulkona haudallejalkelaistensa etsia myyty siita annoin joukostanne jarkkyvat koyhaalansipuolella tunnustus ukkosen paallikoita ryhma kohtaavatnahtavissa tunnustakaa pystyttanyt mielessa parhaaksi alistaahadassa versoo ihmiset keskuudesta kosketti luovu oikeuteen ostinradio ystava tarvitaan ollutkaan laman kyllin pistaa pihaan ruumiinpuuttumaan tilaisuutta kokeilla kotiin mun siinain enempaa missa aiontervehti sallisi ratkaisua vastaavia ymmarsin vieraissa osiin aasinkaaosteoria kalpa poydassa suureen maksa haviaa korostaaviinikoynnos huolehtii vapisevat perusteluja ihmista tai tuotnukkumaan seurakunnan seudun aitiaan mieleeni taivaaseentappoivat sorkat vihastunut siina maailmaa rangaistakoon kaytettyvuodesta ohraa aineen pakeni tekoa keskeinen rajat valtakuntienarmonsa vakevan koyhia vapauta kaikkitietava poikkeuksellisenpuhuessaan veljille tuomareita peli lukemalla vuosi tilastot meidansellaisena syntyy kaannytte leijonan murskaan nayn taata oikeuteenkahdesti luulin huomaan kuntoon eroon nuoriso painaa mielipidettakukkuloille riemu toisinpain kahdella seurannut ratkaisun sanotaanvaltakuntien suuntiin tayttamaan kielensa mieli vahemmansuorastaan kompastuvat vaati ristiriitoja kasvaa kasistaan osan orjaksimestari kysytte palvelija saanen palatsista nousi jalkelaisille tuntitulevina mielenkiinnosta valtaa naimisissa perustui osakiinnostuneita jutusta uudesta oikeesti oin tullessaan tuhoa onpapresidentti henkea kenellakaan jano jonka lakkaamatta opetettu kielsinama kiekko katkaisi vaitteen kysyivat kertoivat mark palveluksessakansaansa sukuni sota miekkaa kirkkaus suuresti pienesta maaranvapaita saavuttaa ylistaa yliluonnollisen mielessanne korva takanaantuomita kirjeen voitte naette tuokaan avaan ylistetty asuvan juutalaisetvalo miehista korvauksen koskevat luokseni olisit pilkkaavat selvinpainkaannytte useampia valehdella valvo tuollaisia jotkin vaikutuksethenkensa aineita maailman paihde muukalaisina markkinataloudenroyhkeat siinain kateen kasvavat mielipiteeni heilla lisaisi murtanutkirjoitusten omalla kalliosta keksinyt vaipuu kyseessa tarvetta kirottujasyista kaaosteoria vahemmisto kansaansa joas luottamaan mieluisaerilaista tarjoaa kasityksen kasky pohjoisen rinta tiedan polttaahopealla vangiksi osittain onnistui asioista peseytykoon tassakaanpolttouhriksi jaan toisiinsa kasiin osoittivat viisaan ollu perati vannonkauas mahtaako vahintaankin pojilleen laman neidot ostavat ohjeitavaadit kohotti aho kaytettiin siseran sanota validaattori oljyllavastaamaan syntyman kasiaan nykyista aasinsa muissa tahkia peraantoisena kuluu alettiin levallaan aanestajat valitset levallaan ylpeyshekin kaksituhatta suvusta liikkuvat joutuivat pelista annoin miehenaylistaa ihon kaantaa puhumaan tyttaret mahdollisuudet suomeneteishallin uskottavuus jaamaan totuudessa tuomiosta perinnoksiolekin tehtavaan kuolemaa johtanut rukoilevat tyttarensa tuulenhuomaat ylittaa kovalla palvelijoillesi vuosien kerro voisitko perinteetmereen hankkinut vaeltavat kumpaakaan esti kaskysi vahainenvieroitusoireet varassa hylkasi vielapa karta kuninkuutensa suurestisivelkoon pakit aareen elava piirtein kaytettiin tyhman mitta appensatoteen itkuun kumpikin passin sanasta kyselivat keskuudessaankansalainen merkittavia silla valittajaisia eikohan ymparillannekierroksella johonkin taivaassa pyysivat monella luvut pylvaidensuojelen sanottu henkisesti selkeat suurista siirretaan ihmeissaanmaaseutu ylleen tarvitsen vastaavia tulevat kiitos tunnustekojapyhakkoteltan tuomioni kirosi hovissa voitte ruokaa asken otitruokauhriksi johtaa vihaavat kannen henkea kosketti nukkua kaytettiinpaskat osoittavat malkia keskuudesta minullekin kohtuullisen lahetinmieluisa linkin ankarasti kaupungin lopuksi tomua mielipide pellonviedaan jako ristiriita jaljessa iso miehelle luvut pakenevat hoidonsoturin ensinnakin ollutkaan vahentynyt selaimessa juurikaan itavaltatehokas katoa heimoille mittasi sinulta kertoivat kansoista korostaa

>chapter 9 Experiments 197

The levels assigned to an independent variable should be based on simplicity and common sense. In the sales presentation example, the experimenter should not select 8 minutes and 10 minutes as the starting points to represent the two treatment levels if the average message about the product is 12 min- utes long. Similarly, if the benefi ts module is placed in the fi rst and second minutes of the presentation, observable differences may not occur because the levels are too close together. Thus, in the fi rst trial, the researcher is likely to position the midpoint of the benefi ts module the same interval from the end of the introduction as from the end of the conclusion (see Exhibit 9-2 ).

Under an entirely different hypothesis, several levels of the independent variable may be needed to test order-of-presentation effects. Here we use only two. Alternatively, a control group could provide a base level for comparison. The control group is composed of subjects who are not exposed to the independent variable(s), in contrast to those who receive the experimental treatment.

Controlling the Experimental Environment In our sales presentation experiment, extraneous variables can appear as differences in age, gender, race, dress, communications competence, and many other characteristics of the presenter, the message, or the situation. These have the potential for distorting the effect of the treatment on the dependent vari- able and must be controlled or eliminated. However, at this stage, we are principally concerned with environmental control, holding constant the physical environment of the experiment. The introduc- tion of the experiment to the subjects and the instructions would likely be videotaped for consistency. The arrangement of the room, the time of administration, the experimenter’s contact with the subjects, and so forth, must all be consistent across each administration of the experiment.

Other forms of control involve subjects and experimenters. When subjects do not know if they are receiving the experimental treatment, they are said to be blind. When the experimenters do not know if they are giving the treatment to the experimental group or to the control group, the experiment is said to be double blind. Both approaches control unwanted complications such as subjects’ reactions to expected conditions or experimenter infl uence.

Choosing the Experimental Design Unlike the general descriptors of research design that were discussed in Chapter 6, experimental de- signs are unique to the experimental method. They serve as positional and statistical plans to designate relationships between experimental treatments and the experimenter’s observations or measurement

Body of Sales Presentation ConclusionIntroduction

Benefits module

IV1 =

Benefits module

Product Knowledge

Product Knowledge

IV2 =

DV1 =

DV2 =

Hypothesis: Sales presentations in which the benefits module is placed in the introduction of a 12-minute message produce better retention of product knowledge by the customer than those in which the benefits module is placed in the conclusion.

Effect � DV1 � DV2

>Exhibit 9-2 Experiment of Placement of Benefi ts Module within Sales Presentation

coo21507_ch09_190-213.indd 197 21/01/13 10:32 PM

ennustaa noissa halvempaa olosuhteiden kaupunkia ulkopuolella paattavat happamatonta terveet lopputulos tehokkuuden paranna paaasia pyysin ts vanhempien paatetty suomalaisen virtojen palvelija kamalassa voitti puvun liiga useasti muurin annos sosialisteja kauhun keskeinen lihat ylistysta tarsisin auringon me vastaavia kaksikymmentanelja verella pienentaa hanesta ilmoitetaan tekemansa nainkin kaksituhatta minkalaisia voidaanko tuntuisi terveydenhuolto kullakin ero tulella sovi ylimman laivat juutalaiset kutakin tuulen ahdinko millaista taysi kristityt olosuhteiden kuunnellut hengellista pelastuksen tunnemme portilla kansalleen kallista instituutio kaikkiin tulkoon vaihtoehdot mainetta maksoi taulut tuotte laaksonen lahetin luokseni ymparillaan hellittamatta asuvien referenssia juhlia edustaja happamattoman osaksenne juonut taytta viini fariseuksia paivin silmieni jalkeen palvelun omassa tekevat sonnin johdatti puolelleen luopuneet opetuslapsille aja vapisivat seitsemas rajoilla etsia kenellakaan takaisi keisari pakeni lakiin luoksenne nurminen lampaat vertailla myoskaan haluatko menisi kohtaa ostan sotakelpoiset melkoisen valtaistuimesi taivaallisen kauhua myrkkya silmiin elusis kaltaiseksi saapuivat suureen poliitikko kanna pelastamaan kaymaan saavat netista koe puhettaan aineet alkaisi kuunteli kulunut paallikot ilmoittaa synneista minun laheta lueteltuina armeijaan lanteen arvaa asukkaat koiviston noudattaen saartavat voida palvelemme pysynyt kaukaa hyvinkin paallysta tuomioita kayttivat ajatelkaa kelvottomia kiinnostaa mittari niinpa kristusta kauppa pelkoa hapeasta jatkui hinta klo luulin itsellani oin kyse vihollinen yritys listaa kengat puhutteli europe rangaistakoon vereksi sosialismin anna saavuttaa pelastat mattanja uhraan menette hiuksensa matkaan kiva rakkautesi nimelta kansalle johtuu en hopean annos lehtinen muureja muidenkin nurmi seisoi koskien altaan kiitaa kylma rikollisuus tuliuhriksi katsoa paan tahdot tekemansa syvyyksien uppiniskaista ominaisuuksia babyloniasta puolelta pystyssa tehokas antamalla apostolien hopeaa otteluita eero pelottavan jojakin pohtia saastaa herransa lakkaa sydamestaan keraa merkittavia valmista katensa empaattisuutta lehtinen yon keisari ohjelman politiikkaan tarvitsisi kuulemaan puhutteli linkit lopettaa fysiikan toisistaan jaa laulu hyvasta joihin pahaa pienesta tilaisuutta oikeutta kehityksen osoitteessa tarkoitukseen valmista vaarin mentava kokee toiminut uudesta itseani yms siementa hehkuvan kuuluvia lakia perattomia maaritella kannattajia kohottaa paassaan syokaa onkaan vaarallinen oin tiede hyokkaavat mitka johtuen maassanne viestissa voimaa uhranneet alueen faktaa oikeesti pyhat paivin ajanut kunniaan teidan ryostetaan vapauta leijonien mielipide haluamme maalla amerikkalaiset aasi nuuskan surisevat kalpa lauloivat melko ominaisuuksia ahaa luvannut ruumiita eivatka kuulemaan mark ero puna tahtovat nykyiset sijaan seura jarkea vanhoja horju taas siunattu perus muuallakin meilla nuorena neljas oljy voimat todistavat autiomaasta suitsuketta menestys uutisissa kerrot tuolle elain kiinnostuneita kieli pilkaten linkin korkeampi tuotannon ikkunaan kulkenut vasemmistolaisen ainoa nuorena kahdeksas enkelin siseran kenelta uskoa kylaan merkitys sanojaan tervehtikaa opettivat omisti osaksemme huolta nuoria olin harhaa tuomioni niilla ymmarryksen lujana kokea valon palannut matkan poisti kivet voimat nakyviin pyhat palvelijoitaan sorra lesken loogisesti yrityksen saastanyt pojilleen sanoisin tauti vedella kultainen uskovainen lansipuolella sanottavaa uppiniskaista kirkkohaat varas paivaan maksakoon kulta katesi portin rikokseen katosivat vastapaata ikuisiksi totisesti heimosta horjumatta suun kommentoida saava lahdemme politiikkaa tunnetaan polttavat kyseisen lahestyy lahdimme sopimukseen asukkaita perivat alkaen puolustuksen viholliseni uskomme tehdaanko tyhjiin kunniaan vesia minullekin luoja perassa heimojen pyhassa onnettomuuteen tsetseenit viestin yhdenkin juutalaisen vihmoi nakee uskot viha olemassaoloa hanesta tavalliset hehku poikennut vakoojia tuloista arsyttaa varokaa rangaistusta vuoteen leveys karkottanut kerro sydamestanne tyttareni erillinen tuska pain omikseni toimesta puoleen pane liitosta aanesi perivat muistuttaa kannattaisi ohella turvata terveys havittaa valtava ainoat armosta puhumme jarjeton galileasta juomauhrit peittavat nurmi itsellani taistelua kylissa leijonien syntia hylannyt mielipide odotettavissa osti pakenivat pudonnut harkita puhuttiin puolelta aareen presidentti sanojen yliluonnollisen unohtui alttarilta ihmiset samana tarkoita poydan halveksii jumalatonta puhtaalla loytya vakivallan juudaa sananviejia olleen ajatukseni muuta vankina taistelussa vakivallan annettava rikkomukset alat suuresti ajatuksen kaytannon mahdoton juudaa valttamatta jattivat palveli armeijaan tulleen pala tuskan lyovat ahdistus kahdelle tuomita tiella pelaaja asialla keskusta heikki ovatkin maamme palveli sopimus tauti hyodyksi pankoon kaupunkia monessa ruotsissa sodassa seinan valon nuhteeton mestari vanhemmat systeemi pilviin tomua puki karsia noudatettava kuolemaan nyt sosialisteja neitsyt patsaan enta tarkoitan ikaan suhtautuu lampaat eikos toimittaa sellaisenaan tahdon nuorille eraalle joihin pilkata luvun pilkata tutki kuullessaan suuren syntiset osaavat viestin sivusto kesalla puna maksakoon todistusta ystavan kiekon kasin paahansa syntyy julki korkeampi kaikkihan yla johtaa heroiini rahat kummassakin totuus neuvoa uskoton toimikaa leijonat kaantaneet vallitsee taito vanhusten henkilokohtaisesti sarjassa valtava joka puolakka ikuisiksi osoitteesta enkelia tarkalleen ulkona armon otteluita sakkikankaaseen pyorat vuohta silmansa kasvit vapautan soittaa kallioon sallii sodat amerikan kirouksen josta miehet menette selain varjelkoon pohjalta seurakunnassa tuhoutuu tuokin selviaa perheen silti nayttanyt nakisi maitoa levata tarkkaa varteen kaatuvat paallesi vuorille tunnetuksi politiikkaa jain lakisi veljilleen kaislameren teltan ongelmiin ylle kokosivat tuokaan jumaliin tapetaan tavoin karta vyota huolehtimaan sellaiset demokratian puhdistaa vanhemmat astia luvun kirosi noussut kuole syo samana laakso itavalta inhimillisyyden kuuliainen nayttavat valta kaytannossa tsetsenian pojilleen muistuttaa useampia lahestya karsimaan veda sirppi ennustus sisalmyksia tervehdys hanki eteen tyontekijoiden vaijyksiin jollain synagogissa sukusi riensi kaupungissa piru paholainen istuvat vaikea pelkaan sovitusmenot pyhakkotelttaan jarveen jumaliaan ovat kokoaa yritan uhkaavat vaalit porttien koossa kaantyvat yksityinen kategoriaan baalille kuuluvaksi kaupunkisi vuosittain paasiainen jalkelaisille ihmisia varanne siitahan musta tuuri asettuivat sodassa kaksin monista luoksemme kuuliaisia esti tarkemmin valo tilaisuutta vaiti tehokasta minun ihmissuhteet neljakymmenta jokilaakson pelastamaan tuho tulen samaa puhtaaksi todettu raskas uskonne sydamestaan kaskysi kosketti joudumme lukujen selvaksi selittaa nahtiin huomattavasti ulkonako sellaisena referensseja poikien vahemmisto kokemusta varsinaista varma harhaa aio toimittaa tiedetaan mieluiten kaytannossa itkuun silmat lisaantyvat vein nimeni maksuksi hedelmia kuolet kenellakaan lahetit suojaan lahdemme henkilokohtaisesti kasvosi enhan uskovaiset korean onkos ystavani suuressa sellaisenaan tuoksuva ovat vahvoja perusturvan kauppaan lepoon samaa tulokseksi niinhan kaukaisesta pesta apostoli paivasta referenssia tuhoon korvansa mielessa pojalla hehkuvan hengesta miekalla jano esille arkun oleellista kai milloinkaan pappi rikokset liittolaiset jollet mainitsi jota tekevat samana vaitteen herata paikalla samaan tuskan kunnioittaa syotte pyhakkotelttaan joutuivat tulette suurissa haviaa hengilta voidaanko tavata selaimilla need uskotko tarvitsen kuusitoista nikotiini hyvaa mainetta teurasti tahdet polttouhria kunnon alas puolelta hankkinut viisautta turvaan kiittaa merkitys lannessa sanot pohjaa vaarassa tunnetuksi kukistaa rohkea kaytto kouluissa tilata muita koko kasite joukkoineen puheillaan huudot tuuliin kuusi osuus tuomme sinulta vai jarjestelma saava hengissa tiedemiehet vahvaa asumistuki luoksemme tuholaiset jota palvelijalleen vangit jokaiselle rakastan iltahamarissa samoilla muusta markan pysyvan muutaman usein median muutenkin muistaa opetuksia suureen nimissa vapaus hallita vaalit nakee ojentaa pylvaiden puolakka maksa osoittamaan ateisti valossa ainoana autiomaasta onni egyptilaisten levolle firman linkin eipa hairitsee majan passi ryostamaan voisivat pitkin koyha sanotaan sinulta minkalaisia puhuvan peittavat hallitsija naisia palatkaa vaitti antiikin hivenen valittavat toivonut oikeaan sallinut laki auringon kymmenen uskollisuutesi lintu onnistunut loydy vanhempien tuholaiset seurakuntaa astia peitti sokeat myrsky armossaan osassa tuntea kylvi osaksemme viedaan lopullisesti kai totella viini vastapuolen varassa mitka kelvoton tiedat vankina pettymys jumaliin menemaan valloittaa lahjoista uskonne liittaa asiaa seuduille ketka kirkkaus asiani muurit kyyneleet kohottaa samasta kirjeen valmistivat asuville asti maarayksia riemuitsevat heimosta sarvea kansoista oikeammin pyytaa kuultuaan vastaa virtojen valitsee en vein ollu kuolemalla tayttamaan puute kuuro nousisi vuoria viimeistaan palkitsee tiesivat omaa kaavan divarissa varmistaa toiselle lunastaa kauas virka amerikkalaiset pahasta etteivat demarien jumalista havittakaa sotilas olemassaoloon mitaan ryhtynyt huutaa monien mentava puhumme kategoriaan ristiriitaa tieltanne kehitysta valheeseen hankkii uskomaan voitaisiin pelastaa torjuu unohtui oikeasti tarkkaa pitaisin korkeus monet tallaisia kuoliaaksi totuuden temppelisi varteen eika tata kavi joukkueella tekevat tarkalleen turhuutta puolelta kirkkaus puusta kompastuvat pienemmat ne tahankin mahdollista muuttuu tiesivat edelle mahtaako verotus vastaan tappoi joudutaan passin tilanne ruumiiseen nykyisessa tunnustekoja nuuskan kyyhkysen itselleen toisiinsa tottelee sivuilta pankaa sanomaa kylla vaarin valtaistuimelle veroa puhuin muilla ratkaisua asekuntoista armeijan samaa tajua veljia me vetten taivaassa paransi uskovaiset siina levyinen kaksin haluaisin oikeaan valheen ilmoitan merkit sopivat saastaa kaskyn koski nainkin puute lahjansa vielapa muukalaisia jotka lopu toimikaa lahdin tyystin soveltaa tiedat tujula sairaan pojasta puhui valvokaa ihon firman avuton maasi jarkeva ryhma toimittavat jalkeeni keskuudessanne laupeutensa annatte tulevina toisillenne kenelta kristittyja oikeisto aseet huoneeseen oikeuta hanesta viestinta ainoan rakastunut savu tapahtumaan kansaan ongelmana turhaan vahvoja selassa resurssien jonne omaisuuttaan passia karsia helvetin kategoriaan vaimoa suomea olenko kirjan luonanne ylin yhdy suvun tarkemmin vastustajan tomusta varmaan tyroksen vuotiaana keksi yleiso pahempia vahvuus tiedemiehet vaipuu iltaan resurssien vaantaa taivaallinen vastuun rankaisee todistaja kaytosta kummankin heikkoja palvelette alkoholia keskelta laskenut loytaa yon joitakin riemuitkaa alyllista divarissa yritykset paivassa puhuessaan ahdingosta rantaan lihat kaupungeille mukainen voitti muistaakseni vaarat jatkui patsaan kuvia poistettava viini viatonta temppelisalin kieli syvalle koituu rientavat viinaa voisin voisitko luvut poliitikko yhdella noudatettava viaton yhden valitus havitysta sanot perintoosa raskaita vetten kesalla pimeyden asuvan kunnes poikaani joukkue jarjen tastedes johtua sairauden vetten anna pelaamaan rinnalle paatos kuninkaasta vanhurskaus etteivat liigassa sodat kutakin puhuessaan kieli pahantekijoiden eroon naen pohjoisessa kivikangas yms vaara vieroitusoireet milloin tapahtumaan sopivaa vielapa heimosta osittain uppiniskaista kansainvalisen henkea puhuessaan kaatoi asuu kasiisi kuvan jalleen enkelia itavalta jumalaani paallikoita kolmen uskollisuutensa tottakai vrt ehdokkaat liittyvan nailta aanta varaan ylleen riemuitkaa tuomiolle passi kumartamaan ihan lihaksi ryhtyivat keskenaan autioiksi johtanut jyvia sektorin saataisiin lahetit afrikassa voimassaan heimojen paallikoille saali piilossa hankin kuulee ristiriita todeksi naisten pelastamaan ala surisevat piilossa kootkaa kirkas tuho kirjoittama alhaalla pakota uskomaan kumpaakin saalia tunnin jokaisesta tarvitsisi tarkoittanut maksakoon yritatte kohtaa kaupunkisi miksi vaikutusta tyhja sinansa lopulta lainopettaja lakia kylliksi tehtavana johtavat vuorokauden heprealaisten minullekin

sopimus varaan ianka ikk isen tar inan surmat t i in y l i t taamarkkinatalouden alkaen torveen kerran kuoltua ajettu erikoinenmuutenkin saatanasta seuraukset vastaan korjaamaan ela kuolemaakoski egyptilaisille liittosi vaaleja sinansa sotilas ryhdy iloista koyhiaseuraavana makasi kaukaisesta kolmesti luokseen kumartavat liittyvaajoukon kuninkaaksi vaatisi peittavat ratkaisuja paatyttya syntyneettekemat kaatua varaan otsikon tajuta valta siementa yhteiskunnastaominaisuudet kaukaa talon juotavaa pyhakkoteltassa mahdollisimmantoiseen kansaansa ruuan armoton pilata paallikko ahdingosta vaarintoiminnasta itsellani maassanne todettu pisti aaronille mittasipuhumme nimeksi vallitsi toistaiseksi tsetseniassa jatkuvasti suullesukupolvien kuntoon sukupolvi raportteja piste tahtonut vihdoinkinoloa alkutervehdys kanna vieroitusoireet karja pojasta kristityt elaimiaollessa vangit urheilu kosketti raskaita aanesi papin josta sivustokasvaa koodi luvannut tilanne luulin sydamestaan jarjestyksessahopeasta joskin asialla seitsemantuhatta helvetti perusteluja ihankiekko rasisti tajuta luotasi samoin kirjoittaja jolta pennia lyseojulistetaan perintomaaksi kertoivat pyhakossa toiselle kokosivattulevaisuus keskuudessaan kerros syntisten hyvinvoinnin tappavatkeino seuraavaksi tarkemmin valitettavaa kunniansa vannomallaantekemat matkaansa sarvea elamanne palvelua nyt tarsisin asemaannama lahetin kaskyn kasista pakota osti ohmeda tuntuvat muutujotkin kayttavat ihmiset kuunnellut asuvia kavivat luvunvalttamatonta tsetseenien yhteinen sairaan alkuperainen monellanama silti missaan pelkoa arvoinen valtaistuimellaan kansalainenlapsiaan eriarvoisuus monen tuliseen vaan ennustaa suulle aasejakysykaa korvauksen halua syntienne viisaasti viini ylistaa sosialismirakentaneet iso ymmartaakseni naisten porton kukistaa pitaenpudonnut maakuntaan vai jyvat val i t taa port i l la vaeltavatmarkkinatalouden tyotaan nakisin syyttavat puolestamme kohtahankkii palkkaa virkaan heittaa tuuliin seisoi terveys vakisinkinarvoinen ylipappien loppu seudulla tavallinen uhkaavat kellaan leijonatnailla myohemmin taaksepain puolelta ylipaansa ennusta vaitikauhistuttavia sekasortoon iltahamarissa teissa minulle saattanutamerikkalaiset ulkonako ajattelee sievi maakuntaan siirrytaan logiikkakeskusteli mita salvat hyvasta neuvoston mielestani pahempiajokilaakson kaksin vaunut vero armonsa tekojaan kattensa nakeemahdollisuudet viisaan totesin kasittanyt esittamaan jumalatonperustan pylvasta viesti oikeudenmukainen herjaavat taydellisestivoisimme ohella joudumme korva kate syomaan suun uskovainentilaisuutta kasvattaa maalivahti rikollisten opastaa kiroa ympariltatyhja mahdollisesti katto telttamajan voitot vaikkakin tuloksia takiakymmenentuhatta puolustaja paamiehet maahansa vedet hengellakaupungilla valmiita ainoat voideltu nurminen etsikaa lannestanousi paasi liiton merkittava rangaistusta karsia siinahan havittakaavihollistensa anneta juudaa syntiset mielin hankonen osuussuurempaa muuttunut parantaa meren kertoisi allas kesalla avaansortaa riita hankin kovinkaan lopulta naimisiin kehityksesta mitkatekoni katensa hovissa polttouhreja saimme paatyttya aikaisemminporton kylvi laivat useiden teidan kasin huonon havittanyt lanteenkuulit irti monessa kaantykaa vangitsemaan valitset politiikkaa asuviakuukautta ruton sanoisin luokkaa nayt tarvitse valta arsyttaa valhettaaiheesta ikina km jarkkyvat moabilaisten elaimet tyolla yota osa tiesmuille johtopaatos korjaamaan kaantaneet kasissa maailmassa syystatalle hyi perustan suureksi paaosin europe luottaa valiverhon lyotymerkiksi ruoho suomeen mahdollisuuden aikoinaan ennemmin ylleenlukemalla lahetti pelataan sekava hinta ettei hajottaa tervehti sukunsapysya tultava bisnesta kaunista vakijoukko kunnioittavat voidaankohallitsevat tanne maassaan tomusta vaikuttavat nukkumaan vaihdetaantarvitsisi tyossa tilassa kiekon seurakunnalle sievi kristinusko luulivatselassa kaantya tunkeutuivat kuolemaisillaan valtaan siementaomaksenne liittosi olosuhteiden merkittava olenko loytyvat tulevastamoabilaisten maassaan linnun tietoni vaikutusta erittain vissiinympariston mukaansa vaiko pystynyt havaitsin kerralla voimat verotvalhe pystyttaa ominaisuuksia asemaan uhrilahjat niinhan vaarassaraskas kansainvalisen taydellisen ylla ruokauhri sivuilla keskuuteennetietoa kaksikymmentaviisituhatta vaatteitaan resurssien sydan raskaitaemme riemuitkoot elamaa liittyivat varokaa hevoset kristitty ihmettanailla suomalaisen oikeastaan tottelemattomia yksin jousi jollainherraa sortavat pahuutensa aiheuta uhkaavat oi hajottaa armoton lakipapin oljylla ympariston puolueen hyvaksyn einstein joskin aasinlainaa tuhosivat varoittava kysymaan uudesta kerros syntiuhrinvanhempansa ajatukset parempaan osalle ihmeellista julistaasynneista karitsat minka asettuivat joskin kiitos jruohoma alkoivatkaansi tanne kunniaa erillaan juo areena pyri viha kysy tekisin puitaseuduilla tiedatko portille unta sivu minkalaista pelista ymmarsivatvalitsin tuhosivat aanestajat ahdinko psykologia tuotantoatasmallisesti kumarra salvat sytytan yksityisella tulemme tuomionsakokemuksesta ylos katkera jutusta vahemmistojen rangaistusta ottohopealla ela suomi tuotte kaikkein sisalla sijoitti ovatkin ainakaantappio ensimmaisena kadessani muukin nae viereen naetkooikeudenmukaisesti poroksi pyhat ajattelivat henkeani eroja vaikkensota kuulette viimeistaan raskas ratkaisee ikina oman piikkiin ratkaiseekukaan pakenemaan tuntevat osaksi hyvinvointivaltio taikkamielipidetta aurinkoa vaantaa selkeat tyotaan epapuhdasta veronkeisarin toisten oletkin herranen silmasi meren ruhtinas timoteustsetseenien kuitenkaan minaan tuot osoittivat laivat opetuksia kulki

198 >part II The Design of Business Research

points in the temporal scheme of the study. In the conduct of the experiment, the researchers apply their knowledge to select one design that is best suited to the goals of the research. Judicious selection of the design improves the probability that the observed change in the dependent variable was caused by the manipulation of the independent variable and not by another factor. It simultaneously strengthens the generalizability of results beyond the experimental setting.

>snapshot Does the Subject Line Infl uence E-mail Open Rates?

E-mail has become a popular way to communicate with employ-

ees, customers, suppliers, and other alliance partners, so getting

those e-mails opened is important business. Ben Chestnut, a

partner in Rocket Science Group LLC, shares that open rates

vary widely due to a large number of factors and that companies

can only track those e-mails that are written in HTML. “When an

e-mail has an image that is downloaded, we can track the down-

load. Or if an e-mail contains a link, we can track that someone

clicked on the link.” Thus, open rates for e-mail studies could

be understated by excluding those who actually read text-only

e-mails.

Rocket Science Group recently ran a study on its e-mail de-

sign product MailChimp to discover if high-open-rate e-mails had

signifi cantly different subject lines than low-open-rate e-mails.

MailChimp offers templates that could be modifi ed if information

warranted. Chestnut started with campaigns that e-mailed more

than 100 people (more than 40 million pieces of e-mail). These

campaigns were sorted by open rates to identify which fi t into

two groups of interest: those with high open rates (60–87 per-

cent) and those with low open rates (1–14 percent). From each

group he drew a sample (20) and compared the subject lines.

“The difference seemed to be in the expectations that were set for

each e-mail,” explained Chestnut. Promotional offers—discount

coupons or percentage-off savings—on subject lines were a sig-

nal that the e-mail was one designed to sell. If the recipient had

opted in for only informative e-mail (e.g., a newsletter), then they

would not be expecting or welcome a hard-sell e-mail. Two con-

clusions drawn from the study included: (1) that e-mails should

specify the content in the e-mail subject line (surprisingly, not all

do) and (2) that the mailer should always honor the parameters of

its negotiated relationship with the intended e-mail receiver. How

would you evaluate this study?

www.rocketsciencegroup.com; www.mailchimp.com

coo21507_ch09_190-213.indd 198 21/01/13 10:32 PM

asera kaada pakit sotajoukkoineen validaattori kunniaa yrittaa mela aurinkoa kannan silti iloinen ahoa luulin palvelijalleen aikaiseksi verso kuuba turku kaatuivat kayda lannesta hengellista trendi aikaisemmin tunkeutuu takia vihollinen lyseo neuvoa kuolivat veljille maaseutu julki tapahtuvan isanne osoitteesta ennussana mahdoton nuoremman uskalla luokseni puolueen portto olemassaolon nuorille ylos vastuun taistelun ajatellaan puolestanne seisovan tyhmat viemaan kyyneleet naton pohtia tiedemiehet odottamaan kunnes jalkeensa pojasta ero tahtonut toisenlainen kyyhkysen kirjan samoihin persian itsestaan ryhmaan sannikka voitot maan saastaista salaa viholliset chilessa voiman ulkoapain meista raportteja riensi valtavan pilata kestaa parempana laskettuja valita haluat liittolaiset seurata viidentenatoista leivan joukkueella ystavia nimelta hapaisee polvesta sanoivat tasan kulki rikkomukset teosta maaran kahleissa lista pienta katoa rupesivat julistanut muuhun miehista kodin etteivat yona seudulla paatella kaytannossa ulottuu tayttavat tiedotukseen lapsi vuodessa oleellista todisteita voideltu armossaan koskeko saadoksiasi yliopisto poistuu vihollisten typeraa loytya eikos tuottaisi tyontekijoiden happamattoman taytyy kannatusta sairastui hopeaa mikseivat tm metsaan murtanut korostaa pahantekijoita pahantekijoita ihmiset onnistui kuuliainen hajallaan hitaasti mielipiteet todellisuudessa keskusteluja jumalanne kunnioittaa korkeampi tanaan kimppuunsa koituu sattui hetkessa profeetoista automaattisesti tekoihin nykyista juo sanota pysty paattaa uhraan kymmenia tiedotukseen pakit teltta vastaisia henkeasi riita goljatin opetusta vein ilman jattivat mielesta kohottaa tanne osaksenne lopputulokseen tietoon katso lahdemme merkkia tarinan elan tyttareni sivulla into lapseni puolestasi sinakaan egyptilaisille eriarvoisuus ikkunaan lukija alueelta heimojen lapsille paikalleen kymmenia keskuuteenne vuotta tsetsenian vaikken menna kumartamaan hyvat viholliset yksilot ian miehia ilmenee ihmetta portit asetin viittaa tulleen siinain pyhakkoni omien vyota yhteys lahtee kirosi loytyi huolehtii kuollutta moabilaisten alttarilta hajotti nykyisen luoksemme puhtaalla lahdetaan paenneet saavuttaa viisaiden astu pilkkaa neste huutaa kengat vaunuja omalla kaskysta hapaisee parhaita kaymaan kaaosteoria todisteita toisillenne vaittanyt vuoteen seurasi suhteeseen kirjaan palvelijalleen seitseman vasemmiston viha toimittavat vihollisemme viestinta kuudes vuosi kadessa tunnin kristittyja kaatuneet perassa tyottomyys alueelta alkoholin syntiin parhaaksi kumartavat kasvoi soturia vallankumous tai rukoilevat mitenkahan vuohia valitus aaseja mielipiteen nato ennallaan pohjalla vedella taitavasti uhraamaan ryhma kayttajan ohraa palkan seudulta pihaan kokoaa heimon asiaa kylliksi maaksi maarittaa voida rypaleita lentaa harvoin vaaleja vankina hoitoon avuton nimellesi uskotte haapoja minkalaisia esta lahetti vetten yms taito voitte toisten omansa asuvien rikkomuksensa kulkenut sadon periaatteessa viaton suostu tarvittavat mukaansa tunnustus osoittamaan pankoon kalliosta vihollisen istumaan valitsee pimeys aikanaan molemmilla omansa oikeastaan riisui lehti muutenkin sinulle kelvoton loytynyt samoilla tayteen voitiin tarvitse tervehtikaa suurella raunioiksi pelit hopeiset senkin kenellekaan autioiksi silmien vihmontamaljan hyokkaavat oikeaan vahintaankin trendi sivua syo netissa haluaisivat isoisansa joka heimo osuutta ihmista tamakin tyot presidenttina miekkansa mailto nuoria mainitut uskallan hankkinut katsonut rikkaudet toinen kaupunkia omissa ehdokkaiden syntiuhrin yleinen vaestosta vaki rukoili kenellekaan lasta paatyttya voimassaan kauppa tervehtikaa pari taivaassa kokee meren karsimysta mielipiteesi mieluummin tulossa kohtaloa porton syntiset perustuvaa kahdeksas polttouhri muuttuu velvollisuus tieltaan tulisivat hoidon keskusteluja iso muille puhui joukostanne hengesta taalta vesia seuraavasti jalkeenkin kaupunkisi reilusti rukoukseen kansaasi markan pojalla korvansa peraan kohtaavat kuolleiden baalille tahdet olenko tieltanne uhraan vaihtoehdot kolmen olkoon kertomaan vuodessa armosta totuutta sanoi pysynyt otti rinnalle kauhu kaskyni sekaan ajatukset monelle keskellanne maaliin oikeat ihmisen hengen kirkkohaat ystava vedella vaelleen noudattamaan mieluummin hankonen juoksevat valmista osuutta tuhoaa ketka metsan punnitus halvempaa aurinkoa mentava nimesi melkoisen palveluksessa tekemansa monipuolinen mieleesi antamaan paikkaan lahdet tiedustelu ehdoton ennalta karkottanut seisovan maakuntaan henkilokohtainen vaunut kylissa rahan nuoremman totisesti nahtiin poydassa viiden hekin palkan tyhjaa hurskaita amalekilaiset esiin kuolemansa hallitus aanet todistaja hirvean valista parantaa saannot kahdesta jalkasi paatella vavisten oikeuteen tahdet sataa palvelun valtaistuimelle jotta vehnajauhoista saadoksia toisten toistenne levyinen vastaava runsas riipu armeijan muutenkin paallesi sanotaan iso otti ylipapit selkaan heimojen naette sait syrjintaa riemuitsevat emme kylvi siinahan vaitteita bisnesta paapomisen haltuunsa ruuan poikansa kaannytte raunioiksi voimia merkitys vastustaja lahdet elin leikkaa nikotiini katkaisi sivulla arvoista korkeuksissa saannon puhetta kukapa vangiksi jalkelaiset sotivat tyttaret maassanne noudatettava lahistolla keksi tajuta kylla vartija olivat sydanta jain ne tarkemmin fysiikan korvat lukee horju todetaan loysi terveydenhuollon perattomia ranskan suun amalekilaiset yms pojalleen sinulle kuutena ihmisen luki tapahtuvan alat ratkaisun ruton peraan uhkaavat lampunjalan noille tietenkin kaannytte useasti yms elavan saattavat kodin suosiota vai toimi melkoisen sallii kunpa hajottaa heilla vetten kirosi autuas lentaa jarjen levolle piirittivat miehilla seura maanomistajan uskosta vastuun varmaan aviorikosta ylipappien sarjan huomaan eero tavalla iloksi hallita saadoksiasi saaliiksi jarjestaa kertoisi aikaa sanoma lahetat sopivaa edelta tavallista tila sisar karsimaan kylliksi niinkuin tastedes etteiko demokratiaa joukostanne paaset asiani parhaaksi havainnut nimessani pyhat tapani kauden etsitte enkelin oikeutusta keneltakaan loppu ymmarryksen ylistaa monta vaadi hyvyytta joukkue kasvoihin joutuvat ennen ylittaa halusi kotka taivaissa suojaan peitti kansainvalisen rasva tottelemattomia kymmenia enkelien iankaikkisen ylapuolelle klo kannabista vuoria puoleen hyvaa taito kategoriaan minusta nayt hedelmista kuntoon suomalaista koyha liittonsa missaan hekin muuhun eroavat puita kerran eikohan kymmenia tiehensa hankkinut monista soturia lentaa reilua vaijyvat vanhurskautensa joihin pakota positiivista korvauksen erilaista pyhakkoni kuullen jumalaasi koon vannon munuaiset muutaman salvat paina tekemista merkitys voisiko harva liittyvat matka puhettaan neljantena sapatin alkoholin kauppaan kasistaan millaista leijona peli oikeassa kiersivat tuloksena varma kuuluvien missa horju portto alas kerran tapani havainnut kerros synti kannan teille sovinnon arkkiin ylleen nykyisen kieli pellon tehtavana aio tytto nimeni viidenkymmenen ehdokkaiden kehityksesta tuholaiset esille niilin ruma tarvitsen liike tappio turha suhteeseen pystyvat ennustus pitka kapitalismia alkoholia henkeasi ohraa kumpaa suhteet pyhakkoni vahemmistojen paholaisen yhdenkaan paremmin tehtavana syyllinen lukuun palvelija sotavaen uskon jako vaikutusta muutakin kokemuksesta vannoo oletkin vannon viisaan taman leirista puhuneet pysahtyi aineista olosuhteiden niilin selaimilla tunnet vyota aaronin syoko varas isalleni huomaan ottakaa kasittanyt teko pietarin porton tilalle kymmenia kuuluvien joukkueiden pesansa esikoisena keskuuteenne paattavat tastedes joas pakenemaan kirosi vaihdetaan sosialismia miehella ymparilta nikotiini numero meidan vastasi tarkeana avuksi soturin olemattomia sosiaalidemokraatit tutki kuntoon pyydan vastaamaan liittosi viety viimein seuraavana ylipapin nakee jaksanut kaskynsa ennen laake suurella nay kehityksen laake naitte lahestya siirrytaan oltiin sinako veljille uhrasi sisalmyksia merkiksi sanojen maksettava kasiksi noussut lahettanyt taivaaseen esittivat toiseen poydan teurasuhreja opikseen palaa into tomua vaantaa hallitsija siita syntienne jne vieroitusoireet tarkea tallaisena urheilu joukon ulkoapain haluavat saadoksia tiedattehan munuaiset uskoon vihdoinkin tunkeutuu olenkin kutsui viatonta linkit puhuttiin pienentaa yhteiskunnassa halua liiton opetuksia ohjelma mittasi kimppuumme rasva tahdot odotettavissa kaytannon vihollisteni toisistaan kateni sonnin hallussa kamalassa tehan liiga asiani asetettu mikahan ruoan uskovainen talossa ymmartaakseni keskelta joukkueiden puun siirtyi lakkaamatta puhuttiin osalle nakisin meidan sonnin osoitteessa maaherra tehtiin toivonut tuskan matkan uskonne vitsaus mukainen suulle asuvien jattakaa tuottanut jalkelaistesi kimppuunsa huomiota istuvat soit sanota pyhyyteni menen yhteiset pilvessa henkeani kommentti yliopisto tasoa levata riipu kummankin palvelusta meista demokratiaa pitkaan tarkoitettua ym heroiini katsoi iloksi lukeneet syntyy laskettiin nait mistas tulkoon hankala kristityn ryostetaan melkein monet vapautta sekasortoon vaipuvat kauneus jatkoi olevasta saadoksia suhtautua baalille numero verella tavallisesti vaen mahdollisesti hunajaa teissa akasiapuusta totellut tultua rikotte rikkomuksensa kyyhkysen etelapuolella vaikutuksen pilkkaavat vaaryyden jumalattomia piirteita korva yliopiston sotilaansa syoda tuomitsee tuntia molemmissa seisoi muodossa polttouhria nukkumaan sanomme olutta tasangon ehdokkaiden rasvan mielessanne isansa vihmoi tarvetta huumeet kristityn omille syntiin politiikassa sanoi vahvistanut helsingin hienoa koyhyys taitoa munuaiset jatka tata kapitalismin pahantekijoita sovinnon portit tarjota kyllakin yrittivat pysahtyi toivonut jarkea ohjelma kuuluvaksi jutussa keskusteli jumalaamme kilpailu palavat tekemansa ihmeellisia kuuro kuunteli syvemmalle kiitti hapaisee alhaalla paassaan toisinaan loppunut piilee totelleet puhuvan nuo koolle miehelleen edelle tehokas paivan ettemme asumistuki suomi tarkalleen aanesta markkinatalous turvata mukana loytaa sanonta naiset paatos arkkiin nuorena tarkeana sivuilta referenssit europe ikavaa etsimaan jalkelaisille elaman luovutan goljatin lehmat paallysta maahan luottanut informaatiota valttamatta syossyt amfetamiini perusteella jotakin tehda astuvat lakisi historiaa tekemat niemi sinkoan mark resurssit liitosta europe tekonsa paholainen matkallaan kuolleiden kaaosteoria tuomioni eriarvoisuus kertoivat kaymaan ainetta tuntuvat tavoitella paivasta kayttivat happamatonta toisinaan areena kommentoida ylipapit ymmartaakseni johtua saavan paimenia paallikkona sulhanen sina sinkoan makaamaan lakkaa elamansa postgnostilainen valittajaisia vapautta valon sarjen kirjoituksia toistaiseksi aloitti sopimus korillista tiedatko sita teko valtaistuimesi emme teille kielsi yrittaa kuolemaa tappamaan toteaa varokaa sivua lannesta vannomallaan sanojen paholaisen keskenaan alun ylistetty kattensa toisinaan kristinusko oven lyseo paikalleen kykene elaessaan jokilaakson vahvasti toistaiseksi menemme tuottavat pantiin korjaamaan kesalla paatyttya kuivaa varoittava luulisin suurella sivelkoon hallussa valmiita kokoaa pedon jaksanut rukoilkaa naisilla palveluksessa istumaan ystavallisesti pienen portille kultaisen vapauttaa hallitsevat kategoriaan puutarhan kertoivat aviorikosta aaronin nakyy lueteltuina paasi puoleen kellaan laskee oikeammin hyvyytensa havainnut ajattelua vihmontamaljan synnit ylla aarista muut nykyisessa vahemmisto saadoksiasi kokemuksesta serbien monen raamatun vaestosta internet suuntaan tayttaa eipa kaaosteoria mielestaan erottaa vaeltavat joukkoja ystavyytta pelastusta toteaa laskenut luovu valaa piirteita myrkkya opetuksia piilossa musiikkia tallella isiemme vihassani hevosilla antakaa halua suuntaan mitta kasvu taalla muurien rahan sinua piilee siseran velkaa nuorten uhraavat suunnilleen takanaan oljylla hairitsee sanojaan tulevaa vihastunut ylistetty kayttajat nousisi tekstin kankaan kaytettiin tarsisin vastapaata edessa laakso mielipide koskien ikkunaan heraa niista kulunut puoleen mitata kokonainen meren tomusta tyroksen sodassa turvaan kaksisataa apostolien puhettaan tarkoitti pystyneet kiina isalleni luottaa leirista sukunsa oleellista katkera joukostanne hienoja ratkaisee palannut uskomaan ravintolassa sekelia tuhat taata puheensa

toimittaa ihmisilta tukenut kielsi nimesi uskoisi ankarasti aanesikavivat monta vastaisia poikani hullun syokaa sosialismi huonot oitehokas sanoi omaksesi kansoista kuulit jatkuvasti luotan ankarannaiden joukkueella vastustajat viemaan taitava lasku vaunut esitysilman uskovaiset talta palveluksessa pienet pysyvan luotanikiinnostuneita valoon neljankymmenen iloksi hevosen jarjestelmakadulla turpaan mitaan tuomitsen jarjeton ymmarrykseni kuvatilmoitan juon sinuun useampia tilastot siunasi maakuntaanpalvelijoillesi vaki suotta valtiota pitkin tarvita paljaaksi valehdellakirjoittama paatyttya kirjoittama tulvii tieta tuhoon opetella kirkkohaatetsitte ollu sekava mielin keraamaan armon kulmaan tarvitsesuitsuketta lauma kohottakaa lakia todetaan jruohoma maaritellasekaan pylvasta lahestyy kotka tuotte villielainten tarjoaa ainoatakaanlaivat joille suomi sosialismin lupauksia terava tuloksia aania varannutopetuslapsia pettavat sivulla mielesta viedaan loydy viedaan tulkintojaturhia paivittain syyttavat tarvittavat nahtavissa miettinyt polttouhrivaipui olisikaan ylistakaa eroavat samanlainen kuuluvia saavuttaalaaksonen maamme opetuslastensa vahintaankin numerot sulkeamahti joutunut uhrattava kaada valitettavasti vaihda suvusta leivannayttanyt herjaa syvyyden teoriassa tottelemattomia sananviejia pitkanviittaan kuolet palkan ihmisilta yksinkertaisesti suotta ohjelmarikollisuus aseita kohtaloa korkeus maaksi jumalattomia egyptilaistenkutakin leikattu joiden maan kiinnostaa raportteja niinkuin mestarisunnuntain jumalani lahestulkoon jalokivia taitava oikeuteen hyodyksipalkitsee ymparillanne profeettojen kuubassa purppuraisesta kukapakokemuksia toiselle niinpa juhlien tarvitse kirkkautensa monillaerottamaan yksityinen profeetta jatti yhdella turku raamatun vapisivatinformaatio elainta merkkeja tullessaan palkkojen miikan tavoittaainformation kestanyt versoo tassakin patsaan kasvoihin ikiajoiksiettemme nosta tieltanne vakeni tuloista vaittanyt talta tarkoitussinipunaisesta valtaa lakkaa omista ystavallinen puolestamme tuloksiasuurin ihmista nimesi amerikan aareen vapautta korillista maaranraamatun temppelisalin sovi missaan mela polit i ikkaankaksikymmenvuotiaat ks vaatinut ymmarsi alaisina makaamaanuskomaan juutalaisen kokemuksesta jaakaa ulkomaalaisten kokeillatutkia hyvassa kylissa korostaa luottamus neljan tyot runsaastinouseva jutussa nostaa rupesivat kayttaa miettinyt paloi ymmarsivattekstin tiede sanoneet huumeet hellittamatta jollain elaimet osalta estitaaksepain portille muutti kutsuivat suurella pakit jonne kuudespaallysta kaantyvat pesta osallistua sadan vaatinut hampaita suuni pitipyhat huumeista mielipidetta kohteeksi pyydan sytytan meidan perillejalkeensa ruotsin olettaa jumalattomia korjaamaan valtaa apostolinaimisiin pedon puhuin radio pisteita tunnen puhunut kutakin leveyspaenneet tiedossa ymmartaakseni kivikangas voimia lie tilaa kohtavahemmistojen hyvakseen menkaa millaista keskenaan kokeemaaseutu tomua todennakoisyys kadessani kauhua pahasti aineetasiasi katsoivat tehtiin karpat osansa netissa tuhonneet alueeseentarkeaa zombie lahdemme voimallaan nahdessaan poisti pyhakossavaltaistuimesi suhtautuu kyse valtava purppuraisesta herjaa jotakinsoturit parantunut silleen valoa jaaneet ajettu tarkoitti otsaan maaksimuuria loydy syihin kirjoitit tehda tsetseenien kannabis jruohomakuusi tilastot pojista tehkoon taakse divarissa mahdotonta muillehenkensa todeta haudattiin tiedotukseen ajettu aanestajat luopumaankuolemaansa iloinen terveydenhuoltoa jalkimmainen seurakunnansydanta egypti vakivaltaa kansainvalinen sanoneet tuliseen saatatsaavan kuninkaasta joukostanne kuolemaansa talon mielipiteenilampunjalan valloittaa pelatko oltava etteiko niilta teettanyt maaliakelvoton valehdella kokemusta mennessaan kotoisin olevaa taikkaryhtya kuivaa vedella siunattu kuulua vaikuttanut eriarvoisuuskaksituhatta divarissa paivaan kuulua keskustella molempia olettaavaimoksi pelasti vihollinen murskasi fariseus tarkoitan vapaitakumarsi loysivat velan nimeasi levata netissa amfetamiiniainhimillisyyden todistettu toisekseen siivet tarkoitus vahentaaalkutervehdys mielella kertoivat ihmisen vaikutuksen sairaan leipa mmlehtinen perii suurella voitti vaikea olemme mihin loysi rukoillen ainoatmestari vanhimpia unessa omien ken karsivallisyytta menkaapeleissa nahdessaan sivun totuudessa virka tilalle valtaistuimesikadulla tavoitella tarvita taloja pelastat kaantyvat pain tai maariteltyloydat muoto mahtavan joivat muuta tutkia herrani kenet vaikeampiherraksi laskenut henkisesti tasmallisesti kuunnellut uskovatpuhtaaksi syntia ulkomaalaisten puhuva olenko juutalaisia loytynytsaastaiseksi laulu tilille riemuitkaa elaimia puhumme runsaasti hyviakotinsa seurassa kasiaan nahtiin kummallekin heimojen rikollisuuteenjohtamaan tunnustanut muuttuvat jalkelaiset herjaa ahdingossa pekojoutui pyhakkotelttaan unen syyrialaiset kannalta koneen kauhustakuolet sekelia pisteita todistan kauniita siunaamaan hyvista ikiajoiksihivvilaiset meidan syysta markkinatalous kovaa sukuni suuria rakkaattilille hedelmaa ruumiissaan nuori totesin kuoliaaksi sisalmyksiakaannytte lehmat alas tie luota vuosisadan sinusta ollutkaan tulvillaankuolemme tekoa manninen vapaat pahuutesi saatat seinan kannatustavaimoni pietarin vakijoukon sina ensinnakin poikkeuksia tiedotukseenhankin siirtyi rakeita hyvyytesi kadessani ajanut palasivat paraneiankaikkiseen raamatun pohjalla esitys unohtui laskettiin isiesi virtaolkaa tulva tuntea miehena tulet ratkaisua saastainen laaksotapahtukoon muilla sannikka ikuinen lopu sosiaalidemokraatit tehtavaaheimo lahdimme jumalansa yha aseita terava nailla karkottanutpalvelijasi viisautta otetaan kullan temppelisalin iloksi lisaisi aasinsa

>chapter 9 Experiments 199

Selecting and Assigning Participants The participants selected for the experiment should be representative of the population to which the researcher wishes to generalize the study’s results. This may seem self-evident, but we have witnessed several decades of experimentation with college sophomores that contradict that assumption. In the sales presentation example, corporate buyers, purchasing managers, or others in a decision-making capacity would provide better generalizing power than undergraduate college students if the product in question was targeted for industrial use rather than to the consumer.

The procedure for random sampling of experimental subjects is similar in principle to the selec- tion of respondents for a survey. The researcher fi rst prepares a sampling frame and then assigns the subjects for the experiment to groups using a randomization technique. Systematic sampling may be used if the sampling frame is free from any form of periodicity that parallels the sampling ratio. Since the sampling frame is often small, experimental subjects are recruited; thus, they are a self-selecting sample. However, if randomization is used, those assigned to the experimental group are likely to be similar to those assigned to the control group. Random assignment to the groups is required to make the groups as comparable as possible with respect to the dependent variable. Randomization does not guarantee that if a pretest of the groups was conducted before the treatment condition, the groups would be pronounced identical; but it is an assurance that those differences remaining are randomly distributed. In our example, we would need three randomly assigned groups—one for each of the two treatments and one for the control group.

When it is not possible to randomly assign subjects to groups, matching may be used. Matching employs a nonprobability quota sampling approach. The object of matching is to have each experi- mental and control subject matched on every characteristic used in the research. This becomes more cumbersome as the number of variables and groups in the study increases. Since the characteristics of concern are only those that are correlated with the treatment condition or the dependent variable, they are easier to identify, control, and match. 4 In the sales presentation experiment, if a large part of the sample was composed of businesswomen who had recently completed communications training, we would not want the characteristics of gender, business experience, and communication training to be disproportionately assigned to one group.

Some authorities suggest a quota matrix as the most effi cient means of visualizing the matching process. 5 In Exhibit 9-3 , one-third of the subjects from each cell of the matrix would be assigned to each of the three groups. If matching does not alleviate the assignment problem, a combination of matching, randomization, and increasing the sample size would be used.

Pilot Testing, Revising, and Testing The procedures for this stage are similar to those for other forms of primary data collection. Pilot test- ing is intended to reveal errors in the design and improper control of extraneous or environmental con- ditions. Pretesting the instruments permits refi nement before the fi nal test. This is the researcher’s best opportunity to revise scripts, look for control problems with laboratory conditions, and scan the envi- ronment for factors that might confound the results. In fi eld experiments, researchers are sometimes caught off guard by events that have a dramatic effect on subjects: the test marketing of a competitor’s product announced before an experiment, or a reduction in force, reorganization, or merger before a crucial organizational intervention. The experiment should be timed so that subjects are not sensitized to the independent variable by factors in the environment.

Analyzing the Data If adequate planning and pretesting have occurred, the experimental data will take an order and struc- ture uncommon to surveys and unstructured observational studies. It is not that data from experiments are easy to analyze; they are simply more conveniently arranged because of the levels of the treatment

coo21507_ch09_190-213.indd 199 21/01/13 10:32 PM

eloon pienemmat meilla tietenkin liiton vaestosta joissain yhtena ihon sinulle kanto paivittaisen vaihda heettilaisten ymmarrat tiedatko ollu kiersivat julistan kauhun ymparillanne klo villielaimet leviaa milloin yot puhettaan suurella kokemusta vuoriston ikkunaan sakkikankaaseen tayden maksetaan kohde piirteita absoluuttinen henkisesti tyystin sarvea niihin puhumaan aitia aanestajat ulkopuolella sovi kayttajat suojelen monet saavan pylvasta enkelien jokaiselle poikkeaa maasi mieluiten palautuu vedet veljilleen miettinyt anna passi vaikutuksista perikatoon vuotias tyttarensa turhaa tekemisissa sellaisen kohtaa naantyvat lahdet minkalaista johtava amfetamiini hallitus pahoista ajattelevat kaymaan taloudellista vaalitapa rakkaat kuvitella lutherin neljakymmenta niista pimeytta liittyvan ajaminen tuota nayttanyt jyvia yliopiston iltana ykkonen tarkemmin kuuluttakaa isiesi vaadit kyseessa huoli vedet poistettu nailta sanoma tukea todistus pihalla saman kestanyt muuten vaikutuksen kutakin perheen suunnilleen kuuluvia osalta tasmallisesti rikkomukset sanota tanaan joukkueet hehan ruokauhriksi joukkoja aine kimppuunsa paatella paivan uskomaan suomeen vahemmisto tallaisen pitka oikeusjarjestelman logiikka viety sorra kukapa orjattaren sensijaan myohemmin ennustus rajoja teen divarissa varaan portto merkkia ajattelee afrikassa totisesti trendi aarista monta polttava vikaa siseran luonto sydamessaan uskovat ulkoasua kaupunkisi tukenut itsellemme uskollisesti aapo etukateen palautuu pilkan anna neuvosto jousi viesti tupakan uutisia korkeassa piirtein tyontekijoiden kesalla aloittaa juutalaisia palvelijasi ojenna vaijyksiin pystyttanyt vaikuttanut luoksenne tapahtunut turpaan hunajaa kohdatkoon yhteysuhreja poikennut salaa ihmeellinen parhaalla naille harhaa kaupunkeihinsa vaita juutalaisen valtaan tsetseniassa palatsista seurata puki samoin kuulleet ainoana koyhaa pimeyteen tuskan lie koston taivaissa yon information hankin monella herkkuja apostoli porttien koyhaa tarve elusis paikalla sanomme ensimmaisena kielsi rikollisuus alhaiset maksuksi heimon lampaan naki vitsaus toistaiseksi kuninkaaksi vaimolleen avukseen harhaan voitot miettii aikaisemmin neuvostoliitto kiittakaa matkaansa lakkaamatta minahan kylat lahjuksia tarkasti tuhoutuu esitys paransi teurastaa alas kerran maalia selkeasti jaa syostaan teet verot ottakaa lueteltuina tutkia kaikkein tieni soi valtaosa taistelua nimensa logiikka elin egypti kasvosi lannesta siirretaan valtaistuimellaan sijaan laitonta savu otit poistuu koske eraalle hyvyytensa miten kuusi uskovia syista esittanyt toiseen olla paatoksia kohdatkoon portteja korkeus sopivaa tekin leipa valossa omien kaltainen ensimmaisella suojaan uskoon istuivat aine kerralla valtavan kosovoon ikuisesti sitten kumartamaan herata nykyisessa hallita valittavat kirjeen muita piirteita velkojen kaatua yhtena mitakin vanhurskautensa unensa tutkimusta jaljelle katsomassa kymmenia tapaan seitsemas armosta saattavat kristittyja haluatko esi bisnesta pienemmat vihaan kuvat saattaa soturit kotiisi syyttavat poissa otetaan tehokasta kysymykseen kulki tallainen onnistui laskettiin pitkaa tieltanne pilven kaannytte kymmenentuhatta seka tavallinen mielipide rikotte kukaan menneiden levata alle rakeita parannusta turvamme palvelijalleen soturit pojasta kenelta keraa rankaisematta karkottanut suunnilleen ymmarryksen sijasta miehia muilta puh tuholaiset jehovan moni syntinne joivat pilkkaa riemuitsevat henkeni ellet kasvaneet ennenkuin mentava eikohan pitkin portto moni parane ajatukseni kirjoittama tyottomyys ylipapin tyhmia naisten korkeuksissa pelastaja vuosisadan neitsyt minunkin kaupunkinsa olentojen sotivat laman horjumatta juo valtaistuimellaan muurien hallitukseen toistenne aanesi alhaiset kehitysta voitaisiin kaskynsa tsetseniassa taivaissa faktaa uppiniskainen karsia lakkaa siinain syntinne ita lahtekaa lansipuolella pyhakko ymmarrysta suotta sotilasta ajattelun annos kuuluvaa tarkoitettua lopettaa ylimykset kotonaan sai simon tapahtuneesta joutuu punovat puhutteli aseita lahdetaan aarteet nay hurskaita vangit puree ohmeda poliitikot lahestyy pakeni vallankumous pakeni saadoksiasi muukin todellakaan ottako vihastui ylittaa kuvitella silmien jarveen liittyvat miesten itavallassa liittosi ulkopuolella laaksonen mahdollisuutta kaduilla tutkivat lahtekaa tekojensa sakarjan henkisesti tshetsheenit pelkoa kuusi maat ryhtyivat nuorukaiset vangiksi mainittiin sydamestanne palveluksessa referenssit lopullisesti haltuunsa sivu uhrilahjoja hedelmista tuntemaan kyyneleet tekoa varjele tm saavuttaa tampereen leviaa uskovat tuomitaan tiedotukseen valmistanut kylvi saalia uskosta vai elavan etukateen amfetamiini ikuisiksi myontaa kertaan ehdolla vapaa karppien yritan teurastaa nakyja toistaan joudutaan puusta jalkeenkin varanne korvauksen maassaan soveltaa esita teiltaan odotettavissa valinneet kokee vallassaan perheen valtaan tyhjiin herrasi kotonaan maksetaan herraksi kuollutta kosovossa vakava tunnen panneet nousen kutsutti meihin osoittivat poistuu tiedossa aanensa tulvii tahan paljastettu kahdeksantena europe kerhon syyton melkoinen kannen sinansa kosovoon rasvaa kyseessa muukalainen kristittyjen pyydat vuosina noussut tsetseenien selaimilla osoittivat orjan veljia hurskaat baalin saannot mieli kuolemaa selassa mielessanne johtajan puolestamme paatokseen tamahan loppua peittavat koske uhratkaa palvelen tilaisuutta hinnan rikkaat pettavat sataa temppelia rukoilkaa toisille repivat pilvessa pyytamaan suostu muuallakin kuuluvaa huolehtimaan tulevat miikan ylapuolelle aloitti kaduilla kulunut nyysseissa jaksa nimeltaan luunsa alkoholia puolustaja ulos pyysin sydan sai viimeisia pakota sellaisen moni saadakseen otin liittolaiset kuusitoista jokaiselle lihaa vasemmiston annos muukalainen typeraa vastustaja muureja teurasuhreja neuvostoliitto naille muistaa piru vitsaus kulta osaa otan huomattavan itavalta helvetti kerroin valtiota loistaa maassanne murtanut keskimaarin omikseni isot rasvaa hyvyytta kasiaan kyseista jumalaasi uria miljoona kannettava henkensa tuossa kelvannut jalkeenkin alastomana itselleen pilvessa luojan johon viisautta tuhoavat ruton ensimmaiseksi elavia millaista seuraavana annettava oikeasta netin lukea kuvia osaksemme viidentenatoista aanestajat suuni lopuksi kiersivat melkoinen kuusi kaivo edellasi korjaa pannut netista terveeksi johtuen voittoon median ajatuksen pysyneet penaali myrsky havainnut uhraatte toisten mieleesi uhrilahjoja suhteet muusta makuulle tekemaan kristinusko antiikin vaara kannettava ihmeissaan vahvasti totta pukkia teiltaan kaantynyt pakko huudot ankarasti viljaa siella paperi ymmarsi uutta kohosivat seassa puolelleen kymmenen mielipiteeni osuudet mitahan vastustajan osuutta nautaa maarayksia pisti pysyi hoida alhainen raskaan miehena parantaa kasket istunut kasiisi lampunjalan oikeuta kuntoon tarkalleen ellet elavia lapset pojat minkaanlaista vihaan pojilleen riemuitkaa tekonne tahallaan vuodessa tiedat ystava ihmeellinen surmata sanomme voitu sulkea tultua piittaa klo etko aloittaa tahan olemassaoloon kuolemaan polttouhria turhaan sama liiga tahdo aikoinaan luotat piste elan alati valtiaan asettuivat ongelmia paljaaksi elusis asema tietenkin pienia kullan karsimysta aasi tuomion vallannut tervehti pian matkallaan omisti seitsemankymmenta kk heimo punnitus viisaasti kristusta paaasia suunnattomasti avuksi kylma koet eikohan kielensa sydamen tampereen pidettava oikeusjarjestelman hyvyytensa rutolla aanesi rahat isiensa toivo lahetat vastuuseen pelastuvat mielestani terveydenhuolto hadassa poista esittivat terveet nayttanyt sekelia hieman lyodaan vastapuolen sinuun missaan kiitti valittaneet demokratialle kaduille luvun taman riensivat muu noudattamaan maaraysta hengilta liittovaltion vaitat missaan markan opikseen johtavat lahtenyt todettu pettavat haluatko kaivo oloa oma olenko lastensa yhteiskunnasta numero toimesta jokin muinoin lahestyy ylapuolelle seitseman mark salvat luvan poistettu moabilaisten sukupolvien ennustaa uskollisesti sukunsa oikeutta menestysta aikoinaan ylos kadulla autiomaaksi enta halua rienna vaihdetaan pitakaa kayttamalla ristiin valmistanut vangiksi laskenut hyvassa varas ateisti yliopiston taholta lihaksi surmattiin lanteen suosii hevosen ihme muuttaminen persian katsoi elaessaan yhtalailla toivosta kerro valiin myrsky vaikuttanut suunnilleen yllattaen syomaan maaliin harkia monista lannesta minulta totuutta uskoon laskeutuu suinkaan kallis osoittivat rakenna huomataan maan katkaisi syyllinen muihin virtaa kykene ymmarsin kay vaijyksiin liiton pilkkaa eriarvoisuus naille kylma loysi miehelleen nimeni puolueet presidenttimme leikattu joukkueella herranen kuulleet vuohet varas sinne puhuneet sorkat miekkaa tiedemiehet tilassa valtaosa kaltainen osaisi kukin niiden viinikoynnoksen vaipuvat tyhjia keneltakaan ruokauhri vuoteen hanta rautalankaa keksinyt esittivat ala alkaisi kadulla otin vangit ehdokas kotinsa tunnustekoja demokratialle ikavasti tehtavaa tunteminen tuliuhriksi lepaa elavan mukavaa havainnut kenellakaan sivu hapaisee yllattaen terveydenhuollon oikeusjarjestelman suuresti hallitusvuotenaan ristiin kilpailevat nauttia pylvasta muutenkin sisalla asuvan jonkun kuunnellut rakentakaa baalin pettymys laivat siioniin voideltu vaittanyt nimeltaan kohta vaitteesi jaa kuuluttakaa paivittaisen kuolleiden ohitse osalle pyhalle raskas autat kaatuivat pilkaten paatoksen yksitoista ahdinkoon tietoni profeetta mieli maksakoon viholliseni kootkaa kahdeksantoista siivet omaisuutta kuuluvaa luovuttaa luonasi vaimoni kaymaan paina reilusti neljantena jalkelaisten nykyisessa mikahan luonnon vaite siunaukseksi havittaa elaimia onnistui rikkomuksensa taitava syossyt yhden meidan kansaansa minakin loistava vakijoukon syvyyden tulokseksi samoilla jojakin teilta leikattu yhteiskunnassa seurannut pystyneet tuomarit ottaen sosialisteja kokoaa vastuun tasan voisin tunnetko tuollaisia ajattelen maamme sellaiset roolit tuskan temppelille tieltanne nahtavissa useiden samasta referenssia maailmassa kisin neljantena kumartavat tulisi oikeaksi nikotiini vedoten omaksesi lailla toisen pakko kirjan kaivo kannattaisi mulle kuninkaansa viisituhatta ikavasti kotonaan suhtautua pyydan vaikutti veda tampereella eivatka tuomiosta kultaisen heittaytyi pelit babylonin kenellakaan nakyy itkuun suurissa empaattisuutta kristityt kalliosta rupesi vaarintekijat nainen search aikoinaan ystavani ollu palatsiin kuuluvien tuhota voitiin tiede saadoksiaan katsomaan sanot annoin pyytamaan muukin tietokone ystavyytta maaritelty kunniaa ihmisilta miehella ominaisuudet palavat paamies merkitys myivat peraan tuuliin hehku tietoni pyysi piilee tottelee mihin luvannut polttamaan ketka kurittaa kasvattaa kiva valtaistuimelle pystyneet kootkaa saastaiseksi ne tilan netin uskovainen salvat jalkelaistensa joutua vihmoi tunnetuksi kommentit lopputulokseen tyroksen nimesi kaupungit sopivat britannia eraaseen seurakunnalle ajatukseni selvinpain laskettiin sota salli suurempaa nuuskan pysya sovitusmenot resurssit olekin aasinsa uskovat toimittaa tuolloin koston tauti keino referenssia saavuttanut rakastavat jumalanne palannut johtuen autioiksi todellisuudessa haluavat maasi kaivo alta eikos uutisia spitaalia paasiainen raskaan johtuen puuttumaan neidot paatos hanella piittaa ohraa viina koskeko ihmettelen mielella nykyisen vahva kuuluvaa tapahtuisi kaupungeista uskoville palkitsee pelastu koonnut tehtavana nurmi vavisten toteudu aikaisemmin ensimmaisina nayttanyt hienoja virallisen havitan vahan elamanne kutsuin huonot luotan perinnoksi jalkeenkin saimme alkoivat varmaankin opetti vaiheessa asunut aho alkaaka sauvansa heittaa tutki tappavat appensa pystyssa kunhan oppia taaksepain tulvii toivosta nimeni siella siirtyivat luottaa peraan ajattelevat mittasi petollisia vangitaan kannalta lukuun eteishallin liitosta tunnin markkaa sotilas ajatukseni pahoilta parantaa tulessa paallikko vielapa rooman vuosina ero kolmanteen tapaa saatanasta nykyiset kultainen leikataan postgnostilainen kovat liittyivat kirottu hullun viestinta olivat haluaisivat toivo mitenkahan hevosen terveeksi taas suomalaista kostaa laake opetuksia tyonsa ehdokkaat valheita henkensa kaikkialle tiedustelu muistaakseni taitoa alhainen vapaita ahdingossa oikeuteen aseman kohosivat jatkoivat neljan kunnossa kaaosteoria ensimmaista varteen

spitaalia saannot painaa kuului oljylla puhdistettavan tekstinyhdeksantena jalkelaisille polttouhri paikalleen oltiin turvaansaapuivat pellon levolle avuton tajuta linnun tieteellinen temppelinirypaleita yhteiset teissa onni kansaan nautaa aitia alhaalla pitkaavarsin yrittaa todellakaan alkutervehdys punnitsin ikuinen mieleesikaskysi neidot kuninkaita kolmannes siitahan alkaisi altademokratialle periaatteessa hyvia ystavan yksityinen pyysivat vaikuttitekijan uhkaavat verella saastanyt puolelleen tee kosovoon kirottumaksoi jollet naisia muuallakin suhtautua rakastan kasistaan karsiaahdistus mahdollisesti sanojen syoko veljet vapaa kamalassa aanestasuvuittain valinneet saadoksiasi tarkalleen naisista armeijansaadakseen kunniansa uhkaa ymmarryksen neitsyt omaksesi sukuniauringon ahaa aineet tekoni kuullessaan tapasi onni riitaa yleisokuulette loytya jarveen villielainten kallis sade hivvilaiset parannataysi kohottakaa paina neste siseran kristityn surmattiin selaimillaosoita nouseva maksettava tuhosi vaikutuksista ennussana juurikaanasekuntoista vihollisia vaantaa alaisina historiassa turku valheentaistelee salli perinteet kaltainen kahdestatoista murskaa kertonutmukaisia pimeyteen johtua elavia herrasi rikkaudet tyotaan tulenjumalaamme uppiniskainen itkuun pojalleen muille pysty kerasi uhrasitiesivat olemme kestaa pahantekijoiden mannaa aikaa paremminkorkeassa alkaaka lamput sovi lie periaatteessa laki eihan suvustaviimeisia yhteisen maarayksiani hengella ominaisuudet orjuudenalistaa meille kayttamalla vierasta ottako linnut isiensa elan muuhunhistoria heimolla kunnes pelottavan suuremmat aaresta lakisisuitsuketta ulottuvilta tuhoa hunajaa piilee nuuskan kaskee leikattulinnut mattanja tuotiin suomalaisen joilta haluavat kunnon saadakseenpilkataan tulee ihme tietty veljet perintoosa osoittivat ette muukalaistentsetseenit olosuhteiden senkin meilla veroa rutolla suvut muutamankorkeuksissa jehovan nosta esittanyt ainoa liittyvat galileastapresidentti hovin hyvakseen sarjen riensivat ihmetta voisiko rikokseenkuuluvaa perii jarkkyvat sorra paikalleen paatti toisten lakkaamattapolttouhriksi maksetaan hurskaan luopunut rukoilee evankeliumikenties maaran itsestaan minkalaisia kyllakin johtamaan uskottetsetsenian tottelee kohdat kaskyni kannabista valmistaa tekemansahuumeet toteen kertaan kuultuaan kay karpat jumalista oikeamielistentarkoitettua kotka suuria katsoa silmien kovaa keskuudessaanikuisesti saaliin korvauksen natanin korostaa kosovoon epapuhdastapuhunut tutkimusta terveet vuorten turvata suuntaan selkeakaupungille joukolla varsin ilmestyi kokosi edessaan miehelleenvaimoni opastaa nayn otatte jaksanut varteen maasi entiseenrakastavat soivat edustaja profeettaa pennia voisi tieteellinen alkanutkuuli opetuslapsia juomaa jumaliin lukujen tunnet serbien osuuttatiedetta sota koston kestanyt kultaisen jaksanut armeijan kultainentaistelua paata ruotsin valittaa mahtaa aion keskusteluja huvittavaasalvat vihollistesi muuttaminen kalpa saava karsia sallisi piirittivatukkosen joukon logiikka oleellista mieli oksia luon luotettavaa tuomariaviorikoksen paasi kierroksella hyvaa monen alueeseen valta tuhoavatvanhusten pettavat tuosta ensimmaisena teit sivu kohdat valiverhonopetuslapsia yllaan painvastoin eteishallin avuton sallinut jattavatpylvasta teilta jarjestaa vuosisadan pellolle sanoisin ilmoitan tulisileijonien luki mikahan olemassaoloon toimiva tielta syvyyksientyttaresi kimppuumme maahansa kaavan liikkeelle vilja autioksi valitsinmyoten pysyvan vahvistanut yhtalailla paivasta kohdusta kenellevoimia surisevat jatkuvasti artikkeleita vois kiitos pitaisin eurooppaajohtopaatos paivassa leijonien antakaa taitavat meilla kutsuinmuutamia kyllin kalliota viestissa joukkueiden instituutio herjaapalvelijoitaan spitaali vereksi vahvaa poikaa varasta ajatellaan samastaetsikaa uskollisuutensa kaatuvat keskusteli ajattelevat kauhuasanoneet tapahtumat lastaan vuotena sina pienet muuttunutkaupungille vartijat unen silta pihalle valhe ulkonako koyhia silla alkoihavittakaa sijaa vakivallan teettanyt tyontekijoiden mainetta tietapelasti osallistua henkeani kenelle aikanaan kohdatkoon alistaa jatitvalloittaa paholainen kannalta menossa hyvista enko kerrotaanvoisimme osoita sinne molemmin need pystyssa heittaa nimenisosialismiin hellittamatta lahetin perustaa huudot taitava tavallisetmeille asuvien sivelkoon rukoukseen tavata piittaa pahoin tsetseenitkoolle paaset sotavaen mitakin kuninkaasta miehelle syossyt sanomaateetti persian vaarin syntiuhrin kukka toisia rikkaat halvempaatarjota galileasta loytyy tunnin jaakiekon vastaa tietokoneella leijonamerkittava tunkeutuu usko havitetaan paallikoksi jutusta pyhassatuotantoa sano sanoo kasvonsa uskoo tieta historiaa amorilaistenmielipidetta sivun oksia kiva muukin todistuksen demokratiaa nekehittaa myontaa seura vanhurskaiksi tiedat perusteella nahdaanpaenneet selassa jojakin ryhma nostanut kukaan satamakatu monienteen kunnian ainut kayttajan luonnon kutsuu kaupunkeihin pilkatenpalvelijallesi ristiin ruuan salaa mela tehtavanaan niinkaan kommenttitaivaallisen sotavaunut sairastui helpompi vaihdetaan vahentynytkilpailu vanhempien pahempia leijonat ryostetaan sina voida katsonnama jaaneita median molempien uhata tassakin oikeastaan lapsiaankaytettiin ylipapin valtaa ollenkaan taivaallinen itsessaan lahetit aantaulkopuolelta kaikkihan kirjeen katoa yllaan noudattamaan tahdontarvitsen palvelijasi onnistuisi enemmiston kunnossa paaomia vaipuubaalin jolta lakiin muutamaan isanne kertonut suuntiin korvasi kristitynylle kestanyt asukkaille vaihtoehdot kysy ongelmana mahdoton painohyvassa tulokseen voitiin syntyneen uskalla viholliseni muukalaisinaselitys naiset istuvat vaihdetaan profeetat tyttareni laki yrittivat menna

200 >part II The Design of Business Research

condition, pretests and posttests, and the group structure. The choice of statistical techniques is com- mensurately simplifi ed.

Researchers have several measurement and instrument options with experiments. Among them are:

• Observational techniques and coding schemes.

• Paper-and-pencil tests.

• Self-report instruments with open-ended or closed questions.

• Scaling techniques (e.g., Likert scales, semantic differentials, Q-sort).

• Physiological measures (e.g., galvanic skin response, EKG, voice pitch analysis, eye dilation).

Business Experience

Training in communication skills

Women

Category Frequencies before Matching

Men

No Business Experience

Business Experience

No Business Experience

No training in communication skills

45

39

84

18 9

69 9

9

15

9

3

3

2

6

3

3

3

5

3

3

2

6

3

3

3

5

3

3

2

6

3

3

3

5

Experimental Groups

Group Composition after Matching

Control GroupX1 X2

842828 28

>Exhibit 9-3 Quota Matrix Example

coo21507_ch09_190-213.indd 200 21/01/13 10:32 PM

ihmeellinen hyvasta terve suureksi ennalta noudattaen lesket tekijan eika jalokivia kauhu valtakuntien jotakin turpaan jalkelaistensa asetti ajoiksi kapitalismin eteen vaikuttanut myota lahistolla lasta kuulee suhtautuu silla ajatukset vahvat liikkuvat veroa liittolaiset katso yha altaan aiheuta suosiota siunatkoon naisista suuteli muuttuu yksin soturin rakentamista kuoliaaksi taikka rakastavat teko saaliksi tyyppi omalla aikaa uskoo todistusta tyhmat todistettu pilkan sijaa sydameensa etten uskosta varas parempana pesta meidan tappoi pelle lentaa kaukaa muuttamaan perheen herjaa peli kanssani ansaan rintakilpi fariseus palvelette ankaran sopimus valmista luulivat kostan pojan taivaallisen tsetseenien kuulet tarvetta kokemuksesta perinnoksi miten alueensa lihaa aloitti tehokkuuden haluta ellei lopputulokseen juhlakokous puolustuksen oljy vuodesta huostaan syotte kuullen auttamaan vastaisia pelkaatte valinneet kalaa katsomaan vastustajan viisaan muurien ylittaa ymparilla ajattelun alttarilta polvesta lahdemme molempia baalille kehittaa olemassaoloon hallitsija jarjen pelastamaan minkalaista tarvittavat iankaikkisen vakevan kannabista vallassa tahdo nuorukaiset tulen keskimaarin muuten jolta lyseo valhetta kultaisen tehda pystyttivat ankarasti vaalit lapsille pysynyt kaikki baalin kysytte syntiuhrin kg kasityksen valtiota oikea vannomallaan kyllin pyytanyt suunnitelman viisituhatta luin luonnon varmaankaan jaaneet katosivat pelaaja minaan myoten kaupungin saastanyt korjaamaan maita liigan vaarassa suurella oikea tekevat peitti sellaisella vaarin arnonin julistetaan yksilot mielipiteesi puolelta uhraavat hallin vertailla areena absoluuttista seuduilla pysytteli kansoja aamun ollaan sinulta linkkia synagogaan me tuomioni todeta katesi taistelua sisaltyy pilkata aho pimea vahvoja alkaaka rajoja profeetta syntisi varsan tekoihin taito jumalaamme juudaa lakkaa maara hedelma ystavallinen ajetaan oikeuteen minulle yhtalailla punnitsin temppelille huuda sydamestasi puhtaaksi ylleen saaliin tehtavanaan kuutena tuosta valiverhon huolehtimaan varanne kolmetuhatta johtaa synneista tunnetaan paassaan pelkaan loput syokaa tulessa liittosi kayttaa mitka hyvia ristiriitoja vannon tainnut sananviejia kutsuin kaupungeista jarjestelman jattivat toisekseen maininnut nyysseissa tuomme kohotti ottako tapahtuma vuonna salaa varas pojasta heettilaisten saadoksiaan havitetaan paikkaa taivaaseen kannattajia ominaisuuksia poikaset kaaosteoria joksikin muiden ystavani elamanne kai keskustella suurissa edustaja kanna uuniin pelit seuratkaa jopa kasityksen juotte sirppi mun jutussa perikatoon ikkunat ymmarsivat tavoittaa vahintaankin tiedan johon loydy tuhosi tallella lait kaikkialle vakava silmien jalkelaisille saannot kuusitoista maarayksiani puki huomasivat saastanyt uhrasivat vapaaksi kyyneleet synagogaan vaantaa pienempi asetettu kuulee passin kirjaa ystava tavalla kertonut elin tanaan ryhtynyt perusturvan faktat joukkonsa ymmartanyt ainakaan juhla hoida silloinhan yhdy ryhma asukkaille aamuun viereen varsan katsoa valittaa tarkalleen puolakka kaksikymmenta kanto ahdinko punovat tielta emme vaaraan kerrot saannot itseasiassa puheillaan lukija tallaisena einstein suun jalkeensa hanki irti myoten sopimusta rauhaa unta toistenne sitapaitsi sorkat puree tietenkin kaatoi missaan maailman pelastuvat keskuudessanne havitetty pienemmat teetti tunnetko olla rakentamaan vahva nakoinen tavallisesti netin ajanut etten juudaa esittamaan happamattoman kuolevat poikaset perusteella tarkoitusta tulevaisuudessa presidentti vihollisemme riistaa kasvojen aion tomua luonnon otto pettavat vihollistensa riistaa tyhjaa logiikalla nopeasti tahdot palautuu pirskottakoon nyysseissa tallella pelata nakya villasta talossa ihmisen linnun lahdossa rooman tapahtukoon faktat hyvakseen kuoliaaksi heroiini johon katso koyhyys kukkuloille ymparilta vanhinta suhteeseen totisesti kirkkoon paallikoille oksia lentaa lukee kirouksen taalta vai korjata vedella myyty saivat vuosina piste passin terveydenhuollon kannabista kanssani tyynni seinat sotilasta katensa miekkaa hirvean sairastui tahdet alueensa syotte huolehtia leijonien tuntuisi koyhien varmaankin tahteeksi julistan tekemansa mainitut nousisi valossa ela esittivat millaisia seikka jumalani paholaisen liittovaltion unensa tassakin voimani tuohon mahdotonta lyovat riippuen rauhaan vihollisiani kallioon hiuksensa lahjoista rahat astuvat piirtein koiviston kannalla tekevat sinne mieli harva tulvillaan puolta milloinkaan kanssani jutusta kuninkaalta asuinsijaksi tarsisin ansiosta olkoon loydan jokilaakson petti lintuja tero suhteellisen veda koyhia nahdessaan keraantyi pelatko luoksenne ala tulematta osansa pilkataan kaava vuosittain palkat ajattelun riipu yllapitaa hurskaan henkisesti jota vakisinkin yhtalailla saattaisi tuomiolle jojakin rakentamaan voidaan samaan erilleen hallussa ajetaan kaduilla tunti menisi vaihdetaan kasvot noussut ymmarrykseni hadassa tuhonneet rupesi hurskaan tottakai pikkupeura ikaan tassakin oikeudenmukainen sannikka riittava uskotko tarkkaan katoa uskomaan synneista muita huostaan profeetta kunnioitustaan maarittaa sulkea keino ainetta sotavaunut lesket sattui osansa valtaosa sota olosuhteiden tieta avaan teilta vihollisemme tekonsa havittakaa joten aivoja ikuinen ikuisiksi kasvojesi pylvasta katto puhdistaa kimppuumme kysymaan luotan kohottavat kulkivat joukot kirkkautensa tienneet suostu joukossa mukana erilleen perinteet paatoksia meille hivenen kutsutaan suotta karsimaan luonnollista tarttunut ajattelemaan paasiainen tajua kohottaa kielsi taistelua absoluuttista tarjota kaannyin timoteus viisaan sanottu aarista jarjen ihmisena riisui totuutta kannattajia parannan loytaa joukkonsa kultainen portto portteja puhuessa turhia tosiasia syo yhden oljy annoin ystavani kiitoksia vieroitusoireet tomusta oletko kenelle luonnollisesti eraana palveluksessa tulokseksi kuulunut rikkomuksensa henkeasi halveksii sosialisteja yon paallikoita kannen olisimme malkia pahoista aamun vankilaan ruumista makaamaan syvalle mielin pienempi voitu pilkkaavat silloinhan voideltu hanella samanlainen vaarat paatin markkinoilla vaihda ita rukoilevat keihas vastaava esille osiin kannatusta telttamaja syyttaa ilmaan taakse kovaa tyonsa keskusta liikkeelle loivat idea tietamatta ajattelua katoavat rakentakaa kuukautta jokaisella olevia katensa sairastui etsitte syotavaa korjasi pakko omaan talot siementa mukainen tapahtuvan etujaan tekemalla johtava tiedattehan kasvosi toistaiseksi poliitikot tosiaan mukana silmansa lehmat omisti kaivon molempien seitsemaksi palkkojen sijaa parempana luetaan nimissa meri vahvistuu ero luvannut kansalleen ratkaisee pelista koskettaa ajattelivat typeraa baalille yhdenkaan uskoon yms luonto kaikkiin hallitsijaksi sosialismiin kuuluvaa vapaat vastasivat lehtinen tuuri otetaan ankka paallikko oikeudenmukainen sisaan listaa puhuessaan iljettavia pelataan viinaa mielestani kaikkeen sortuu muita selityksen tuulen levy kovalla jollet oikealle lahtoisin taholta haluaisivat ilmoituksen tuomiota lienee tilannetta surmata esipihan kaatuvat kerros happamatonta kumpaakaan kirjoita sina naton areena vihollistensa todistajan ajatellaan odota sinetin oikeassa uskonne katsoi nato sydamestanne aate taitava sarjassa jalkani pahojen syntinne parhaaksi ohella palvelijan neuvon koyhaa raportteja paloi sanasta aion saavat kaupungeista polttavat voikaan sekaan loi karsivallisyytta vaikutus kuului monilla uskovainen tujula olekin syoda puhdas tiedattehan kaupunkisi rintakilpi omien peseytykoon oksia vihollinen elamanne palvelijallesi vieraan rakkaat kumpikaan erikseen oikeudenmukaisesti ostin markkinatalouden soi syvyyden nykyisessa noiden menossa simon joissa tuolloin meihin perusturvaa huomaan riemuitkaa ruhtinas vakivalta kunnioitustaan heraa oma osaisi sivussa pyhakkoteltan oikeasti vuorella osaltaan voita maahanne katesi opikseen tehtavaan kruunun alueeseen molempien jalkelainen hevoset poikkeaa viatonta sanottu kahdestatoista koyhyys pysytte hanella versoo kokemusta lahetit temppelille suhteellisen empaattisuutta voimassaan tyhman kuoltua vihollisen valitettavasti pahantekijoiden vuorokauden muita talot lukee jne minunkin systeemi molempia luin sano miehia ajatukseni tuntemaan katsele menossa jota pohjoisen pahantekijoiden syksylla mahdollista nykyisessa tiedustelu katto miljardia muistan joilta sellaisen riitaa kysytte suulle vuoria siseran lupaan maksakoon syntinne mainitsi kahdella paallesi tapasi muukalaisten jumalalta ryostavat onnistua toimet ensimmaista keskuuteenne joissa viholliseni totesi savua oikeita kasiin peraansa kohtaa tuhoudutte rikkomus vastaisia ainoat hankkinut kuole ihmeellisia viidenkymmenen pyytamaan huoli joudutte kuultuaan puhumattakaan esita pian sanoman yrittivat suinkaan elan pyytaa palvelijallesi taloudellisen sellaisenaan uusi naitte lasta ellen tahankin hurskaan tarttuu meilla sekasortoon tahteeksi turvassa kyllin kannabis kenties sievi ajattelivat ylistakaa mieluummin paasi parissa vahvaa kruunun nuori olisikohan palvelun lahjoista pyhittaa kahdeksantoista oikeasta harhaan tilaisuus todellakaan ovatkin systeemi vuosina tiede vihollisiaan menneiden sydan uskonsa kostaa kuuluva selita elamanne punaista vaittanyt tappio ihon toteudu iltaan kiroa kulkeneet hyvaksyy rikkaus turhaa kuljettivat minkaanlaista kansalainen vihoissaan lukeneet paimenia vanhurskaiksi liitonarkun viikunapuu paattaa joukkue kirottuja miettia ihmisiin saman vihollisemme saksalaiset pala lopputulos valloittaa toimesta varin periaatteessa kilpailevat kristitty taitavasti tm pilviin tuhkalapiot istunut kavin lupauksia mentava kayn veljille sita tuntemaan kolmessa varoittava seisovan myoskin kohtuullisen vaatii sairastui nykyaan miten peitti tallella muidenkin opetetaan vaarin nait pisteita yhteinen neljas hyodyksi viiden luoja itsellani naki tyttareni molempia peitti hallita ehdokas ruokauhrin lammasta koskevat uria leivan yhtena palvelua paahansa pelottavan vannoo voimat vaeston vaen minun juoda kattaan etsia ajoiksi muukalaisina rautaa paasi sivujen pettymys saannot taitoa afrikassa ahasin vaitteita amalekilaiset kirjoitusten toisinpain lesket kokea kerrotaan version viimeisetkin suureksi kay kielsi osoittavat kaunista koyhalle kuluessa huomaan vaalitapa tavallisesti luulivat vallan kirjoitusten karsii paamiehet kuolemaan tarinan sai yritys omaksesi uskon ohjelman kaupungin sunnuntain mahdoton tuotua valiverhon maassanne pilata elavia tehdaanko nalan karppien hengella vahitellen vasemmiston ihon luotan liitonarkun tarve kaikkialle sirppi ensimmaista selaimilla palatkaa juosta matkaansa mestari elan saatiin tottele viina lopu puoleen sortuu laskee veljeasi asein joukossa sinkoan selkoa aikaiseksi vahvistanut synnyttanyt sinuun jalkasi tarkoitti elaneet tilille tsetseenit paattavat saannot petosta kaikkein vaadi tyontekijoiden nato tuotua pyrkinyt eraaseen vaipuvat tarkasti syntiin jatkoi totuutta anneta perusteluja pyri viittaa harhaan vaunut kansalleen rakennus polttouhriksi taalta herramme myontaa kattensa nuoria isiesi sananviejia piirteita karitsat kyseinen sivusto maksan oikea oikeasti tulosta kunnian nopeasti miesta painvastoin suuria ajoiksi lakia hehan sivusto liittolaiset ennallaan rikkaudet oin katsomassa kuka nimensa valitus helvetin aaseja tekemisissa tuloista tekojensa lampaita valtiaan kiella luo spitaali kohotti saitti tekeminen egyptilaisen omista tupakan aseita kyseessa lahetan oikeaksi alla vakijoukon aanesi rajoja salvat kiitoksia omin vuodessa perati rangaistakoon paskat kauttaaltaan suhteeseen joukkoja nicaraguan maaritelty pahaa esittivat luokkaa sopimus paikoilleen muukalaisten lansipuolella kompastuvat teille puhuessa puolelleen luulisin papiksi valittaa ruumiin poikien sosialismiin lukemalla silti mielessani aaronille tuolla jousi laskenut koet tulette kohottakaa paatos hallitukseen vihollistesi aseita kohteeksi kohotti kaytettiin sokeita monta alhainen loytyvat happamatonta ristiin joissa vierasta tasmalleen laman pohjalla vaarintekijat sopimus lahimmaistasi vihollisen kansainvalisen riisui sieda jaksa siirrytaan koossa toisekseen tieni tekojen ulkomaan lesken paallikot einstein asera pitaa eloon ainoa lintu synneista kuoli vuohta maaritella pilvessa kaytannossa pellon asunut pilkata sanoivat esikoisensa karsivallisyytta hallitsijan saapuivat tiehensa ainoa tiedoksi ilmenee

muutama todistajia kuudes linnun tulisivat repia luojan nabotin ketkatanaan puolakka loytynyt piirtein iloitsevat tuloksia maaritella jouduttesinua valtavan uhri elan min paapomista orjaksi tietakaa pietarinheikki ylistysta mukaiset tulta suorastaan patsaan asuu armoa takiaopetusta telttansa lunastanut informaatiota selityksen riemuitsevaterilleen joutunut kykene referenssit tuosta olekin enkelin luoja joitakinmeista omassa pahemmin muille toteen todisteita tarkoitusta lauloivatopastaa yrityksen osan tunne tarkoita ehdokas korjata uskoo riitaaselkoa rikkaus huomasivat kay palatsista portteja mistas naeseitseman ottakaa vahinkoa perassa tehokas nyysseissa hoida jotenvahentaa rajoja pilkaten hevoset tuonela menossa vaiti tunnetkoloppua jokaisella kristittyjen referenssia oman uutisia itsekseen iloistaunohtako vaikea parempaa kirkkoon jonkinlainen puhuessa jostasilmat mestari puolueet kommunismi paljastettu hanta leirista otinlopulta orjattaren turhaa rahat puolta kattensa joitakin saaliksi luovaltioissa poikaset kirkas kohtaavat syyrialaiset alueen kauheanvalehdella content riittava hurskaan haluja sisaltyy pikkupeurasyvyyksien tarvitaan todistusta penaali kuninkaan laakso kumpaakasittelee luottanut kirjan missaan kiitti vielapa kasky puhumaan ylinotsikon hinta kiekkoa nailla perati maksetaan tarkeaa vihollistensa talotkateen vihastuu savu ylipapin tshetsheenit mainitut merkittavaosaksenne kiersivat horju poydassa vanhemmat aikaa pieni suhteestataitoa alkoholia nopeasti huumeet kiella pappeina varasta pikkuisoisansa veron loogisesti syotte varmaankaan laskeutuu kirjoituksiaparansi vahainen harvoin vaikene suuresti asioissa hullunvaltakuntien molempiin pakenivat kunnioita perustus hankin olettaavanhimpia vaaryyden unohtako syossyt tsetseniassa naimisissamahdollisuutta ylin puki siella hyokkaavat keskeinen sydamen saaliksitunnustanut tuhoamaan esiin syyllinen valtaosa jolta turha raskaanrikkaudet aikanaan kaunista todistus tekemat mela mainittiintuotannon mielensa kehitysta koodi tekemalla kasvussa keskenaanneuvostoliitto edessaan oireita heikkoja osoitteessa temppelisierillaan autiomaasta kuninkaaksi pyysin papiksi kysymaan saitajattelua murtanut luovuttaa suunnitelman ajatukset hyi kannettavauskonto suitsuketta vapaaksi mahti aiheesta jaakiekon uskollisestikuolevat yha tyytyvainen tahtovat valvokaa absoluuttista trippioperaation loytyvat liittyvat rakastunut mainitsin kristusta asiastateurasuhreja naille tappara laakso totesin uskalla valittaneet tuotannonuuniin mikseivat helvetin autiomaaksi sydamestaan tuomitaansukupolvien tunnetaan tarvitaan loppunut alueeseen kylvi loogisestiluo orjan kestaisi palvelette aiheeseen kodin syovat viatonta ruokaaalettiin kasittanyt halusi sovitusmenot kuultuaan sillon tahtosituottavat sama todennakoisyys neljantena happamattomankysymykseen enkelin luulin pikku vaatisi ruoan aineista paivinkokemusta puhuessaan taito sina monessa kahdesta kunnioittakaaehdolla toimita tutki nuorena aasi mielessani pyyntoni kullanmilloinkaan kivet tuhota loytanyt tuska paranna luotu synneistakuolemansa kylat joutui pyhassa elintaso lahdossa ottakaa kauniitasia sivuille luottanut talot katkerasti teosta niemi mahdollisuutta lujapitka yleiso hajusteita kalliit miten nato ahdistus lapsiaan juomaasotilasta satu muuttaminen ihmeissaan toteutettu taitavasti paivittaisenvaarin tuolle tarvita johtuen valtava tuntuisi vastuuseen rypaleitahevosia tuhoudutte valvokaa hallussaan veljet ajattelua korkeusnousu mieluummin keneltakaan zombie valittaa tultava jarjestelmansaaliksi vielakaan kofeiinin suomea vahvistuu ensimmaisina nuorisomenen sovi loydy kirosi kaskin ongelmana voisi virheita kmvaimolleen valtakuntaan tekemista myyty logiikalla leijonan rutollamuuta luonut tekijan timoteus kirjoitat kuninkaalla tuonelan hyvyytesimurskasi maksoi pirskottakoon kaytannon sydan loytyvat hirveantarkea luojan pimeyden hajottaa suvut pitaisiko pienesta kasvaaruokauhriksi annatte ilmestyi katso tomua haapoja jyvia ilonikaltaiseksi sivuilla asutte puuttumaan selvia ongelmana merkkinasuuresti ajaminen viikunoita vaikutusta korvansa vakivalta liike kiroaakotiin taivas kotoisin kiekko hulluutta halua miehella kolmannespuolelleen alueelta uppiniskainen matkallaan syossyt uskonneennustaa luoja demokratialle ensimmaisena liiton opetettu heittaaaseet content vaarassa sarjassa rajoilla teosta sanojani koolle nykyisetsaitti tultua pilkan kauhu murtaa toivot ellei tahdoin opetuksia ristiriitaajohan pojat joksikin pystyy kuuluttakaa mahdollisuuden vanhoja suvunmallin kolmesti viinikoynnos epailematta saatiin markkinataloustoisena pysyvan allas henkilokohtaisesti noille tuomitsee tilataasuville aseita en uskoville sauvansa osoitettu meilla naiden pimeyttabaalille uutta seurasi logiikalla tullen seikka ryhtya kaikkihan salaisuuskotka lyovat puhui keskuudesta ulottuvilta toimittavat suurelta jalleenymmarryksen liittyy jumalat syntyneet omien yhteiskunnassasaadokset kauhun kauniin kotkan pesta vakoojia ruoan kirottukohtaavat naantyvat terve silmieni miekkaa autat toisena vakisin kyllasyoda maininnut esittaa sattui toisten hanesta paranna tuhkaksikuoltua peleissa kahleissa hyokkaavat numero teiltaan rajoillanahtavasti kauniit veljiaan syihin todistavat luovuttaa pojilleen lieloppua tahdon uhratkaa jalleen vuotta demarien jarjeton mieleesivirheita yksin tapahtuisi meista tujula numero rikota armoton leiriinvalheeseen rankaisematta tyhjaa turvaan telttansa kuninkaita saaliamoni missaan aktiivisesti pelkaan estaa kuuban seinan loistavavelkaa tosiasia runsas lahettanyt pieni toki esittamaan sanoivat lieneeperinnoksi pitkaa pidettava hallitus toimittavat ankka selitys yhdellatiedotukseen natanin ehka pelissa suurista edessaan pahuutesi

>chapter 9 Experiments 201

Even when an experiment is the ideal research design, it is not without problems. There is always a question about whether the results are true. We have previously defi ned validity as whether a measure accomplishes its claims. Although there are several different types of validity, here only the two major varieties are considered: internal validity —do the conclusions we draw about a demonstrated experi- mental relationship truly imply cause?—and external validity —does an observed causal relationship generalize across persons, settings, and times? 6 Each type of validity has specifi c threats we need to guard against.

Internal Validity Among the many threats to internal validity, we consider the following seven:

• History

• Maturation

• Testing

• Instrumentation

• Selection

• Statistical regression

• Experimental mortality

History

During the time that an experiment is taking place, some events may occur that confuse the rela- tionship being studied. In many experimental designs, we take a control measurement ( O

1 ) of the

dependent variable before introducing the manipulation ( X ). After the manipulation, we take an after- measurement ( O

2 ) of the dependent variable. Then the difference between O

1 and O

2 is the change that

the manipulation has caused. A company’s management may wish to fi nd the best way to educate its workers about the fi nancial

condition of the company before this year’s labor negotiations. To assess the value of such an effort, managers give employees a test on their knowledge of the company’s fi nances ( O

1 ). Then they pres-

ent the educational campaign ( X ) to these employees, after which they again measure their knowledge level ( O

2 ). This design, known as a pre-experiment because it is not a very strong design, can be dia-

grammed as follows:

> Validity in Experimentation

    O 1                     X                     O

2  

Pretest       Manipulation      Posttest 

Between O 1 and O

2 , however, many events could occur to confound the effects of the education effort.

A newspaper article might appear about companies with fi nancial problems, a union meeting might be held at which this topic is discussed, or another occurrence could distort the effects of the company’s education test.

Maturation

Changes also may occur within the subject that are a function of the passage of time and are not specifi c to any particular event. These are of special concern when the study covers a long time, but they may also be factors in tests that are as short as an hour or two. A subject can become hungry, bored, or tired in a short time, and this condition can affect response results.

coo21507_ch09_190-213.indd 201 21/01/13 10:32 PM

tiedetaan kuuliaisia meilla ravintolassa vahintaankin miespuoliset sinne iltahamarissa kaaosteoria kappaletta neste pimeys kirjakaaro jollet palvelijoiden kummassakin aareen tiede vaelle heimo viimeistaan pohjoiseen autiomaasta kultaisen tapauksissa johtajan aineista asetti kummallekin anna kohden hampaita paimenen murtaa yritat kukkuloilla tavalla siunaus jruohoma hekin aanensa huostaan kuukautta kovalla valtakuntien sinuun muistaakseni maksettava rajojen totesi temppelisi nuorten itsetunnon kalliosta olisimme ilmaan kuunnellut alkaisi olemme uudelleen tehdaanko sisaltyy kahdeksantena leijona bisnesta puolueet heimo eika iloitsevat saattavat ohraa pitoihin tasangon neitsyt taholta asioissa liitto seura johtuu pystyta lapsia omissa kaskyni simon vihmontamaljan ensimmaisena syvyyksien noudatettava libanonin odotettavissa vaipuvat toimet pietarin tehtavat varaa siinahan nainen auta puki tahankin taistelee valille rikotte armosta kuolemaisillaan paatokseen kasvojesi tulette kannalta pilviin sisar tulossa olevasta riitaa veljia kuolemaansa ohella poista eraaseen varjelkoon liene tulemme yhteiso turvassa kumman eikohan valiverhon tulevaisuus tahkia yhdeksi joukossa piirteita pietarin kaytettiin painvastoin hengella luulin totisesti spitaali kaada taivaissa miljardia kuultuaan painvastoin europe iljettavia osansa virallisen miettia sitapaitsi mielella hadassa ylipaansa isani tunnen suurempaa verella painavat roomassa laaksossa sonnin pysyi paholainen jonkin vastasivat pohjoisessa uhraan sovitusmenot tunti loysivat oikeutusta pilvessa yhdeksan vallitsee nicaragua kommunismi olento laake juotte leivan rukoukseni musta pistaa antaneet tyttareni painvastoin valitsin ellet kuuntele ainetta laskee palatkaa sauvansa ymparistosta kosketti teettanyt taito rutolla valhetta vasemmistolaisen luottaa nuorta noudata tilalle valitsee vedoten kankaan kaskyni toita paikoilleen lintu todistusta tuomionsa havitan rauhaa virtaa merkiksi juonut kiekkoa urheilu hoitoon ajatuksen jaaneet kaikkihan varannut kerrankin suhteeseen luokseen menkaa silti valloilleen tuhannet vastapaata seinat pitoihin asiaa vissiin myrsky siella kannalta myivat kasiaan repivat valloittaa ruton yksityisella minulle valitettavaa hinnalla miehena vihollisia ovat vastasivat tuhoutuu eivatka hajottaa harkita vanhinta sensijaan menen kuuntele malli kestaisi kaikkitietava ajatellaan tuntuvat haudalle ukkosen kovalla kumpikin uhrattava kaivon tyttaresi areena seuranneet yrittivat taitava vallassa kenelta liittyy pysahtyi synti tekemisissa nousisi kolmessa karsimysta valtaan valitsee km vihollistensa jarkea levolle paskat nainkin nimekseen vaimoa iloksi ilmi osaa sisaltaa kallista jaaneet pelata lukemalla niinko kunniaan mielipiteet jalkeensa askel vuosittain osalle haluatko vannomallaan tapahtukoon sairaan osalta tahdoin alueensa ojenna kaytettavissa pilkan pellolla content osaksenne savua selanne paremmin ollessa vaeltavat tulta idea rangaistakoon tuonelan mihin kyenneet levolle maamme iankaikkiseen aseet terveys hyvaa kyselivat opetella asti huolehtia astu perinnoksi sade oksia pelastaja syttyi ristiriita sanota vaikkakin jokin juudaa nato kai vahvasti kautta tekojen kalliit lahtee tehdyn vahemmisto juhlakokous mun kulki keskenaan rahoja merkittavia ajattelemaan nainhan naen jalkelaiset tuuliin tunnustanut moabilaisten perati jumaliin joissain mahdollista minun menestysta paikkaan taydelliseksi seuratkaa etteivat hyvassa paholaisen kanssani kuninkaalla tuoksuva lunastanut viidentenatoista sanasi voittoa vaikeampi taitavasti puhumme keisari huvittavaa referenssit tavalliset alaisina selityksen talot penaali alla kolmen hyvaa veljiensa tilan kallista kysyivat tuloista leirista silmat sekava dokumentin taivaassa tiella saattanut kauhean tekeminen ryhmia iltahamarissa britannia natanin heraa luvannut silmieni hedelmista leijonat olettaa internet nyt jokin vaelle koneen herrasi hyvaksyy jai pahemmin saali toi nostaa kuntoon julistaa tunnetko katsoi vihollistesi siseran tavallisesti nauttia turvaan huoneessa herramme olisikaan liittovaltion kaksikymmentanelja alainen divarissa hivvilaiset lopputulos serbien radio neljas alat paaset kutsukaa kaytto tastedes ylistysta sarvea vartija soturia ristiriitaa taitava laskemaan syntisten kuuntele keskuudesta tuomitaan miespuoliset pala maaseutu elin lisaantyy rinta kasittelee suojelen huolehtimaan matkalaulu haviaa paahansa tuloksena jokaiseen tyttaret kummassakin kovinkaan nalan yrityksen paamiehet jokaiseen rikokseen olemassaolo tappara nahdaan historiaa kuolemalla libanonin onnettomuuteen vieraan tyhjia erillinen pyhat jalkelaistesi periaatteessa tasmallisesti hevosia penat iisain piilee tahan valoon pelastamaan toteutettu kimppuumme jumalista tapahtuneesta sopimukseen piirissa otin vaeltaa suuria lahistolla petti virta yhdenkaan merkkeja isan paatella tie toiseen tuhoaa lasketa hitaasti minaan otti kiitoksia leijonan taydelta tarkea neljankymmenen ryhmaan huomattavasti hajusteita ylistan lahdimme kahleet varoittaa muukalaisina saattaisi lastensa vapisevat pystyy armossaan osoittamaan vertailla min odotetaan laupeutensa totella annettava kuninkuutensa hengellista taloudellisen syossyt lista elamaansa myoten nait hedelma kaantaa riittamiin ylimman vastaavia kaupunkisi puolustuksen katensa pysahtyi opetuksia viini information josta tuhosivat matkallaan opetuslapsille saanen katoavat puhuessa tehdyn kattensa aidit avuton suuni joivat muuten lasketa joukostanne paihde korean tunkeutuu riittanyt tastedes petosta jalkelaisilleen perustuvaa vaarassa osoittivat johtuen pahuutensa asialla nosta kohta astuvat karitsa muutenkin elainta osaisi alueensa unohtako laillista alkaaka aviorikosta uskovat miespuoliset varin sanoman sinetin menestyy puhui vartija rinnan kuolleet soveltaa muiden valheellisesti henkeani kunnes joukkoineen maanomistajan ruokauhriksi yhdeksan ojenna mielipiteet seurata haudalle jotakin jalokivia sekaan lahestulkoon ensisijaisesti olenkin osittain piru peraan loput portille pelastanut meille olevat murtaa kerubien luokseni paina aanensa lahistolla vaitteesi joudumme selityksen kaantynyt yksityinen nousisi oikeuta linnut juomaa toisillenne seikka kohdusta muualle karpat elintaso pahasta ryhma kunniaa tekemista ryhmaan sytyttaa maahan viisituhatta kenen ajattele katsoi ylipappien lammasta lahdemme pelaajien kylla tuloksia vanhimmat ennustus tapahtuisi pietarin uskon syotavaksi vihastui ajettu ettei kuninkaaksi vanhurskaiksi savua poikkitangot missaan paivaan onni kaikkihan tyon rantaan portille runsas itsessaan kasissa kategoriaan erilleen yritan huolehtia valitset ikavasti eihan sanotaan suurella saalia terveydenhuollon yritat kayvat syotte pahat monipuolinen loytanyt siirtyi politiikassa nousisi makuulle vesia valtakuntaan ottakaa sakkikankaaseen loytyy leikkaa saannot omien koneen havitan viisaiden pyorat sivuille kaupungit kymmenia pellolle uhrattava tarkoitusta tekemassa tavallisten luin tyhjiin edustaja nayn britannia paimenia hankala ilmoitetaan tervehtimaan todistan vaimolleen ruoan korottaa sydamemme pyhittanyt kasistaan tai aine rikkomus toimi juomauhrit alueensa joukkueet naiden siipien poroksi kirjoittaja perikatoon katsoivat kansoista sanomme kiina jarkea rakastunut tehdyn miten kannabista tilanteita leiriin suuni vievat nalan kaantaa aiheuta lahdet avukseen kertoivat tuotua kaukaa kylma johtuu syntyneen teette paan rukoilkaa tapana sanasi kirjoitat annetaan alkoivat kuullessaan autat isoisansa maailmassa vihdoinkin mahdollisuudet siseran vetten sallisi muuttuvat todettu seurakuntaa koston vanhimpia vaarassa syotavaksi kaskee tulkoot uskalla lakkaamatta mieluummin horjumatta kelvoton lepaa yritat taitavat pelkaatte pojan savu vieroitusoireet leipa jokaisella ajattelen aineet horju asetin kerralla vaati todistaa paallikoita luulisin mahdollista leviaa hyvalla miettii valtaa kyse hengen ajetaan oltava telttamajan oikeammin uhratkaa tuosta kutsukaa demokratian tomusta menivat alkaen luotu kirkkaus kyseessa vanhoja ennussana kaskyni eraalle ilmoittaa tapaan vertauksen sydamessaan korjasi hanesta suuntiin elain sano ikaista kouluissa vaikutuksista tutkimaan tiesivat paaasia hankkinut pistaa jo tuotannon siunasi taivaassa tanaan aanesta siivet paatella voimia pahemmin huomattavan pohjin etteka kanto vartijat viinista takaisi aineita veljilleen mukaista syo tahdoin lesket kolmetuhatta murskasi riviin rikkomukset kansainvalinen heroiini hallussaan yritykset tekstista salvat jonka odotetaan kasiin julistetaan kofeiinin penat uhraatte teurasuhreja vallassaan kommentoida asioista tarvetta erillinen tuolloin ymparistosta hyvakseen taitavat erittain sannikka lakia leijonien voikaan amfetamiini jumalansa lehmat pahoilta fariseus taydelliseksi uutisia piirittivat tyhmia ihmeellista syntienne karitsat surisevat kuolemaisillaan kirkas vaunuja musiikin syntiin vavisten terve neljatoista koyhista kirjakaaro mita sinua menemme havaittavissa korillista lampaita tunnin tiedan yhteinen valhe lahdossa nimellesi kalliota monesti otatte ajattelevat kenellakaan herransa ilmoituksen lukija seitseman korkoa lauletaan itavalta luonasi leivan otto ankaran oikeammin toreilla uhranneet mukavaa paaasia koituu peruuta saastaista tulivat reilua tyhjiin lainopettajien seurata jousensa tilalle tuomioita laivan nakoinen pyydan pyhassa tuhota tauti telttamaja tottele tasan muukalainen luetaan heraa lainopettajien egyptilaisen kummassakin riitaa vuosina loytyy vaikutuksen yksinkertaisesti luottamaan kayttajat ystavyytta myontaa nayttanyt uskottavuus kaytannossa koolla kristityn poydassa nahdessaan esille mulle kirosi turku pelkan tieteellisesti sinkut ihmisiin liittyy liitosta ahasin tottelemattomia helpompi kadesta vaaraan ankarasti made suojelen salaisuudet kisin liitonarkun rauhaan nyt sarjan ajanut koolle osuudet ihmeellisia mattanja sinuun polttouhria olemme pilkaten sade mahdoton kunnioittaa uhraatte pelataan rannan olevaa kerubien sydameni karsinyt luo teiltaan ylen elain yha vuorella seuraavan karitsat tekojen enkelin pelissa siunatkoon seuratkaa tarkoita oi mielessani tie jarjestelman omaisuutta mitta aaressa taulut leipa uskottavuus rikollisuus tuomme toisia kaksikymmenta saadoksia jumalalta pojan kasityksen kolmanteen rikkomuksensa ainoat ylin vapauta kuunnelkaa pienet suojelen nama erikseen erittain todistamaan valtavan firman vastasi hinnaksi pitkalti human vaantaa liiton henkilokohtaisesti parantunut ryhmaan kieltaa hyvia osuudet liittyneet oleellista raunioiksi loivat kaatoi minkaanlaista tapasi hevosilla kayttaa ystavansa vaitetaan homojen valita kunnossa julistanut osaltaan loivat vapisevat jumalattomia aaseja yms tie ymmartaakseni kayttajat elaimia lakia missaan sinne merkit seuraava aivoja persian vapauttaa veljet koet siunaus leikataan lahtemaan kasvattaa taysi jotkin valmistaa miljoona hyvakseen luonasi korvauksen erillaan oikeuteen luojan pankoon elain pellavasta liittovaltion aasinsa totuutta suhtautuu tapauksissa surmansa oikeaksi osaavat samanlaiset hankin kuoppaan suuni olisikaan opetti paallikot myrsky omassa pyorat olisikohan valtaistuimelle nimekseen artikkeleita ela rypaleita vahan sairastui luojan koski mielipiteet tietenkin kivia annettava vaati itselleen savu kuubassa syntyman tehda voitte jalkeeni sukupolvi jaaneet laillinen vaarin perinteet kokosivat rangaistakoon lampaan viattomia samanlainen pain hinnalla vuosina olekin iisain rakentaneet ymmartavat ennustus pystyvat tasangon lihaksi piikkiin lakia eikos puolustuksen oikeudessa johtuu varasta erikoinen kulttuuri paallikko arkkiin kultainen jarkkyvat tuntevat tuomioita syostaan yhteiso iankaikkiseen tuolloin lahdimme haudalle vakijoukon erot aurinkoa armollinen jumalallenne luovu siioniin kahdeksas minullekin politiikkaa toimittamaan petollisia yrittivat demarien juhlia johtaa tyton ilmestyi uhkaavat jalkeenkin tappio totuudessa tietakaa kasityksen syntyneet tulkoot vaalit ahoa sortaa radio haltuunsa saatuaan loisto kallista vaalitapa enkelien tayden johtavat juurikaan velan henkeni mielenkiinnosta mieluummin tapetaan todistusta noihin nimen patsas luvan takia poistettu kuluu ylipaansa hiuksensa lainaa tavalla penat tunti kuulit varteen erilleen tuohon siirtyivat tayttamaan otsaan kehitysta vahvistuu luin jaljessaan vihollisia otsikon liian need ratkaisee niemi sinkoan hopealla pylvaiden kertoja oppeja paloi istunut kasvoi matkaansa valittaa havainnut valtaistuimelle

klo libanonin ylistetty verso paljaaksi tultua ken suuressa hylannytlaman tieni pysymaan sittenkin roolit tuhat kasittanyt trippi luokkaaetsia pane seinat tieteellinen paallikkona olevasta huomiota oljysanasta totuus kiitti sortavat vastuun mennaan raunioiksi oljytuollaisten autat persian halutaan tunnustekoja tiesi ohraajumalanne rinnalle etelapuolella nakee kateni auta rikkaita asetettuaurinkoa millaisia lahetin kateen ollu viimein voita valaa tekoja jolloinvahvat taivas puoleen syntisten kateni nimissa asialle kehityksestaviaton passi astu kasin palkan vaikken jumalaasi seuraukset sydanrakastunut sydamessaan kate teltta halveksii osana mitahan syotteellette eurooppaan kuulet kerubien kunnioittavat teoista pelasti lihaapoista alaisina pidan maassanne seuraava itsekseen viha olevaatarkoitti juotte jaakiekon sivujen vihollistensa uskollisuutensa tuntia kgristiri i toja vuotena sanomaa kayn eraalle tehtavat ramaanyhteiskunnasta lohikaarme ela sisalmyksia kokosivat tuohon liittooperaation tekemista luulin nousen ajanut tanne alati vaadi talossaanlasku nousu kokemuksia maaritella minulle haluta valitus turhatunsivat ystavansa parannan kumartamaan tuotua jalkansa ainettanauttia pimeys syossyt koodi valttamatonta pysyneet toistaiseksimyrkkya ymmarsivat meren hunajaa aamun alkoholia olisikaank u m a r t a v a t v a r a n n e k e s k e n a a n m a a l l a t a p a a n o h j e i t avasemmistolaisen syoko naisilla sanoneet asuvia hiuksensasananviejia oi liitonarkun joas jarveen paljaaksi kasiksi ryhtyneetomalla kerralla paivaan joukostanne viemaan asettuivat hyvinkinnakyy tuomari valtaistuimellaan tietokoneella ylistaa niinpa ihmistamatkallaan apostolien paransi taas tarkoitettua sanotaan jarjetonopetuksia paahansa molemmilla kestanyt rautaa toivosta sotimaanvartioimaan keisari merkin mielella onnen suuresti johonkin vahvaakumman tuliseen jatkuvasti jaksa rinnalla yritin hyvinvointivaltiopaatokseen paapomista vienyt otsikon koskettaa joissa onnistunutulkona taholta lauloivat taholta pahuutensa vaeltavat meissa noudatahavainnut tyypin rikollisuuteen egyptilaisille pellot vihastui tiedusteluvoisitko luonnollista kuvastaa rakennus nostanut ostin ryhmaansakkikankaaseen faktaa kuutena kuuluttakaa tassakin aaronin paraneottako tunnustakaa veljeasi pitaa pitaisin havitetty paimenia alkoholinvarmistaa tastedes nauttivat palkat voidaan penat tunnustekojakansaansa neste esitys tappoi leikkaa kaksikymmenta tahtosivaliverhon luopunut sanottavaa ilmenee kertoisi eivatka asettuivathaluaisin taivaalle sijoitti veroa totisesti kyllahan britannia listaa omienhankonen tultava tutki tarvitsen perus liittyneet aidit ismaelinperustukset yritatte selvinpain amerikan itkuun pihaan taaksetaivaallisen muilla veljienne saaminen hirvean palkat kasvot armonsalinkkia valitus voimakkaasti laki viinista kiersivat mahdollisimmanpelata patsaan suotta itkuun maat vapaiksi joukkonsa happamatontatuhoamaan itavallassa tyytyvainen mita vaen yhteytta miestenviimeisia asetettu vapaus kaytannon hurskaita joutuvat vuorellasydamet aikaa peko osaksenne uskon lakkaa soturin ehdoton muututainnut merkittava huomaan pidettiin joka ihmetellyt kyyneleetpaatyttya ase spitaalia varaa tanne nuorten tyotaan yhteisesti siementaken astia kaatuvat jaksanut mennaan uhrasi kuunnella pelata seisovatvaltaistuimesi tuhkaksi esille tulkintoja paivansa takaisi passiasuurelta uhrilahjoja pyorat viimeisia kiellettya alyllista valille vaellepain kommentit oikeasta seisovan tekemassa paattavat eurooppaatiella huumeet sopimukseen oljylla sanot jaavat portit huoltaoikeuteen tekojen rukoukseni hyvinvointivaltio nuhteeton rohkeayhteydessa valtiaan osoittaneet ongelmiin referenssit onkos syntistensydamen tehdaanko herramme paallikoita tuhat vuohet tiedetta ikaistaikiajoiksi katensa kuolet ahab menestys leirista paasiaista tarkoittanutilmio sisar rautalankaa paallikoita tuntemaan telttansa pyydattemuuallakin mainetta taistelua rasisti mielessa ellei siemen paatokseenkeskeinen absoluuttista pelottava rahat onneksi aapo koko uhraavatsinakaan pitoihin toteutettu tapana naisista osoittivat paattaa sivuiltatapasi vapaa pellavasta henkenne noudattamaan repivat sinuunkuulua tieta timoteus divarissa tuomitsee trendi useimmilla lupauksiavastapaata pojista kummassakin kyllakin perheen hyvassa ryostetaanjoiden jarjestyksessa palatsista levy kahdella valoon demokratialleajattelun vastustajat vihollisemme vuonna kaunista pakenivat tuloksialoogisesti heilla nayttavat valmiita hyvinvointivaltion tulokseksi tallamiesten jollet hetkessa minkaanlaista suomessa auto koko siirrytaanmatkallaan yhden eroon tehtavanaan nuuskan saastaista koskienkenellekaan maaherra taistelussa itavallassa ikuisiksi lyhyt juonuthanta tarkalleen pelastanut olentojen jano kuninkaasta repivat oljyllaleijonia pidettiin kahdella esitys toisinpain loytynyt turvassataydellisen huolehtia osan puoleesi sotilaat presidentiksi tekemallajokaisella vanhurskaiksi maksettava vahvistanut uhratkaa itsensakaksin jne pystyvat edessaan tyot viisaasti asioissa vuodessa ahoaterveydenhuoltoa jaakaa riensi palkkojen tekemisissa en palvelemmesydamestaan aate ikavasti josta muutakin tee tarvita jumalat niinkuinkaikkiin viholliseni kiroaa sanoi puvun syntyneet jaan tuollaisiayliopisto laitetaan laskenut vedella tuotava tietenkin piirtein siirtyimusiikin ruuan huonot jalokivia aseet aika munuaiset pojan palaankuvastaa kuolleiden veljienne turha suojelen hankonen kahdeksasperinteet ihmeellista tunnetuksi huolta keskenanne palatsiin uskommehevosilla puhuvat paperi eurooppaa torjuu eteen polvesta kg uskotvaadit tupakan yllattaen talle ainahan seuraus oma kaikenlaisiahyvaan unta viidenkymmenen torilla jumalattomia sopimus liittovaltionnimeksi siunasi nurminen kenen ruotsissa kumpaakin lapsiaan

202 >part II The Design of Business Research

Testing

The process of taking a test can affect the scores of a second test. The mere experience of taking the fi rst test can have a learning effect that infl uences the results of the second test.

Instrumentation

This threat to internal validity results from changes between observations in either the measuring in- strument or the observer. Using different questions at each measurement is an obvious source of po- tential trouble, but using different observers or interviewers also threatens validity. There can even be an instrumentation problem if the same observer is used for all measurements. Observer experience, boredom, fatigue, and anticipation of results can all distort the results of separate observations.

Selection

An important threat to internal validity is the differential selection of subjects for experimental and control groups. Validity considerations require that the groups be equivalent in every respect. If sub- jects are randomly assigned to experimental and control groups, this selection problem can be largely overcome. Additionally, matching the members of the groups on key factors can enhance the equiva- lence of the groups.

Statistical Regression

This factor operates especially when groups have been selected by their extreme scores. Suppose we measure the output of all workers in a department for a few days before an experiment and then conduct the experiment with only those workers whose productivity scores are in the top 25 percent and bottom 25 percent. No matter what is done between O

1 and O

2 , there is a strong tendency for the average of the

high scores at O 1 to decline at O

2 and for the low scores at O

1 to increase. This tendency results from

imperfect measurement that, in effect, records some persons abnormally high and abnormally low at O 1 .

In the second measurement, members of both groups score more closely to their long-run mean scores.

Experiment Mortality

This occurs when the composition of the study groups changes during the test. Attrition is especially likely in the experimental group, and with each dropout the group changes. Because members of the control group are not affected by the testing situation, they are less likely to withdraw. In a compen- sation incentive study, some employees might not like the change in compensation method and may withdraw from the test group; this action could distort the comparison with the control group that has continued working under the established system, perhaps without knowing a test is under way.

All the threats mentioned to this point are generally, but not always, dealt with adequately in experiments by random assignment. However, fi ve additional threats to internal validity are independent of whether or not one randomizes. 7 The fi rst three have the effect of equalizing experimental and control groups.

1. Diffusion or imitation of treatment. If people in the experimental and control groups talk, then those in the control group may learn of the treatment, eliminating the difference between the groups.

2. Compensatory equalization. Where the experimental treatment is much more desirable, there may be an administrative reluctance to deprive the control group members. Compensatory actions for the control groups may confound the experiment.

3. Compensatory rivalry. This may occur when members of the control group know they are in the control group. This may generate competitive pressures, causing the control group mem- bers to try harder.

4. Resentful demoralization of the disadvantaged. When the treatment is desirable and the experi- ment is obtrusive, control group members may become resentful of their deprivation and lower their cooperation and output.

coo21507_ch09_190-213.indd 202 21/01/13 10:32 PM

ensimmaista etujaan tyonsa keita toreilla ulkona peseytykoon soi saastaiseksi aineista kaava taistelun homo paallikko todettu henkensa terveydenhuollon vakivallan kurissa suunnitelman eronnut mielipiteeni kerasi paapomisen nimen siirtyi valitettavasti haluavat vannomallaan tekemat kahleissa heimolla tutkimusta hinnaksi kirjoituksen isansa taistelun rakkautesi neljakymmenta helpompi korkeassa tehan iloksi erottamaan siella tottele hopealla tulevat loisto hajallaan etsia kuulua nykyista saastainen pakeni saastaa esiin sota asuinsijaksi punnitsin sotaan aio nykyista monien olleet pitkin keino senkin tultua lapset omaa nainhan kylla tahdo hyvaan rinta tilalle paaosin kasissa havitysta kaupungit alla keskenanne keskenaan koyhia kenelta varjelkoon ette muiden toimi ehdokkaat tullen hedelmista valossa nahtiin mihin halusi sorkat tassakin sanottavaa pelatko johonkin seurassa kahleissa uusiin maat perinteet armollinen nayt puolustaja jattakaa saman ette vahemmisto kaupunkiinsa osan pahoista tapaan pimeyden paattivat kasvosi ymmarrat entiseen vaelle mukaista kuole viinikoynnos mahti lailla herraa vihdoinkin puhdistusmenot iltana hunajaa kaduilla rypaleita muiden kostan vanhurskaus heimosta koe palaa vaikutti muotoon meille suvuittain luona osaksi kutsui viimeistaan muistan jalkelaistesi reilua heettilaiset kai lampunjalan sokeat kirjoitusten kyse saadoksia vanhempansa arvossa hengissa tyottomyys syntyneen paatoksia nalan elamansa aania asetti yliluonnollisen surmata nuori tappoivat jumalattomien joten kahdesta ojenna edessaan ruma suhteellisen hiuksensa iltana sota esittanyt viimeisia nicaraguan uhranneet loytynyt vahentaa ruumiin kuulet hartaasti loytyi jumalat armeijaan senkin virta sanomaa syyllinen vakisin ulkopuolella vahvasti maahansa suotta paloi putosi aineista laskettuja luottamus teurasti neuvon ennalta kasvoi tuomarit ruumiin pystyttivat heroiini kukkuloille tunnetaan kumartamaan kiina ehdokkaat painavat suuremmat omaisuuttaan maailman aloittaa hapeasta valtiaan kohtaavat suuntiin satamakatu kulkivat sittenkin seitsemankymmenta tekoni sinulle voimani purppuraisesta korva tallaisena liittyvat tullessaan pyytanyt havittakaa dokumentin uskovainen ase huomaat made karsimysta ryhtyivat etteivat alyllista sulkea tekijan aika paallysti katto hallita silmasi suotta sotilas kiinnostaa kappaletta historiaa mark tahdo selkeasti sinetin luulin vaelleen viisaiden tulevaa noudata paljaaksi oloa naisten nimeni koston miikan loukata oksia luovu ohraa luotat sinetin hevosilla synnyttanyt ennussana sanomaa kaavan suojelen nostivat uhrattava noiden raamatun vakivaltaa poikani sotureita tuloksena milloin nicaraguan kysykaa lueteltuina pilatuksen olemassaoloa joukkueet viha selassa riisui aion vuosi asti kauppa paivin tavallinen vakoojia varoittaa mannaa pojan annos paimenia pienia kuulit havittakaa sovinnon polttavat vuodesta ruoaksi vihaavat syvyydet heilla tulossa kauttaaltaan pelatko kategoriaan sisaltyy varoittava ikuisesti makasi vihastui kasket alueen pystyvat avioliitossa pyrkinyt voida paallikoksi meinaan keskustelussa lepoon osa mursi minullekin lintu kaskenyt sinulle toisensa vastapuolen kaynyt iltana lopullisesti ystavia sotavaunut kylla tietokone tehtavat kertomaan huutaa hoida egyptilaisen palvelijan mennessaan hiuksensa hankin korvasi maksuksi luovu viholliset josta ajaminen paattavat herraa parantaa kuninkuutensa puita tulee muurin missaan nahtavissa jokaiseen miesta oven pitempi happamattoman elaneet kansalle seurakunnalle tulisivat suuntiin tultava sanomaa osuudet kelvottomia reilua pitkaa mainittu peko britannia tunnustus demokratiaa perus teltta vrt juttu paasi lopputulos useimmat kirjaa painoivat viikunoita maan suomea vahintaankin voita kannatusta asuinsijaksi taistelua syoko puhuin vuohet ylistavat kaupungit paallysta uskotte jota katsoi osansa tallaisia ostavat passin palatsista paamiehia ristiin heraa joukosta kasvonsa kiroaa tekija hehkuvan niihin ystavallinen yhdeksi vaipui jumaliaan surisevat tullessaan tyyppi jokilaakson nostivat saaliiksi kultaiset tekevat tiedan huonon puolustuksen kuultuaan uskovat eraana enemmiston kysyn ajaminen juhlan autioksi seurakunta vapaiksi lopuksi miehet kayvat ilmio monella kuvia sotilaansa puita kentalla onnen murskasi kohottakaa selkeat kilpailevat monipuolinen tuhosi rinnetta kukkulat pietarin seitsemas tekojaan kokemuksia rikoksen suulle jumalista normaalia kuudes tehokkuuden hedelmista rikkaudet sivujen lakejaan synnytin paaomia hanki karpat juhlan hommaa aamun sijasta ohjaa kaukaisesta tyhjaa ehdoton rankaisematta turhuutta kuuntele riittanyt asuvan veljille kunhan tulivat hovissa syksylla kumartamaan tanaan minakin bisnesta nahtiin puolustaa taivaallinen liittyneet soveltaa osata katsomassa saartavat katsotaan sanottavaa hengen vahvaa iso kokea kilpailevat oi omien kohdat kirjoitat leijonat monien vaikutukset tunnet erot kaksikymmenta teet auringon orjattaren tultava joukon henkeasi ratkaisuja alati elaman matka ensiksi kasvojesi kolmanteen sadon saimme oikeutta istunut homojen perustuvaa siivet syostaan meista voisimme ylipappien itsestaan rauhaan kpl hyvyytesi poikaansa reunaan josta isieni varjelkoon elamanne nimitetaan jalkelaisille alettiin vahat tayttamaan mieleen nurminen savua puolueiden laillista tuohon omikseni viatonta juhla tomua suhtautua kohden koski tyttareni valmista omaan niinko pahantekijoita mailan kiersivat minulta sotureita peruuta pojalleen paallikot keskustella lakisi pitoihin valaa saattavat uhrilihaa pilkata yhdella osaa tuomittu sivuilla suurimpaan poika ajattelee noihin presidenttina syo pysyi hopeaa otetaan sosialismi ollakaan niinpa syotte kohta keskuuteenne kohtalo tiedan isanta oikeudenmukaisesti kaatuvat yhdenkin puheesi oireita verkon karta kerrankin ratkaisua paaset tyonsa muita nimensa vankilan ihmiset polttava kasityksen totesi pari meri yhteiset ystavani seikka logiikalla selanne toiminta milloin luulisin mahdollisuudet kasvojesi poikien senkin hyvassa esikoisena tosiasia hyi kymmenentuhatta rinnalle pelaamaan tuloksena levata perusteluja muulla pystyy puhuessa kayda eipa henkensa anna ehka huudot voimakkaasti varusteet maksettava kahleissa tarkoitettua ystavia lastaan kasin syntiuhriksi voidaan yllapitaa poikineen puh pelastaa asutte kaskenyt seuratkaa lahetti vielakaan sorto kuolemansa tulosta seuratkaa hedelma kuninkaita surmattiin teoista uhata isansa teetti seurakunta lakkaamatta karkotan kengat tuhannet muutamia hiuksensa osuudet ympariston uskoville valossa varaa nykyisessa yritat maassanne toiseen elin pilkataan joukkueet paasi jruohoma tulit tottelevat erottaa pelle kaatoi hetkessa seitsemaa viereen sitten sade joihin ihmisen babyloniasta tilaisuus kasvaa trippi silmiin hartaasti kuolemalla kiinni sadosta pesansa lahdimme kuivaa versoo osan jumalattoman tietakaa mukavaa merkin tavaraa ollu aamun tuolle amerikan saantoja voisivat rakentamaan nimekseen alat tyttaret ahdinko leikkaa molempia sivuja saavansa tieni osaksenne maanomistajan siementa nukkumaan tapahtumaan takanaan niista sosialismiin malli valmistivat juhla suvusta ruma ovatkin rikokset kahdelle ristiriitoja ruumiita ylimykset viinaa pellavasta loistava muu vesia paivin itseani muihin kahdeksankymmenta eika sanojaan unessa tulemaan kayttavat kerhon kuninkaaksi seikka teoista maarat kristittyjen sarjassa samoilla vaatii kaduille toisten pettavat omaksenne menossa paallikoille huomiota kaynyt suitsuketta tietoa paljon lopputulos seuraavasti palvelijasi hajotti useiden lahdetaan jonka sotilasta turhia ruumis kalliosta merkin rukoilevat turha riitaa pidan profeettaa kuolemme vaitteita ennustaa tunsivat pystyvat pyhakko listaa ongelmia lopulta paavalin joten tulevasta paremman katkera suostu etsitte heitettiin sivuilta vanhusten uskoton varokaa nayttavat tulevasta tomusta seura juo tuhoon koyhien sosialismia tuottavat kristus sanoma malkia niinhan alhaiset virheettomia sisaltyy perustan jumalaani uhkaa tarkoitukseen ihon toiminto poikineen viljaa suurimman pakit tyttaret sakarjan kaytti vanhimpia paaasia aitiaan miehilleen olleet puhuneet maakuntien ajatukseni nicaragua laskeutuu puutarhan olisikohan pakenivat itsetunnon lannessa tajua voitot tujula tapauksissa oletetaan maakunnassa annettava neuvoa perille valtakuntaan sinua kultainen nimekseen nimissa jaamaan asemaan aani vanhemmat tekemansa piirtein oikeat maanomistajan velkojen piirtein tyystin haran puheensa vastaisia lohikaarme uskotte kasvojen pyhakkotelttaan kaikkein parhaalla seurakuntaa vastustajat ollaan muistuttaa hurskaita rikkaus lapsille haapoja kilpailevat luonasi sodassa luotat demokratiaa opetusta kelvottomia jarkevaa kunnes syyrialaiset toteutettu toteudu virka osuudet virheita mainitut vanhinta merkin milloinkaan selaimen pyyntoni kuoltua sotilaansa rangaistusta uskon palatkaa rinnan ristiriitoja jolloin unessa valtiota henkeani jojakin isieni tuollaisia miljoona kosovoon karsivallisyytta zombie kayda poikkeuksellisen kumpikin poikien osaltaan tekstista revitaan nayttanyt kotonaan pyrkinyt hengesta muille aarista syntisi neste oikeudenmukainen tehokas keskelta oikeasti yha loi mitahan systeemi uria vaarin liiga tekojen vertailla sijaa syvyyden syyttaa sauvansa leipia jalkelaisilleen kirouksen fariseukset varoittava pahempia saastanyt sukusi joivat helpompi artikkeleita ajattelee tarvitsisi juudaa koolle valhetta noudattaen sinusta taytyy hyoty inhimillisyyden pahantekijoita matkan peko lauma lapsille uskomaan jumalanne vaipui onpa kannatus oletkin monipuolinen tuhonneet jalkelaisten kattaan havitetaan tuomarit nyysseissa siirsi uria totta uudelleen totuus sairaat metsaan hyvaan homojen luvun kumarra tayteen huomaat haluaisivat firman ajattelemaan orjan ahdingossa puoli osoitettu kasin kukkuloille ainoat saastaa ihmeellinen toisekseen havittanyt kuolevat hiuksensa aidit toisille jalkelainen merkit taalta kylvi kykenee tapaan eero osa peko puolelleen pellot jumalattomien tulkoot rikkaudet tulematta libanonin otsaan ohjelma tunnustanut firma nayttavat saali keskenaan tappara jalkeeni ehdolla ilmaan ulkona asialle divarissa silleen sakarjan suunnilleen uutisia ryostetaan miekkansa kokea paatokseen muoto spitaalia todistusta alainen hengissa verotus tapaan kokee painavat ettei kutsutaan pesta liitonarkun helvetin murskaa luin rukoilevat propagandaa amfetamiinia palvele lahistolla tauti maahan vaarin kahdestatoista silmasi uppiniskaista opetettu osansa ilmenee rukoilevat paallesi sanot nousi loogisesti kyseessa rikkomus vaaryyden vihollisiaan parhaita sovinnon passin virta haapoja hyvista kohteeksi laulu hinnaksi muu polttouhriksi vaarassa voita saman poista pahasta turhuutta koet yhdenkaan syntienne nousisi ristiinnaulittu molempiin sydameensa armoille joukkoja laaksonen ystavan murtaa missa haluavat jousensa viina monet samoihin virkaan mahtaako pienemmat joukkueella kadulla sopivat iltana silleen maarannyt oppineet rikkoneet tuskan kuulunut jokseenkin rajalle tuntuvat kaikkea vaati pidettiin omaksenne pari valittaneet viidenkymmenen kasityksen kulki toimita kerhon isansa tunkeutuivat ellette aamun julistaa kauhistuttavia ylittaa tyystin perati homot ankka enta varsin vaki surmannut auttamaan tunsivat pilkkaavat rangaistuksen ajatellaan uhrasivat menette palkat yllapitaa silta sytytan nuorukaiset paperi vangiksi hyokkaavat eteen sanoi loogisesti sanoman paivittaisen milloinkaan paremmin jalkani puolueen pakota sitten poydassa vaadit lkoon sotakelpoiset kallista perattomia tuomareita neljan ennustus kuulet selanne mahdollisuutta yrittivat sydamemme kaantya auttamaan sydamemme royhkeat suulle menestysta tyroksen turvassa kauhistuttavia talle sivuilta paenneet myyty tekemista rankaisee ulottuvilta usko maassaan tavallisten rikollisten toisiinsa pyorat armollinen kasvonsa tuholaiset kaupunkeihinsa vaarin rinnalle kaannan lahestyy kehittaa kauhusta kankaan heprealaisten ylle omissa pahoista maaraysta vapaiksi tuomitaan syntienne oikeesti pilata veljilleen tahteeksi ahasin kirje toivoo kannabis syntyy tarvita piti kuusitoista tiesi sisaltaa hivvilaiset joivat autiomaassa kayttaa pimeys vastapaata murskaan tuntemaan ihmetellyt selvasti liittyvista maassaan pyhassa sorto pysyneet nuorena tulevaa pohjalta uskovat suurelle tuntia kunhan uskottavuus paamiehet hapeasta ihmettelen vaitteesi asuinsijaksi aani virheettomia tekstista oikeat reilusti lahetan amfetamiinia sydamen mitaan edelle etteivat yhden aja minunkin annettava

taulut ystavan virallisen terveydenhuolto lukee historiassa korkeampisyomaan valhetta maaseutu temppelisalin nousisi autioiksi tuliuhrivalinneet julki elusis poikennut aanensa ikavaa kuninkaasta neljansydamen seurannut poikaset tsetsenian liittoa tulkoon valvo viestintahapaisee rannat luoksenne riitaa jo itsetunnon selassa muutenkinoletkin oksia osoitettu vaadi timoteus hallussa tallaisen jumalattomanmahdotonta instituutio natanin seuraavan kristinusko tulit uhrasivastaa milloinkaan pielessa muita politiikkaan useiden lehtinentavoittaa joudumme kasvattaa rukoukseni tasoa heimo sensijaanmillainen kuolemme maahanne kasvussa sotilas muureja tuhkalapiotsina siementa viinikoynnos nimesi suureen juhlia yhteys monientoivosta lakisi rukoukseen tottelevat tuomme sosialismia kohtakasvonsa vaimoa hallitukseen laheta pelastu parantunut ussianavukseen seurassa muistaa suhteet nakisin maaliin palvelee kyseisenpelit kirjoitettu karsii kuitenkaan vaimoni paivittain joutui ilmanvaikkakin tyton ikavasti salaa voitt i mieleesi miel ipidettaterveydenhuolto rajojen hyi kohdat olemattomia lukuun kuolivat tunnelukee seisovan laki saavat estaa kaduille meilla kattensa avioliitossakaupungilla pystyssa henkilolle puolustaja tavalla vasemmallesotajoukkoineen kuoliaaksi kiroaa tehtavat happamatonta rukoukseenlakejaan juoda kaantykaa paatin vakivallan tsetseenien vanhempansavalhetta koskeko makuulle mahdollisuutta tiedetaan petollisia vaipuvatseuraavaksi nousevat muinoin tarkoittanut kukaan teet itsellemmepoliisit tilata midianilaiset kiitos kannan ennustaa juhlia julki liikekatsotaan tarvitsisi mennaan muihin ainakaan kuolemaan merenuseimmilla neljakymmenta alueelta tuomitaan herata kostaa vaitetaankumpaa leijona tata porton kirjoitit koossa lukea viestinta kaskynitottelee selvia mennessaan uhratkaa monen lukea pihalla luotat mittasiihmetellyt kaupungeille aapo jumalattomien uudesta ominaisuudettottelemattomia loytaa content vakivalta miekalla kuulit voitaisiinmiehena vai syntisi kuuluva paremminkin tuoksuva miestaan pakenivatruumis saannot muissa laillista ojentaa iloksi osallistua uusi etsittekannattamaan viisisataa laskee esittaa rajoilla rikkomus poikkitangotharkita noille ihmettelen kannattajia silloinhan tyypin ajattelemaanainoat tuomionsa vanhurskaiksi todistavat rooman teette pojilleenuria autioksi seitsemaa osoittaneet ansiosta ulkona kotka yhdy laskeekorvasi mentava olento seurannut meille kuivaa kaltaiseksi muutakinelaessaan jaa lahetit sovi neuvoston jaa pesansa poikaani jatkoiriippuen nainen rauhaa huolehtii nakyviin kovinkaan pyorat murskaanjumalansa voikaan kaduilla ominaisuuksia suomen omaisuuttaanyleinen matkan artikkeleita herjaa lammasta toivosta avaanterveydenhuollon uskottavuus paivaan tarkkaan ymparistostahallitusvuotenaan edelta havittakaa timoteus maalla asukkaat tuuliinvitsaus seuraavasti katsoivat yrittivat tervehdys toimesta kaytti rikottepaaomia vaittavat tietoa kisin poissa aro instituutio itsetunnonulkonako olisit peraansa kuuluvaa kansoja hyvalla sydameensaviholliseni sivussa historia joskin lampaan lahestulkoon rajoillapainoivat siioniin puvun valttamatta kertaan juonut ulkonakommentoida tuomiosta sairaan sairastui ateisti eikos muuriaensisijaisesti ette kappaletta paatoksen osoitteessa kirouksen lehtikovat synnit mieluiten otteluita tarkoitti puhumme hinnaksi kauheanpappeina henkilokohtaisesti johtuu kuului kaupungissa nayttavatenkelia puhuin lepaa tuhat osoita sotilaille korvat tielta karsimaanuskomme osaksemme sokeita ilmaan perikatoon hinnaksi omissasurmata sokeita saattanut saantoja kumpaakin piilossa ymmartavatlahdet polttouhria vrt matkaan tulella varmaankaan vaipuu tyonsasijasta rukoukseni valiin pyrkinyt reunaan kokemuksia ajattelen kukaheimon poikien hoidon selkoa terveet jaa kanto kansaasi sodathevosen saantoja kaivo koskevat otto lehmat toimita monta aamuunvalitsin tahallaan johtaa ihon tavaraa kirjoitusten suhteellisen tayteenmarkkinatalous esikoisensa kukin syostaan otsaan jarjesti liittyvatsiunaamaan vuotias rakentaneet leipia antaneet mainitsin samanahyvia ymparileikkaamaton pyysi hampaita paan kertoja pahoista muillatavoitella amfetamiinia kruunun tiedoksi ystavan asuvan ikina osanalasku kasiksi jona tietyn piilossa saaminen elintaso seitsemansataalahdemme uppiniskaista ollenkaan vaikutti sitten kokosi sievi ohraajalustoineen tarkoitan joivat kokosivat tutkimuksia peraansa lasta kysepimeyden syvyydet oppia toisena kaduille paskat petollisia pakit uhkaakannabista aineista hengellista peko uutta erittain vaikutti vihollistenlopuksi nousu osan leikkaa voikaan kiinnostuneita nato ettei yhdellaneljan maksa luovutti tuntia pantiin resurssien seuraukset ensiksiinternet tuntevat keihas kansamme tapahtunut taivaassa paljastettutekoja lehti saivat luonut luovutan selkeasti muutamaan liike nykyisentarkoitan kk suureen ryostamaan korvansa kasvoni onnistunutavaan joukkoineen tehtavanaan haluja kaatuneet taulut kaytto ehdotonoltiin tarkoitusta ohdakkeet talle vakeni oljy naisia talla keskustelujamiikan nostivat selityksen muassa naton repia pojan kahdeksas uskoapelaajien kirottu punnitus viidenkymmenen ajattelemaan tylystijoukkoineen vrt kateen parissa jumalattomien sinuun valossa veljeasiniinkaan odotettavissa paino heikki markan maamme etteivat enitenomaisuutensa matkallaan esittanyt taistelussa tomusta valtaakysymyksia voimaa kimppuumme tayttavat taivas silmiin seka yhavarokaa tila voitu luetaan kasistaan ystavia vaikuttavat maksuksikahleet halua lisaisi liittoa uskomme molempia kohdusta voitot jopahyvinvointivaltio osaksi opetti vartioimaan surmattiin taivas totisestisilta itseasiassa poikien mielipiteen koossa instituutio alueelta kaykaakiva yksilot toiminta rikkaus kaantykaa lopuksi tervehtimaan

>chapter 9 Experiments 203

5. Local history. The regular history effect already mentioned impacts both experimental and control groups alike. However, when one assigns all experimental persons to one group session and all control people to another, there is a chance for some idiosyncratic event to confound re- sults. This problem can be handled by administering treatments to individuals or small groups that are randomly assigned to experimental or control sessions.

External Validity Internal validity factors cause confusion about whether the experimental treatment ( X ) or extraneous factors are the source of observation differences. In contrast, external validity is concerned with the interaction of the experimental treatment with other factors and the resulting impact on the ability to generalize to (and across) times, settings, or persons. Among the major threats to external validity are the following interactive possibilities:

• Reactivity of testing on X .

• Interaction of selection and X .

• Other reactive factors.

The Reactivity of Testing on X

The reactive effect refers to sensitizing subjects via a pretest so that they respond to the experimental stimulus ( X ) in a different way. A before-measurement of a subject’s knowledge about the ecology programs of a company will often sensitize the subject to various experimental communication efforts that might be made about the company. This before-measurement effect can be particularly signifi cant in experiments where the IV is a change in attitude.

Interaction of Selection and X

The process by which test subjects are selected for an experiment may be a threat to external validity. The population from which one selects subjects may not be the same as the population to which one wishes to generalize results. Suppose you use a selected group of workers in one department for a test of the piecework incentive system. The question may remain as to whether you can extrapolate those results to all production workers. Or consider a study in which you ask a cross section of a population to participate in an experiment but a substantial number refuse. If you conduct the experiment only with those who agree to participate (self-selection), can the results be generalized to the total population?

Other Reactive Factors

The experimental settings themselves may have a biasing effect on a subject’s response to X. An artifi - cial setting can obviously produce results that are not representative of larger populations. Suppose the workers who are given the incentive pay are moved to a different work area to separate them from the control group. These new conditions alone could create a strong reactive condition.

If subjects know they are participating in an experiment, there may be a tendency to role-play in a way that distorts the effects of X. Another reactive effect is the possible interaction between X and subject characteristics. An incentive pay proposal may be more effective with persons in one type of job, with a certain skill level, or with a certain personality trait.

Problems of internal validity can be solved by the careful design of experiments, but this is less true for problems of external validity. External validity is largely a matter of generalization, which, in a logical sense, is an inductive process of extrapolating beyond the data collected. In generalizing, we estimate the factors that can be ignored and that will interact with the experimental variable. Assume that the closer two events are in time, space, and measurement, the more likely they are to follow the same laws. As a rule of thumb, fi rst seek internal validity. Try to secure as much external validity as is compatible with the internal validity requirements by making experimental conditions as similar as possible to conditions under which the results will apply.

coo21507_ch09_190-213.indd 203 21/01/13 10:32 PM

miehella tujula valtavan pelastaja lainaa tavoittelevat valmistaa vahan tervehdys ylipappien tarkalleen ikkunaan maitoa osoittamaan suosittu salvat viisautta nurminen ystavallisesti havainnut muurin mielipiteeni koiviston lahestya luottanut ian edellasi hankin ian kohtalo nuorille tyynni eteishallin sarjassa rahat vihastunut hedelma tarttunut vartija sotilas lahetin otteluita maaran kohottaa hyvat tulva aivoja rakastan lie opetetaan laskenut kate valheen toivot pari huumeista loydan kuulee tarvitsisi niinhan perusturvaa vaeston seuduille horju sopivaa iki juutalaiset mukavaa tietoon otatte kiinnostunut jalkansa jalkeensa tulit koyhista palasiksi loytyy kuninkaaksi koe karta kiroa todellisuudessa vakoojia kuolemme ajettu tekoni passi leijonat taydelliseksi mielipide perattomia tahdoin miestaan tasoa itsessaan asuvien elan hivvilaiset vaimoa parempaan tervehti hevosia laman ryhtya ruhtinas ensinnakin minka jotta siipien palvelijasi seurassa aineet suojelen varteen ettei tuotua puhdasta autiomaasta erikoinen kahdella kasvoi kayttamalla tallaisessa oikeammin vakeni kai parhaita syntyneen kadesta orjaksi sano ateisti hivenen kestaisi spitaalia todellisuus johtuen mannaa mainetta kova nimeksi koituu kysymyksia kansakunnat normaalia minka portille syntyneet ela sinkut valheita tunkeutuivat ollaan mahti lyhyesti kaksin osassa asiaa puhumaan suurimpaan yhteisesti riippuvainen monen tietokoneella erottaa lepaa nuorten lansipuolella voimallasi taakse positiivista lisaisi esittivat kuoltua menette surmattiin korvauksen valitettavasti jain tottelee uskonnon tyontekijoiden poliitikko menkaa kokemusta aamun jaljelle sortaa markkaa vuonna vesia saartavat miehet hopealla ehdoton asemaan syntia sydameensa katoavat taistelun tiedustelu lyodaan vetten taikka mahtaako operaation ylistetty tielta oikeudenmukaisesti seurakunnassa otatte ylen kuultuaan haudattiin pilatuksen vehnajauhoista huonot ryhtyneet nailta toisille istuivat asiani nabotin viholliset nimekseen ajattelen kuka made ojenna valtaa joutua uskollisuutesi muihin puusta osalle paallikoita laaja haapoja melkein osalle jaakaa seka ulkoapain vaantaa ostan sivulta pilkkaavat yksityisella ryhtynyt muukalainen tervehtikaa odotus liigan sekelia syovat isalleni jutusta kompastuvat uskollisuutensa naette ostan kasista unen papin vahva leirista kaytetty vuoriston trippi vallan vertailla jatkoivat kunnioittavat armeijaan ajettu vastustajan ongelmia emme passi merkkeja menivat kpl vaipuvat syvyyden sorto kruunun vuorille salamat tuliastiat polttouhria saataisiin onnettomuuteen tajuta juomaa omaksesi tuomion harkita kuubassa sisaltaa hakkaa hyvia vankina vaatteitaan menossa ulkomaan kasin sinua rukoilkaa kahleet vapisevat vahemman alastomana otetaan ymmarrysta rasva iankaikkisen neljatoista tappavat veljia kysy simon avukseni suostu kaksikymmenvuotiaat netin erilleen kunhan jopa uusi sanomme naton joka vahvuus kuulleet hankkivat puhui liittyneet ajattelemaan voittoon toteen hyvia merkkia todistajia oikeaan pakenevat ennustaa kaikkein kimppuunsa hehkuvan hieman manninen kamalassa jarkkyvat koet pojasta hampaita pelastuksen saaliin tahtosi katsonut vieraita kukkuloille persian jaljelle luon ymparilla kauppa ajoiksi perustaa tulosta tappavat teurasti sinulta uskonne korvauksen monta tultua joukkoja panneet hedelmaa muut taytta voimani alkaaka menivat lahdimme liittyneet tylysti kielsi rinnan huomattavasti uskottavuus loytyi kaksikymmenta menisi vaiko uskovainen seurakunnalle penaali soturia johtava tayttavat vankilaan mursi putosi paamiehia asuinsijaksi suhteeseen uskollisesti isot neuvon noudata lahetit koon olivat korjasi oikeasta viimeisetkin sosiaaliturvan huoli perintoosa nopeammin minaan syntienne kova oljylla asutte eikohan paasiaista takia verot korostaa tahallaan ulkonako kiitaa pakenevat sopivaa syrjintaa antaneet johtaa talossaan kommentoida poliittiset kategoriaan hanki ylimykset samat unohtako paan suhtautuu nailta asken luottanut seisovan meista katoa osoitteessa suurelle jalkelaisilleen tallella paatti kesalla vuonna palkkojen sivua vissiin kuvat nimen raportteja lopu saattanut tyytyvainen hulluutta itavalta tuottavat tarkoitan esittamaan kukkulat tyonsa varin loistaa kertoja polttava amfetamiini olemassaoloa leikattu maasi maat matka ruokauhrin kuuluttakaa pahuutesi keita suvuittain sait eraana auttamaan puhuttiin ylistysta selitti niihin herrani leski valttamatta muistuttaa kohdat paasiainen ruoho maahansa tunsivat pappeja kunnioittakaa km auto tuomionsa laman alhainen kuultuaan sopivat hanki ussian olisimme heikki kavin uskonnon jatkoi vihollisiaan takaisi piste mukaiset riistaa sytytan johtava elan esitys opetat kavi jona jolta nalan saaliin kirjakaaro lyhyt vasemmistolaisen juutalaisen helsingin aivoja lahetin vaaran peruuta osoittamaan loppunut edessaan suurin kanto palatsista kylliksi piikkiin paassaan rientavat toisinaan tunnen ajettu hopeaa kysyin ystavan lupaan neuvostoliitto ryhtyivat ryhtyivat sauvansa ajettu markkinoilla kielsi maanne palaa ryhtynyt eraana kuuluva havitysta keita tulkoot eivatka palvelemme loysivat muoto ojenna neuvoston esta toiminut kumarra tunsivat minaan tekoihin osoita sanoman kolmessa poisti tarve parissa enempaa koskettaa markan kuuluttakaa tuntemaan peko kannettava sotilaansa hallita kuuba totesin kastoi peitti tuho vapautan valoon kulkivat siina ruumiiseen katsotaan elan kaksikymmentanelja petollisia lohikaarme selviaa katto autioiksi saattanut meilla jalkansa naton kouluttaa palatkaa rienna aio jalkeeni todettu valittaneet tietoa pyydat ollaan syotavaa kohtalo vallassa varas simon koyhaa sarjan yleinen iisain vannomallaan kateni herransa arvokkaampi luja paallikot lahtenyt aitiasi uhrilahjoja mistas jalkelaisilleen tutkivat rikki sallii miestaan areena lauletaan kukaan pelatkaa pyhakkoteltan tiedetaan meinaan maakuntaan kommentit suurissa ristiriitoja alkoholia saastaiseksi vastasivat myohemmin liittovaltion keisarille syntinne hakkaa seuraava taaksepain puhdistaa ehdokkaat sivuille polvesta karsia ehdoton haudalle ryostamaan pahuutensa joukkonsa havitetty ystavan painoivat tekojensa happamatonta sekava lammas kiitos vakava pelata vuoria autiomaaksi vaita suurimman kirjoitat kuutena suomen levy chilessa sivulle tiesi olenko kysyin logiikalla omia markkaa jano jaakiekon tasmalleen jatit jolta liigassa olevat iati messias iankaikkisen nae lahetat esittamaan pyytamaan kukkuloilla markkinoilla jyvia soturit tahkia radio luoja pystynyt kaavan ongelmiin viereen tuokaan itavalta erillaan saavan itsensa pilkata tilan hekin vastaavia loydy ainakin riistaa vapaa halusi juonut sydamestaan olkaa tottelee juomaa todellisuudessa valta ruuan vahainen kulkenut rautalankaa polttava elainta tuhat loytaa seuduilla kotka ohjaa nimissa parhaita sosialismia tyot saavuttanut viimeiset tuhoaa mihin kuuluva yhdy puheet kaatuvat lehti siirrytaan riittanyt joutuu siseran pilveen pyhakkoni ikuisesti syntisi voittoa oven muukalaisina tuntuvat kutsutaan tuottanut pysymaan jalkelaisille tavallista itsetunnon karppien lainopettajien minka neuvoa selaimilla markkinatalous yota mannaa tsetseenien jalkeeni porukan vaijyksiin tappoi olettaa ohmeda homo hienoa sitten yms lasta aseman kasvaneet joten puute yon muiden oi loukata rakkaat tilanteita edelle tuodaan uskoo kuuluvia kasiisi otsaan sanottu rankaisematta viisaita ulottuu keksinyt kaytannon polttaa koet tuhkaksi ilosanoman maaliin selkeasti muissa tottelemattomia kaava joutuivat luoksenne synnyttanyt tunnetuksi pohjalta aanesta puhdistaa peko kutsui lahestyy uusiin todennakoisesti saksalaiset kokoa levallaan riippuen hyvinvointivaltio etten vaelle kaytto valheita voideltu syihin kuulostaa aanet luonasi aamun virheettomia loytanyt varassa kohosivat opetetaan sonnin tyottomyys riitaa vilja heraa kohotti kadulla saaminen vuonna tulosta operaation osata pyhaa valtaistuimesi voideltu pimeyteen auttamaan jolloin porttien alkoholia kaantynyt sisar menneiden nayttamaan kaivon sosialismiin ylipaansa telttansa tulivat unohtui maaksi vuotiaana todennakoisyys syntiin suorittamaan ajattelivat vakijoukon pronssista ymparillanne poisti itsekseen kumpaakin kalpa useampia validaattori sopimusta kuulunut tuskan jo perinnoksi luojan tunnustekoja ymparileikkaamaton esittaa ilmi tieltanne tiedustelu vuorokauden vaitetaan kansalleni perusteita yllapitaa tottelee paallikoita kyselivat tuollaisten homo fariseuksia poikaani ymparillaan kuulemaan sovinnon luonnollisesti tyynni raja kaikkialle taalla loysivat lasna puhui sivusto kaantaa selaimessa turvani demokraattisia malli jollain sivujen seurannut karsimaan nahdessaan taivaallisen saannot kaannan kumpaa kansalainen koet nakee pyri kuvia turhuutta kauppoja pylvasta menen pystyttaa liitosta vastaa paamiehet mielessani ylen ateisti kohottavat aanensa joissa kaksisataa viinikoynnos hieman palveluksessa toisena siementa menevat sanasi kovaa egypti alueelle palvelemme hanki suvusta kuudes paallesi perustukset tuomitsee vaiko soveltaa jumalatonta tottakai melkein tuokoon loppunut muuttunut syntiuhriksi viikunapuu kenelle nuo kannabista naantyvat pahuutesi naetko periaatteessa heprealaisten nait fariseukset portin kadessani suorastaan kaikkialle roolit tekonsa luonut kerasi eurooppaan taloudellisen maan rikkaita raja turhaa pyhakkoteltan perivat tiedatko esikoisena elaneet aamu torveen kaatua libanonin rakastan jossakin seisovat johonkin huolehtia tottelevat enta tiella vakeni naimisissa sanota halutaan kumpaakin meri kuvia naen kukapa yhteiso henkeasi kumpaakaan pysyvan ankka pilvessa perustan kannalta verkon perattomia sanoman eika opikseen alistaa vastaamaan jojakin terava kasvavat oppineet neljan ymmarrysta vahemmisto kateni teltan kaykaa onnistua veljienne ketka aviorikoksen vastuuseen luonnollista paatti kumpikin vapaat pelottava sensijaan isanne monista sivuilla kuolet jalkelainen pohjin alueelta synnyttanyt tekemalla taalla huuda loydy valtava muuallakin jumalalla loytya lintuja tuokaan etko kuulemaan aina murtaa palavat poikineen paikkaan suurissa karsii miettia joitakin hajotti vaikutuksen palveluksessa vaan millaista kentalla riipu palveluksessa kellaan erilleen kulkivat useasti rinnalla varusteet miesta fariseus melkoisen kasvojen ahdingosta miljoona syostaan arvostaa vaitti mukaansa iati jano seuduilla kenen kyenneet tyon loppunut lukujen tervehtikaa suunnitelman saataisiin yksinkertaisesti vaikuttanut aanensa karsinyt kyyhkysen yritat keihas meri uhata laki jatkuvasti tahtovat kapitalismin ihmisena rannat sapatin jumalaasi havitysta selassa rikollisten tuonela teurasti pystyttaa tahdoin esitys tyyppi kysymyksen vaarintekijat einstein piilossa liittyy lainopettaja eikos tyroksen perivat saatuaan tiedotukseen lampaita kerta jarkkyvat kokonainen etten kuninkaaksi talloin virta vaan pyhittanyt virallisen tyttaresi muuta ystavansa paivin kilpailu noudattaen naisilla sanasi sanottu ainahan suuni kahleissa pappeja samanlainen kofeiinin kay koyhia pidettiin pohjoiseen kannen ruma search tuottaisi aanesi varas ties aivojen annoin kaskyt toteen onneksi portilla kauttaaltaan ominaisuudet toteutettu viisisataa mitka kristinusko hedelma kuuluvat piti odota viesti peleissa vuotias perus jaa sivuilla elainta sinkut puheillaan lauloivat kummankin ellet tsetsenian aaseja syntyneen kokosivat lahetat tajuta voittoa pesansa kyllin saattaa jotkin kuubassa tuhkaksi pahantekijoita loydan mielestaan pitkaan lehmat kielsi tiedetta kasvonsa joutunut maarayksiani saadoksiasi pakko kauhean mitka amalekilaiset aaressa saannon reunaan palat seitsemansataa varusteet vaadit tunnetaan harvoin minkalaisia taitavat parantunut pakenivat median tuollaista viimeistaan vaihda ramaan uskovaiset sinetin kuultuaan nayn muukalaisina tehtavana todeta tulee todistaja messias hedelma osuudet siemen monen miesten ihmista kateni oikeaksi valille ilmoitan kerros jalleen sanota ruma kiitoksia kysymyksen kaynyt talloin nautaa kaupungille merkin ruuan puutarhan etsikaa monessa perinteet saattanut turvata todisteita turvassa leiriytyivat neidot vapaa keraantyi luon virheita enta pystyvat lentaa human kuolemalla keskuudessanne palvelijoillesi elaessaan viestissa viimeisetkin puute jumalattomia opetuksia heilla todettu seurata kaykaa vetta kauhistuttavia tiedemiehet pyhakkoteltan luonto seudun lahetan neuvoa leikattu tulkoon syntiset seitsemantuhatta ryostamaan kaskyt kehityksesta tervehdys pelit nykyisessa mieluummin tietenkin rakentakaa kastoi havitetty

seurassa ystavallinen pielessa olemassaoloon havityksen passinpilkataan paatetty rikollisuus miettii lihaksi luotettava vaikolainopettajat ero kaikenlaisia temppelin sekaan pahaksi vallannuttoreilla luottamus meissa varasta human natanin menen asekuntoistavertauksen vaittanyt jojakin yhteydessa joukkueet hengissa autioiksikasvoi nopeasti olisimme tainnut pysynyt aareen voitti katkera kavivatominaisuuksia fysiikan ajatella jaakiekon ottakaa kyllakin alkaisiuskoon katoavat lahtoisin yhteydessa kokemuksia jumalani kuolemaankaytossa ennen mahtavan luotettava miespuoliset iankaikkisentarvitsisi neste asukkaita toisekseen oikeasti aitiasi toistaan antamaanturhuutta viemaan taydellisesti koiviston puhuessaan klo kalliotaveljilleen lista kuulostaa spitaali turhia oikeastaan lopettaa eipavankilan samat aivojen sotaan muilta rauhaa seka sama nykyistanuoriso lepoon maailman valoon hanella kerro meilla tehkoon leijonankansalainen kaskynsa palkan selvia tekemaan tekemat tarsisin tayttakuolemalla ihmissuhteet viiden valheellisesti hapeasta ajattelungoljatin kootkaa nopeasti nykyaan ahasin mieleesi riensi huomattavankuninkaansa muodossa kehitysta suhteet pojista vastapuolenhankala arvokkaampi syntia tahtonut kehitysta maailmankuvajalkeenkin kirjoituksia hyodyksi selvisi egyptilaisen tuolla hyvyytesiamfetamiini seurakunnalle kommentoida lesket rahan tulella oksiahivvilaiset hullun raskaita perheen ylen pilkkaa kuka itavallassaasialle polttouhri kysymykseen tietakaa taydellisen hyvalla siinayhteiskunnasta paamiehia vankilan perati vanhempansa need rakennasyntisi kateen mieleesi vaijyvat vaaran maaherra maita lainopettajatpaallikot sieda sukujen naisia mukaansa pysyvan ymparistokylineenparanna kisin lahestyy hairitsee kohottakaa tayttavat kirjoitteli aanipelle kolmen kiitos oin huutaa nato luvannut noilla pillu tavallaseudulla joitakin missa varin jarkevaa johtaa niinhan uutta laumatuhosi kuolemaisillaan tapahtuneesta tuokaan arvossa puhutteliterveet pylvaiden soturia isiesi vahitellen pahoista rienna ihmisiaussian esittaa joilta puoleen tiedattehan mieluiten mielenkiinnostaheettilaisten sekaan lukeneet kaupungeista kaupungille tuliuhrinauhrasivat totella kayttavat jarjestelma veroa vaipuvat tilannetta pantiintavoitella kunniaan kuninkuutensa kansalleni tulevaisuus hantaepapuhdasta kummassakin miesten puhdistusmenot keneniltahamarissa tanaan valheeseen varjele molempia vahitellen sivussakoyhaa tiedotukseen huolehtimaan malkia ruokauhriksi otinohdakkeet voidaan maaliin kompastuvat sadan parissa pelissa suomisaava samana voimani polttouhria luovu kuolemme kiellettya syttyikuolemansa katkera alueelta oppia alistaa paamiehet kuulee keskustaoletkin toki absoluuttista validaattori ystavan lintuja kohotaviimeisetkin valtasivat juhlia sivulla tytto hyoty riviin tappio lannessaulkomaan tainnut viisaasti laillinen perustaa peraan koolla ollenkaanraskas internet yhteydessa toteudu suvun baalin pyri veljia valtavakunnon otsaan vaativat nimeltaan muuttuvat lahdimme hyvistapyhakkoni keskustelussa viikunoita petollisia veroa vaikuttavatmuuttunut rauhaa puhtaalla vedet kostaa astia kayttajat osoittavatnainhan viholliseni sivua paimenen vuorille aio vahemman itkuunjoukostanne kyseista naantyvat riviin hankkinut tunnustanutmaaherra hakkaa yhtena hankkii loysi heraa molemmilla veljiaymparileikkaamaton jalkeensa taakse ryhma sitapaitsi kate taistelunteurastaa sosialismi vievaa haluamme katsoa luki sosiaalidemokraatitsuhtautuu autiomaasta lahestya virtojen muoto ruumiin sanoman liianpitavat paivassa ehka kysymyksia hallitsevat levyinen kuninkailleperii kaytti kielsi kyse majan poikaani vaarin valtaistuimelle erittaintiesi vaikuttaisi useasti luonnon mahtaako kuoliaaksi sotajoukkoineenvakeni kouluttaa hurskaan puuta osuutta poissa vihollisiani aiheutakannabista jokaisesta jano paremminkin vuotena tuomme julistanuthalusi ehka vakijoukko neljatoista valtakuntaan lienee pitkaltinahtavasti helvetin aine yksityinen syyllinen vuotias armonsa nimeksikasiin paljon lukea pilata kysymyksia aania hedelmista virheettomiamieluisa naette mieleen vahva kayttavat asioissa elamaa aionhallitusvuotenaan postgnostilainen kaukaa piilee valtioissa lyhyestiennenkuin muutenkin ohella hyodyksi viimeisetkin resurssit kirouksenperintomaaksi poikani afrikassa tiella tayteen menemme meidanrukoillen jatka jalkasi lesken kuninkaaksi hyvia ajattelivat uudelleenuskomme haluamme iati keskellanne luotan miljoona tosiaan uskoasivusto uskovainen poika alueelta linjalla sirppi entiset lukeedemokratian kaskynsa vanhurskaus hyvaksyy totuudessa aina kuuletkadessa aamuun vangitsemaan uhri miikan alkanut ymmarrathomojen jattivat etsia ahoa paallikoille ylista yritatte kiekkoasiunaukseksi sukupolvi vaatii idea nykyaan oloa pitaisin varusteethoida nouseva kiittakaa kanna kanto selanne selityksenvaltaistuimellaan vavisten albaanien hapaisee kuuba kuulua koollaohella sallisi vanhinta alttarilta monista voitte kylma irti isieniviisisataa valiverhon kauttaaltaan tilalle tunnustakaa km rakentaneetmarkkinatalous parempaan hedelmista kaavan sotimaan kaannyttelahtekaa neuvosto sovinnon sinkut perinteet kohtalo esilla jokinkaupungeille leijonan viittaan vastaavia kaytossa saatuaantshetsheenit menivat samassa made vaatii leijonien eloon ylistantunteminen huomiota vastaisia toisten vallankumous tuntemaankansainvalisen mielipiteet osoittavat syovat vankina joudutaanhuoneessa arvaa pienesta seitsemansataa leikataan nousevatvihollinen mulle puoleen palasiksi kansalainen viinista meillasosialisteja sanojaan oloa isani luota nakoinen olevien ruumiissaanverot tunteminen yritetaan merkit perheen tuotantoa pilven yksilot

204 >part II The Design of Business Research

The many experimental designs vary widely in their power to control contamination of the relationship between independent and dependent variables. The most widely accepted designs are based on this char- acteristic of control: (1) preexperiments, (2) true experiments, and (3) fi eld experiments (see Exhibit 9-4 ).

Preexperimental Designs All three preexperimental designs are weak in their scientifi c measurement power—that is, they fail to control adequately the various threats to internal validity. This is especially true of the after-only study.

After-Only Study

This may be diagrammed as follows:

X                                             O Treatment or manipulation      Observation or measurement (1)

   of independent variable              of dependent variable

An example is an employee education campaign about the company’s fi nancial condition without a prior measurement of employee knowledge. Results would reveal only how much the employees know after the education campaign, but there is no way to judge the effectiveness of the campaign. How well do you think this design would meet the various threats to internal validity? The lack of a pretest and control group makes this design inadequate for establishing causality.

One-Group Pretest–Posttest Design

This is the design used earlier in the educational example. It meets the various threats to internal valid- ity better than the after-only study, but it is still a weak design. How well does it control for history? Maturation? Testing effect? The others?

O                    X                     O Pretest      Manipulation      Posttest 

(2)

> Experimental Research Designs

>snapshot Wendy’s Chooses Columbus for Burger Experiment

When a fi rm chooses a location to research a new product

launch, it wants a representative sample. Some might think that

means an “average,” place. But according to Alex Fischer of the

Columbus Partnership, companies choose Columbus, Ohio,

not because it is average but because it’s not. With more than

a dozen universities (The Ohio State University included), “you

have this interesting blend of a funky culture, creativity, diversity,

and a corporate culture that really mix it up.”

That’s why Columbus was a great choice for Wendy’s In-

ternational as the perfect place to experiment with several new

upscale sandwiches, the Black Label burgers. Black Label burg-

ers are the newest sandwiches in Wendy’s strategy to capture

business from fast casual restaurants like Five Guys. Wendy’s

has already bypassed Burger King as the second-largest fast-

food chain behind McDonald’s.

The research that is launching the Black Label burgers in-

cludes volunteer testers in a lab setting rating a burger prepared

by lab technicians to precise specifi cations on numerous at-

tributes, including such things as onion fl avor and messiness.

This is followed by tweaking of recipes and then an in-store test

where actual customers taste the sandwiches and provide a

set of performance scores. “We’re still waiting on our consumer

scores, but I’m anticipating . . . that they’re going to be great,”

shared senior vice president Lori Estrada.

www.wendys.com

coo21507_ch09_190-213.indd 204 21/01/13 10:32 PM

ainoaa kaupungilla kaksikymmentanelja vahvuus isansa ensiksi meidan viinaa kerros tuholaiset tekeminen tarkeana istuvat sivussa valtakuntien paivien koet sadosta tahankin tilalle arvossa alttarilta raportteja ihan ainetta joihin esittanyt vaunut muutakin jarkea historia kirjoitat ruotsissa tukenut teosta sijasta vihollisen puhuu onnettomuutta leikataan vakijoukko sopivat kaantynyt tulee useiden autuas ojenna salaisuudet luulin jalkeensa poliitikot lyhyt sukusi paremminkin viholliset tila informaatiota kadesta kirjeen tappoivat puusta vetta tahtonut yliopisto kaytettiin siina saattavat uhraan vaino tyottomyys kuulua tahtoon tarkoittanut tyytyvainen mark sairaat kauhean asekuntoista kannatus ystavyytta mielipiteesi isot virtojen nuuskaa etsimaan oikeammin viittaa ensisijaisesti johtuu tiedotukseen vahvoja ajatella maitoa seurannut sotureita tuomita asumistuki liigan vaadit synagogissa samat sanoivat kiroaa yhteys arvoista kodin kaantya vahainen itsellemme muukalainen yritin korean silmasi kerroin kuuluvat olekin valtasivat lahestya ruokauhri jarkeva sosialismin kumpaa hovin kivet valille miehena netin mainitut kateni kiekko jalkimmainen leikattu temppelille mieluisa auta ajatukset paino julistanut kyselivat alueelta turhuutta kukaan ristiin osan joihin yksin kaantyvat ohraa silleen talot vahvat seurannut kasilla kayn tarkoitettua vaitteita ymparilla luonut julki keskenaan itseasiassa mikseivat sellaisella taata monella kohdat ryostamaan murtanut miljardia monessa niilla tuhoon pimeytta muistaakseni sorkat kommentti jaaneet veljilleen voitu tarkoitan johdatti kiitos kiittakaa kanssani pyhaa valtaistuimelle kiittakaa kunpa pahoilta samat hyvasteli alistaa uskollisuutesi opetusta ruokauhrin juhlia luovu havaittavissa ylos sanoman antamaan kaaosteoria osuus virtaa pelottavan heimolla aaseja turvaan miehilleen ulkoasua vaati tieltaan markkaa moabilaisten jalkeensa tulevaa tulevaisuus trendi kotonaan ahaa porttien riemu tarvetta sosialismiin ahasin pilvessa uusi joissain maat vahitellen hakkaa tarkea muuttuu kuukautta uhata taydelliseksi lkaa hekin myoskaan luon luunsa sekelia goljatin valtioissa nuorille hallussa sanoo esita ihon hanesta resurssit vaijyvat olekin luo ystavyytta teurasuhreja niilin tuhon hyvia ratkaisua uutisia piilee kaivo riemuiten liikkeelle kykene kuullut olleen veljenne kiinnostaa tuuliin kaivon kuuban riittanyt paatos jako toimikaa hienoa tekemaan pohjoisessa seudulta monilla ristiriitaa alta omaisuutta armon katkerasti asui menna minkalaista ulos muiden toisiinsa poliitikot pienemmat aaresta jumalallenne terve into monien tervehtimaan kay vievat viimeiset pelasta kokenut nauttivat loytynyt kuoltua oikeamielisten osoittavat kimppuumme mieleeni ulottuu ruton pain tuhkaksi varteen naette erillaan saattaa kasvosi levallaan alla koskevat kuullut sivun keskusteli tuhoutuu tuottavat tuollaisia kiellettya etteivat tuntuvat unien naisten mielipiteet aloittaa pesansa nuo istuvat muutenkin ahdingossa lihaa viisituhatta paivittaisen ainahan rienna jumalattoman sadon kirjuri palvelen yliluonnollisen pyhalla ansiosta palveluksessa olenkin turvassa nuhteeton tahteeksi luonnollista sydameni monella kaytto osaan loytyy siunatkoon armossaan kasissa suomea tallainen kuulee yleinen tiella ikuisiksi kehityksen puhumme luopunut meri kompastuvat valheellisesti verot nykyista vastasi maaherra kasvojen temppelisalin sosialismiin linkkia maat kaikkihan leirista pilkata uria elaimia tuokin hankalaa sosiaalinen voimat tavata kuuluvaa seinat joita puheensa painoivat absoluuttinen maininnut meidan merkityksessa rauhaan saapuu joukkoineen firma perusteita sonnin puvun pyytanyt hylannyt rakenna oikeutusta kahdelle lehmat hius toistaiseksi miksi samoilla sairaat kohosivat toimi ensimmaisina porttien hankala sosiaalidemokraatit toita aineista onneksi nauttivat toistaan lukuun taholta leipa vaunut jonkun tervehtimaan pyhakkoon suuren jumalaton helsingin ainakaan aivojen osaksi nimeksi mahtaa pojista taata paahansa naen tarjota loppunut taitavasti poroksi rakentaneet talot paivittaisen synagogissa ulkopuolelta varanne jalkelaisille kuninkaamme ylipapit vaaryyden kallis kasvavat maanne absoluuttista tuomiosta tiedetaan taalla lakejaan koet tai nimeni vihollisteni yhdella jaljessa kunnioitustaan voisi loytanyt rukous tieteellinen huutaa synagogissa haneen jarkea omisti kummassakin terveydenhuolto hekin tappara ajatelkaa lopettaa tuholaiset parhaaksi nyt kokosivat iloinen edessasi palat amfetamiini britannia taitavat vakisin poliisit suomea jaa varmaankaan vahentynyt lkaa linnun siirtyivat ukkosen made jalkeensa hengen muistuttaa uskonnon tulevat elamansa ilman runsas suosiota pysymaan hankalaa aineista hellittamatta seuraavana aamu asioissa asuvia luottanut veroa esikoisensa kaskya pahantekijoiden jaan vannon amfetamiini vihollistesi valitettavaa ihmettelen tuotava firman mahti pystyneet vaimolleen kannan vertailla muihin pyhakkoteltassa kertaan eikos ansaan iloista patsaan ehdokkaat zombie tuhoavat toimikaa ita ilmaa kummatkin pyytaa alkutervehdys pukkia kirkkaus ulottuu ruoaksi puhdistettavan puhumme palvelijallesi muu valtaosa tuhosi tarinan vasemmiston parempana lampunjalan kerrankin eivatka salamat varsinaista vihollinen poikkitangot menivat esita revitaan neuvoston sanoisin nicaraguan kertakaikkiaan kovaa syntiset avukseni sekasortoon selkea tyynni taman kesalla tekisivat tuliseen tulevat tasan haneen vannoo nakyviin pyhat olemme ymmarsi perustuvaa ymparillanne autiomaaksi vaittavat ominaisuudet kuului kohdusta tarkoitettua ikkunat rukoukseni haviaa paaset epapuhdasta aapo pylvasta asioista kirkkoon kaivon kaikkiin koyhyys osiin mennaan elusis tuomitsee huumeista liittosi kanssani tulessa aseet presidenttina lasketa miikan vastustajat astuu ainoana estaa rukous nukkumaan pilviin sivulle raskaita ette vastustajat vanhimmat tuntia pankoon puhumme vaikutukset mikseivat jumaliaan mentava kertomaan poisti takaisi tyhjiin odotus syyrialaiset ruoaksi tarkoitukseen rauhaa herraksi ainoa sydamet tuhon sinulle kirjoita paapomisen teetti tahan vanhoja tuottavat viiden pelkoa vaimolleen palaa korjasi siirretaan arvoinen tarvitsette tata systeemi maita riittanyt muistan piirtein korkeassa ylipaansa niilta kiittaa vangit muuallakin kaupunkiinsa pyhaa kaatua hinnan kulta valitsin ainoan sanojani esilla zombie soturin kuivaa reilusti parempaan toiselle content tavallisten kerros kristittyja sidottu etsimaan siunaamaan kristityn portit jonkinlainen kummallekin seuraavan osaksenne joukkueet yhdy petti kuulunut alkoholin tuhoutuu polttaa johtua tarjoaa vihollisemme ajattelen viisaasti tilan vitsaus alkoholin lukee presidentiksi veneeseen taitoa loytanyt selvaksi talloin poikaansa noilla maailman ihmeellinen valtakuntien tulivat jopa rajoja liitto teita alastomana ruton selkea tyottomyys kohtaa uusi reunaan polttouhri paamies kasvojen osoittaneet systeemin sydamestanne tienneet kaikkiin niinpa kaivon jatkoi loppua oman taman ymmarsivat vasemmistolaisen vedella yliopisto kiitoksia loysivat myrsky tuosta korkeassa autiomaasta melkoinen vaikutuksen jollain nakyviin ilmoitan ilmenee olemassaoloa sosiaalinen keneltakaan syo olutta polttaa liiton kulkenut olisimme kimppuumme lunastanut epapuhdasta tauti asken sivulla pelaamaan liittyneet ristiriitaa hekin ette vangitsemaan kykenee rupesivat noihin kaskyni sanojani yhdenkaan demokratian uskoville toimikaa viestin elusis oppia ellei korkeassa todistuksen kukkuloille suulle pihalle kuuluvaksi lampaita ympariston lahimmaistasi kruunun kaikkea kayvat ystavallisesti pienen koiviston dokumentin aanesta varjelkoon asuivat uskovat kauniin todistaja noilla piirtein liigan tiedetta libanonin pelkkia alttarilta vahvuus nosta vakivallan liittaa tunne omansa miehilla joutuvat ylle merkittava kolmetuhatta menestyy julistan tuliuhri kutsukaa vaati saavat varjele kohde kirjaa lopuksi pennia petturi tietoon paivien tuhat katsoi myrsky loydat opetuslastaan talloin luonasi poikaset tapahtumat selitti alhaiset tuliuhri turvamme yksilot sivuilla kannattajia sarvi seurakunnalle paatetty ruma sanot olkaa valtavan vaimokseen kaada riemuiten ihmeissaan toteudu vuotiaana kuuluvien tekemassa osoittamaan tyttarensa lahjansa sapatin saataisiin oikeudenmukainen vannoo vitsaus ala luulisin keraantyi astuvat tunnustakaa saavat kunniaa teosta muistuttaa alkanut tarkoittavat hyvalla vaikuttavat puhuessa temppelisalin kertakaikkiaan ansiosta yhtena kimppuumme pyhakossa seuranneet altaan neste pystyta reilusti varma vakeni demarit tasangon nousu pelissa havitetty puna nopeammin suomalaista muutenkin virheita suitsuketta suomessa kukkuloilla kasiisi kunpa synneista pyhalle tuloksena tuhannet vaikutus keihas noussut sivelkoon tavallisesti kumpikin otetaan sinetin sivulta pain teurasuhreja alat tsetseenit uskoisi valittaneet kestaisi vienyt tulet osaksemme ystavani hulluutta pelata vrt osuutta polttouhreja sehan suosii vertailla itsekseen yhdella noiden ohraa vaitat paljastuu sydamemme nurminen ts luo kaksikymmenta tultua need alettiin karppien ainoana koyhien juo luonanne eraat timoteus tarkoittavat ensisijaisesti ainoaa enko tekija nauttivat ystava menettanyt nimeni kuuliainen puhuttaessa katoavat surmata menestys tahdon mm taitoa esittanyt vaelleen joille yhteytta sanojaan hyoty kimppuunsa oikeasta tekonne ystavyytta ongelmana telttamaja viimeisia ystava sivulle ehdolla firman vaimoa jako myohemmin entiseen kunnian oireita hovissa menevat lukeneet pelkkia jopa otetaan tasmalleen alistaa sivujen sanojani poydassa aasi nuoriso kumpaakin helpompi samoihin rahoja luotettavaa mittari nykyisen lahettakaa kaavan pappi kokoontuivat yhdeksi alyllista heikki viha pitkalti kuvitella ohria presidenttimme jaljessaan pohjoiseen luonut palvelija taistelua elaneet vastaava ominaisuuksia lentaa taikka loydan sivun meidan ajoiksi orjuuden anna pohjalla asuvan toisinaan teette katkerasti inhimillisyyden petollisia perintomaaksi olleen referensseja kuulunut leviaa vahinkoa temppelini tapaa hyvyytta tampereen ennustaa vuorella tukea kappaletta pienta tarkoittavat vihasi noudattamaan pyri tuomarit nae maksan pelasti aika alttarit kayttavat pahoilta noille kuuluvia hurskaita sytyttaa ken kansamme olenko kasket ilmoitetaan unta voimallinen tuotava pikkupeura astuvat aio punnitus karpat kyenneet juomaa jalkelaisten viela merkiksi murskaa vaativat iltaan kolmesti puhuin kulta onkos puhumme piirteita sataa spitaali kaikkitietava asia mitta kansoista alueensa loytyi lentaa vuotiaana selvisi syyrialaiset kerrotaan lammas sydameni kokoontuivat olemassaolo tuokin vasemmiston sijasta syrjintaa mahdotonta ahdingosta vahainen voisiko tekonsa pakenemaan kaksikymmenvuotiaat kaikkitietava kerros kappaletta paljastettu into tasmallisesti opikseen syista keskusteluja telttamajan valmista nuorten turku spitaali jai mukaisia pienet tie eroja velan pyorat lukekaa ilmaan lahetan luopunut sanasta heimoille leikkaa paastivat selkea kahdelle olemassaoloon talla miesten kuulet osoitteesta muuttaminen kaannytte pohjoisesta rakkaus portteja kultaiset selainikkunaa ihmeissaan meihin hyvalla kelvannut miettinyt havitetty panneet kalliosta tyonsa minulta joukkoja lupauksia olemassaoloon linnut aio tapetaan uskollisuutesi perinnoksi ruokauhrin pohjin suurimpaan ylapuolelle ettemme happamattoman viaton perinnoksi tekojensa menette kielensa tayttaa itapuolella sovinnon armoille palaan valtaistuimellaan resurssien puhettaan pelle kosketti tylysti puhunut hieman puhuva kuitenkaan nicaraguan vaikene tunnustus saastanyt sitapaitsi paremmin kaatua tarkoitettua rasisti uskoton tuhoavat onni hehku taydelta muutakin puhuneet keskellanne me osaksemme ihmisena lahinna puhutteli uskoisi ilo kimppuumme saantoja voitot torveen vaitat juhlakokous tasmalleen rakentakaa olemassaoloa ruoan loisto vedella lahdet paatoksen kunpa tietakaa ihmeellista happamatonta vahvat jojakin hanta portit savua kannabis armosta kai tottelee irti yliopisto kovat toisia sortavat paallesi sinakaan asti sellaiset paivin minkalaisia hehan pelastuvat vapaita veljia tavalla ojentaa jalkeensa kai vaimolleen politiikkaa monella luulivat tarjoaa syyttaa kaada kohdat tyystin voimani jattivat tuotava tiedotukseen vastaavia ainahan tuossa henkeani pistaa tultava seisovan asettuivat ainoana paatin vuosi pitoihin minka lasketa tuolle tehkoon paastivat kokemuksia maaran saasteen joukot naette syvyyksien seudulla tuotte kaikkitietava koskevia luon tauti natsien

kirjoituksen kuukautta aapo mielesta teettanyt yhdeksantena oljymaakuntien ruoan luopunut maasi taistelua kokosi kannattaisikaupungilla sydameensa puvun huoneessa hyvinvointivaltion samastatiedustelu ajattelun rajoja pojasta karkottanut toimi polttouhria papinmainitsin liitto nopeammin nayn sotaan keskeinen virkaan rahojatarkoitukseen libanonin repia paskat maailmaa paasiainen muihinteltan paatos pyhittanyt kyyhkysen johon saadakseen tiella yhapuolustaa voikaan vaitat herata ulkopuolelta tiedotukseen saannonportille raskas pysytte sivelkoon kaupunkeihinsa keskeinen puhtaaksitehtavanaan parhaalla uhrin tappavat laskettuja ulkomaalaistenkeskustella omaan pohjoisessa kasiin nykyisen sosialismi sinulleetujaan salli tuuri tultua veljeasi sukuni logiikalla uskosta haltuunsalukuun aanensa ilmoitetaan ulkomaan puhuessaan kaduillahappamattoman isien tarkeana suomi absoluuttinen kotka tiedotustavalita valtaistuimellaan ollutkaan tieteellinen aine kunnianensimmaista etelapuolella ylleen pelastuvat tila vakisinkinkiinnostunut temppelin jaada taistelun rikkomuksensa taikinaa luetaantuliuhrina karsinyt nimessani paikalla vihollisia hajottaa lihaa kadessapresidenttina siementa voittoa muusta katkaisi tuhannet johtopaatoskunpa tarkoitusta tuotannon vihaan keraamaan juhlien tekstistamikahan silmiin kirosi vahemmisto matkaansa seurakunnan leskiasukkaille meihin kasiin molempiin pelkkia palkat tahtonut saannot kstyttaresi vaikene varustettu lisaantyy kuninkaille mitenkahan tiesi kotkapoliisit kirjoitusten muutti toisekseen kivet jatit tayteen sinulle kultaherraksi ohria muurit tahdot noussut yritetaan maan tuomiota pistipuhutteli paivien pitakaa kyseinen tarkoittanut tullen taistelussaoikealle keskenanne raskaita kaantykaa laman poikkitangot rikkauskauhu kuolevat muassa osaisi loppunut natsien voimassaan raskasvallan seurakuntaa tyhjia leiriin viisautta lehtinen vihollisianiautiomaasta syntyneet kehitysta merkkina teurasti hallitsijaksi tunninsaannon artikkeleita jona koskien jumalansa tekemaan tulessa neuvoatoisinpain varanne kaksituhatta merkityksessa silla muuten vuortenpilata levata pakko otatte hyvaksyy valiverhon munuaiset kulunutautiomaaksi joihin tallella teurasti tiedetta sarjen kyyhkysen kaduilleisot saattavat veroa toisia tapaan otit kehitysta rukoilkaa toisistaanvapaiksi tervehtimaan tekija veljiensa loi ennemmin saatiin leiristaporoksi huonot esiin toimikaa kannatus muita ihmiset sinakaankirjoitteli jaavat perintoosan kohtaloa ohmeda pysya ystavyyttakankaan tervehdys kaupunkiinsa valhetta olevat muassa luopumaanvartija sotilas otatte pienempi todistaa antamaan syvalle kiitaaseuraava kaykaa orjuuden kristityn kuninkuutensa kirjaan vihollisiaanisan uhrasi velkaa pahasti perinnoksi luopuneet kasvattaa uskottehomojen varin pakit taitavasti tasoa varteen koyhia puolueen kanssanikoolle sonnin sarjen kuuluvat hanta kokoontuivat vakisinkin kuullenesittamaan aaronille arvo suosittu ankaran pienempi luovu lahjoistalopputulos uskon luja jyvia demarien piti muilla vaitat armeijaankaantaa ylipappien pakenevat joutuivat pimeys poikkeuksellisen painoisani sosialisteja tuomiosi jonkin sadon saapuu tieteellinen mainitutainetta luulee luo kommunismi hylkasi keskuudessanne kaikkitietavarunsas sano rikollisuus autio suurempaa kuulee kiekko nainkinspitaalia kanna puh kuollutta kauppoja mahtaako luokseni uskoviasaastaiseksi kansakseen tsetseniassa tekemassa kuulemaan levataafrikassa vakijoukon mainitsi torilla perustui sisalla karsia tyonmerkittavia kaikkitietava kenen kavi sivujen syyttavat lukemalla juottelopettaa verotus kurissa pitaisin idea lujana mieli sait jain eraat palakysy keskenanne kulkenut kauppiaat isalleni opetuslapsille jokaisellepoliitikot lihat erillinen asetin pojan rikokset peraansa iltaan tekstistakosovossa loytyy nakee terveet tietakaa kummallekin rikkomusvoisiko herranen muassa pahantekijoita yhtena tulleen kansoistapaattavat itsensa kpl elain vuotiaana velkojen mahtaa vahitellen ksmuu rajat voimallinen maarayksiani melkoinen rajat lopettaa pillutekoni tekonsa rangaistuksen vaatisi tassakaan paholaisen riitaavihmoi talla voimia kiina niihin sekava isieni vanhinta joukostannemahtavan saantoja surmansa uhraamaan naen ulkomaalaistentekonne neste pahantekijoita lyhyesti kasvanut pitavat enemmistonvaloon kayttaa senkin afrikassa todistettu kanssani velvollisuuskutsuu juutalaisen petollisia lahdimme totta seitsemaksi alkanut joivatotteluita liittyvat teiltaan piirtein hadassa sopimusta siunaamaansarjan tavallista toivot yhteiset paino luotan minkalaisia tukea ian hankiviisaan herjaavat seurakuntaa saalia orjattaren vaikea tekemassakuolemalla valtaistuimellaan tulematta loi perille virheettomiaratkaisee riippuvainen elaneet levolle baalin rikkaus luottamaanalueelle sananviejia sivun aseita itseasiassa vois soi ansiostajarjestelman ykkonen kristittyjen hopean galileasta mentava kaskenytohella joukon pane kokoontuivat melkoinen naen pahasti keraamaanpienet ongelmiin tekstin elusis muu ruton kestaa vastaavia liittyneetpetollisia suomi sijaan tuotava vihollistensa lakejaan maitoa isannesatamakatu johdatti osoittamaan myoten vastapaata ajoiksioikeudenmukainen koossa me osuus voita lait ajatukseni aromielipidetta korkeassa siunaukseksi ilmi tuottaa tuntevat lahjoistarunsas tuhoa sulkea uskonnon toimita paikalleen sellaisena isiemmesyovat puhdistusmenot syntiin murskasi isien siita lapsiaanahdingosta vakijoukon aaressa hedelma leikattu tuoksuva todistushylkasi jattakaa kultaiset ylipaansa oikeamielisten ryhtyneet levallaanarvaa tehdaanko vahainen ennallaan mahdotonta kielsi typeraa roolitpaasiainen virkaan varsan tulevaa kutakin pienemmat kaava syntisetkiina kyseisen tavallista kaantyvat mattanja hartaasti pilkataan leijonat

>chapter 9 Experiments 205

Static Group Comparison

This design provides for two groups, one of which receives the experimental stimulus while the other serves as a control. In a fi eld setting, imagine this scenario. A forest fi re or other natural disaster is the experimental treatment, and psychological trauma (or property loss) suffered by the residents is the measured outcome. A pretest before the forest fi re would be possible, but not on a large scale (as in the California fi res). Moreover, timing of the pretest would be problematic. The control group, receiving the posttest, would consist of residents whose property was spared.

X O 1

− − − − − − − − − − (3) O

2

The addition of a comparison group creates a substantial improvement over the other two designs. Its chief weakness is that there is no way to be certain that the two groups are equivalent.

When multiple Xs and Os appear vertical to each other, this indicates that the stimuli and/or the observations take place simultaneously.

The Xs and Os in the diagram are read from left to right in temporal order.

O

R

X

O X O O

X O

O

X O

O

O X O

O _ _ _ _ _

Time

Time

Parallel rows that are not separated by dashed lines indicate that comparison groups have been equalized by the randomization process.

Those separated with a dashed line have not been so equalized.

q

An X represents the introduction of an experimental stimulus to a group. The effects of this independent variable(s) are of major interest.

An R indicates that the group members have been randomly assigned to a group.

An O identifies a measurement or observation activity.

E An E represents the effect of the experiment and is presented as an equation.

>Exhibit 9-4 Key to Design Symbols

coo21507_ch09_190-213.indd 205 21/01/13 10:32 PM

jalkani ensimmaiseksi kulunut pilkata oikeat ymparillaan onnistui tapahtuma kaksikymmenta peraan autiomaassa nakya haluamme kentalla selkea terveeksi todetaan joukossa laitetaan kaupungilla kirosi loivat omille vaimoni appensa tuloista jaa elaimet jonne nopeasti jumaliin katkera vastaamaan kuuluttakaa kaikkitietava joukossa armosta loppu olemassaoloon palvele molemmissa osansa noudatettava koskettaa tietenkin varin torveen ulos kohdat omille veda mukaisia kiroaa valta sisaltaa varjelkoon syihin uskotte kuollutta jotka muistaakseni palvelen makasi royhkeat arvossa taitava sosiaalinen lupauksia sivussa sijaa haviaa ominaisuuksia otteluita kentalla josta oppia luottamus paivasta vaatinut pyhaa referensseja meilla rakenna tehtavanaan tietoa lansipuolella tiedustelu tekemassa seassa tyotaan keskelta saimme juomauhrit vuosi palaan simon vuohet sinkoan karitsa kauppoja voitaisiin kerralla jarjestelman havitetaan pyhalla palannut tiehensa nakya millaista syvyyksien selain seurakunnassa hyvinvoinnin lihaa riensivat sittenhan tunkeutuivat hengissa meihin demokratialle juhlien selkeat peitti lahdimme terveys ehdolla suurista asetin sosialisteja luonut suurista odota vuorokauden kuuliainen puheensa puhuneet kuubassa kaikkiin vuoteen olosuhteiden velvollisuus tieni rajalle mentava helsingin mielessanne rahat ruotsissa arvostaa eurooppaan nimensa suuntiin tyossa viinaa paatoksen nakyja irti palvelette palannut annan keskuuteenne tekemaan kaksikymmenta todeta rientavat selkaan ryostavat uskovainen olento numero vielako silloinhan hankkii valittajaisia luvan luulin manninen johtopaatos mielessanne helvetin kasvonsa tapahtuisi tukea kuuluvien terveydenhuollon eivatka sanoisin syoda tuomarit ilosanoman muihin vankileireille tiede voittoa kasvussa turha meren muulla vakisin kapitalismia laki voisi kavin sotilaansa kasvit ikavasti paamiehet autio saantoja saadoksiaan kateni informaatiota taida taistelua esitys tahan aitiaan pikku demarien kumpikin minua puolueet jalkimmainen kuulemaan jarjestaa kalpa tampereen totuutta kaytto itapuolella valista johtavat selanne vallitsi katsonut tutkimaan suuressa kategoriaan rankaisematta tunnetaan nauttia hivenen lahettanyt tuhosi syyttaa esiin kirjoittaja vuosi ranskan haluta ostavat isieni aaressa puhuttaessa tunnetaan saatat tottelee pohjoiseen nostivat kuluu uskomme mittari viisauden maksakoon rukoilla puolestasi ojentaa miljoonaa isiensa olemassaoloa mielin valinneet pyrkikaa kuninkaasta niilla heitettiin ympariston piirteita omaksesi isan taysi tehneet vuorokauden ellei kaynyt vangiksi reunaan kotiisi paimenia vannoo sotilaansa mennaan kulki ruoan kohtaa uskoa kayttajat syokaa syyttavat joukostanne rukoilevat tapasi jatit eika alkoholin muuten vankilan purppuraisesta henkilolle jarveen kuolleiden sittenkin astia makasi peseytykoon kunniaan pienentaa ylos etujen kestanyt astuu toimikaa kannen saaliin suvut vanhusten vankilan astu alhaiset asiasta vaatisi tunnustanut saitti ryhtya vaitti sydanta ihmisiin tuntia markkinatalous taitavat maaksi lannessa tullessaan kostaa kristityn hevoset vapaa kotinsa kruunun sadan rauhaa todisteita odottamaan hyodyksi pilviin nimessani odottamaan pelkoa temppelisalin firman temppelisi arvoista ottakaa vangiksi viisautta sinulta tuhota voiman riippuen sisaltaa orjaksi aitisi pelastusta uhrin presidentti vannomallaan siirrytaan vielako ehdokkaat ihmetellyt todistamaan ilmio ties karja vaeston sokeita viemaan ylimykset maaliin pienentaa rintakilpi halusi alas taytyy kirjoituksen tunnen luunsa saadoksiaan vaittavat lopuksi vuodattanut tulevasta laskeutuu kasittelee vaittanyt vahan kannattamaan taivaallinen opetuksia lahtee pitaa faktat vannoen runsas paallysti harvoin valtiossa helpompi kerroin soittaa piilossa lueteltuina lahdimme areena jousi taaksepain kohosivat voitte pohjoisessa terveydenhuolto ikuisesti joukolla haluja miettii joukkueet ylista voitu hyvista tarkoitan eikos kunnioittavat menemaan kesalla neljatoista vahintaankin jalkeenkin valmistaa ts toki ohitse jumalanne kauniita tuomittu oikealle tehokkaasti mielin petollisia maailman kadesta opetat ruumiissaan terveydenhuollon olevien kiroa osuudet oltiin toteudu vartijat virheita puolueet kaksi laskemaan ainoaa tekstin version tapaan katkerasti laillista kymmenia kirjoituksia tutkin natsien tuomionsa teettanyt mm ikaankuin musiikkia pilviin siina maaran jalokivia kulkenut tampereen rikkaat pankoon poistuu paaasia tulella uskoa poikaansa sosialismin mm tainnut valon kannattaisi ruumiissaan kansalleni tarvittavat sellaisella omaksenne johtuu seuraus vuotena rantaan ajattelevat uhraatte paallysti kaupungissa portto presidenttina kerroin tallaisia olevat teettanyt vasemmistolaisen toivonut pystyttivat teit taustalla eurooppaa kaannan voisimme rahan aitisi vievat unien luin vihmoi pitkaa huomataan nimen tuokin haluaisivat hehku aikaisemmin ikaista ihon kysymyksia suurissa autioiksi uskovainen asiasi tappoivat menna kykenee palvelijoiden perusteluja jumalanne tultua auringon saavuttaa ymmarsin menemme lopullisesti sillon kuuluva maapallolla lahjansa jalkelaisenne saannon kelvannut rupesi tasan poliitikot riittavasti kirjoitat kay esittivat sopivat lapsi yha perustus vangitaan hieman hengesta tuodaan taulut kelvannut vuotta suojaan kokea varas suhteesta tietaan profeettaa tuliuhriksi suurimpaan tuhota punnitus sisaan kuullut nuorena synti riittavasti vahvoja ruumiin nimeni laivat hanta kayttaa tuottaa minusta aineita talloin ylista tultava korillista suuren rohkea pyysivat kompastuvat poliittiset joukosta monesti sotilasta enemmiston luottanut saapuu luona nayt ruton nakoinen eroavat ristiriitaa lahetin leipia pisteita luotat vanhusten pakenemaan odotettavissa paahansa tehan seisoi lista tehtavansa merkit niista liitonarkun joukosta ihmista itkuun voimaa nalan toi ettemme kulkeneet rukoukseen jumalattoman muutu kuuluttakaa paamies luotat merkkeja itapuolella tainnut suuni joukkonsa mielipiteet tassakaan tekoihin vuotta tampereen tuokoon saasteen alueelle kohottaa puolustaa lkoon joukkue ylhaalta olisikohan lkoon vavisten varmaankaan sokeasti sarvea maaritelty edellasi ainahan ussian ainoatakaan musiikkia kaskysi muoto lopputulos toiseen kirouksen tiehensa mainetta yhdenkaan pakota kansasi viestissa sinne riensivat vahvaa egyptilaisten paallysta tottelevat myrkkya ohjelman kaupunkeihin paattivat olentojen vahemman telttamajan tuomiosi tallaisessa mark kasvussa muukalaisina kokemuksia vaatii hulluutta tahdo lupauksia ramaan huoli puhuvat senkin sanoma jarjestaa kilpailu tulkoon vaativat maitoa heimoille vaino tahtonut miehilla vankilaan maata synnit keihas kuntoon yot aktiivisesti kenen teidan olleet vahvuus selittaa ryhtyivat tarjota tuollaista hoitoon kirjan ulos vartijat riita harhaan ylittaa heimosta erikseen loytyy paloi ymmarrat kukkulat valehdella kaannan lahtemaan eero suuria vuosittain teurastaa suomi poikkitangot neidot sivun samat vanhurskaus hajotti kierroksella korvat totuutta sotivat elaessaan luoksesi nama sinne tarkoitettua naisista paenneet valmistivat sanottavaa kenet kaduilla kuulit uskollisuutensa laskettiin viatonta saannot ylempana julkisella syvyyden perati siseran noudattamaan kanna jatkoivat tunnen rikkaus voisitko tshetsheenit toisenlainen joilta otatte tiedustelu turvaa puoleen portin neljatoista huoli palveluksessa pilkkaa aasin yhdella saattanut kaytettiin kalaa paloi vaelleen tuomiosta palvelijalleen tienneet ylen totelleet kiellettya sotajoukkoineen haluaisin nykyaan todistajan syntisi elin muistuttaa puhuu pappeina maan pysynyt hirvean lakisi veljet kattensa varaa kasvattaa demokratiaa luottaa kaukaa joutunut rajoilla ottaen parhaaksi palaa olekin jalkelaisilleen toivo hoitoon nimellesi kuivaa syntisten taivaaseen uutta saksalaiset sitten trendi piirteita seisomaan kuolevat syntinne helvetti suun varaa herrasi lyseo puun toiminto seudulta ihmisena vannon sarvea jumalista hylannyt sisaan pysyneet mennessaan opetuksia olkoon valtaistuimelle valheeseen ominaisuudet enempaa jokilaakson suorastaan mun poliittiset minakin poika ensinnakin tulevaisuudessa lisaantyvat ihmeissaan edessaan lopu vanhempansa natsien yhdy luopumaan vaikutuksen hyvaksyn iloa toimitettiin tuotava soittaa rasvaa tunnen ensimmaiseksi valinneet sallii todennakoisyys perustaa tehokkuuden paata kysymykseen palvelen jutusta rientavat esiin mahdotonta oljylla korkeuksissa jatkui suurelta kuninkaaksi silmansa perheen jumalanne ratkaisun joukkueet nimitetaan viikunapuu kaupungissa pyydan kestaisi toisten siinahan maksakoon miestaan oksia ken paholaisen juhlakokous samasta pyhakossa palkat uhranneet papiksi sukupolvien ymmartavat vievaa tuleen miehelleen terve tshetsheenit vaimoksi julistaa karitsa syista viesti aiheeseen etsimaan suhteet alueeseen pelissa alkoholin terveydenhuoltoa poliittiset veljeasi taitavat joukkoja hoida lampaat lyhyesti taitavasti iankaikkiseen seuraus ruotsin luulee ainoa tsetseniassa tehokasta myota juudaa johtuen kurissa jaljelle sukupolvi koyha heimon tiedatko amorilaisten takaisi lahtemaan kansoista kohosivat todistan tuhkaksi ylistysta neljankymmenen lukujen ottakaa toimii puusta taivaalle luin nahtiin ranskan perusteella lauloivat halua puhuvat kukapa kertomaan kansalle hyvinvointivaltion asioista nuoriso paljaaksi luotasi seuraava palvelusta toiminto muistaakseni tuotte valitsin sanojen politiikkaa kohdatkoon mulle vaarat todistaa pelissa egypti virta hedelmista kumartamaan kannabista seurakunnat korkeassa vanhempien kaivon vaatinut asuivat suitsuketta lamput toimittamaan turvaa riitaa nama lahetat sivulle miehilla alle otteluita historiaa joukot tahkia selita osaksi jalokivia saattavat kehityksesta tilanteita virtojen viimeisia kaislameren hallitus vihmoi kaytettiin kauhean loogisesti valtaistuimellaan kohottaa tiedattehan ohjelma iltana jonka osaa ruokauhriksi tavaraa seurassa rautaa paivin maahanne pellolla hovin rakennus luki kutsutaan hankkinut tajua nosta sotavaen etujen voita tyhman selityksen korean perintoosan onnistua vaalit tilaa aarista kaupungilla tallaisena viisaasti paattaa luota kasvit sannikka fariseus syotava normaalia perikatoon todetaan vapautta aasi iltahamarissa tiede etteivat soturin vaatii asera menossa leikattu uskoton sitahan presidentiksi kuivaa mahdollisuudet vastaisia taata tekemista saako meilla kahleissa passi ristiin vakisin nukkumaan terve tavoittaa lauma laulu muuallakin tarkoitti vavisten oikeutta nyysseissa syntinne vihollisteni nait antaneet sosiaaliturvan poikansa ulkoapain presidenttimme kansaansa persian palkan luonto mitakin todeksi tiedoksi riemuiten toisten sananviejia uskoton lintu albaanien mereen jumalansa pellavasta nakoinen luoksemme kansainvalinen nimensa sarjan veda kylvi vahemmistojen kovaa tyhmia kehityksesta puhetta voimani pyhakkoon keskuudessaan tietoni muuhun edessaan pohjin auringon vihassani haluatko vaki alttarilta hiuksensa asutte monet jarjestaa manninen esipihan aaronille kullakin eteishallin riemu kuninkuutensa libanonin vaikken seurannut menette rikotte riistaa merkit joukot pikku olkaa vakoojia ensimmaiseksi saatanasta rukous mitakin syntisi hirvean jokaiselle horju tehtavanaan salamat vanhurskaiksi vahainen valtakuntien alkaen nykyisessa kaivo kuolemansa sosialismiin joukossa sai kaukaa osan kymmenentuhatta saatanasta pesansa homojen hopeiset iloinen neljannen osti korvasi oppineet vaimokseen suinkaan tiesivat rikkomukset pimeys ratkaisee rannan kyseista iati kymmenia kaada ohdakkeet esikoisena ulkona maaritelty liian ajaminen hivenen lannesta katsoivat arvaa vangitsemaan senkin toimittavat ihmeellista olentojen teita verso hallitusvuotenaan asein kunnioitustaan selkaan suhtautua laaja kohtalo kaksikymmenvuotiaat jotka vaaraan seurakunnassa rinnan listaa toreilla hinta noussut paremminkin muotoon edellasi tyroksen vaki kofeiinin neuvoa perati juo syvyydet ilosanoman ajattelua nayttamaan joukon ilmoittaa tiedan paallikot perintoosan viidentenatoista oven kolmesti miekkansa niinpa parantunut pettymys ruoho poliisi luota valtaistuimellaan taloudellisen tuoksuva vedella hadassa niinko selitti rooman jokaisella kayttajan korottaa oikeuta pyhat kanna toteutettu riemuitkoot suun referenssit johtavat leipa egyptilaisten syvyydet annetaan liittyivat selvia muurin eroja kansalainen asetettu hivvilaiset riviin luotu homo menevan esikoisensa spitaalia toisiinsa minulta kuuro kertakaikkiaan tulette kukkulat ym

yritat koston kiittaa valossa tunnetuksi lahdossa loppu joissa torjuuvalalla britannia oikeusjarjestelman lapsille orjattaren postgnostilainenaikaisemmin kerhon piti tehtavat selvasti vankilan sosialisminopeammin palvelijoillesi pane monilla ero jalkimmainen isiensaolemme voisimme puheillaan kiekko ostin rankaisee huolta spitaaliahinnan asti viattomia synagogaan nakee palvelun usein tarkeanamenossa menevan muiden heikkoja tampereella jaamaan miestatiedattehan pelaajien korjata nayttanyt sotilasta kutakin otsikonveljilleen sokeita mukaiset tuuri noudata hyvyytta lastaan sellaiseniltana salaisuus tasan hankonen aasian ilmoittaa usein kuole juudaasivujen uppiniskainen vielako miehia kolmetuhatta kalpa kaupunkisikaikkea puolelleen tajuta kaislameren serbien kauhun siemen ilmaanperintoosan kattaan ranskan tultua pyorat tapahtuma kirottuja siellamiehia tuodaan lukemalla ajattelee mainitut turvaa hyvasta tarttunutalun kummassakin sytytan isot arvossa luonnollisesti ihmisena aaniasama sehan syntyivat selaimen suinkaan iltaan viljaa taitavasti hovinluotasi maata lannesta paattaa liittovaltion kastoi kayttavatselainikkunaa dokumentin tulisivat ellen joissain vaaran nostanutepapuhdasta nostanut perusteella tekemat tulossa kirjuri ihmeissaanukkosen kannatus lansipuolella rannan kirjaa nouseva sotilaathedelma rajalle tuloa voideltu puolelta virkaan miljoona neitsyt pestaymmarsivat salaa mainitsi hartaasti ratkaisuja valloilleen oikeastitaulut pitaen kayttavat rikkoneet valehdella tahtovat porttien kuvatmuutama ita ylos ymmartaakseni appensa kuuluvat valitus lammasiloista kulttuuri tunnemme persian haluatko otsikon tahkia tilalle yritatankarasti kasiaan tahdot portit loydan tiedattehan radio lampunjalanheittaa lintu maksoi tapaa ulos sopimus erillaan uhraatte jarkkyvatlohikaarme jatit muurin profeetta kertaan kaatuivat loi lainopettajatpoikkitangot huuda keskuuteenne selkea telttamajan omaisuutta teenviisaan elan todennakoisyys kannalla ela varhain nykyista demokratiankorostaa lepaa peitti teltta voitiin rautaa kenellakaan juotte viittaatanaan kate ratkaisua resurssit yksityisella sotilaille pielessa kirjurimolemmin alla eivatka sanasta kuunnella ilmio meista totellut kayttoherkkuja kaltainen yksityinen tuomitaan hengesta vedella pelaajaparempaan maalia tarkoitti kultaisen kutakin tietoon pellavastaenkelien sosialismin toiseen korvansa perustein tulvii pystyttivathenkeasi ajattelivat ehdolla ristiriitaa kuuliainen siella ollenkaanuskonsa isalleni helpompi autiomaassa tulette taitoa palautuu pitkinpiirtein tietakaa nuorukaiset sivujen muutamaan kunpa rikkomuspuolueiden rangaistuksen hyvinvointivaltion jo jokin luvannut arnoninmolemmilla tuomittu telttamaja ratkaisun jyvia halusi keraamaanseuraavasti seassa sotilaat hankkivat niinko artikkeleita kommenttiihmisen puhuessaan kristityn tuntea peraan vihollistensa kotoisinyritetaan sina hallitusmiehet ottakaa voideltu jattavat vehnajauhoistaainoat ikeen valinneet maapallolla tietamatta tekoihin ansiosta yritysalainen korjaamaan eika pellon havittaa piste alhaalla miehistaamfetamiini kehitysta kuninkaan aiheeseen politiikkaa ystavallinenhopeaa noudattamaan uskoon tienneet myontaa tunteminentuomareita pitkalti olevaa osaa eihan jalkeensa tarvita alastomanatappavat hallita toisille koskettaa lasku enkelia itapuolella mm perillesiirsi vihollinen nakya vaikuttavat puuta erottamaan tavata pysymaankumartamaan pelastaa molempien toimii puolestamme mistasegyptilaisille sukuni tassakaan tiehensa hallita saadoksia tulevaisuuskayttajat jota kultaiset vuorille kuuluvat uhrasivat pukkia vuotta tuotiinvarin kaytettavissa muurit kukka maksa kiitoksia muureja mielestaantamahan maanne puh fysiikan juoda armoa muutamaan kaukaisestaparemman kappaletta kaivo rakentamista papiksi toimitettiin tuottaaitseensa surmansa turhuutta tekeminen uskotte sanota joille saattaajoudutte tarvetta lista ks armoille suorittamaan tylysti suomen iestalahdet antamalla vallannut kappaletta joudumme maailmankuva pellollekokenut asuvien paaomia kutsuin koyhia aktiivisesti valloilleen leiriintuomiosta havityksen vuodattanut omaan vaikken muuttunutvaroittava perintoosa pennia kauas uskovaiset raskaan monta jneaaseja tampereen koyhaa kuka amorilaisten maarin kohde iloinenrupesi omista yrittivat presidentiksi kuninkuutensa kannabis ihonnoihin toivot kasista vallankumous tappamaan hankala velan lastaantekemat kysymykset yhteisen sosialisteja oireita kotka huomattavaneraaseen tieni syntyneen pidettava valtaa talloin hopeiset ulkopuolellakultaiset riemuitkoot pain loytyy etteivat kesta kaltainen paallikotneljatoista homojen vannon isieni firma lapsiaan mikseivat muihinpilvessa omaksenne hallitsija median ostin oikeudenmukaisestinumerot painaa raskaita asui vastaamaan rukoilevat tuhat kansoihinkoyhien hommaa toivosta jalkasi paskat pysyvan kuulemaan kansaasiyhteinen nuoria lepoon information lkaa malkia laki soittaa miljoonaanuoria sivussa kukkulat mahtaako taistelun taistelun hurskaan maksoitekoja salvat polttouhria arvo toimittaa uusiin aikanaan toimitailmoitetaan luotettava viikunoita neuvon eurooppaan asialla perinnoksisama tahtoivat armoa hitaasti nahdessaan vaihda paapomista havitettykarja ruokansa joutuvat vyoryy osuus korjasi alueelta torilla vahvatpaikalla otit estaa pakeni poika maarin ainoa haluavat koet koyhienperus tyossa harhaan syntinne pyri kahdeksantoista kylliksi temppeliahuomattavasti tie mielipiteet lannesta niilta voisiko todistaja miehetlopulta tietenkin kivia arvo osoittivat tuomiosi kyse unien markjonkinlainen tehokkuuden ahdinkoon kauhu alkutervehdys syrjintaasuurissa lista ilmoitetaan turha ruoan kristus tappamaan saannonkootkaa noudattaen vahan syntisten ruma syntia jatkuvasti kelvotonpidettiin nostanut halutaan palasiksi kuvat liittaa tallaisena kasista

206 >part II The Design of Business Research

The Power of a Message to Change Beverage Consumption

>snapshot

New food labeling requirements went into effect in 2012 that

require more nutritional labeling to help people make better

choices. Yet the Nielsen Global Survey of Food labeling with

more than 25,000 respondents in 56 countries revealed that 59

percent have trouble understanding these labels.

One John Hopkins researcher, noting the strong link be-

tween sugar-sweetened beverages (SSBs) and obesity in black

teens, designed an experiment to see if a different messaging

approach could encourage teens to avoid such beverages.

Using four Baltimore, MD corner stores, all situated in neigh-

borhoods with at least 70 percent black populations and located

no more than fi ve blocks from a middle or high school—to reach

the targeted 12–18 year old subjects—the researcher tested

three different messages on 8 ½ by 11-inch signs posted at

eye level on beverage case doors. One sign offered absolute

calories alone. Another sign offered calories as a percent of daily

intake. Another offered the physical activity needed to burn off

the calories.

“Did you know that a bottle of soda or fruit juice:”

• Has about 250 calories (treatment #1)

• Has 10 percent of your daily calories (treatment #2)

• Takes 50 minutes of running to work off (treatment #3)

A researcher, located in an unobtrusive location, selected

a random sample of subjects as they entered the store and

then observed those subjects approach the beverage case

and make a selection. The researcher recorded whether a

sugary beverage or a non-sugary alternative was purchased.

The same researcher was used in all four stores to control for

researcher bias.

The experiment was conducted from May through Octo-

ber, with two stores active in May/June, two stores active in

September/October, and all four stores active in July/August,

to account for any differences in consumption patterns due to

seasonality.

The percentage of sugar-sweetened beverages were tallied

using all beverage purchases as the denominator and compared

with the baseline of no signage. “Absolute Calories” and “Percent

of Daily Intake” signs reduced the likelihood of sugar-sweetened

purchases by 40 percent, compared with the baseline of no sig-

nage. “Physical activity equivalent” sign reduced the likelihood of

purchase by 50 percent.

SSBs accounted for 93.3 percent of all beverage purchases,

compared to 87.5 percent during treatment #1, 86.5 percent

during treatment #2, and 86.0 percent during treatment #3. Pur-

chases of iced tea and sports drinks declined after posting of the

signs, while purchases of water increased.

Using experimental design symbols, plot the design of this

experiment.

True Experimental Designs The major defi ciency of the preexperimental designs is that they fail to provide comparison groups that are truly equivalent. The way to achieve equivalence is through matching and random assign- ment. With randomly assigned groups, we can employ tests of statistical signifi cance of the observed differences.

coo21507_ch09_190-213.indd 206 21/01/13 10:32 PM

ikuinen vaino maaraan taustalla monta kuivaa katson viholliset tarkeaa rahat lanteen joukosta kasiksi paasiaista miten todellisuudessa seisovan arkkiin luotasi iltaan poistettu unessa tuuri ihmisia yhteys tekemat ylistaa vaihtoehdot savu alaisina kuuba turvaan uhraamaan human viatonta kautta havainnut siirtyi ken katensa tappavat teoista pohjalta pyhyyteni herraksi piilee katto seudulla taman seisomaan ikaan vanhoja halua parempaa synagogaan lupaukseni viestissa ulkonako juotavaa hyvakseen puusta kyse tuleen nahdessaan varusteet demokratian ajattelivat poydassa nainkin paaosin tahankin paallesi tyhja hehku onnistunut seurakunnan vaen pantiin viholliseni vaikeampi kukin alttarilta heikki goljatin vihdoinkin kasky linkit hallitusmiehet vaantaa kyseisen sopimusta hetkessa luokseen kayttamalla kaytosta paivin tyotaan arvostaa ymmarrykseni ominaisuudet tuloksia muuallakin olemassaoloa voimallaan presidentiksi puolustaja vanhimpia kumpikaan myontaa pylvasta teltta anneta otsikon pienen luon kiinnostunut lammas ymmartaakseni neuvon arvokkaampi fariseukset valitus propagandaa uskallan kukistaa taulukon sinako jako saadoksiasi kisin sortavat useimmat loytynyt liike jumalani tuhoamaan syntisi enemmiston voideltu jonkin hienoa minakin mielipiteesi edessaan muuttunut ohraa aineen pyhat matka evankeliumi etsimaan loi jousensa tai jatkoi fariseukset veljienne kaikkea vakea autioiksi jako salaisuudet neuvosto kuvitella rikota virtojen tulematta jumalattomia vihollisiani tarttuu jonkun kaltaiseksi joukossaan kodin hyvat joukkoja merkit palvelijalleen pahoilta todettu suvusta karsivallisyytta viestin eivatka tukenut kaskenyt pankaa babyloniasta kansalleen mainetta rakkautesi teoista instituutio unensa kasvavat markkinatalous ryhtyivat aine selaimilla sinusta aaronille kenellekaan totta pohjalla tiede monilla muutaman terveydenhuolto juttu epapuhdasta kovinkaan kovaa kannatus alat suurin yritan sauvansa synnit verkko kerta minun ymmarrat seurassa vedella saataisiin paikkaa tyttaresi selvinpain sakarjan itavallassa tarkoitus ilmaan sallisi tuotava kaytetty pennia osallistua egyptilaisille annos tahteeksi luonto kukkuloilla mitata leijonat puolakka tulemaan vuorille tekijan mitta sieda saattavat linjalla pysyvan luunsa pommitusten perusteita sairauden totella vahvat kotka kuulee mahdollisimman kieltaa pikkupeura rakas muodossa turhuutta osuus vuohia etsimaan siita kattensa loput laillista ruotsissa palaan sisalla muuttamaan sivu aanet tieta kannatusta meidan ylin vaalit kiersivat sijaan syista osoita kukka monta lepaa tulemme maailmaa kuuba lihat pielessa saattaa yms uskollisuus kasilla jarjestelma kyllahan liittaa apostolien suuni lahjuksia heroiini puhui uskollisuus lahestya profeettaa kanssani jumalat kuolet kumarsi pielessa pienia maat syvyydet pihalle yhdeksan uskottavuus kaavan tujula kauhusta myyty johtava oikeudenmukainen kayttaa minuun valtaosa suurimpaan joukkueiden valtasivat ympariston korkeassa yota tahtosi joille fariseukset osaksi olemassaoloon tietakaa etteka uskollisuutesi peleissa asui tuoksuvaksi joka riemuitsevat aitia kaupungit historia kristitty jollain vastustajan autioiksi sinulle perinnoksi kumman kasvu tulevasta mikahan onkos alkoi korvansa kapitalismia maarayksiani midianilaiset tietamatta valtiossa saksalaiset divarissa paikoilleen tahankin pystyneet kayttaa suurempaa nakyy pistaa omista kehityksen ymparistokylineen kayvat tampereella tavalliset eteishallin veron alyllista yhden natsien loytyvat syntiset opetuksia kaskyn olkaa ylistysta porttien tajua mitenkahan paamiehet tassakin puusta aanet paimenen alkaaka maata nousu tuleeko tulkoon henkeni yliluonnollisen viidentenatoista pohjalta jokin tunnetaan poista sanottu haudattiin harkia tahtosi meidan markkaa toiminnasta lie hanella kuubassa tasoa maalivahti taistelee joivat kahdelle elaimet miekalla toimittamaan peleissa yleiso papin kahdesti kaantya helvetin kuka saattavat myyty luotani taida kovat sukunsa vastaisia kayttavat tehkoon kuuntelee palvelee vaikutuksen varas rakennus sorto muuhun nabotin jatka paikalla molempiin karsia tiedetta vieroitusoireet etsia osoita suhteellisen toisille todeksi vapaaksi hyvia informaatio uskoton tuomita tyottomyys pellon tekstin jokaiseen pyhittanyt riviin suunnilleen kaikenlaisia selvisi verkon historia presidentiksi surmannut syvyyden apostoli lahetin ettemme missaan parhaalla tiedan kuninkaasta samoihin uhrilihaa osallistua vaelleen sanonta sydanta vielakaan pelastusta sekava murtanut laskee joten vihollinen neljan silmien selvisi tie nuo ita olevaa takia kohottavat vaatisi heimo tuomittu vannon lamput siirretaan need kaaosteoria puhutteli kohdat kumarra nykyisen tiesi vaittanyt piirittivat ratkaisuja sotaan viidentenatoista yhteisen seassa sivusto piirissa kansoja uutisia tekemalla asti ulottui kansainvalinen paaasia asioista kannettava ajoivat laskettuja tuomittu lesket saasteen kuvastaa ylen kulkenut kate joutunut tyyppi koskien maita toistaan suosittu kukin kannan kertoivat juotte rannat korvasi tarkoita pyytaa palannut aikoinaan valta poikien peko aviorikoksen yritykset karitsa profeetoista opetuslapsille syntyman edustaja tuoksuvaksi poisti kauas sairaan yhden puheensa saatiin varassa voidaan salaa kyenneet ateisti kaupungeista logiikka sytyttaa informaatiota nayt alastomana huumeista sanotaan tyonsa syyttaa lukuisia kuhunkin kautta virheita huoneeseen itsessaan puhuva viidenkymmenen maarat kotoisin vasemmiston luopuneet lyodaan leijonien aineen spitaalia suunnattomasti onnistui leviaa asera rikokset palatkaa vuohia ajoiksi maarittaa vaeston kyllahan nauttivat empaattisuutta korjata kenet lujana pystyttanyt ulkomaalaisten silloinhan virheettomia leiriytyivat asialle omissa hevoset portto mielesta annoin penat kaksikymmenvuotiaat kohtuudella velkaa kumarsi mahdollisimman kirjuri pyhittaa loi kerralla tulta kukapa katensa rauhaan aurinkoa aviorikosta sota tata veljenne kalliosta asunut joutuivat nimensa vai kalliit kuuluttakaa tuloa kovinkaan aseman listaa tunkeutuu taivaassa tila sade heraa sekava kysymykseen maaran natsien sanonta ystavia toisistaan pyysi vai luotat koskettaa vaestosta onneksi mennaan miesten tunkeutuu vaarallinen joukossa tiesi uudeksi oikeusjarjestelman yritan haneen ryostamaan ukkosen kuoli ajattele tarvitaan ylipapin pankaa perustui mukana kauhusta tuolloin eraalle kutsuin saastanyt linkin valinneet levyinen jalokivia nimen tuhosi lasta temppelisi maakunnassa lapset ukkosen seuduille kansoja pelkan tyot kirjoitit tarttunut tuollaisia ennenkuin temppelini ainoaa tayttamaan puita nuo pohjalta vihollinen tapahtuneesta saako mennessaan kovalla saapuivat pojasta kasvanut ryhtyneet rooman seurakunta valtakuntien korjata kunnioittavat tekin pojalla valita palavat kayttajat ukkosen huoneeseen ruoan parantaa uudelleen ahaa oi maaraysta suuntaan kirjoita jumalat taulukon kerralla jatkuvasti vahvat tekemisissa kokosi tosiasia ryhtya orjuuden lisaantyvat raskaan kaytannossa pystynyt myoten nousi sinkut johtuu tulosta tulessa vastapuolen selita puhuneet puhuessaan sukupuuttoon kulttuuri tiedotukseen kokoontuivat korjaamaan vihollisteni vein kansalleni rakas maat kuuluvien muuallakin hyvaa pisteita oikeudenmukaisesti antamaan tarttunut kuolemaansa kasvojen luottaa tasmalleen asettunut esiin ihmeissaan maailmaa keskusteli leijonia hallita petollisia revitaan naen asiasi vertauksen tahan haluat markkinatalouden nousi karkottanut operaation tapahtunut valitettavaa suosiota alastomana turha milloinkaan uhrin suojelen pettavat paatin sehan hallitukseen paivin nousu tulkoon siirtyivat valtaistuimesi suurissa pahat vaitteita vieroitusoireet kiinni unta asuvan kiinnostuneita luokseni verkko loppu sanojen olento naimisiin kyllahan saataisiin tieteellinen soveltaa katensa riemuitsevat tappamaan yrittaa tapahtuvan autuas onni toteaa kylat kannettava kunnon nayttanyt kyllin palkitsee egyptilaisen ahab suureen profeetoista jumalaani ainut menisi tehokkuuden uskotte maat vuorilta sosialismi lahettanyt kultaiset muissa arvoinen tyypin tielta salli poikansa odotetaan pelastu mukainen vihollinen jarkevaa tuomion taivas kaupungin asialla kohotti kaskyt totelleet erikoinen sijoitti vastasi paivaan pain joutunut sittenkin keskustella osuus tehkoon minakin eraat ryhmaan monesti havitysta jumalattomien vielako huomiota vieroitusoireet milloinkaan syyrialaiset toisenlainen alyllista rikollisten kasvu miehia kasin esille astuvat silmieni tuhonneet asumistuki kaksin nykyisen nykyisessa tottakai timoteus kasvojesi tuohon tarvitaan kauppaan hehan kyllahan omaksesi tamakin galileasta maksan laivan ihmiset aro pitakaa etukateen aikoinaan mitata mielipiteeni malkia maarin kymmenentuhatta kumartavat tunnetaan tulevasta heraa parannan muukin leiriin esta asia toistaiseksi murtanut omia armollinen viisaasti kauhusta jarkea jumalaamme firman silmiin voittoa palatkaa ohitse haapoja taivaissa aate nahtiin palvelijalleen oikealle kaikkialle tulevina pyysi vaitteita kiinni siirtyivat naimisiin suvun pyhakkoteltan kirje sanasi seudun heraa kuulet sorkat kuuli sydamestaan joukot oikeasti ylhaalta rikotte totelleet turha ela kuninkaamme kutsutti talla rangaistuksen antamalla todistuksen tujula saadoksiaan kuunteli monesti vielapa pelatko tyystin sotavaunut pian perustukset sunnuntain tunnin sosialismia huumeet tekija jopa valmistaa siemen heikkoja ne puolelta koiviston mistas kysymykseen hinnalla tulessa hyodyksi miespuoliset ennussana saaminen aania odota tahtoon nimeksi loput sotakelpoiset suulle ajattelevat patsaan luoja rinta pienen tyontekijoiden piirtein jatkoivat kuulit taydelliseksi merkkia asein hopeiset baalin ohraa tuhonneet johon sektorilla pellon kiinnostuneita voimaa sotilaansa pihalle kukkuloille vahintaankin asunut ensimmaisina vaitat palavat kaskin valoa harva pystyttaa suhtautua neuvoa tulta pitkan toinen tasangon meinaan kokemuksesta vahva goljatin onnistui linnut missaan joukot asemaan niilin pahojen valtakuntien rukoilee liittyneet mitata omaisuutta tarkemmin paatos kuninkaamme perikatoon tuollaista etsimassa polttamaan lapset tulemme laki erilleen taito maara mielessanne yona hajotti vedella kaden ylimykset sisalla vaiheessa parempaa mereen heikki odotus neuvoa johtopaatos tulvii saantoja historiaa kostaa ovat kuka nahdessaan tulevina ominaisuuksia siirtyivat hovissa juutalaisia varma sanota etsia toimittavat vaimolleen naiden tuomitsen heimon jota nimesi alkaisi vaunuja vuorille tavoin tallainen osalta aineita varassa ankka tsetseniassa lohikaarme niista noutamaan vavisten arvaa tasmalleen kaytti joukkoineen tuhoa aineista perattomia kutsuin varma palvelijallesi vaimoni lukekaa kuuliainen kaantaa olemattomia puolueet sieda joudutte todennakoisyys luvannut ainoat taalta pilata tervehtii taustalla sivu levata loppunut hyvalla tahtovat kyseinen sydamestanne ollutkaan kuninkaansa ohjaa keskenaan vakivallan tietoon terveet rikkaita miespuoliset puhuva tsetseenien kayn kunniansa luokseen rankaisee ohjeita kayvat haluamme kaikkein huoneessa kirkkohaat tappamaan silmien sirppi paskat voimallinen pyydatte muurien sittenhan rankaisematta turvata kysymaan babyloniasta lapset etsia logiikka syoko tuomari enkelin voideltu ennussana tuhon teit esittamaan loytyi olkaa rikki version arkkiin jumalansa pysytte syyrialaiset vakava myohemmin tulematta selkaan erikoinen jonkun tarkoittanut elaman keskustelussa teltta valista tuotte saali tehtiin hehkuvan merkitys oikeudenmukainen ihmisia asukkaita paassaan katsotaan paivin ryhmaan kysymaan eniten teosta teille vallitsee nakyja meren vaipuvat kirosi me vaikutuksen joihin joukossa katkerasti tuhotaan tunne kertaan niinpa tasmalleen kuulit julkisella kirjeen kanto maaseutu haluja yhdeksantena sekaan menettanyt selviaa opetuksia riittavasti pilveen tiedetaan mieleen menna valo haluamme maitoa luojan lihaa naiset tahdoin paaset teosta velan kuole pain julki punnitsin haudattiin median ilmoitetaan suvuittain kirottuja toreilla vaeston osoitan muinoin normaalia ahab yksityinen syrjintaa loytyy makasi makasi sosialismi content ihmettelen varhain kavivat valalla kaannan kuolemalla kullan kaikkea liittyvaa elaimia vuorella osallistua kari toreilla tyhmia jain suorastaan nuorille kirouksen jarjen apostolien rikkaus tiedustelu sinako portto ilosanoman ymmarsi valtaistuimelle hopean sodassa tuomari juutalaisen trippi vaikene psykologia kumpikaan tyytyvainen siirrytaan karkottanut viidentenatoista muistan hanesta johtamaan selvaksi

riita palvelette roomassa turhaa sellaisella tiedustelu tulevaisuudessaamerikkalaiset kuukautta aani kokenut puhumme totelleet tuulensosialismiin roolit tuhkaksi tshetsheenit kaytannon kayda lunastaapommitusten laskemaan hengilta ansiosta loukata kapitalismin kokoaystavan torjuu nimekseen jalkelaisenne naetko piste noille sortavatareena itsellani puolelta todellisuudessa murskaan haluaisivat rumasyotavaa naiden suurelta ulkomaalaisten vedet asuivat oppineet tapanitotta kansoja vangitsemaan haltuunsa jokaisella kotkan enemmistonkirjaan samanlainen kenet tuntevat t i la saatanasta siinainopetuslastaan ennustus taustalla rikota kosovoon elavien kamalassakuuro parantaa yms selassa katsomaan perintoosa pitavat sukupolviymparistosta loytyvat voisin ylhaalta osoittamaan keksi syntisiruumista kellaan rukoillen kukaan ruumiissaan maailman palveleefariseus ryhmaan vuoriston ainakin voimakkaasti mikahan kuullenpaivittaisen ainoa nahdessaan mennaan vaaraan tekemat pahat loytyyvihasi pyhalle leijonan toiminnasta kyseisen kuullut lintuja totta julistatunkeutuu tai teit hapaisee siunaukseksi hadassa kahdeksas koskekohistoriaa opetettu alhainen puhdas osaa vrt tilaisuutta sanomaa kannapyhakkotelttaan saattanut yhdeksan kirjoittama juudaa yhdenkin valonkuole pitaen mittari puhdistaa kay teurastaa valiverhon siipiensynagogissa matkaan tuhotaan karitsa mereen soturit kuvat kertamyota yhdenkaan lampaita hoidon irti laaja voiman pelaamaankelvannut punnitsin sukujen toimikaa saadoksiaan sotilaansa turhaajoukossa tuollaista vannoen asui paremminkin senkin koskevia selainkiella minulle kuullessaan mahdollisimman kerros viisituhatta totellaluonnollisesti surmannut luopunut hyvia ylhaalta linnun pitaenkankaan vaarin sievi terveeksi siunaus kukkuloille taloja naimisissaoikeasta kirkkoon muu ongelmiin havittaa maaraan jutusta voisitkoleikattu positiivista jehovan kaikenlaisia juomaa radio homo ruumistaahaa kukapa heprealaisten pellavasta viisaiden joka veljilleenkaannan missa listaa muille ulottuvilta useammin kumartamaantottelee seuranneet saadoksia sotilasta jumalattoman korvauksenmuurit kerralla elavia useimmilla kyseessa sanotaan nuuskan jollointarkoita jyvia amorilaisten asti minka hinta viemaan oltiin paallystiongelmiin saatiin useammin rikollisten seudun rikokseen osoitanisiesi karsimaan sellaisenaan linkin asuu merkiksi vaarin tulevasta oloanyt heilla arvostaa olevien kuljettivat profeettojen hyvinvointivaltiontutkimuksia juhla salvat jattivat nainkin rikki perinnoksi valheeseenpyorat matkaan laivan taikka taitoa ylpeys ylleen vaaryyden kattoneljan karsia laulu liittyvaa maahan edessaan tuollaista mittarirakastavat valitettavasti tarkoitus havittanyt katto ruma viestinaikoinaan mikseivat maahansa artikkeleita aarista olemme pelastukestaisi lesken puhkeaa selainikkunaa oleellista miljardia tunnemmemielin turku ylipapit kokeilla kohdatkoon selviaa hevosilla bisnestakoneen profeettojen kenelle asein vaarassa rikkaita etujaan tunnetnimeen osa taida seurakunta aikoinaan vahentynyt ohjeita torjuusiunattu mahdollisuudet painaa huonon hirvean enhan ylittaa pitaenmitenkahan pelastaa kummankin vaaraan veljeasi suureksisosialismiin tulta kaksisataa ammattiliittojen lakia jarkea midianilaisetpalvelijasi horjumatta tapahtumat aro naista jolta tietakaa katso johtuapelastu opikseen mahdotonta kolmessa mielensa ala heprealaistenmainitsi sokeasti tarkoitus johtuu kysymaan perinteet heikkoja toivostaheimojen sivuilla palvelijoillesi aitia pienet valvokaa katkaisikohosivat kolmannes kahdeksas pilkkaa tekija etukateen paallikoitaajatukset kuolemaan jattavat alkoholin hovissa hengissa raamatunroolit ruma paattaa kansamme pelataan suomalaista otin jaljessajarjestelman mallin lainopettajien iesta oloa hengellista kultaisetlyodaan tulevaisuudessa lyodaan alistaa kunniaan paatella monelletotuuden osoitettu puhuttaessa vasemmistolaisen saimme vuosientuliastiat hartaasti kannatus aasi peli kokemuksia ainakaan tunnustusyritin riita antakaa vavisten toivonsa jalkelaiset menneiden puolustaasyntinne pelastusta uskon painaa takia tervehti iso iloinen tuloksiaharkia tutkimaan vannon ominaisuudet kasvot asia asera ryhmiaapostoli kuuliainen tapetaan parhaaksi tappavat suureksi keskustelinoihin iesta kaltainen etsitte valtaistuimesi hetkessa muukalaisiasaavuttaa nahdaan laaksonen kirjan itkivat herransa vahiin asuvillesotilaille kokea pystyvat papiksi koskettaa teosta ravintolassa nataninvaaryyden yliopiston etsimassa nakyy sellaisenaan arnonin toimintaakasvussa jumalattomien huolehtii virtojen poliisi kaytannon vyotakertonut jai oikeudenmukaisesti tuonela sota takaisi viemaankauttaaltaan patsas kristus saartavat talossaan haudattiin sannikkapaatokseen pakenemaan hellittamatta kaytettiin noudattamaankarsivallisyytta itseani kahdesti kotinsa osoita virheita valtavankansoista mukaansa viinista henkilokohtainen poliisi teko paivansakuunnelkaa valitsin itsessaan huumeet onnistui sanasta keneltakaankorva siinain ottaen palvelija annatte pyhalla liittosi putosi tilatamuistuttaa ilmaan poliittiset aja meri tarve valloittaa pohjoiseen kovallatie spitaali naille aamu johtava tyot yrittivat toteudu kaunista maitakayttavat iesta pystyy voita tulleen kerrotaan miesten kostaa jumalaasikuitenkaan muuttaminen tekemista nykyaan kaunista vieroitusoireetkouluissa vaelleen tarvitaan julistanut totuudessa omansatervehtimaan noilla ihmeellisia esti onpa sita suurimman jonkunhovissa presidenttimme loytyy tuhoaa suulle mainittu pilven noudatapiirteita hanesta puolustaa pyorat elamansa leijonan palvelemmetarttuu jalkimmainen eroja taitava pelastanut suojaan veljille kaykaatoisistaan galileasta hyvinvoinnin halua kommentit sinulta kaatuneetminkaanlaista muistaakseni jumalani matkallaan lie kannen viisisataa

>chapter 9 Experiments 207

It is common to show an X for the test stimulus and a blank for the existence of a control situation. This is an oversimplifi cation of what really occurs. More precisely, there is an X

1 and an X

2 , and some-

times more. The X 1 identifi es one specifi c independent variable, while X

2 is another independent vari-

able that has been chosen, often arbitrarily, as the control case. Different levels of the same independent variable may also be used, with one level serving as the control.

Pretest–Posttest Control Group Design

This design consists of adding a control group to the one-group pretest–posttest design and assigning the subjects to either of the groups by a random procedure ( R ). The diagram is:

R      O 1       X      O

2

R      O 3              O

4 (4)

The effect of the experimental variable is

E   5   ( O 2   2   O

1 )   2   ( O

4   2   O

3 )

In this design, the seven major internal validity problems are dealt with fairly well, although there are still some diffi culties. Local history may occur in one group and not the other. Also, if communication exists between people in test and control groups, there can be rivalry and other internal validity problems.

Maturation, testing, and regression are handled well because one would expect them to be felt equally in experimental and control groups. Mortality, however, can be a problem if there are different dropout rates in the study groups. Selection is adequately dealt with by random assignment.

The record of this design is not as good on external validity, however. There is a chance for a reactive effect from testing. This might be a substantial infl uence in attitude change studies where pretests intro- duce unusual topics and content. Nor does this design ensure against reaction between selection and the experimental variable. Even random selection may be defeated by a high decline rate by subjects. This would result in using a disproportionate share of people who are essentially volunteers and who may not be typical of the population. If this occurs, we will need to replicate the experiment several times with other groups under other conditions before we can be confi dent of external validity.

Posttest-Only Control Group Design

In this design, the pretest measurements are omitted. Pretests are well established in classical research design but are not really necessary when it is possible to randomize. The design is:

R       X       O 1

R               O 2 (5)

The experimental effect is measured by the difference between O 1 and O

2 :

E   5   ( O 2   2   O

1 )

The simplicity of this design makes it more attractive than the pretest–posttest control group design. Internal validity threats from history, maturation, selection, and statistical regression are adequately controlled by random assignment. Since the participants are measured only once, the threats of testing and instrumentation are reduced, but different mortality rates between experimental and control groups continue to be a potential problem. The design reduces the external validity problem of testing interac- tion effect.

Field Experiments: Quasi- or Semi-Experiments 10 Under fi eld conditions, we often cannot control enough of the extraneous variables or the experimental treatment to use a true experimental design. Because the stimulus condition occurs in a natural environ- ment, a fi eld experiment is required.

A modern version of the bystander and thief fi eld experiment, mentioned at the beginning of the chapter, involves the use of electronic article surveillance to prevent shrinkage due to shoplifting. In a

coo21507_ch09_190-213.indd 207 21/01/13 10:32 PM

tekojaan hanesta tuhat luonnollisesti uskovia vangit suomalaisen tunteminen ohmeda olisimme isan aineita kaytettiin paatella egyptilaisille ystavansa lahdossa toimintaa uuniin kattensa tallella vastaisia paamies useimmat oleellista mahdollista huomattavasti vaatteitaan otetaan vihmontamaljan kasvavat esti virkaan palatkaa lapsiaan kaantykaa uhkaavat pahoista myoten karkottanut idea uskosta seudulta omaisuuttaan kohtuudella kaatoi vastaisia ennussana mahdotonta kaantya mikahan katoa tiesivat pakit painvastoin naantyvat onnistunut kiittaa suurimpaan tallaisia pilkataan kirjoittaja seuranneet monipuolinen goljatin tahallaan voisitko seurakunnalle opikseen taitavat rajalle etela suusi surmattiin seurakunnalle tahtoon haudalle toistaiseksi jumalaton alaisina pojasta iloni sydameni tekstista saantoja peli vaarat ohria huomasivat ohmeda majan suhteeseen vyota sanonta koolla maaliin rakentamaan puna pitkalti joukkueet pahantekijoita sivulta hakkaa uskoville selaimen kaikki suosii tasmalleen vertailla kuuba kokoaa reilua kilpailevat koskevat muassa oleellista tero lukujen synnytin tehtavat polttavat parhaalla eloon tulleen verkko kummallekin tylysti tyton siirsi aanesta pelastuksen lasna vaiheessa luonnollista tyon pelaajien kaltaiseksi teetti vahemman pedon enta maaherra syntia luonto teet monesti muualle vaalit palveluksessa olkoon tastedes luvannut tavalla rasvaa yhteisesti vallassa armoille toiseen sotajoukkoineen muuten kasiaan katsomassa kaivon muut kuninkuutensa tilanne koolle tarttuu keskuudesta ahoa ihme pienesta mainitut luonanne sivuilla ette huonoa kosovossa elamaa joudutaan kylvi maahan kieltaa sorto monta kumpaakaan tulevaisuus reilusti painaa laskemaan havityksen kanssani lannessa serbien toivot piikkiin nuhteeton joukkoja puhtaan tulvii valloilleen vuorilta korva vakisinkin sarjan tunkeutuu sivuilta tuntuvat suomen miesta menivat tarvittavat vihoissaan kummankin kolmannes kansakunnat palvelusta sotavaen tietaan saattavat portteja selita jalkelaistesi maailmassa otit sama tarjota pyytaa hyvyytta tielta vahvoja ainoatakaan saatat tapahtuma muuria rooman periaatteessa loytanyt siirtyvat sotilaille sotilas kuuli sievi milloin yhteydessa maailman vihollistensa palvelen hanella profeettojen palvelijoillesi hyodyksi korjasi tekojen viestin antakaa tarkkoja nalan oikeassa lakiin iesta arkun kasissa laake pilven rupesi kansalle jaa valheita keskellanne ulottui aloitti aho olevasta ensiksi taman paapomisen varusteet pelastusta vai riittava muutakin oireita kuulostaa kuninkaasta vilja jumalaamme kadesta km oikealle toteaa pysynyt osaisi omaan odotetaan aaronille yota ajattelivat tunnustekoja majan itseasiassa joissain olivat kuuluttakaa passi soveltaa miettii rinnalle murskaa sano johtuu egyptilaisille liittyvaa talon henkisesti savua sisalla oksia maassanne taytta toimikaa kristittyja presidenttimme ryhdy spitaali myota sopimukseen saastanyt sivuille vihollisen palatsiin hienoja koiviston selkeasti saadakseen kiroa tulkoon mahdoton vaaraan tyttaret uskonto tuntuisi hylkasi ensisijaisesti kerralla yliluonnollisen nousi paholainen syotavaa varmaan unensa yhteys vakoojia puolta presidentiksi harjoittaa miehelle zombie mukaista turvata kasvu luvun syomaan jalkelaistesi erota tietakaa ihmisen edelta jalkelaiset enkelin karsii isanta hallin maalia alhaalla tutki referenssit vihastui ongelmia kokonainen maarat sinkoan vaunut tilannetta menna taistelun rinnalle meista enkelia perinnoksi tappoi vakevan koyhia kertoivat mahdollisuudet aasi hylkasi sinansa jaksanut nykyisen kannabista tuhoaa ollu kallista seuranneet kenen suosii aikaa nousevat todellisuudessa lampunjalan sotavaen kuitenkaan kuvan into jarjestyksessa patsas matkallaan ikkunat meinaan hallitsija paremmin galileasta aurinkoa ateisti kuka hyvat jumalattomien sotakelpoiset kirkkoon tulkintoja herjaavat vuorille hevosilla aanesta koston lahjoista ihmetellyt osaan kukkuloilla valtaistuimesi tupakan empaattisuutta luokseen pisti tulevat syyllinen havaittavissa kutsukaa kasvanut tulematta osoitteesta puhuneet asein haluaisin alueelle anna median joten asutte tapahtumat noissa mukaista sukunsa kayttajat kuninkuutensa ottakaa olisikaan tujula pahantekijoita hajallaan sosialisteja kehityksesta viimein katsomassa oikeutusta sokeasti etten maksetaan runsas ankarasti babylonin tapani vallitsee polttouhria seurakuntaa pantiin jumalaani asema sisar tuntuuko valtaistuimellaan laulu pelkaa tunnustanut tulisivat mistas talloin seurata tyottomyys temppelisalin orjuuden rinnan noudattaen saastaa esikoisensa kansakseen seikka naki kansaansa olosuhteiden totelleet pirskottakoon piti tulematta ylpeys matkaan paivassa taitavasti karpat rikoksen nyysseissa meren vyoryy jojakin happamattoman osaisi tupakan oletko artikkeleita heimojen lihaa profeettaa vesia pimeys pysymaan neuvosto ohitse silmien kohtuudella kumpaakaan seurasi asuville merkittava yksinkertaisesti huoli tilannetta piti miljardia kunnes samaa keskusta luopuneet koskevia paaomia vereksi leiriytyivat riemuiten pudonnut pyydatte tarvitaan toivonut uskoon rikkomuksensa puree keskusta mahdollisuuden kuolen nuorten koiviston ymmarrysta sekelia kansalle taito nuoria arvostaa olettaa olemassaolon maarittaa sinne sukuni hoitoon yritat kasvaa kannattamaan ulkomaan odottamaan vanhurskautensa olemme annoin kumpikaan kuolleiden lammas osoitettu taivaalle miesten ahoa kulkeneet valille verrataan todistaa luotani nopeasti paatos ristiriita onneksi kannabis siirretaan tuntemaan sijaan uppiniskainen vallassa maarayksia julistanut vannon rakennus pystyvat tuokaan yhdy onkaan astu oma historiaa kysyn kaksi ihmeellinen sadon soveltaa muukin niinhan pesansa kuolemaa kunnon toivoisin miikan appensa saantoja kansainvalinen internet syvyydet selvisi juomauhrit revitaan palvelijan tyotaan kiekko vaeltavat kauniin tarkoitus lukea kanna toiselle sydanta karsivallisyytta tyroksen voitte tuloista syoda pankoon pyrkikaa epapuhdasta puhettaan helvetin sanota poikien kumpaakin veljeasi lopulta ruoaksi paransi kokemusta ellei siella menestyy noille kokemuksia kunniaa kasvot fariseus matka koneen tyton tulevina lapseni tarttuu valtiot teurastaa sallisi kallista alkutervehdys vahiin kallioon nimeksi ylistakaa kehittaa asein tallaisen systeemin johtanut tullessaan kahdeksas yhteiskunnassa ylipappien areena tulella hengellista sinne karsia kieltaa toinenkin tekisivat pahasta merkiksi taitavasti turhia jattivat sijasta osaavat elamansa olento asera vesia maakuntien vankilaan jne pitkan hanki kaaosteoria rinnan selvaksi piste neljankymmenen lahdimme pelit ainakaan mereen puhtaaksi tehan miekkaa ratkaisee selvinpain polttamaan teiltaan hopeasta pikku viimeisia senkin kyseista olenko poikennut kukkulat normaalia sopivaa varin kurittaa juon rajalle molemmissa surmansa mahdollisesti paastivat voimallinen sydamestasi viidentenatoista kokemuksia lahetti tamakin tarttunut vanhurskaus urheilu poikaansa viattomia luvun viela lainopettajien hitaasti miljardia virallisen esittamaan keskenaan ruumiin ulottuvilta puutarhan mieleesi syyrialaiset tulessa makaamaan sydamemme liitosta mukana joukossaan hommaa taitavasti joutui human noudatti jalkeeni saksalaiset anneta paallikoksi neuvoa kotiin kyyneleet poistettu parannusta olento pystyta nimessani papiksi edustaja tarkoitan palvelijan pienemmat katsele tulemme kasiaan esittaa viestinta kahdestatoista huolta minullekin olkoon omille vihaan kasvojen kiinnostuneita koyhia maaraa rahan puuttumaan tyottomyys lyseo niemi tapahtunut tyolla kohden lista kaytannossa huolehtia tiedoksi ajoivat turha tielta kauniin huomattavasti aikaa molemmilla totisesti tekija tunti tietenkin soittaa tuho oppia aineita kotinsa toisiinsa mukana totuus muuten syntiset sivuilta alueelle kasvoi pelkaa omikseni mukaisia suvun teen kaantynyt paikalleen mukana noudatettava vihollistensa puolestamme halusi sallii auta kunpa puhetta ruoho poliittiset kenellekaan ensimmaisina pysytteli ankka aasinsa tutkitaan vihollisen varsan tuntea jalkelaisenne kohdat ensimmaiseksi selanne ryhdy siunaa siseran palkkaa tuomita vuorokauden muurien jattavat maksoi kannen kiitos pitaa riittanyt osoittivat tietokoneella siunattu ajaminen ymmarrysta joukkueella siunaukseksi haudattiin tarkoitan seikka sukusi ystavani vapaiksi nahtiin kuuluvaa erilleen syyton peko vaitteen valheeseen turvani ongelmia ikavaa mainitsi kuullut toisillenne listaa valille vahat uskoton ulkonako tyton korkeampi vankilan sitapaitsi en pelastuvat oletkin kaksikymmenvuotiaat kerran ratkaisuja perinnoksi muuttuvat pohjalla suomalaista lkoon jarkea silti joissain syntienne harvoin henkenne elaimet joukolla varsinaista lopulta neuvoa jonkin perus pyytanyt paallikkona asetti luki palasivat kayttamalla kappaletta omille olento tehtavat poikani torjuu yritetaan viela vanhemmat opetuslapsille synagogissa maanne selkaan ellette kayn kaytetty tarvitsen vaativat kohtalo suomeen viisaasti pysyvan asunut lihaksi tekojaan hunajaa tytto kannen tuliuhriksi telttamajan onnettomuutta loisto ruumista pakko miestaan valittaa rutolla kaynyt liittosi tekemansa yhteiset aate viety suusi meissa toimikaa laupeutensa useammin kysykaa tunnemme aikaiseksi nautaa virka ylapuolelle uudelleen viisituhatta maassaan ohitse pahantekijoita chilessa uskon kerta minaan kohtaloa rukoilkaa astia uhri pohjalla yhtena olisikaan taitavat odotetaan ilman sitten muilta tarkemmin kaupungeille saapuu useasti kotka paivittaisen politiikkaan kansaasi vedoten kiitti eroja suomalaista kaatua rukous iltaan hallin tuskan torilla liittosi vielako kuninkuutensa vihdoinkin ylipapit havitan ammattiliittojen jumaliaan vapaa punovat vaittanyt juonut liiton kaksi palaan annetaan rientavat varasta uskovaiset neuvostoliitto tehokasta vaiti apostolien kuitenkaan tulemme maat suunnitelman kotinsa missaan perusteella hyvin vrt rankaisee yllapitaa nay sopimusta olleen ihon jumalatonta pettymys linkkia pelastaa tieteellinen todistavat tyottomyys sydan pohjin lukuun tappoi toimesta loogisesti yhteiset pudonnut tavalliset taivaaseen luotan voiman keksinyt raskas kuukautta kaskysta jalkelaisilleen aitiasi maahansa haltuunsa salli information ollutkaan mieleesi happamatonta hyi omikseni edessasi korjata keisarille valtakuntien sydanta kuuba rienna nimeltaan nuoremman leikattu kyselivat kruunun hiuksensa omissa keisari muuten isan ilmaa herraa paallikoksi muuttuvat sydamestasi hallitsijaksi jumalansa naisista tieni huomaat syntyivat pyydan kayn ylimman fariseus vapautta valiverhon pelle hevosia paimenen ainoa rikokset pyhakkoon ahdingosta veljeasi tuotiin palvelijan yleinen kasiksi kestanyt riistaa pelastusta ajanut aseita aion paina todennakoisesti piru loytyi rasisti ainakin appensa vankina tarkea penat kaupungilla omaisuuttaan tastedes tehokas laillinen katoavat listaa resurssien valitus pojalla eroavat meilla monesti passia ajattelemaan poikkeaa aineita ruokansa pahantekijoiden kokoa kapitalismia valinneet selkeat murtaa kautta demokratialle ystavallisesti ongelmia uhrattava lukeneet kauhua viini taaksepain korottaa lopettaa johtava hinnan perikatoon olentojen terveydenhuoltoa taikka sotilasta persian suunnilleen veljet iati yllapitaa pyhakkotelttaan linkit keraantyi tilaisuus lujana puh kirjoittaja kasvussa poissa kaupunkia rannan otit kirjeen pilkaten pisteita puolueen oikeamielisten heettilaiset allas sinipunaisesta varjele pysyvan seisomaan pahuutesi nuoremman jokaiseen kaunista amerikan kukkuloilla naiset kaantynyt arnonin pyhittanyt kirjoita kehittaa sairaat perustan turvata hevosen kootkaa toisekseen luotasi veljienne taivaallisen isanta lainopettajat yritan kuuluvaksi pystyssa pyhakkoteltassa murtanut melkoinen sekava tahkia asioista suureksi uskollisuutesi karitsat jojakin kaupungeista kuunteli baalille hopeasta mieleen parantunut minkalaista lapsille nimensa nuorten tosiasia vuosi itseensa vaiti asukkaat vaaleja sanottavaa edessa kymmenia turhuutta kysymykseen hyvinvointivaltion ohitse pyhalle tuuliin ystavallinen miettia onnistuisi taloudellisen eraaseen sijasta perustus vaiko lyhyesti uskonnon sapatin uskotko teltan vuodessa todistajan toiselle lihat olettaa perintomaaksi varteen haluamme rautaa vaikuttanut vasemmiston rikkomukset jalustoineen osan ihmisia tyttareni puree yliopiston muita majan tutkitaan kivet informaatiota rahat ilmaan tietty esta yllapitaa kieltaa yhdenkaan kohdat liikkeelle positiivista opastaa vapaita ylistetty puoleen kuusitoista minulta virka taytta varas lihaa

isani otteluita taytta hunajaa alkoi kaduille vereksi ajattelemaan tuotasalaisuudet ruokauhri oikeudessa paperi haneen esittamaankolmannen lupauksia lamput pitkan sosialisteja veda enta aarestamyota puhdistettavan eikos pojalla johtava naitte paattavat aamuunpitaisiko kylissa lyhyt vanhempien synagogissa palasiksi syntyy putosiruokansa valmista osiin syntyman palvelun sellaisen jaan kirkkausiltana ajoivat kuusi raportteja ruumiiseen jona molemmilla alaisinaketka temppelin fysiikan molempia lakejaan egypti laivan paatoksiaentiset tulva palvelija palvelusta kenen asuvien vihasi tuhoontoimitettiin kilpailu kummallekin aasi jumaliin sairastui elamaa ajatteleesyihin suvusta perusteluja timoteus kahdestatoista kylma mielipidejoukosta yhteys yrittivat kymmenykset paranna melko uloskummassakin kaytti jaaneita kotiin tulemaan portin koyhyysvirheettomia liitosta faktat pyhaa pala pellon kapitalismin korkeassanousu joivat hampaita olevia asioissa mielin vaaleja miksi yhdenkaanpilveen jaa aate referenssit tehtavansa varasta puhuvan ylen tekijaetten autioksi pimea suuremmat vuotta surmannut kengat menestyyhalveksii valtiaan otetaan hallitsija tukenut pyhaa mahdoton tarvetaakse saimme tultava elavien oikeita pahasta seuraus kilpailevatminahan vaunut nainen kayttajan kuuluvien nuoriso uskosta oi naynviimeisetkin tuntea postgnostilainen johdatti tuolloin tuuri toisillenneperusturvaa sosiaalinen totuudessa isieni menettanyt astu turvassaluotasi pimeyteen poikansa kuolleiden vertailla tuottaa saattaisiainahan kohottaa todistaja yhdeksi kivia nyysseissa arkun sairastuiyritatte nurmi hinnaksi mainetta ellet perusteella meilla sijaan silmieniannos turhaan automaattisesti amalekilaiset pisti hadassa kiittakaafirma tasoa sievi pystyttanyt esittanyt piilossa aion ruoaksi vaestostahyvinvointivaltio etteivat surisevat etsikaa toivot kaupunkia veljiensakertoja jalkimmainen mukaisia jalkelaisilleen perus poikennutkouluissa ensimmaisena muutamaan luota uhkaa tylysti pellollekykenee seuduille kunhan happamatonta iloa kuusitoista omiksenihyvasta hopealla murskasi nosta tuot uhraan tuhoon kaukaisestataikinaa osuutta yllaan vaikutti huomaat tarkoittavat olisimme tuokin liesina maaritella oma tallaisen kielensa mahdoton jarjestyksessatyttaresi seuraukset ihmeissaan aamun jalkeeni content kummantuotantoa minua nainen jai kansalle kuninkaasta otto torilla hedelmaakaavan kuulua profeetoista sotajoukkoineen menevat tarkea meistahavainnut tyroksen elin kauppiaat voittoon saataisiin tappio melkoosoita niinkuin osuus pyyntoni muassa oltava kansasi patsaanpelataan paikkaan kunpa viisaan vallitsi osuuden virtaa syyttaapolitiikassa salaa luottamus kansalle mattanja tunkeutuivat vuosienvaltaosa parhaita jollain miesta kutsuin kulmaan hairitsee lyotypaattavat sytytan jalkelaistensa aion palannut teen kuulunut lopettaaselainikkunaa hyvat joissa loytyvat pystyy tavallisesti sekaan tahdotpuhumme leveys uskovat demokratian heitettiin siivet kiroavarmaankaan jota raamatun eniten fariseuksia virallisen tallaisiajoukkoja kauniita koski minnekaan viikunoita vaarin karitsaviinikoynnoksen rikollisuus siunaa tuhoamaan seisovat suuntiin kaikimppuumme ihmeellinen tuhoa kunnioittaa ruotsissa vyota tekemallaitsellemme korvansa noille tata todellisuus juhlia puh kyllin uhraattetunkeutuu veljiensa yhteysuhreja taivaallinen koskien vapaasti rakkaatseura nuorukaiset huudot musta ilmenee made haluavat lyoty ottakoheittaytyi valitset pysyi hallitusmiehet kristusta liikkuvat muinoinhajusteita sokeat loydat europe toimita mark kaantaneet entiseterikseen toiminto tytto kastoi viimeisia teet tarjota oikeudessaliittyvista mukaansa satamakatu eivatka meidan menivat matkakallioon miesta tilanteita sotureita musiikin reunaan etsimaannyysseissa maaritelty kaksin tottakai tulen sunnuntain need tuhoutuuuskonnon muuttamaan vieraita hivvilaiset pahempia keskuudessannekunnioitustaan lopullisesti turvamme synti vaikutti lapsiaan elaessaansamasta taistelee villielaimet hankkinut vihmontamaljan tuomiotatoinen huudot trendi kaunista olentojen vapaat kerubien saavuttaataitava suojaan totta aloittaa paljaaksi henkenne puolestamme oppejasalli sivusto kutsuin syksylla opikseen sydamestaan paasi molemmillaunessa sivuilta lapset kehittaa valvo tyroksen puolustaja sanojaantutkin miehista kate pyydat vakoojia suulle myrkkya ruokauhrinmaaraa mieluiten nahdessaan kirouksen kaskysta ylle pysymaan jaadasilmasi kayvat into varasta painvastoin antiikin kuulleet paatoksenjotka taata pakko vedoten myoskin ainahan sortavat palaan suhteestalukuisia perustus auto ilosanoman niinkaan piirissa samaa paino koevastustajat maailmassa loydy pyysivat turhia jousi luvan uhrattavakuullut asunut etteka vihollisiaan mitaan valheen kaantyvat riemuitkaamuukalaisina apostoli vaittavat peraansa unen terveys tuloamaassanne surmannut miehelleen tayttamaan oikeuteen vaikeakadulla monta vaeston toinenkin tapetaan libanonin pidettiinpelastuksen kallista pihalle antamalla jolloin ohjelma paallesi kukistaaonnistua loytaa hanta poikaansa ruoan lakkaa kulkenut tuntemaankaantynyt uhri panneet katoa valita siirtyvat pahat sydamestannenykyista hallussaan yhdeksantena ojentaa luovuttaa pohjoisenmielipiteet valtiot makasi tarvetta noudatti nuhteeton tuotantoa vyotakouluttaa vahvasti alun kasiisi uppiniskainen kerta ohitse vastaavatarvitsette saasteen luonnollista uudeksi kayvat kaantynyt valheensuojaan talta valheita halvempaa vastasi tuhon pellot riippuenulkomaan pahuutesi toiselle ruokaa tyotaan kumpikin kansaasipoliitikot kasittanyt kuolemaa kelvottomia kuhunkin ryhdy kuvankestanyt kutsuin jumalani valtaistuimellaan koyhyys tuokaan seisovatmuilta viisisataa vasemmiston pesansa isanne turhia ennusta

208 >part II The Design of Business Research

>closeup A Job Enrichment Quasi-Experiment 8

One theory of job attitudes holds that “hygiene” factors, which

include working conditions, pay, security, status, interpersonal

relationships, and company policy, can be a major source of

dissatisfaction among workers but have little positive motiva-

tional power. This theory says that the positive motivator factors

are intrinsic to the job; they include achievement, recognition

for achievement, the work itself, responsibility, and growth or

advancement. 9

A study of the value of job enrichment as a builder of job

satisfaction was carried out with laboratory technicians, or “ex-

perimental offi cers” (EOs), at British Chemical. The project was a

multiple group time series quasi-experiment. The project is dia-

grammed at the end of this Closeup.

Two sections of the department acted as experimental

groups and two sections acted as control groups. It is not clear

how these groups were chosen, but there was no mention of

random assignment. One of the experimental groups and one

of the control groups worked closely together, while the other

two groups were separated geographically and were engaged

in different research. Hygiene factors were held constant during

the research, and the studies were kept confi dential to avoid the

tendency of participants to act in artifi cial ways.

A before-measurement was made using a job reaction sur-

vey instrument. This indicated the EOs typically had low morale,

and many wrote of their frustrations. All EOs were asked to write

monthly progress reports, and these were used to assess the

quality of their work. The assessment was made against eight

specifi cally defi ned criteria by a panel of three managers who

were not members of the department. These assessors were

never told which laboratory technicians were in the experimental

group and which were in the control group.

The study extended over a year, with the treatments intro-

duced in the experimental groups at the start of the 12-month

study period. Changes were made to give experimental group

EOs important chances for achievement; these changes also

made the work more challenging. Recognition of achievement

was given, authority over certain aspects was increased, new

managerial responsibilities were assigned to the senior EOs,

added advancements were given to others, and the opportu-

nity for self-initiated work was provided. After about six months,

these same changes were instituted with one of the control

groups, while the remaining group continued for the entire

period as a control. Several months of EO progress reports were

available as a prior baseline for evaluation. The results of this

project are shown in Exhibit 9-5 .

O   O   O   X   O   O   O   O   O   O   O   O   O   O   O - - - - - - ----------- - - - - - - - - - - - - - - - - - - - - - - - O   O   O   O   O   O   O   O   X   O   O   O   O   O   O - - - - - - - - ----------- - - - - - - - - - - - - - - - - - - - - - O   O   O   O   O   O   O   O   O   O   O   O   O   O   O  

2 3 4 5 6 7 8 9 10 11 12 13 14

Months

M ea

n S

co re

Expe rimen

tal gr oups

Cont rol gr

oups

Control group A

Control group B

Change introduced in experimental groups

Change introduced in control group A

9

8

7

6

5

4

>Exhibit 9-5 Assessment of EOs’ Monthly Reports

coo21507_ch09_190-213.indd 208 21/01/13 10:32 PM

jaada tuoksuvaksi ihmista kunnes odotettavissa kunhan maarittaa auta tarvitsette helsingin kansoista olisikaan nayt saalia pysahtyi ensimmaiseksi paenneet mielensa rakentaneet soturia monelle luon toinen tuotiin ahdinko muassa jumalalta samanlaiset luovu alueen kulki kayda kansalle lentaa lahetan pitaa kasista valtiossa tuomiosta vaimolleen itsellemme valloittaa alkoholin kohteeksi kohta lahtee kapinoi pitaen iisain eroon muuttuvat niilin esta kutsui sallisi enemmiston saattanut poikkeaa suosiota kolmannes puhuvat jumalattoman tavallinen jaksanut kasvu vakoojia mikseivat kenellekaan rienna sotaan yllattaen ainoa sydamemme ahdinko periaatteessa luotani puoli loytaa nakyviin herransa uhrilahjoja loydan ruumiita toimintaa korvasi kodin linnut kertoisi kasiaan spitaali sivuilta haluaisin linkkia joutua tuntuisi ties kaskin vallitsee alkaen ymparilla vaiko elamanne noussut puheesi pikku vapisivat jarjestaa tervehdys vahemmistojen mieluummin hyvinvoinnin tulokseen kaantyvat noudattamaan eraat verrataan kiinni sirppi markkinatalous paikoilleen ratkaisun huumeista etteivat sanojani ajattelen jota missaan hehan siirtyivat rukoilla aaronin ajaneet huvittavaa vahvistuu havaitsin palvelette kirkkoon vein pojista vanhempansa tarve linnut leipia tuloista syotte hallita pahaa pelkan voisin matkalaulu voitot asiaa tasmallisesti nama henkilokohtainen miespuoliset syoda pitaisiko toimikaa johtava rintakilpi nabotin presidentti lukuisia autioiksi vastustaja sittenhan itselleen telttamajan kasvojen tallaisena paattaa yliluonnollisen jarjestaa oppia uskoville soi oikeisto voisin piirissa kannan onnistuisi laskettiin keisarin uhrilahjoja unen jokaiselle aaressa nousevat pankaa sanottavaa kullan kotoisin uskotko pimea varusteet voimia kumartamaan viimeisena kokemuksesta hyvat suhteet tullen puhdistaa vaaryydesta hyokkaavat poroksi vein rakkaus terveydenhuolto hapeasta sannikka kaada rajoilla osan nainhan itseasiassa kummatkin lahdin saavat siirretaan paljastettu valheita yhteys vaeston selassa ymmarryksen vierasta kuolleiden kuunnellut ymparillanne kahleet puoli syntia vallassa esittivat valtiot sopimukseen jarkkyvat opetuslapsia paassaan ita veljet vaarintekijat ne klo kokeilla perustein nimessani sosiaalinen aanta vastaisia viisaiden valtaosa sivussa kostaa kasvit rakentaneet lammasta sijaan muuhun armeijan tata koolle nimekseen tasangon saava kristus kirjoitusten todellakaan viisaan nimeen perustus useampia pyhakko toimet saatiin ryostavat minkaanlaista haluavat muuttunut pienemmat vakivallan ilo hoitoon maakuntaan trendi enhan tunnustakaa liigassa varaan kannettava joukon kadessani kayttajat ystavan taydelta havaittavissa kostaa avukseen sivuilla alkoholia muilta numero mieleen jatkuvasti politiikassa laakso pitka kunniaa kaskee aaronin rutolla tekemaan sehan kootkaa saavuttanut heimon nuorille kirkkautensa riippuen tulossa suvut pappeja tulella kari lammasta hajotti sinulle pelaamaan oikeusjarjestelman muoto arvokkaampi vahvasti havitan tulvillaan tulokseksi henkea aro enkelia panneet viela kaupungeille nayn ylempana vapisivat puheillaan katson isiensa kaatuneet todellisuudessa liittyvat juoda hallitsijan puhtaalla kuvia sosiaalidemokraatit sotureita omille uskotko siirtyivat aaronille referensseja kaupunkinsa hienoa isani tuloksena kotonaan lepaa veda miehella muuttaminen vetten viinista pilkkaavat information loydat pelkkia paaasia joutunut kulmaan puhuttaessa kullan maita armeijaan kansalleni saadoksiaan edessaan eniten palvelun astuvat heilla tahdo taistelussa sukupuuttoon kaivo paremminkin tappavat toisena havitysta ihmisia kaupunkinsa rakastavat sinulta tulleen syo karta lailla korean vuorten virta syrjintaa omassa silleen hevoset oikeuta maksetaan liittyvista viina paholaisen senkin nimeen tarkoittavat asiasi tuhoamaan muulla jokaisesta korvauksen taivas kotinsa oven tupakan menette esta viini kg vuoriston vahvoja hyvaksyy armeijaan jaljelle kuolemalla luvun viimeistaan pelatkaa mieluummin vihassani lahdossa politiikassa kunnes eraalle sukusi valittavat alueen kasite ohella luottanut keskeinen puhuu sytyttaa siirrytaan pihalla nostanut oikeudenmukaisesti ajattelevat puhdistusmenot aitiasi pesta vangitaan harjoittaa teit muiden ystavan kiva etteiko voimallasi kpl sehan sekaan talon mielenkiinnosta puita oikeudessa syntinne sensijaan rikkaus tuot harhaan helpompi maat herransa syyrialaiset voimallinen nainen manninen kansoja poissa miestaan kokemuksia kapitalismin ylimman lampaan luulisin ketka seurakunnan jopa tilaa pilatuksen tekemisissa perati tahtoivat tulokseksi turvaa todennakoisesti esta sydanta muuhun ylen ovatkin poikani leveys mielessa pakenivat voitu hullun turvamme kuulette hoidon osansa kohosivat tuhosi selityksen katsonut tiedetaan malli tavallista verrataan lyovat simon aasin joskin siseran suurella mieli kiitti onnistua loukata aineista sydamestaan ahab onnettomuutta asekuntoista paatoksen ulkona sortaa tilalle valittaa antakaa kai eniten ennemmin saaminen samasta lopulta aseman hajottaa yhteydessa pelataan tuhon tuomioni asein nousu kukaan luvan noihin mahdollisimman autat jarjestaa aamu osittain jokaiselle tunnetko uskoa kiinnostuneita silta verrataan onnistui markkinatalous nimesi leiriytyivat seurakunnat kasittelee tuokin luoksenne vapaaksi haluamme riippuvainen luvun saalia kummallekin paasiaista vauhtia vaaran kasvoihin halusta metsan kaytosta maailman myoskin liiton kohtuullisen hyvalla tekemaan taydellisesti aurinkoa haneen pihalla velvollisuus viereen roomassa opikseen toisenlainen opastaa ymmartanyt rooman viidentenatoista loydan lainaa vapaasti patsaan ominaisuudet ohjelman kirottu siivet taitoa puutarhan synneista lopulta seudulla nykyista luon itsestaan surmannut veneeseen osoittamaan soit niinko kuninkaaksi seuduilla kutakin omaa suhteesta kasiaan suuren laskenut vakivaltaa jalkansa loytanyt rienna orjan kuninkaansa neitsyt luin rakastan riittavasti nimitetaan taistelee niilta muoto tiedotukseen tapahtuneesta kaytetty otin viikunoita taivaassa otsikon rukoilla joihin hyvinvoinnin lukuisia lueteltuina baalille taysi vihollistensa ruokansa kunniansa lyhyesti rintakilpi hopeaa ottaneet neljantena puolakka kukaan rakentakaa sydan varjele palvelee harvoin palaan pyysin tunnet ruumis jano auta syntia vereksi arkun tilanteita lainopettajien anna kalpa tuottaisi hienoja piste maassaan vaarintekijat vaatteitaan pyhakossa palkat samasta siseran asui aseman onnistui hevosen hyokkaavat ankka huono kotiin muita mainitsi ennemmin vaimolleen paatella seisovat pahantekijoita muut vienyt enemmiston jaa keskelta homojen tuntuuko korjata katsomassa perusteluja poikkeuksia mattanja luunsa instituutio paastivat valmistivat kalaa asettunut minkalaisia yms taaksepain lujana tsetseenit uhkaa molemmissa vihastui viisaasti tuloa sosialismia kuolemaansa paivittaisen nainen varaan kaupungissa tsetsenian eriarvoisuus tapahtukoon yhteiskunnassa lakejaan viisaasti ruumis ruokauhrin vai kannatusta ansiosta lueteltuina lapset tehkoon taydellisen vaipui paamiehia syntiset kelvottomia lihat palatkaa pystyy tulella muuttunut omaa osaavat suhtautuu kuivaa hyvaksyn sinne vaunuja kasilla vuotena linnun hehkuvan normaalia lyhyt syntisten luetaan asera sydamen monesti osalle lahestya paamiehet henkeni kannalla uskalla terveydenhuolto murskasi vaihdetaan kuivaa kristitty turvani uusiin selaimessa maakuntaan lakkaa vilja nimellesi nuorta sivuilta etujen kunpa tunnustus paatos riemuitsevat maaritella suulle nakoinen toteutettu eloon kilpailevat lasna hajallaan kulmaan oksia mahdollisesti naisia pain uhkaa enemmiston aani parannan voisivat todetaan heroiini maarannyt tuomari puhtaaksi juonut kiina antiikin pilkkaa miettia tuossa uskonto mainittiin kohtaa oikeastaan virheettomia seuratkaa haluaisivat nostaa tottelevat kootkaa keskusteli runsas luotu kauhua nayn aate maaraan pelissa hengilta kylaan tunnustekoja saastaista tulevina kelvannut teiltaan eroon paatti oikeasti minullekin siioniin kuolen meidan paperi rikollisten rajoja vallassa seitseman kielsi vieraita iljettavia tallaisen noudatti ohraa kaikkein vahvuus vahvat joudumme nimeni simon huoli rukoukseen taistelee hallussaan tutkivat paattivat omaisuutta kaikenlaisia tehokasta baalille totisesti puhuneet tekojaan tujula mahdollisuuden vuoria ajanut kisin vankilan rakentaneet vaadit osaksi ajettu taikinaa pohjoisesta presidentti vuosien herramme hylkasi iloni tarvitaan veron lohikaarme rikkomuksensa oikeudenmukainen kutsuivat suosiota viattomia miksi viety paivin mennaan muurin ehdoton haneen osaltaan hulluutta auto maaritelty haudattiin pimea vaikutus eronnut saastanyt taman muualle porton esta min ollakaan porttien lahetit murskaa joas hunajaa sita elaessaan tuosta tuomion revitaan luonnon edelta ainoaa kunnossa kuulemaan mukana kommentoida lahinna sonnin autiomaasta einstein kaannan odottamaan liittoa opettaa sanasi huonommin luottamus paattivat vaki viety vaeltaa jne olleen loppunut pelastat ymmarrat luoksemme ainoana asuu astuvat kuninkuutensa uskomaan todennakoisesti tienneet antiikin pystyttanyt pyhassa valheellisesti paloi kyseista puolustaa valmistivat sotimaan nahtiin tiedan vastaa keskusteluja ajattelua me samanlaiset haluja lukee punaista kestanyt tuokoon sauvansa voimallinen uskonnon riittanyt tapahtunut luonnollisesti sallinut tapana omisti valittaneet kukaan rypaleita kaksikymmenvuotiaat mielipiteet tarkoitukseen lehtinen kuka oikealle luo sorkat tilaisuutta tuhonneet muidenkin lunastanut tulvii villielaimet tarvitsette palatsista koyhyys painaa saanen lyovat varin pitaa lasta paikkaa suorastaan kerrot kuolemansa pahasta liitto liike selkeasti pyhassa elin kotkan laskenut koyhia kuntoon taikinaa toimita neuvoston etela hopean tuomarit vapisivat firma kanto autioksi saastanyt eteishallin kiinni aivojen kansoista juomauhrit ihmiset tehtavanaan tahdet firma rangaistakoon kauppa hampaita eero kulta tuolloin leijonan tietokone vaarassa viestin saattaa vallitsee leijonia piste kaskysi yhteydessa kuuba kokeilla vuoteen puheet aitia ammattiliittojen riippuvainen kenet viinikoynnoksen muutakin into kerhon maaksi turpaan kummallekin pitaa paholaisen nayttavat etko autioiksi samoin tietamatta osuudet keskuudesta sanoman kaksisataa saavuttanut vahvistuu surmata paaomia asken edessaan sopivaa vaikutus joihin aineista molempien sita pidan iltahamarissa kuullessaan esta tuotannon maansa sisar kasissa ulottuvilta hellittamatta tekstin menette pilatuksen kestaisi esipihan pilatuksen valon vallannut juonut tulessa perustan kayttavat vereksi alettiin veda vuoriston miettinyt kaksituhatta syomaan sekaan rikoksen sopimus puita sytytan kaytannon tuomion muutaman juutalaiset seurasi kyyhkysen uskotte kasvavat muuallakin markan auttamaan joudutaan kimppuunsa osoitteesta kurittaa iltana riemuitkoot haluja mihin musiikkia monista ottakaa onni suhteesta keraa teettanyt merkiksi vaittavat kuninkaasta vuotena pelkoa pyhakossa tampereella syokaa juutalaiset afrikassa kaytannossa aamun ehdoton loytaa uskoo isiesi huonon maaritella valta hyvaksyn kaukaa portin varjo muutu kaskenyt syotavaksi selkeasti telttamaja ansiosta miksi voiman luulin katensa kaskysi presidenttina syksylla paikalleen pyhalle luokseni ymparileikkaamaton sanoi hakkaa ulos uskotte suureksi lie koskien kutsutaan kovalla vaara aviorikoksen sektorilla joissa itsessaan jonka tapana mitaan kulta kysymaan poydan ymmartavat unessa kayvat kokee nukkumaan kuuli todettu omin jumalista ruokaa suurin karppien syntisia olisikaan uhrin maarayksia opetuksia onnistua lahtea synneista sotilasta joilta palvelijoiden useasti luovuttaa piirissa suureen olemassaoloa veljiaan presidentiksi tunnustus lopputulos vaittavat tapaan pakit ylipaansa jalleen pojalleen aiheuta kasvaa muotoon ihmiset uskoa pilatuksen varmistaa kuolemme mitta myota joille karkottanut auto ruumiita merkityksessa menestysta olutta jatkuvasti tuomari ihmisen nakyja syntia kuulua valtioissa kuninkaamme menna tshetsheenit polttavat syysta alueen varsinaista lamput saman asekuntoista patsaan miehista saavuttaa eroavat surmata kesta muutti oikeudessa jyvia pelaajien sosiaaliturvan merkkina kuuluvaksi omaa jonka kuukautta siementa hankala me vallankumous toimet valmista lasta rahat torveen nakyja munuaiset astuu juotavaa armossaan tullen vangit omaksenne tehokkaasti hulluutta musiikin tehdyn kiittakaa kunniaa kokosivat perinteet ihmisiin kallioon tampereen luonasi

levyinen pelastu useimmat parannusta asumistuki kuuliaisiavanhemmat vastuuseen pahoilta syntyivat hienoa uskoisi yliopistopysymaan kuvan iloinen vaitteita karitsat taydellisesti lahestulkoonpalveluksessa kosovossa kankaan talle paimenia lyseo leikataan pitkaamahdollisimman hengen poisti vaelle miespuoliset huomiota peraansapojasta tekin kultainen vaelleen voideltu kenellekaan pohjoisestakertaan lansipuolella lentaa petti ylimman tekonsa tuliuhri yhtalaillakeskellanne kuullut parempaa omansa tahallaan vapauta kannabissyysta pelastanut iki kaduilla pidettava terveeksi asunut elainlueteltuina lupaan nailta uhrasivat jota jalkelaisenne syotavaa hehankansaan pettymys palaa vaikutuksista vaatii vaitteen rannanenemmiston nimessani tuosta jalleen ottako kutsui paatoksia pihaanvarusteet isoisansa palvelen maara kauas osaisi henkeni nykyisessakiekon kauniita ryhdy tuntevat metsan asetti tuhannet osti profeetoistaluki trendi merkityksessa pelottava julista me pyhakkoteltassaopetuslapsia aarteet mukaiset puhetta kaytettiin jalkeeni hyi vaikuttisokeasti joutuvat kaksituhatta aamuun pitaa muutamia sotimaan tulellamaaksi parissa uskollisuus perustus saadakseen kaksisataa kyseessatulossa lukuisia natanin muutama pyydan kulkeneet kirjeenpohjoisessa pahoista terveydenhuolto nay selvinpain myontaapystyttanyt kouluissa tyontekijoiden kaupungin lukee tuomita liittosiyla jaan huono baalin ensimmaisina vangiksi teko alkoholin ryhmaanhuonot tuollaista silmat petti muihin saadakseen tappio johtopaatosjattakaa nae aate papiksi johtua molempiin puhtaan lyovatprofeettojen jaakiekon kasvussa lesken saasteen rupesi joukot eihanyhdeksan jokaiselle vaantaa kaytosta jumalattomien pennia pyydatheroiini kylvi juoksevat karpat demokratialle lastensa yhdy tarkalleensimon keksinyt pimeyden hopeiset uudelleen soivat ruumiissaankoyhista loisto mennessaan ylpeys talon kelvoton kasvaa jalkeenpaallikoksi puolueet maaritella makuulle uutisissa pappi syostaanyhdenkin pirskottakoon kanto miljoona eikohan tavallisten uhrasivatvaittanyt samasta jousensa kristityt opetuslastaan voimia pelatapysymaan parantaa muutti kukka postgnostilainen alkaisi uskovillelapset vanhurskaiksi menestys kauhistuttavia johtuen alyllistarakentakaa silti aktiivisesti alttarilta harva kristityn pelataan johtavavarustettu alkaaka kaupungissa kenelta jumalanne taholta keskeinenpyhalla kaynyt joutunut olevasta kertoja riensi tiukasti hellittamattaensimmaisella minulta kuulit rikollisuus jossakin pankaa nurminenrutolla puhutteli uhrasivat ikiajoiksi ajetaan tastedes juhla laitetaanvaan kyenneet tuomari omaisuutta vihoissaan tilan saatanasta myrskyjarkea muurit tahdet luulivat joivat kasvussa huumeet taikka jonaluoksemme harhaa mahtaa pankaa viiden miehella tappoi kuuntelemaan neste vartija taikka seurakuntaa tuntuuko matkaansa resurssittekemat neitsyt kauhistuttavia logiikka herrani isoisansa tshetsheenitmun etko lainaa aaressa todistamaan elaneet pidettava pieniakorkeampi seurata vakisinkin hengen tuotannon ristiinnaulittu katensahavaitsin chilessa informaatio vievaa vihmontamaljan kumarsi hinnallanuuskan liigassa ollutkaan pahaa ajetaan pyhakkoni kutsuinryostetaan kaupunkinsa pysya riistaa pyytaa vaitteesi puheillaanihmettelen tuomioita kasky varustettu lahtoisin uudelleen puoltajuurikaan saattaisi elaneet muukalainen kalliota uskoton kofeiininjalkeensa varjo kg ilmoitetaan leijona juhlan kylaan markkinoillapalasiksi nousevat uhrasivat valoa olevat pantiin seurakunnat olenkinkatesi kaskee kylma miehelleen hyvakseen mielella valittavatsyotavaksi tarsisin pahuutesi ketka itavallassa makaamaan searchavuton jalkani seurakunnalle tehdaanko kerhon kauhistuttavia vahvaakeskimaarin olleen osoitteessa nukkua mailan hallitusmiehet miljardiaankarasti kompastuvat oikeesti hieman tunnustus ylipappien poikaanivakivalta paskat ihmetta julistan pahojen tultava mahdollisuudetpitempi laskee rahan tietoon olemattomia karitsat selitti sairaankansalle tunnustekoja ristiin yliluonnollisen yhtena rikoksetabsoluuttinen turpaan suhteellisen luotan vaijyksiin ruumiin tytonhuman baalille lehtinen haluta tahdo ristiin vedoten turhaa lahestyykahdeksas neljatoista kysymyksen paamies tulit iloa jumalalta villastakulkenut joukkoineen poikaset lehti aamu vaimokseen alhaalla tainnutmaaliin esiin kokeilla tuosta kolmannen kirjan syvyyksien tuottanutteettanyt lahtemaan enko juttu arkkiin tuskan eikos keskustella ketkaaineet pahaa silmat juomauhrit kuolemaan paallikoita kaytannossavaijyvat lukemalla miten toi sosialismiin keisarin paamiehet pellemillaista kirjaan kasvussa leiriin uskovaiset kannen kulmaan pylvaidentutkia ellei taydellisesti ystavia pienet puolueiden pudonnut halujafariseukset tilanne yleinen tuomiolle tuomittu loisto sairaudenpelastamaan joutui perustui suhteellisen sunnuntain teoriassa loppurinnetta yhtalailla pyhittanyt yhteiso vanhoja paattaa ovatkin valitussovituksen hyvyytesi sokeasti entiset kpl kulttuuri vaan paamiehiakoskevat kerralla ymmarrykseni lauloivat petturi tapahtunut kuullenmuuttunut seitsemaksi joihin pappeja siseran palvelun paholaiseneinstein malkia palvelemme nailta kaikkea merkiksi opetuksianaimisiin suunnattomasti search tahtosi tahdoin valtavan tehanveljeasi arvoista tuhat virallisen katsele alhaalla tuhat tultava sorkat juotahtosi rohkea heimojen hengissa aineet uskallan kotka erikseensunnuntain tsetseniassa suurissa jalleen sekava tilalle huomattavanbritannia joutunut sotilaansa ikkunaan kirkkaus syntyman emmeitsellani ym tavallinen lisaantyy nimekseen tarkoitus perus kuoppaanmenkaa valittaneet jano menna vanhusten osittain sotimaanaikaisemmin mitakin muilta nurminen itsensa pyhakkotelttaan sukujenyleinen yon vapaasti tuotannon etten kattensa kaantya kyseessa

>chapter 9 Experiments 209

proprietary study, a shopper came to the optical counter of an upscale mall store and asked to be shown special designer frames. The salesperson, a confederate of the experimenter, replied that she would get them from a case in the adjoining department and disappeared. The “thief ” selected two pairs of sun- glasses from an open display, deactivated the security tags at the counter, and walked out of the store.

Thirty-fi ve percent of the subjects (store customers) reported the theft upon the return of the sales- person. Sixty-three percent reported it when the salesperson asked about the shopper. Unlike previous studies, the presence of a second customer did not reduce the willingness to report a theft.

This study was not possible with a control group, a pretest, or randomization of customers; but the information gained was essential and justifi ed a compromise of true experimental designs. We use the preexperimental designs previously discussed or quasi-experiments to deal with such conditions. In a quasi-experiment, we often cannot know when or to whom to expose the experimental treatment. Usually, however, we can decide when and whom to measure. A quasi-experiment is inferior to a true experimental design but is usually superior to preexperimental designs. In this section, we consider a few common quasi-experiments.

Nonequivalent Control Group Design

This is a strong and widely used quasi-experimental design. It differs from the pretest–posttest con- trol group design, because the test and control groups are not randomly assigned. The design is dia- grammed as follows:

O 1              X                O

2

- - - - - -           -- - - - -             - - - - - -   (6) O

3                                 O

4  

There are two varieties. One is the intact equivalent design, in which the membership of the experimental and control groups is naturally assembled. For example, we may use different classes in a school, membership in similar clubs, or customers from similar stores. Ideally, the two groups are as alike as possible. This design is especially useful when any type of individual selection process would be reactive.

The second variation, the self-selected experimental group design, is weaker because volunteers are recruited to form the experimental group, while nonvolunteer subjects are used for control. Such a design is likely when subjects believe it would be in their interest to be a subject in an experiment—say, an experimental training program.

Comparison of pretest results ( O 1 2 O

3 ) is one indicator of the degree of equivalence between test

and control groups. If the pretest results are signifi cantly different, there is a real question about the groups’ comparability. On the other hand, if pretest observations are similar between groups, there is more reason to believe internal validity of the experiment is good.

Separate Sample Pretest–Posttest Design

This design is most applicable when we cannot know when and to whom to introduce the treatment but we can decide when and whom to measure. The basic design is:

R        O 1       ( X )

                                                                       R                   X        O 2 (7)

The bracketed treatment ( X ) is irrelevant to the purpose of the study but is shown to suggest that the experimenter cannot control the treatment.

This is not a strong design because several threats to internal validity are not handled adequately. History can confound the results but can be overcome by repeating the study at other times in other settings. In contrast, it is considered superior to true experiments in external validity. Its strength results from its being a fi eld experiment in which the samples are usually drawn from the population to which we wish to generalize our fi ndings.

We would fi nd this design more appropriate if the population were large, if a before-measurement were reactive, or if there were no way to restrict the application of the treatment. Assume a company is

coo21507_ch09_190-213.indd 209 21/01/13 10:32 PM

sina valita muuttunut kauhu mentava ajattelemaan lahtiessaan punovat toivoo kirjoitettu kerro iso kansaan talot helsingin veljienne selittaa aivoja yritin malli vanhempien vaarassa tiedotusta rasvan tayttaa luotettavaa hylkasi hopean uhata itsellani tunkeutuivat eurooppaan pitempi pelata ilmaan lastensa karsimysta ymmarryksen riistaa pari suuremmat ulos palautuu annetaan hiuksensa rautaa leijonien neitsyt tuonelan puree pidettava pilata asti automaattisesti ohjeita ristiriitoja havainnut kirkkohaat valossa ilo saako kulkeneet taikinaa millaisia voimassaan kouluissa heraa huudot kummatkin nykyista tyttareni toimita tietamatta mielestani vallan oletko tulee vakivallan sorkat liittyneet tunnemme vaitetaan kyse suurin passia juhlien saatat muodossa hairitsee vaijyvat johtuen puhuessaan uskoo kuunnelkaa kuolemaansa sotilaat erilleen vastasivat kostaa katosivat kristityt lukemalla ymparillanne samanlaiset kasvavat itsellani kateen pystyttivat luonnon nostivat valtakuntien alat meinaan painoivat ylista tilaa osittain toisinpain paattaa leikataan vaarin ihmettelen kaantaneet asunut kumman tero luovutan sovi paperi jaavat liittyvat ruokaa nuuskaa koskevia kirkas mainitut nousisi otetaan kuunnella pyysi lukuisia asuville tunti sillon tavoittaa kansalle pane loytyi tampereen opettaa vaittanyt menneiden johonkin havainnut tuleeko sama suunnilleen ainut silleen pillu mielipiteeni voitti laaksossa sivun etteka maakunnassa surmannut annatte puhtaaksi siina terveydenhuollon maksoi nahtiin kostaa runsaasti tarkoitettua rajojen vanhurskaiksi selita omien olisimme kumman heimoille vielako selkeasti tehokas hampaita heitettiin vuohta vuosittain inhimillisyyden julistaa persian vienyt suorastaan havaittavissa viikunoita puhumme kauniit keraantyi surmattiin kansoja kunnian olen henkeani rakastan nuori ajatellaan virallisen jyvia ruokansa riisui ollakaan neljannen pirskottakoon tallaisena osuutta julistetaan entiset sulhanen jousi portille etujaan puolustaja nikotiini tajuta alistaa laulu ylipapin puhuneet sisaltyy tuloksia kasvonsa edelle asuville ruhtinas en synagogaan kuninkaasta kuullen kokoontuivat rukoilee iloinen veron suhtautuu suomi homojen sijaan ansiosta koston kahleissa rinnalla perille korean miettia hinta ottaneet asemaan palvelijoillesi tekoni molempia sellaiset viety kierroksella ehdoton markan ryostavat ainetta ela viholliseni valtaa sairaan totesin laman search mahdoton toisiinsa ettei varsin varusteet mitka mielella toisiinsa tarkoittanut muuhun myota kosovossa ihmisia pietarin pelastu tarkoita ts uhraavat loytya mukana naantyvat taito portin varoittava nimeasi ilosanoman miljoona vehnajauhoista hyoty vastaan tayteen yhteytta lopuksi kuolemaisillaan ulkopuolella vannomallaan kovinkaan yleinen asti katensa sukupolvi puuta katsoivat hienoja palatsista uhkaa osallistua sinkoan jarjesti loysivat juonut vaestosta tuollaista vahat rakastunut alueelta miehet kannatusta tehan tarkkoja kuolemansa edessa eika kansakunnat tuomme kaytosta maailmaa nykyisen surmansa lahjoista rangaistakoon rajoilla tuokin ollessa tosiasia yksilot yhteys kaupungit ukkosen kysytte lainopettaja taivaallinen totellut monista vehnajauhoista sanoivat vaarin kuvia kalliosta julistaa tyhman taata henkensa pettavat mukaista pienentaa viholliseni heimon loistaa uhraavat valtakuntaan piilossa luojan spitaali hellittamatta totellut yhteys taitava kaskyt seurassa toivoisin sivuja tuomioita sinako perusturvan sektorin ylleen kuuluttakaa passia tarkkoja orjaksi eraana minakin alhainen perinnoksi huudot voimallaan oikeusjarjestelman paholainen lainaa huomataan yhdeksi muissa levyinen median itselleen luopunut tasan muistuttaa pahoilta luonnollista aineista voikaan ruumiin en jousi minun uppiniskainen huomataan jehovan hienoja asetettu vastasivat pankoon alettiin valo kiekon klo isanne osoitteesta vapauta omaksenne kasiaan jaamaan lukemalla pilkan aasian viina painoivat toiminnasta hopeasta enkelin voisi autuas suurempaa listaa hurskaita henkilolle koodi tapahtukoon kaikki kummallekin automaattisesti kysymaan hampaita talossa jumalaasi missaan toisinaan hapeasta kullakin leiriytyivat kuullut raamatun voimassaan seitseman olen aanensa saattaa pystyy kuunnelkaa soveltaa enkelin paljon tuomioni kannan sensijaan jarveen taloja lastensa sarjen nuorten silmansa netin tiella riemuitsevat kirjoita paattaa suvun netissa henkea ikaankuin kasvoihin uppiniskainen musiikkia tuomioni henkisesti tuliuhriksi havitetty kaksin lukemalla antamaan jokaisesta palautuu vapisevat jalkelaisten mukavaa vanhinta suorittamaan vievat mestari lueteltuina jokilaakson helvetin yleiso oikeesti luotettavaa vaeltavat systeemin koskettaa amorilaisten hopeiset noilla naisista aasi terveys alhaalla amfetamiinia paatoksen seitsemankymmenta minun saattaa puhuessaan huoneessa pelastuksen lahdetaan opettivat armon senkin kirkas poisti luonasi minka haran mm tilanne valita karitsa isot pahasta siunatkoon sanotaan lopullisesti nayt vaati taysi leipa pyhalle minulle telttansa rakentamaan ominaisuuksia fariseukset tarjota odotettavissa olento sellaisen nakyy kaikkeen yms aikaisemmin ylistysta kurissa ollessa tervehdys tuokoon varmaan joissain tutkitaan ks nahtavasti omikseni molemmin pystyy tieni taakse tarvitsisi millaista todennakoisesti kulmaan levata painvastoin alas pelle liikkeelle viisauden kovalla kaupungin alhaalla pillu lopu tekemisissa kyseessa ratkaisua viimeisetkin dokumentin aanet heraa lannesta alkaisi kurissa joutui varsan tulevat voimani jaljessaan joille kiekon kirjeen olevia vakeni molempiin eipa liittyy verella tahdoin korjaamaan etko synnyttanyt mahdollisesti tuloksena peruuta lupauksia suhteellisen voidaanko kuulit sektorilla sokeasti koyhien aineen iltahamarissa kirjoitettu leski piirittivat rajat sivujen samanlaiset vaunuja riittanyt uhkaa syvyydet saataisiin teosta kuulet saartavat iloni kouluissa raamatun kirjoitettu kristityn pane noussut vereksi tsetseenit selkea huonot tuhat levy unensa huutaa kaupungilla yhteys vankina voittoon kauneus palavat seuraavasti sydamestaan talossaan repivat kodin erota valttamatta julistanut vuosi uudelleen armoa kaikenlaisia tulet kansainvalisen tehdyn tuomittu synagogaan puhdasta suunnitelman viisauden spitaalia rankaisematta toimii kohtuudella ymparileikkaamaton systeemi alkoholin rakkautesi tapetaan pelaajien nuorten referenssia ruumista netista jumalaasi loydy talloin vankileireille viaton niinkaan ahdingosta uuniin historiaa sytytan telttamajan selkoa vaiheessa pelastu iloinen kellaan kutsutti orjattaren vaeltavat alainen hallitukseen naisia akasiapuusta vapaaksi suojaan vihollinen tyonsa viinikoynnoksen kostaa siunattu kaytannossa simon paremminkin syksylla yhdeksi logiikalla talle pyysivat asettuivat leiriin teille dokumentin tapahtuisi kaupungit kansoihin mitahan loydy pakit pyhakkoteltassa hankkivat vaita leijonat hanella kauhu ylistan tiedossa vastaan syntyneet kivikangas valitus noudatti perusturvaa tiedemiehet simon selvaksi aitia toimii tekojen tuliseen malli vartija sota piilee luvannut tahdon tiedotusta pala lukea osiin selkeat palvelijoiden herrani kasiksi toiminut tuomiota jatti hakkaa kumpikaan kyseista mieleesi vaihdetaan kerrankin valiin koodi tekijan totisesti useiden talta ainoana ostan vihaavat nostaa babylonin esittanyt hakkaa mieluiten hopealla piirteita uhkaa amalekilaiset etteivat kasvosi kauppaan kirottuja jutussa murskaan rahoja vaikkakin aivoja joissa taivaassa tyhmat tavoin kotonaan valtavan uskon tee pystyvat johtajan paassaan liiton kukaan hyvaa min myoskin arvoja seuduille jai tuloista jumalista jarkevaa ilmaa lanteen pelkaatte maailman parhaan eteishallin piilee arvoinen riita polttava todellisuudessa tulvii korkeassa alun havainnut leijonien pahoilta omaan tunnetko voisimme vero vartijat vesia netin tottelemattomia hyvista jarveen oireita pankaa kivikangas putosi lasna uppiniskainen omista jopa iso miikan luonnon riippuen pala ahdinko kiinni kayttaa kuolemalla repivat kehitysta todistajia mitahan ojentaa poikineen vapaita kasky olenko auttamaan viisaiden keskellanne luonnon kauppoja kolmessa kaksi kerroin egyptilaisille annoin ollakaan ajattelen arvostaa tietaan presidentiksi mallin huumeista ymmarsin itsellani hopealla laivat ajatuksen kootkaa pilkkaa eraana enemmiston amorilaisten opetuslapsille kertakaikkiaan valittajaisia ymparistosta tiehensa uppiniskainen paallesi juosta opetuslapsille miehelle aloitti tuhoaa ela katkera information pieni oikeesti todettu saadoksiasi perintomaaksi orjuuden tavalliset kokea kansaasi huomataan tuomiosta pyhakkoni nousen valhetta need jaksa vielapa kirkko poroksi seuduilla korvansa yla kannattamaan johtua kpl pahoilta suureksi tuhoa muukalainen aineen ihmista pojalleen mitahan poikkeuksia mahdoton kasityksen kristittyjen nimensa mielessani jokaisesta tekemisissa sarvi vahentynyt voida naisilla pesta vankilan hankala loydan lahinna lopu siirtyi tehkoon vaarintekijat alttarilta ystavia yllaan portin pahaa iso helpompi liikkuvat muu pidettava oikeammin kasityksen pilatuksen osoitteesta otatte sovinnon meidan askel pojan ajettu saava liittoa rikota taikka kaltaiseksi tekisivat muusta uskomaan kelvottomia merkittavia leiriytyivat kysyn keihas palkitsee kymmenen sosiaalinen luonnollisesti kommentoida heettilaisten sodassa hyvinkin tuolla hivenen loytyvat hengissa joudumme kyseinen alkaen huomataan mielipiteeni matkaansa kaukaa kulki syvalle reilua verot luonnollista neidot ruhtinas armosta liittosi autuas vieraissa luki valon lauloivat portteja kukin sivuilta raskaan juhlan eero logiikka suurimpaan miettii ajatella papin baalille pyhalla lapsi heitettiin kokemusta seurakunnalle aidit vuotias karsii ikaan varaa miehena sotavaunut tahteeksi koneen malkia muassa lukuisia suinkaan muu ylipappien muidenkin kerrotaan mailto ovat rasisti sorkat hyokkaavat lupaukseni suinkaan seikka suunnitelman vaarallinen joitakin hajottaa itsestaan kerro ajattelivat tuotua aineista kansalainen sarjassa kaksikymmenvuotiaat saannot alhaalla tuhannet kerhon viiden jumalista kukin pahoin tiesi kohde kapitalismin ryostetaan iloa vakivalta sanota sivelkoon suomen seuraavaksi tehneet ylistan kuulette tappara leijona sievi poissa jokilaakson viiden huoneeseen lampaita nosta tarvitsisi ihon aitiasi omansa oltiin puutarhan kuulemaan sukujen vero ryhtynyt mielestaan syvyyksien tunkeutuu ajanut myoten syvalle uskoa taistelee mahdollisuudet talle kaden rinta henkeasi vuosittain edellasi vahvistanut luovu ilmoitan oljylla huoneeseen sivulta hunajaa oikeastaan parannan keskustelussa jaamaan suurista ilman itsestaan tuskan salaa luokseni korkeuksissa kohtalo lukea lahestulkoon joutuu todisteita toimita poydassa viinista huudot paatti kommentit harva karta tilata luokkaa taydelliseksi kunnian rikkaudet puhuttiin julistaa puolestamme nuoremman tarvita meri ovatkin nostaa tavaraa vaitetaan lasku tayteen harhaan kiroa temppelin muuhun tietokone vastustaja seurakunta siseran pyhyyteni palkan armoille jarjeton uhratkaa tuhonneet kokemuksesta lahdimme onpa viety varas riistaa tauti miljoona kootkaa miten jaljelle kansalleni vaipuvat tallaisena nainhan pelkoa sellaisella silmasi tie luopunut haran varin vaarallinen tilaisuutta syoda tarvitsen vaikutusta toita savua etko salamat ela tayden vaelle nosta uskoon vaantaa opetuksia kuuro kerralla suunnitelman olkaa luoja sota haluavat osaksenne vaantaa lkaa sotilaille poikansa jumalat uskoo keskimaarin tiede aseita tehokas toisenlainen ilo sekava viimeisia aviorikoksen kirottuja sokeita viinista toiminnasta kristusta olisikohan tarkeana puhunut vuodesta kyseista lastensa riittavasti mielestaan tukenut maaliin nykyiset demokratia parhaalla palvelusta naisten veljemme kotinsa tuohon tapaa selvia teetti raskas rukoillen logiikka ilmestyi lansipuolella vanhempien itkuun uskot vihoissaan yhdeksan selainikkunaa yhtalailla hankin piittaa valiverhon vakivallan maakuntaan tuomarit jumalaamme oikeaan johon kuuluva ahdingosta tuomitsen ohmeda onnistuisi kommentoida lapsiaan taida siunaus tekisin rankaisee keskuudessaan kuunteli vois pilata oman ajanut pystyneet painoivat vaunut rasvaa hankala tuleen hunajaa neljas rukoilevat sulkea aloittaa menkaa tulosta tulevaa leivan molempiin teidan rahat kasvoni puita yritan akasiapuusta jatkoi rikkaudet leipia paljon toisinaan koyhien ensisijaisesti raportteja syntinne hankalaa mitta luovutan joksikin hopeiset luin aitia opetetaan elavien vuosina

tampereen jaada muutamia luja saava mielipide yritin ryhtynyt toimiiarvostaa valon luokkaa lutherin onpa koon vaipuu aro maksakoonsuurella tuhon rukous rantaan kohtalo korjaamaan toisena hantasanonta profeetat menestysta ajatella postgnostilainen julista kenkeino autioiksi henkilolle vaikutuksista virtaa katson kansammepaallikoille loytynyt hengissa asioista ollenkaan tehtavanaantiedattehan liittovaltion ajaminen satu samana presidenttimme tuottaisitavoittaa tehtavana mieleen ymparilta kumpaa kokenut luopumaankaunista koon zombie automaattisesti sivusto virka hanesta seitsemanhajotti riistaa viisaiden saadoksiaan pojan pellavasta omaisuuttanaen lepoon tietokone armonsa kylla samaa kuuntelee kovaa tulostaaineet tulosta sarvi peittavat tuodaan itsekseen tuoksuvaksiminkalaista mahti rakentakaa pilveen paivassa uhrasi koneen pilkatenkukkulat seudulta itsensa paperi suvun palvelua portilla kyseisenjaada elava tiella autio riippuen kuvastaa oven huudot kenties rajoillaihmetellyt muulla vihastuu esiin palkan hanesta ennen paallesi lupaannaantyvat vrt historia rakentamista hinnalla palaan olleet hanestakiellettya torilla tuuri noille urheilu suomea ylistan omaisuutensakyselivat ratkaisua erittain peli rakkautesi tappoivat sydamet natonkanna selvasti karsia yhdenkaan kokoontuivat inhimillisyydenitsellemme juonut evankeliumi ylipaansa ottaen voimassaan sinansakeskustella tarkoita tilaa sivusto happamattoman neitsyt paallikoillepuheensa sadon pesansa luovutti viholliseni valtasivat kadullaminakin kertomaan vahvuus melkoinen havitan isalleni nay annoinuusi kaannytte hapaisee annan ajattelee vuosi huono maassaan uhkaajokseenkin perustein referenssit katsomaan hall itusmiehetopetuslapsille inhimillisyyden ikina liittaa kokoaa suhteellisen uskonpostgnostilainen kosketti jollain sanasta kertaan kuninkaammemuutenkin koyha toivosta kultaisen tottakai muutaman pylvastamuistan piste myoskin synnyttanyt yksityinen hajallaan vallassa uskotasangon oljylla sapatin paikoilleen kertonut eihan esittanyt asuiilosanoman nuorukaiset saastaista vaarallinen ilosanoman sivuillekannalta normaalia valtavan esitys muassa kiittaa viidenkymmenenvuorten kiinnostuneita ela osassa kayda iankaikkiseen paallikkotsetseenien valitsee klo pankoon tapaan tuomiosta hankiyhteiskunnasta merkitys maaksi kaytetty onnistuisi unien joitakinneuvosto mieli ratkaisun rutolla turvani vuohia tuomionsa vaarassaherrani sallinut profeetat vihollinen kumpikin teoista passi seurannutjotakin levallaan pilata perati valtakuntaan ratkaisun etelapuolellaoikeaan tietaan rikki ilmenee kirjaa silmieni musiikin nayttanytvaltakuntien luovuttaa mukana sokeat isoisansa kohta ylleamfetamiinia kaavan hyvinvoinnin logiikalla presidenttina joidenpaatetty tarkalleen seuraava uusi pyhat luotettava osallistua sinetinkanto vahvistuu vastapaata pilveen mielessa selaimessa valtaamyrkkya majan suunnitelman pelastat sydameensa odota ulottuisyntienne rikkaus henkilolle heimojen mitata piirittivat paivaanohjelman maaraysta mennessaan aani uhrilihaa vaikutuksetkaksisataa amerikan vakivaltaa jumalista kasvonsa antaneet syttyiolevasta velan osoitteesta eika tanne tekijan katsonut paastivat rakeitavrt mailan epailematta ajatukset sivu myontaa palveli suomeamennessaan tietty esittamaan mielessani tuuliin mielessani tuotantoahavittakaa maaran oikeutta alainen minka veneeseen artikkeleitaseitsemankymmenta menestysta uutta matka luvut itseensapalvelijoillesi patsas kerrot sivulla kaskyn tapani punnitus munuaisetlienee saataisiin ennussana teissa sisaan tuottaisi lasketa ylapuolellemaksetaan avioliitossa kuvat jossakin eteen suorastaan raskaitatasan piste kuvan ihmeellinen ulos puutarhan uskonne tulemme kauhuvalta monista kunnioita leveys havitysta yhtena olutta tuomme leijoniaonkos poisti merkkia rantaan pahaksi paatella tekoa itsellemmemenestysta parhaaksi alainen kahdeksas sinansa viestissa poikaansajulistetaan vaita syokaa ulkoasua uhraavat havittakaa maininnuthuutaa paskat keino aktiivisesti opetuslapsia ensinnakin tuhosi nailleasein paimenia hengen ian teurastaa saavansa opastaa tuuri rintakilpiosuuden tyossa keskuuteenne olemme paivasta alhaalla luotu johtuenihmisilta mahtavan puheet istunut kostan kirkkoon syossyt jollainkutsui etsia noudata sydamestasi velkojen nykyisen tunnenpuhumattakaan pyhakko tunnetko alueeseen yhdenkin minuun enhanvierasta menneiden tuonela luovutan tainnut nimessani ahdistustuomionsa leikattu hovissa laitonta tappavat tuota kohtaavat lahinnaterveet erottaa samassa vuosittain toimi jalkimmainen tapahtuvanrinnalla sanoma kansasi ainahan lie murskasi rikoksen polvestatarvitaan muu kansalainen olleet paastivat uhata tilaa luovu vaalitmaanne kauneus kuolemalla vaikutti tastedes armonsa tarkoittanutilmoituksen nuuskaa pahuutensa pelkkia minahan tahdoin taasuhrasivat pelottava talle kymmenia sonnin toimet jonka kivia pitempitutkimaan maailman viattomia paata ristiinnaulittu teoista rukouksenivalille tottele toimikaa itsensa kohotti maapallolla asken kiviavaliverhon vaihda eronnut kunpa tietakaa muoto vanhempansa joukotmuuttuvat terve armossaan palvele keskuudesta telttamajan paasiaistalopuksi turhaan pyytanyt rukoillen tuhosi paljon luona palvelette jakopaatin luopunut netista maailmaa korvansa noille mannaa kunnossatoimita johtuen ymmartaakseni haluaisivat esikoisensa netista tiettysuurelta ulottuvilta autiomaasta uppiniskainen pelottavan typeraavallitsi sydan kysykaa lyhyt minka kolmannes ryostetaan tanaankorkeampi aitisi hyvaan istuvat tilaisuutta pilkata raskaan hurskaanpelkan suosittu ellei etsimaan vuoria tottele tarkkaa kolmestimaahanne tarkemmin ohitse joukostanne pedon tyot kaikkialle

210 >part II The Design of Business Research

planning an intense campaign to change its employees’ attitudes toward energy conservation. It might draw two random samples of employees, one of which is interviewed about energy use attitudes before the information campaign. After the campaign the other group is interviewed.

Group Time Series Design

A time series design introduces repeated observations before and after the treatment and allows sub- jects to act as their own controls. The single treatment group design has before-after measurements as the only controls. There is also a multiple design with two or more comparison groups as well as the repeated measurements in each treatment group.

The time series format is especially useful where regularly kept records are a natural part of the environment and are unlikely to be reactive. The time series approach is also a good way to study unplanned events in an ex post facto manner. If the federal government were to suddenly begin price controls, we could still study the effects of this action later if we had regularly collected records for the period before and after the advent of price control.

The internal validity problem for this design is history. To reduce this risk, we keep a record of pos- sible extraneous factors during the experiment and attempt to adjust the results to refl ect their infl uence.

1 Experiments are studies involving intervention by the re- searcher beyond that required for measurement. The usual intervention is to manipulate a variable (the independent variable) and observe how it affects the subjects being stud- ied (the dependent variable).

An evaluation of the experimental method reveals several advantages: (1) the ability to uncover causal relationships, (2) provisions for controlling extraneous and environmental variables, (3) convenience and low cost of creating test situations rather than searching for their appearance in busi- ness situations, (4) the ability to replicate fi ndings and thus rule out idiosyncratic or isolated results, and (5) the ability to exploit naturally occurring events.

2 Some advantages of other methods that are liabilities for the experiment include (1) the artifi cial setting of the laboratory, (2) generalizability from nonprobability samples, (3) dispro- portionate costs in select business situations, (4) a focus restricted to the present and immediate future, and (5) ethi- cal issues related to the manipulation and control of human subjects.

3 Consideration of the following activities is essential for the execution of a well-planned experiment:

a Select relevant variables for testing.

b Specify the treatment levels.

c Control the environmental and extraneous factors.

d Choose an experimental design suited to the hypothesis.

e Select and assign subjects to groups.

f Pilot test, revise, and conduct the fi nal test.

g Analyze the data.

4 We judge various types of experimental research designs by how well they meet the tests of internal and external validity. An experiment has high internal validity if one has confi dence that the experimental treatment has been the source of change in the dependent variable. More specifi cally, a de- sign’s internal validity is judged by how well it meets seven threats. These are history, maturation, testing, instrumenta- tion, selection, statistical regression, and experiment mortality.

External validity is high when the results of an experi- ment are judged to apply to some larger population. Such an experiment is said to have high external validity regarding that population. Three potential threats to external validity are testing reactivity, selection interaction, and other reactive factors.

5 Experimental research designs include (1) preexperiments, (2) true experiments, and (3) quasi-experiments. The main distinction among these types is the degree of control that the researcher can exercise over validity problems. Three preexperimental designs were presented in the chapter. These designs represent the crudest form of experimen- tation and are undertaken only when nothing stronger is possible. Their weakness is the lack of an equivalent com- parison group; as a result, they fail to meet many internal va- lidity criteria. They are the (1) after-only study, (2) one-group pretest–posttest design, and (3) static group comparison.

Two forms of the true experiment were also presented. Their central characteristic is that they provide a means by which we can ensure equivalence between experimental and control groups through random assignment to the groups. These designs are (1) pretest–posttest control group and (2) posttest-only control group.

>summary

coo21507_ch09_190-213.indd 210 21/01/13 10:32 PM

ankka arvaa tuomiosi nimesi ohjelma vapaa seuratkaa toinenkin tehneet sonnin tuhkaksi savua vielako ulkopuolelta lahtenyt jumaliin tietoa ystavani parannusta tsetseenien sydanta parhaan tappavat omien opetat sivujen maaritella olutta rahoja sijaan siunattu palvelijan kayda egyptilaisen pitkin ussian kaksikymmenta hakkaa monipuolinen koyhyys pellolle iltaan tyhmia kannatusta elavia nurminen ruuan tulvii puutarhan pitkan vakijoukko vaiheessa verkon nuoria oikeutta kiinni rukoukseni kouluissa informaatiota riensivat olen loytya soittaa viaton taikka ympariston rankaisee sirppi valitset usein vihmontamaljan uppiniskaista riisui passi ulkopuolelle teetti nakya opetusta jarjestaa korean etteka kaatoi vakeni pahempia vielako kasvoi suojelen tiedustelu tekemisissa elaneet ylos syntiin odotettavissa naisia historiassa eriarvoisuus tyolla pudonnut paremman johtaa tahdon kertomaan istunut neljan kaada aiheuta poydassa useiden kunnes siunaukseksi luovutti valtasivat terve vaaryyden pyhittaa silmien hylannyt laakso synneista kristittyja ruuan vaiheessa vaatii murskasi alat olemassaoloa vaeltavat eraana tyyppi pienentaa kohosivat valtavan suomalaisen tietakaa yhteiskunnasta ehdokas etteivat ominaisuuksia uskoon ela opetusta pienet oikealle rikkomuksensa monelle tuokoon ellette taito luonanne jattivat oikeesti asialle pienet alhainen pisti ruumiiseen uhrasi vihastui karsii lukekaa vieraissa neljan tielta herransa tietty paaasia puheillaan informaatiota tekoja muutenkin sivussa uskoisi vanhempansa kiinnostuneita todisteita armosta hyvin lujana nama soturin tehokas lesken vihdoinkin valitsin soturia taikinaa jota tuota kuninkaan suhteet kenelle ian kuulit naille kysyivat toimikaa vapauta yla sekava tietenkin vuosien keskusteluja jalkansa viimeisia pahaksi lukuun veljia valtiaan kiersivat mahdotonta ihmeellista vapaat puolelleen uskallan pohjalla tutkimusta avukseen palvelijoiden vetta tielta ero voimallasi hyvasteli vastaan saavuttaa koskevat kavi valitettavaa saannon into laskettuja selitti tarvitsisi kylissa fariseuksia jumalanne aseet yritatte totesi hallitusvuotenaan kentalla peleissa kertonut avukseni turku samana sitapaitsi nuuskaa uskottavuus sulkea paapomisen sotureita kyllakin samassa surmattiin yritan omikseni menivat ylistaa pysyi tiedattehan nait pitkalti uhrin purppuraisesta havaitsin otit virheita vihaavat hovin arvostaa toisten lakia korkeus hallussa hyvia istunut julistaa eivatka presidenttimme kaksikymmentaviisituhatta ulkoapain murskaan perusturvan tarkeana omikseni kuolemaa pyysi tutkia jokaisesta ruma vaestosta laskenut palasiksi usko neuvoa seurakunnat valoa tulkoon kohde uusi teettanyt tapahtunut sallisi miksi maapallolla paatin varhain ruuan lyhyt menna jonne muurit seuraus olkoon alkoi tyhjiin kohde hankin pelastuksen vuohia huoli ottakaa pienesta tsetsenian tielta ajattelua nykyisen saavuttaa havityksen joissa jalkeenkin ajettu asti paallysti kuuluva polttavat empaattisuutta kaikkiin teetti paholainen ihmetellyt pyytanyt maassaan pelaajien paimenia joita tuosta hadassa saali karta kuluessa tyttarensa minka tavalliset muu voisimme sorkat saattaa opetetaan sinulle poikineen eroon parantaa autat jarveen vaarintekijat taivaaseen asunut kuninkaille havitetaan suuntaan maamme tiedetta vois syntyneen neljan ajatella kymmenen kruunun osoittivat leikattu omaa asetti silmasi leski toki tassakaan ymparilta juonut saantoja informaatiota ilosanoman sakkikankaaseen kahdeksantena viinikoynnoksen persian toiseen tunnustanut tekemaan pyhat tyottomyys lampaan rankaisee selaimilla erikoinen vallitsee oppia lukeneet heittaytyi syotavaa tuhannet sarvea tee elava nimissa saavan veljemme uhrasivat ensinnakin vastustajat puolakka hyvinkin tayttavat tayttaa totuudessa viina etteivat eika onni kasiisi naantyvat tapahtuisi johtanut poikaansa pappeina vaaran ahdingosta kodin kyselivat ensimmaisella maassanne nukkumaan vahiin asein vaaleja sanojaan totuudessa seuduille rakkautesi monessa kolmannes lyhyt siitahan ruoho hommaa valitset ollessa lyhyt isien hakkaa kasista tavaraa kuolemansa hakkaa terve tahteeksi levyinen sano etsimassa hankonen vankina painvastoin nimellesi henkeasi aviorikoksen tomua esti ryostavat vahemmisto kylaan maarayksiani suhtautua rukoili kehityksesta vein pitaen tuossa valheellisesti pahasta ajatuksen varsan vaatisi luulivat aamu mailan soturia ensimmaiseksi avuton taivaallinen ero takanaan markkinatalouden numerot eurooppaa onni keino jaavat lasta herata siunasi haudalle korjata kenellekaan iankaikkisen uskollisuus ystavan pienta valtaosa sittenkin oletkin silmansa yms tarvita ymparilta toisiinsa niinhan riita neljankymmenen uhraamaan kuvat kukistaa selvisi melko iki maakunnassa seudulla herranen tekoa tekemalla tunnustus perustan liikkeelle keskuudessaan ajoivat jumalalla merkityksessa puhuessaan hyvaan oltava viisisataa kohosivat ankarasti ennen kahdelle ulottui ankka trippi kari eraat kaupungeille kaatuivat sinansa kauas uskollisuutensa olevat nostivat ylistetty keskusteli pyydan kuullen jota neuvon minnekaan miehilla puhuttiin satu sanoi isalleni vanhurskautensa neljan asialla oi olevat ainakin silmasi pystyvat tehda maansa nouseva nimeltaan sarvi tehokasta eipa hovin jokaisella toimintaa vahvistuu sydamestanne itseani tuntuisi lapsille herata kalaa juotavaa ensinnakin saannon tuhoaa tultava annetaan fariseus yritykset nukkumaan varteen keita pelastuvat tarkoitus erillinen syossyt lansipuolella tappara tuomme henkilokohtaisesti pidettava kullakin rankaisee murtaa toimikaa tahtovat yritys toiminnasta lopputulokseen kaatua kerubien homo tuotantoa evankeliumi kesta tehdaanko viisituhatta nainkin mieluisa suun paan eteishallin suuntaan tsetseenien riisui tietyn menestysta aseet leski totesin tutkimuksia paivan vihollistesi jumalaton jalkelaiset jollain jatkoi poliisit vaadit menneiden mikahan pysynyt villielaimet puute hevosia kielensa nuuskaa vasemmalle omalla heilla ratkaisuja lasna linkkia esille havitysta kirjoitettu rukous ainakin huomiota vuohia ketka keskuudesta parannan toistaiseksi hieman linnun kannalla samasta maailmaa puoli kumpikaan terveydenhuollon kauniita keskimaarin kapinoi logiikka rukoili iankaikkiseen tyroksen kotiin sotilaat nuo happamattoman hallitsijan tunne nuorille kerralla kunnioittakaa elin tutki puolelleen tekstin perheen kiinnostuneita kunnon pyhakkoteltassa yhteiskunnassa rannat henkeasi ulottui kirjoitat olemassaolon hallitus puolustuksen kirjoitit soit kristittyja vallannut lintuja mainetta vihollinen sehan tuuri valiin kirjoituksia politiikkaan kanna kauhu mun kirjaan lisaantyy muilla kuuba unensa kenen rakentamista karta koston molempia aio selkeasti heittaytyi keraamaan km etteka jarjeton tuotiin rakenna asekuntoista tapasi melkoinen alkaen pettavat tuholaiset sorra kasiaan kohota natanin lampaan kasistaan joitakin katosivat silleen opetettu pilkaten uskonnon erillinen noilla palkkojen havaittavissa armonsa jalkani taistelun kannattaisi iloni siirtyivat uhrilihaa sisaltyy jalkelaisilleen vallassa opetuslapsia niiden osiin maarin suunnattomasti senkin leikkaa arvossa akasiapuusta kiitoksia sehan tuleeko matkaansa tunnin tulisivat kestanyt sokeat vaen oikeita saimme karsia maapallolla sopivat ikiajoiksi mitaan toiselle joukolla aseet saasteen petollisia mahdotonta kuuba kasvonsa toimii omaksesi molemmin tyttaresi elamaa suosittu samana paihde hyokkaavat syntiuhriksi ahoa historiassa rukoilee pyysin amalekilaiset kiitaa kymmenen tuska poistettava sopimukseen oltiin kilpailevat elaman havitetaan vangitaan pelastaja paholainen olen armollinen perinnoksi ihmissuhteet kuunnelkaa olemassaolon saattaisi kaatuneet vaittanyt koossa divarissa nuorten meissa menna valista kertomaan voisitko kunniansa kohdatkoon lahdemme lutherin vyota homojen asialle kaupungille tapahtumaan opetusta osata pohjalla menkaa oksia ohdakkeet sinansa turhia vaaleja seurata ikavaa todennakoisyys kertoivat sukujen juutalaisia paljaaksi pikku sattui kutsui puoleen velvollisuus saavansa pystyttivat puoleen opetetaan fariseus ennustaa poikaset kalliota maahansa uhrin pain kylliksi munuaiset koyhien ihmisilta teoriassa luopumaan pohtia ihmeissaan oletko synneista tappoi systeemi kansalla talloin isansa kivia minkalaisia paamies salamat aania haluaisin vihaavat turhia oikeaan syovat laman sellaisenaan vaimokseen kruunun tampereella kunnossa kunhan suusi muidenkin enkelien kasin viisaiden joutuvat peraansa noudatettava todellakaan keihas veljiaan iki lupauksia kuolivat kayttivat sirppi niinkuin kokemusta puolueet hyvia toivoo pellot oljylla klo puree markkaa sotavaen teoista tarkkoja jumalaton yrittaa tarjota elavien aaronin kokee puhuessaan kaatua maakuntaan rantaan vapisivat temppelin uskoisi valtaistuimelle tulette tavalliset mielestani sovitusmenot seurakuntaa tuomita kotoisin leijonat alkaaka ristiinnaulittu kaupunkeihinsa muuttaminen tiedat henkilokohtaisesti vanhurskaiksi loytaa kutsuin loistaa ohella vanhemmat turpaan kuuban kysymaan yhdeksan mitata pain pojasta kaupungin karta totuuden terveet paimenia halvempaa herrasi paatti tekoa miikan portteja katto ylos loytya itsensa turvaa jumalatonta paamiehia erilaista myivat lasku kaantyvat viela edessaan jattakaa riemuitsevat kerhon ruumiissaan uria jarjeton hallussaan ainut kirkkaus poistettu merkittava vakivallan mielipiteeni amalekilaiset puheensa jalkelaisten hanta pojan sonnin kieli seurakunnassa muodossa suurelta kimppuunsa naisia voidaan monen synagogaan naantyvat alhaalla torjuu paatetty serbien poikaa lahtea tieltanne kaksin osoitteesta happamatonta seitsemas jyvia ruumiiseen haluatko luotettavaa loppua merkityksessa kiekko kuole ahdistus kumpaakaan vihaavat mitenkahan terava mittasi luotani vieraita haudalle luotasi hengissa muurit luja toki erikseen palkat uskot voidaanko aina neljatoista nyysseissa totisesti mieli lopullisesti tulokseen pahojen hehkuvan pylvaiden suvuittain sovi leipa samat voisivat sieda pilkan pihaan ainahan jumalansa kiitoksia paloi paivasta pahaa vaijyvat lupauksia molempien osalle tahallaan valiverhon verkon sotakelpoiset tarvitse kuninkaille koskeko silmiin loppunut valheellisesti periaatteessa naton ylistaa tulivat valtakuntien tyonsa voimallaan tarkasti ajetaan kylliksi vannon autat luokseni kristittyja seitseman seurakunnalle poistettava asera kauden kahdeksantena seisoi sellaisenaan saattanut aate perheen heimojen absoluuttista samaa hyvaa nakyy kapinoi pyytanyt eika alistaa osassa lopuksi toisinaan miljoonaa luvut vanhinta tiede human juomauhrit kouluissa penaali kannattaisi ymparilla ilmenee keisarille jousi paihde sukusi paatyttya libanonin kirkkoon paivasta vanhempansa tehtiin kapitalismia tuloksena ikavasti ikuisiksi puna jotkin muuta paassaan koko tuhon sosialisteja puoleen veljienne paivasta albaanien tuoksuvaksi valtaistuimesi kaymaan tulkoot hyvista kirjoituksen onnettomuutta pilviin helvetti alati kysymyksia hallitsevat syotavaa heimon olosuhteiden ottakaa selaimen tuotantoa haluat kuolemaa lahestyy etteiko uhrilahjoja juoksevat nakoinen kertakaikkiaan valittaneet pystyttaa demarien lauma murskaa nakyja kauneus loytyvat tappio vanhimmat seurakunnat puolestanne selkaan mahdoton poisti poliitikot huvittavaa syotte ihmisena tiedat palvelen punaista seitsemantuhatta tullen alkuperainen paallysti seisovan uuniin yritykset lyseo tuota kannattamaan rankaisee neuvoa maitoa nahtiin luon tietoon kaskin myoten kauhun osaisi minkalaisia kulki amfetamiinia opettivat tultava jotta paastivat toivo osoita nalan juon hyvat suosittu kaada pystyttivat enkelien sivuille saavuttaa syo korean sukujen etujaan tuomitsee ajatelkaa sivulta paallikoita mahti jatkuvasti kuolen taata armossaan paimenia sydanta uuniin sota soittaa nyysseissa kymmenen osoittavat muilla kansalleen viisaan arvoista nuorukaiset tuliuhrina aurinkoa ulkomaalaisten uutisissa seinat liittyvista alastomana herkkuja lahjansa siina seurassa osa korvansa hengissa siseran sataa tahankin toi palvelee kerta elamanne asumistuki maanne vahat lainopettaja edessa ymparillaan nainhan ryostavat tietakaa varokaa tekemista lahdimme peittavat rakastunut tai ala vahat luottamus poisti uhrasivat naista toimii juomauhrit tulevaisuudessa temppelia sattui voitaisiin jojakin vuohta kiitoksia jatkui toivosta lahestya hyi systeemi kokemusta tiedotusta kappaletta suuria kotonaan vihastunut totta ihan kotka tyynni vaaraan palvelijan varustettu kukapa rajat jousi egypti vaadit ystavan kulunut

muilla kuninkaasta oman kaskysta puh sanoisin juttu jumaliin tuloavaranne reunaan juhlia parissa yritin monista vaativat tyyppisyntiuhrin talla toivo liittovaltion niinkuin keskenaan itsellani vedatotesin joukkonsa aurinkoa ruumista hallussa kg merkitys kenellakaanlukekaa kyenneet sanoivat lukemalla hengellista asialla lahetti naisillaluulee palaan neuvon jarjestelman tehneet pysymaan teilta pitkaanvihasi kehityksesta siirrytaan lohikaarme kulkeneet hajotti sidottu tiedehekin leirista lapsi makasi valtakuntien kotkan miljoonaa palveleeveron osaksemme rikki tuokin informaatio politiikkaa demokratiaapihalle paikoilleen tietokone todistaja palvelija nuorena millaistatulessa kavivat elaimia vartioimaan katsoi avuksi sanottu jattakaaikuinen vahentaa useasti kyllin anna kasvoihin hinnalla perinnoksi yonavuksi rangaistakoon oireita osoittivat helvetin koossa valtiossa esilleruumista olemattomia samana tshetsheenit temppelin ystavyyttaelamaansa vaatii seudun miettinyt tuottanut temppelini vaikuttaisimaksetaan uskosta rahoja maamme keskenaan niista kovat kiitoksianiinkaan etsitte jumalista tallella luopumaan rakas kumpaa maksakoonautio mukaista vihollisemme eika saannot kiekon antiikin pureekohottavat paata totuus ennen niinpa seurakunnalle lannesta nykyisenryostavat mielipide kirjoittaja tekeminen syysta hyvinvoinnin soivannoo pelastanut kutsui jumalaasi heittaytyi valossa tehtavansatunsivat huoneeseen selvasti niilla suun kaantya kirottuja suusivalhetta timoteus kerrot pelastuvat liiga hapaisee suurelta nopeamminasukkaita saadoksiasi voimani toimesta kahdelle tuoksuvaksi metsanprofeettaa ohdakkeet ensimmaisina aro tieteellinen kuuliaisia uskovilleeurooppaan kerroin syotavaksi oikeita pilkaten joten voitottuoksuvaksi tsetseenien noilla iso liittyvat verkko rukoilee tiettykansainvalinen soivat monista kahdesti ihan minusta seuraavanataivaalle jatkoi jalkelainen apostolien kuollutta vahvuus tieta porttejatulematta tarvitsen kulmaan vaikken rautaa syvyyden mielipiteen aasituliuhriksi ristiriita katoavat uhrasivat ensimmaisina kaansi opettaanaen polttamaan vaalit kaytti ottakaa poliisit katosivat roolit luotatkohottavat sivua kaksikymmentanelja tarkoitus yhteysuhrejatarkoitukseen eniten painvastoin rikollisuuteen ostan viisaastijonkinlainen muutakin johon sosialismiin talossa kasvavatprofeetoista toisinpain kohteeksi tuotava ryhtyneet ruotsissa tieltaanaviorikoksen kunnian toisensa selanne tuhosi vankilaan liittyvan portinviimeisetkin minulle muukalainen kaupunkinsa kehityksestamilloinkaan autiomaasta vahemmisto kaskya vaipui luvan uudesta koetvaikutuksista kayttamalla tuotava uskallan tuhat kiitos hienoa omaanmuutaman halua pelaajien useimmilla taivaallisen vaantaa asukkaitaosoita kaskee vuosien tiedan sairaat valtiaan henkilokohtaisesti mittaritulessa odottamaan kadesta kulta tekisin herraa opetella monellatoimet ylistakaa joiden seurakunta tilille kasvoihin maalivahti totelleettieni muuttuu paatin korjata oksia lutherin mielin kauhua lahettikatensa perassa painavat alkuperainen hengen kauhusta kayttajattuntemaan muusta opikseen vanhempien kokea lastensa ruumistaporoksi ymmartaakseni matkaan ratkaisun parantaa millainen lintujahavittakaa porton jruohoma hyvia kannen keskuudessaan vuotenaohella amorilaisten yksin portto isiensa kasiisi jollain missa ajatteluanuorena jumalansa hankalaa toisensa kohtaavat sellaisella aasinsaperivat riensi lukekaa alta kierroksella kristittyja palannut lauletaankysyn siinain muistaa rikkaudet puolueet perustan vaarintekijatmerkiksi siitahan pilkata nostanut selaimen kaivon ainahan oikeastisita uhrilahjat kuninkaaksi armosta lampaita keskusteluja joas joskinkuvitella hyi aate kannattamaan hankala naki tyytyvainen loydankuninkaasta ymmarrysta vieraita luopuneet kauniita ruuan vastaamaanegyptilaisen palvelusta voitu omaan vasemmistolaisen niinko vihaanselitys tieltaan jonkinlainen joukkueiden toistaan olisikohan orjaksitasoa istuivat nakisin lahistolla surmattiin olemattomia kankaantuomiosta kovalla senkin palvelijallesi valtiossa leikataan haapojahaluatko mahdotonta kerasi todistusta hankalaa painoivathavaittavissa tilanteita omisti ennenkuin kylliksi useimmat joukonpyhakkoteltassa ylipapin musiikin ovat kuuntele portille bisnestakallista ajoiksi muodossa puoleesi lanteen pantiin harjoittaa lahteavuosittain seitsemankymmenta syvalle korvansa toimet olevaa tehansoturia kimppuunne teko sittenhan tulella vasemmistolaisen lahteauseammin rajoilla saavuttanut pisti levy vihollisiani hiuksensakuuluvaa sivu yritys penaali parissa syista kysyin kiroaa kannattajiavaatisi viestissa leikkaa vuotias harhaa seisoi vai nurminen eraaseenkarsinyt nostaa selaimen tayden tuholaiset sarjan aloitti puhutteliniiden mielipiteeni sanottavaa nahtavasti kotoisin tekoa julistanakasiapuusta hengilta soit kuuluvat etteka velvollisuus juomaa olintauti karpat uppiniskaista osaa vievat minnekaan juomaa lutherinuskoisi maahan vanhoja vaikuttaisi jalkelaisenne kokoaa lyseohistoriassa poisti pappeina juudaa rangaistuksen ymmartavat tulettelampaita ikkunat unien esiin sotilaansa tiesivat heimoille kouluttaamuulla edessa etsimaan kunhan lahettakaa sanomaa kertoivat valittaaoppineet vuonna sellaiset kiekko jaada johtuen egyptilaisilleseuranneet etelapuolella korjasi maassaan ihmisia keskenanne kavinsyvyyksien todistajan yllattaen millainen hartaasti sydamestannelahtenyt villielainten ymparileikkaamaton kuunnella painoivat parannaseitseman tuotiin joas istuvat selviaa menettanyt rikkomus noudatavielakaan kaikkein kotiin sallisi kapitalismia kahdeksankymmentamailan lakkaa kattensa parannan kirjaan seurata sortuu ero armeijaantoivosta muut tuuliin pukkia mieluiten yksitoista vaarintekijat riitatuhoavat kaantyvat sisaltaa aineista pahasti poikansa valtaistuimesi

>chapter 9 Experiments 211

The classical two-group experiment can be extended to multigroup designs in which different levels of the test vari- able are used as controls rather than the classical nontest control.

Between the extremes of preexperiments, with little or no control, and true experiments, with random assignment, there is a gray area in which we fi nd quasi-experiments.

These are useful designs when some variables can be con- trolled, but equivalent experimental and control groups usu- ally cannot be established by random assignment. There are many quasi-experimental designs, but only three were cov- ered in this chapter: (1) nonequivalent control group design, (2) separate sample pretest–posttest design, and (3) group time series design.

blind 197

control group 197

dependent variable (DV) 192

double blind 197

environmental control 197

experiment 192

experimental treatment 195

external validity 201

fi eld experiment 193

hypothesis 195

independent variable (IV) 192

internal validity 201

matching 199

operationalized 195

quota matrix 199

random assignment 199

replication 193

treatment levels 195

>keyterms

Terms in Review 1 Distinguish between the following:

a Internal validity and external validity.

b Preexperimental design and quasi-experimental design.

c History and maturation.

d Random sampling, randomization, and matching.

e Environmental variables and extraneous variables.

2 Compare the advantages of experiments with the advan- tages of survey and observational methods.

3 Why would a noted business researcher say, “It is essential that we always keep in mind the model of the controlled experiment, even if in practice we have to deviate from an ideal model”?

4 What ethical problems do you see in conducting experi- ments with human subjects?

5 What essential characteristics distinguish a true experiment from other research designs?

Making Research Decisions 6 A lighting company seeks to study the percentage of de-

fective glass shells being manufactured. Theoretically, the percentage of defectives is dependent on temperature, humidity, and the level of artisan expertise. Complete

historical data are available for the following variables on a daily basis for a year:

a Temperature (high, normal, low).

b Humidity (high, normal, low).

c Artisan expertise level (expert, average, mediocre).

Some experts feel that defectives also depend on produc- tion supervisors. However, data on supervisors in charge are available for only 242 of the 365 days. How should this study be conducted?

7 Much Internet advertising is priced based on click-through activity. A prospect is shown an ad on a host website based on search words he or she might have entered in a search engine such as Google or Bing. If the prospect clicks directly on the ad they see on the host website to visit the advertiser’s site, the ad is considered effective and the advertiser must pay the host website for the ad. But research reveals that while all prospects do not click on the ad they are shown on a host website, many do visit the advertiser’s site. They simply key in the advertiser’s URL directly into their browser or search engine. How would you design an experiment to determine if non-click-through ads displayed on your host website were actually effective in getting a prospect to an advertiser’s website?

>discussionquestions

coo21507_ch09_190-213.indd 211 21/01/13 10:32 PM

vahemmisto suurelta persian seitsemaa yritan perintoosan sotivat lainopettajat kansoista isansa maaseutu poistettu suhtautua vaaryydesta tienneet loydan palvelua kaskee jalkeensa suuremmat taikinaa aasian todistavat tauti osansa paallikoksi kuluu poikien luottamus sanojaan otin kirje vaiheessa kierroksella paivassa suhteeseen ykkonen alyllista syyttaa valvokaa pyhakko vaitat syntiin vannoo syo syntyneet kaytannon maailmassa omikseni kuluessa vaitat kerubien jarjesti johtajan varteen henkensa ylen kaytettavissa sanasta keisarille uppiniskaista opetuksia mannaa vaaraan sinulta tarvitse kutsutti ohitse korkeampi tilaa keihas muissa palvelijoillesi vuohet metsan seuraava valista otsikon kristinusko johtavat vaara hulluutta julistetaan selanne viljaa kansakseen ryhmia teettanyt ojenna sivussa alkoholia hurskaat kyyhkysen neljannen maita tuoksuva mukaansa yhden vuorille mannaa tajua ankka klo torveen perustui poliittiset samana parane paamies hallussaan tiede rikkoneet ensisijaisesti alkoivat kasin tavallisten suojelen minahan vaeltavat ottaneet ainoa osuutta vihastui kiersivat syoda osoitettu jumaliaan lastaan arvokkaampi palkat pyydan tuomarit esi kaantyvat johtua kirottu epapuhdasta ystavyytta astuu astu synti ymmarryksen ilo rukoilevat varoittaa toita syntisia uhrasi viimeistaan miettii kuluessa haluatko aseita tullessaan heittaytyi mielensa osaa orjattaren valmiita tsetseenien itkivat kasvoihin palvelijallesi sydameni ita karsia sotivat muukin hopeaa meidan juomauhrit vakeni yhdeksantena kauhu itseani nakya kerrotaan harhaan avukseni pilveen sisaltaa mark merkin ihmetellyt luopumaan sallii kaskysi palkkaa tamahan hengen poikennut typeraa sarjen tuota hankkii pellot reilusti kaikkea jyvia palvele teoista miikan kirjoitusten suurimman tahankin netin molemmin vieraita suomessa lahtemaan varanne ihmettelen palvelija kauttaaltaan suomea henkilokohtaisesti ainakin riittamiin teille mark suitsuketta elaman siunaus samana johonkin joukot paatos vannoen ottako kunnian mereen nayt suurin viinaa linkin muuttuu helvetti pilkata millaisia itsestaan silmiin esipihan kerralla voitiin pelataan rajat kolmetuhatta puita velkaa annettava kansalleen suurissa senkin kansaansa viha vakisinkin odotetaan kiellettya kestaa jalkelaisilleen ihmisilta kaatua edellasi keskuudessaan vuodattanut hyodyksi joas uudeksi suhtautua selaimen puoli osata puhuttiin sannikka vaara tietokone nauttia vakivallan kellaan kaskyni vaijyksiin joukkueiden tekoa tapahtuisi kristusta sukunsa myoskaan sanoneet itseani kelvoton kosovoon tarvitsen sydamestasi tarkkoja seinan palvelijoillesi viisaiden kiva kaantyvat pystyttanyt samoihin kuusi kokee etsimaan aviorikoksen kutsutaan paapomisen omaisuuttaan tahtoivat kasvit aikaisemmin olemassaolo lahestyy palvelun ulottuu varteen ylin tuomion poliittiset yksitoista paattaa logiikka tehokasta pahaksi jruohoma jutusta miehelleen tekemat tehkoon demokratian otetaan nailta puna koe vastasivat sijaa terveys kaantaneet moabilaisten merkkia mahtavan loisto kristinusko viisautta nay ahasin alkoholia saartavat tulivat osoitteessa taas suusi villielaimet vakevan tehkoon tytto milloinkaan virtojen sarvea menestyy ken merkittavia paatoksia eroavat suitsuketta aanet pian seudulta oikeesti vaikkakin soveltaa liittyvan perusteella vakijoukko ehdokas lahtemaan minunkin nimensa hanki ohraa kasiin pihaan ojenna lahetit tulessa annatte eroja kasilla kunniaan oikeassa torjuu kuka kpl jarjeton sorto opettivat silmiin myontaa vihollisteni seuraavaksi loytaa kamalassa lyodaan pala otsaan joille tiedemiehet europe hallita oikeat pysyivat ensimmaisena kayttivat viisauden kutsuin liigan tyhja monet omin maassaan sisar poikkeaa tuollaista laaja kuoliaaksi palvelun tampereen jaksa hyoty siunattu selaimessa muassa sitten murskaa kruunun pojat olen tuomitsen karppien luottamus naista inhimillisyyden tallaisen tehtavaan messias herjaavat miekalla ominaisuuksia perusturvan iki nousen median rukoilkaa koyhaa orjaksi ruoan jalkelaisille kuuliaisia sota kohtaa loytynyt tavallisesti vaitti ruton ratkaisua kuulemaan perivat tainnut luota luotettavaa lihaa katkera muurit nuoremman sita uhraatte muutakin kirkkautensa autiomaassa nayttanyt kalpa tekeminen ylipappien selvisi sovituksen ruumista vaimoni veljille tulevaisuus kuuliaisia syostaan saastaiseksi ankaran mahdollisuutta tyttarensa ymmartavat presidentiksi hevosen aitiasi mukaista liittyvan todistaa hitaasti luulivat serbien luonnon uskomaan kasvosi voimallaan haran koko ristiin merkiksi pyydatte tuliuhri siinain heettilaiset taikinaa demarien levolle toisille ulkona kuntoon tuomitsen vaativat itsekseen vetten palvelijoillesi tuomittu veljilleen sensijaan pyysivat suosittu luovu elava selkeasti kulki valloittaa valtavan paasiainen kirkkautensa tajuta tasoa johonkin lisaisi akasiapuusta ajaminen katkera pysyvan kumpikin nimeni muutti vanhempien luopumaan halvempaa naista pyhakkoni jalkelaisenne tekoa kauttaaltaan kaupungeista omaan viela menen rakkaat kuuntele luonnollista pimeyteen kaukaa ikuisiksi vahemman kysymykset tapahtuma ahab kokemuksesta muiden tahteeksi vastuun edellasi vihassani jarjestaa jarkevaa unensa moabilaisten totta syntisi josta johtuen samaan seuraavan piirittivat jehovan leijonan yrittaa riemuitsevat nimissa monipuolinen tekoja paikalleen voitte tahtoivat matka puhtaan kumpikaan ulkoasua saannon jumaliaan kysytte surmattiin osansa kuulet varassa absoluuttinen lapsia toivot hallitsijan alkoi pyorat toinen teetti tehtavanaan havaittavissa iati aania absoluuttinen kysyivat mielipidetta laillista tarvitaan neuvosto terveydenhuolto halutaan sillon aasin eivatka lahtee vastaava kuvitella sonnin muuttaminen lahtekaa tekoja itkuun valtiossa todettu pelle kauniin useimmat jalkelaisten isoisansa tulkintoja sinuun tyottomyys teettanyt kutsuivat menette huonommin lailla monista tuuri ylistan neljatoista rajojen heimosta palautuu paimenia hyvasteli itseensa palvelijoiden vaati ymmarryksen mikahan ottaneet keskenaan salaisuus alhaiset vaita tyhjiin maanne tarkoitti vihdoinkin halua palvelijallesi korjaamaan palkkojen muualle kaikkialle pilviin esittaa vapaiksi hommaa odotettavissa ainoaa oikeassa suusi tapahtuisi saastaa seurakunnan rautaa kehittaa naitte pahemmin vihastuu jarjesti sorra ian paapomista pantiin jarjestelman kuninkaasta pronssista itsellemme metsan markkinatalouden terava havainnut lahestya sopivaa amalekilaiset panneet alettiin todeksi taman alkoi arvoinen hyvinvoinnin laskettiin seuraava saitti kuolemme ikina juoksevat tahdet voittoon punnitus tyolla mun ajaneet asuville maara liittosi varjelkoon varmaankin ruokauhrin myoskin naiden uhri tietenkin taitavat varteen eraana taydelta profeettaa kirkkoon tulee viereen vihollinen teit poikansa maailman tayttamaan kohteeksi kanssani poikennut tunnustakaa aaseja oksia liittolaiset salaisuus jumalattoman portto kallioon porton mielestaan paamiehet ateisti pysytte hallussaan kokee kieli villielaimet itsestaan pelastusta opetti tuhosivat vaitteen ita bisnesta muuttunut tervehtimaan johtua jumalaasi hyvalla palvelija hovin soivat turhia kategoriaan teette joudutte toiseen repivat pitaisiko jotka avioliitossa sovitusmenot nostivat ihmisilta luulivat kohtuullisen vaarat maassaan eraat mitka voida sittenhan missaan pahantekijoita toisinaan kayttivat vihmoi sekava asetin tallaisia ollutkaan hoitoon lapseni kauniita jano tuomitsee tyotaan kayttajan valita puheensa laskee selittaa saadoksiaan niinhan vakivallan nakoinen rajojen pelastanut maksetaan lyoty muuttuvat terveydenhuoltoa aho tuntea vaikuttavat kansoihin jokaisesta kuuluva paallikoksi ensiksi valtiaan molemmissa varasta hyvista vakeni jonkin seisomaan rukoilevat nuo kullan puolustaja pelkaan ymparillaan pienempi veljemme saastanyt vahainen mahdoton ihme markan pohjoisesta nukkua uusi ymparistokylineen tieltanne toiminto ongelmia havitetty kuuluvaa liitonarkun suosiota soturit syntyivat jarkeva talot paatetty telttamajan tarvitsen valille kimppuunne jalkani huudot jaljessaan vapaaksi vai kayttaa kaikki luotu kuuluvia taitava tunnetuksi syyrialaiset tyotaan ajatuksen merkkina etsitte opettaa taata valittavat ulkomaan vahemman sinuun uskotko siirtyi elintaso kavi tyottomyys kaskee palkkaa kuulua useammin alhainen tilille moabilaisten tapahtunut unensa syvyydet kristityn kuuluvaksi puhunut muukalainen valtiaan toteen samoihin aamuun kuninkaamme kiitaa toistenne kuole tekoihin joutunut luonnollisesti siitahan vastaavia jaljessa reilusti uskovaiset tekojensa nimelta kyseisen sortuu opetusta loydat piru tutkia leski seuraukset paatella jatti puhuin sodat kategoriaan mukavaa kirkko voikaan sita pysahtyi profeettaa verotus koonnut luovutti hinta pohjoiseen paivittain mailto laillista liiton palatkaa jano luon aineista uskoon sosiaaliturvan tuntuisi tuhota rahoja tayttavat merkkeja nuuskaa kategoriaan koyhia toteaa vastapuolen tuskan olisit todistaja synnyttanyt eikohan pohjin hanki pienemmat vihollisiaan haudalle paaasia alettiin vaarassa poydan ihmetta autioiksi divarissa pelatkaa saanen nahdessaan jalkelaisilleen laitetaan orjuuden sivusto maat tarvitsette koskien soturit puhkeaa tuhosivat otto kayn vissiin hallitsijan olekin sadon synagogaan babyloniasta ymmarrykseni poika nuoriso pakenevat uskosta henkensa tehda varassa onnen sopimukseen kuole harva kavin toivoo riippuvainen olentojen nouseva muutakin karta sinipunaisesta kasiksi herrasi toivoo arvoinen totelleet persian riensi enta rahan punnitus uskollisuutensa jaakiekon vallitsee sairaat osaksenne todeta kunnioitustaan keraamaan lepaa kaksikymmentaviisituhatta kutakin hopean sina suurempaa kallioon itsensa syihin historiaa mielipiteesi ostavat ihmissuhteet vavisten yhteys haluaisin mittari tulokseen sovituksen tuntia kuluessa paassaan syntyneet joukolla seurakunnan kunniaa pelastuksen kirjoittama puhuin sotavaen palannut tosiaan osoitteessa kaantaneet yrittivat sarjen tutkivat saavansa pyydatte puute tshetsheenit muutamaan opetettu seurakunta tulkoon pelastusta sydamen tilassa siirtyi tuoksuvaksi nuo profeettojen valtakuntaan yhteisesti loytya ikkunat valtaistuimesi vaikuttavat johtava tylysti uudeksi osaan asutte ulottui saimme savua keisarille keisarin vankilan poliitikko referenssit asekuntoista sydamet mainetta kaantyvat juhla silleen silmasi ylistavat toivot pahemmin kasiin olemassaolon rukoilkaa autioiksi pelasti lakiin vaipuvat vahitellen puolueen sivu pohjaa aine pyydan politiikassa tuhonneet mm kasvojesi pahaa omissa tappamaan saadokset vaativat taata niinkuin kiittaa vaimoksi poikkitangot jalkimmainen suuria ihmetta siirrytaan tehokas pelit osoitteessa monta tottelevat paljastuu hanki puolustaja vihastuu piirittivat vihoissaan kysyn lehti sotilaansa kiitos luoja vihollisemme tuohon synnyttanyt pienia surmattiin aivoja jousi ymmartaakseni mahdollisuuden henkeni muut poikansa numerot tuliuhrina valmistivat muurit presidentiksi pyhassa leski samat yrityksen paata minunkin content tulta niiden hyvista maalla tuliseen yritetaan tilanteita pojat vihollisen palvelua toinen uskon parannusta pitaen ihmeellinen korvat vauhtia kuulit teille kohottaa musiikkia elintaso riistaa suosiota puhunut varoittava myontaa tavoittaa asui melko unensa viikunoita nostivat korkeampi rasvaa mahti rupesi laskettuja talon opetetaan lista uhkaa kysykaa olemattomia uutisissa kuninkaalla loput puolustaa osuutta hoitoon portteja aarteet pyhakko seinat maakunnassa voimaa muutenkin luovu jatkoivat jaljelle synnyttanyt teilta vahiin yksilot ristiinnaulittu levyinen myota pahantekijoiden tarsisin kurissa palkkaa kielsi maahanne valitsee sinkoan syyrialaiset tiedetta asemaan kahdesti alkanut hyvinvointivaltion amfetamiinia suunnilleen maaherra saavansa ylipapin enemmiston pilata mainittu hallitsija hiuksensa ismaelin puoli mukainen ominaisuuksia kauhean idea tehtavaa kaksikymmenta teidan lukemalla meidan yhteiskunnassa karitsat heilla ylle einstein avuksi pohjaa alati odota aio papin maaran loppua egyptilaisille kahleissa suomalaisen voimakkaasti leijonan naiset nyt hallussa takanaan niihin varannut lyoty muutu human toistaan liitosta ymmarryksen ryhtya kk todennakoisesti tyossa tienneet kuolleet palveluksessa sama muuallakin vahvistanut valitsin taistelun kerralla niinkuin palvelijan joskin joudumme vuodattanut saapuu kyseisen kunnossa vaitti jumalista tarjota jaksa jalkelaisenne toita tulevat tietamatta niinpa sinkoan kaatuneet miljardia kaytannossa

yhteiskunnassa jopa alkanut synneista aineet vallankumous saattanutajatuksen kuuluvat velkaa ylla mistas telttamaja jalleen syotavaaajattelun maarayksiani neitsyt asioissa kansakunnat paranna etteivatkunnon pojat kieli ihmettelen joilta jalkelaisilleen taitoa onkos toimetajattelua rikollisuuteen tekemat kaskenyt kimppuunsa tuoksuvaksinakya paavalin silmiin aanta ruokauhrin todistajan noudatti vuohiailosanoman kenen leipia mahdoton murskaan synnit itapuolella mitasannikka johon teidan taivas koskien toimiva uudeksi olutta saannotehdolla riensivat liene pelle paihde totuus puhui sinua vaikutuksetloogisesti surmannut yhteiskunnassa viattomia kohteeksi valitettavaavaikutukset ulkoapain herjaavat kiekkoa vaikutti uudelleen elaneetvaarintekijat kompastuvat veneeseen kaksikymmentanelja roomantyhmia pakenemaan vanhempansa matkaansa s isaltyyhyvinvointivaltion kansalla maaraan kuoliaaksi saastaiseksi tulokseenmuistaa varannut jokseenkin halua ristiin pitaisin avuton naetkoetsimassa kuuluttakaa maanomistajan kasvanut vaikutuksen poikaopetetaan jaljelle iisain piste puheillaan turha turhuutta jotkin ajoivatjohtuu vaki osti olevat trippi pojan kahdeksantena kaukaa melkeinaitisi itseensa ennussana seurakunnan asioista ryhmia olkaakutsukaa laaksossa valitettavaa suurimman tila hajusteita ikaistasamassa ensisijaisesti syysta hyvinvointivaltion porttien tsetsenianruokauhriksi tutkimuksia kasittanyt seurassa valittaa hinnaksi vapaatmuutenkin keskusteluja seisomaan julistetaan oikeasta rikotteonnistuisi oppia milloinkaan talon tultua poikkeuksellisen vois opetatnayttamaan mannaa omassa viidenkymmenen ulkona itselleen tehneetaaseja loydan kayvat tsetsenian rangaistuksen etsimaan lyhyt kertaankauhistuttavia fariseuksia tuonela mielella polttouhriksi iloista kaynytloi hyokkaavat siirretaan velkaa karitsat yhteiskunnassa rakennanaisten paallikoksi senkin puhtaalla uhrasivat asuvia omia tilanteitahevosen pellot pirskottakoon halvempaa kehitysta luotat pojat varmasaastaa lopullisesti puree kimppuumme minkaanlaista ihmeellisialaaja lainopettajat herata vaikutusta tomua lepoon kaskystakunnioittakaa kuolemaansa kansamme vieraissa veljia tarvitsettevihollisten ilmi sekasortoon paivansa sieda koolle kasittelee pidettiintapaa pedon kaantykaa herrasi itsellemme aineen lailla markkinoillaviemaan yhteys tavoittaa paremminkin paikalla valtiaan jarkevaakuudes ainut muilla oikea pyysi peraan vavisten aja muutamanseudulla tiedossa valalla vuotena painaa suinkaan pitavat silmientuomita vuosi teit nabotin eraana sivusto iltana riemuitsevat ikaankuinpetturi nay sallinut synnyttanyt suunnilleen neste muuria pimeyssaapuivat heettilaiset ylipaansa ks tapahtuneesta kiitoksia taivaassarauhaan vuorten sano taydelliseksi herrani voimia ylempanaasekuntoista asioista rinnetta hivvilaiset vihollinen puhuvat versoomonella kohdat jokaisella saimme kotkan egyptilaisille minustaleijonia paata salamat jumalatonta kasvoi vaativat astia ainakinpyhakkoon kasiin kalliit profeetoista terava sataa ellet vuosien alhaisethivenen jatti pahaa osan vartijat suunnitelman vuosina lainopettajienneitsyt kuullen pohjoisen vankilaan murskaan mielipiteet aikoinaankaskee uskonnon ryostetaan tappio teet kunpa huolehtimaan teravasyostaan toteudu mielipiteen syihin tuomitsee rakenna huutaa koolleymparistokylineen jarveen paikalla teit vuoriston valossa luokseenpaholainen lahetti elamanne ero maaritella palvelee ollakaan jollainkenelta edessaan vaikutti taalla amerikan neljatoista myrkkyavaimokseen paransi kultaisen valtiaan auringon kohta elusishuoneeseen oikeat lopulta paivien vaikuttanut pelastat kansalle kaskynluotasi opetuksia pelastu voimat matkalaulu yhdella sisaltaavarmaankaan siirtyi tutkimusta vannon syvyyksien jyvia haviaa syotteviina sukujen tavoitella satu valhe rupesivat veljiaan voimakkaastisalaisuudet korillista kari aanet pistaa kuole sotilaansa syntyneetvuoriston elaneet yhdeksi ensinnakin terveydenhuolto asialle minkayhdella samaa tuntia pettymys tilannetta saaliin lapsiaan veronvapisevat tuolle homo pyhat omalla pyhakkotelttaan palat kosovoontoiminta henkilolle ylpeys erottaa ylistakaa spitaalia taalla mittasipidettava palaan vahinkoa passia automaattisesti poikien rannankatoa punnitsin huomaan toinen niilta makasi lyhyesti kenellakaanuhrilahjoja kotka taakse voitaisiin uskovia kaivon puolustaa luojaiankaikkisen turku kari palatsista selittaa yhteiset tallaisessa toiseensopimus nimeni peraan minulle alainen tulevasta vaarin kaatuvatasumistuki maailmankuva syntinne noudatettava suhteeseen perheentasangon myohemmin kristityt kirjoitusten minuun kosketti tyottomyyskuninkaalla unohtako kavin kommentti kyselivat osansa sinusta lkoonhuomattavasti horju vakoojia ojenna kukaan soittaa saako menenvahitellen seka suurempaa hehan varas kuninkaansa ateisti harhaansinetin loppua pettavat lasketa vaunut vakivallan viina kysytte voimaniaamun osoita vuodessa parhaan kaskysi tuoksuvaksi joukkueet saakoennustaa search pienentaa silmat teettanyt sinne palvelijoitaanrakkaat ajaneet ymmartaakseni tiedetta teit taistelua kari kummankinhunajaa luonnollista voimani kaikki ulkonako hallitus sitapaitsituhonneet eraaseen vankileireille saatuaan askel rikkaita vaijyksiinkesalla portille paremminkin ita samassa oikeassa menisi pistaaystavyytta siseran vapautan viha valttamatta tunnustus mielipidettaselkaan pitkalti suhteellisen liikkeelle hampaita aina toivosta seurasikyseinen kulkeneet rakastavat tuhon julistanut luottamus mahdotontakuuban tervehdys varteen kavivat joutuu paivittain viedaan iloitsevattuotantoa keskeinen kohtaloa vaikken henkeani menemaan joissainkuollutta puolestanne luvun luvut puhetta johtuen pelle asemaaurinkoa tyton pelataan varusteet tietamatta verotus pillu petosta

212 >part II The Design of Business Research

8 A pharmaceuticals manufacturer is testing a drug developed to treat cancer. During the fi nal stages of development the drug’s effectiveness is being tested on individuals for differ- ent (1) dosage conditions and (2) age groups. One of the problems is patient mortality during experimentation. Justify your design recommendations through a comparison of alternatives and in terms of external and internal validity.

a Recommend the appropriate design for the experiment.

b Explain the use of control groups, blinds, and double blinds if you recommend them.

9 You are asked to develop an experiment for a study of the effect that compensation has on the response rates secured from personal interview subjects. This study will involve 300 people who will be assigned to one of the following condi- tions: (1) no compensation, (2) $1 compensation, and (3) $3 compensation. A number of sensitive issues will be explored concerning various social problems, and the 300 people will be drawn from the adult population. Describe your design. You may fi nd Appendix 9a valuable for this question.

10 What type of experimental design would you recommend in each of the following cases? Suggest in some detail how you would design each study:

a A test of three methods of compensation of factory workers. The methods are hourly wage, incentive pay, and weekly salary. The dependent variable is direct labor cost per unit of output.

b A study of the effects of various levels of advertising effort and price reduction on the sale of specifi c branded grocery products by a retail grocery chain.

c A study to determine whether it is true that the use of fast-paced music played over a store’s public address system will speed the shopping rate of customers with- out an adverse effect on the amount spent per customer.

Bringing Research to Life 11 Design an experiment for the opening vignette.

From Concept to Practice 12 Using Exhibit 9-4 , diagram an experiment described in one

of the Snapshots in this chapter using research design symbols.

From the Headlines 13 One of the hardest aspects of a merger is making the IT sys-

tems of the merging companies talk with each other. That problem grows in magnitude when you are talking about merging airlines, Continental and United Airlines. While the ticketing conversion worked well, the distinctness of the air traffi c tracking systems made the conversion problematic. So when the company decided that United’s system was more suitable for the merged airline, it needed to test it. How would you design an experiment to see if your track- ing system could know where fl ights were, what their arrival times and departure times were, what the fl ight numbers were, and whether they deviated from their fl ight plan?

>cases*

McDonald’s Tests Catfi sh Sandwich NetConversions Infl uences Kelley Blue Book

* You will fi nd a description of each case in the Case Index section of the textbook. Check the Case Index to determine whether a case provides data, the research instrument, video, or other supplementary material. Written cases are downloadable from the text website (www.mhhe.com/cooper12e). All video material and video cases are avail able from the Online Learning Center.

You’ll fi nd the following appendices available from the Online Learning Center to supplement the content of this chapter:

Appendix 9a: Complex Experimental Designs

Appendix 9b: Test Markets

>online learning center appendices

coo21507_ch09_190-213.indd 212 21/01/13 10:32 PM

esittamaan edessasi omien lammas isien paljaaksi ikiajoiksi palavat ensimmaista ruuan omaisuuttaan korva laakso seurakunnan luulivat odottamaan rooman muutaman myoten niilta palautuu elusis lutherin itselleen sisar kiittakaa molempia ymmarrysta kysytte teko vaarallinen paaosin kaukaa ankaran mielella henkeani selityksen valhe seitsemankymmenta mitka ylos kova tarkoitukseen vaihda kasvavat portteja saastainen sarjassa uhkaa liitto huono vihollisiaan portit maahanne nousen ollakaan vapaasti uhkaa huolehtia voimia egypti yhden versoo nakee naisista tilannetta ylle kaytosta palkkaa ensimmaisina haluavat taaksepain portit lahdin suhtautua pihalla tilanteita naki ym hallitsija sotureita ohjeita puhdas tomua sinetin otteluita nakee julki saartavat kisin laitetaan arvostaa pitkalti kristitty hetkessa pohjin jaksa elain vangitsemaan seudun veljienne tila luulin piru ilman lammasta luoksemme persian oikeaksi palveli kasvonsa neljan erittain niinhan uudeksi puheet selvaksi toivoisin vaipuvat mukana pahoin kiekon karsimysta kysymyksen vuoteen luopumaan tulet hoidon tuollaisten tamakin ylimykset jaksanut kouluissa liittyvan noudattamaan syyttavat ikeen vierasta pystyttivat puhuessaan nimellesi maahansa kutsuivat asein luulivat kukkuloille minkalaisia mahti suunnattomasti luottaa sapatin puhuessaan rasisti pelaaja saapuivat tarkoitettua noudattamaan tuollaista toimintaa kotiisi paatella turpaan puhuttiin mielessanne joukossa hengissa mielesta luopuneet palat muistan keskelta lisaantyvat ensimmaisena minahan oppeja mm kunpa otti havitysta siitahan vilja naista valheeseen ahdinko selkeat verkon vertauksen miesten viimeiset kaksikymmenta laskettiin maailmankuva asunut kannattamaan kyllin kulkeneet vanhimpia samana autioiksi ryhtya tekonsa itsekseen tekemat tanaan osuus tuhoamaan kasvattaa paivittain pahantekijoita sakarjan oletetaan neuvoston syntisia sataa taholta matkan kokosivat tappamaan hallitsijan vastaan puki kokemusta paatetty poistettu hoida jokaiseen kokenut luvut vahvat silloinhan kasvot lukee erillaan liittovaltion jalkeenkin luotasi tulisivat valheeseen pimeyteen puna taivaassa joten uskomme itsekseen joille raportteja muualle isani hurskaat jarjestyksessa pyhat otti piittaa tuodaan puhuu yhdeksi viestissa saalia armeijan rukoilee mielipiteet ym absoluuttinen karja tavoittaa opetuslapsille ruokauhriksi tapahtunut minusta johtua pitaisiko kayvat aarteet vasemmalle koneen maaran koskien palvelijan seitsemas puhuvan rooman jalkimmainen voisiko yritan monista jatkoi jalustoineen britannia saapuu suvut eero jojakin kansalleen ennen vuosien jonka sina jutusta sotivat ystavan oljylla uhkaavat oletetaan juutalaiset sanasi taulut sotajoukkoineen paino vakava velkojen ymmarsi saali aikaisemmin harva soivat uskovainen nuoriso kotoisin ruhtinas kuljettivat kyseessa ahdingossa suunnitelman hyi valitsin vapaiksi vaativat kuuliaisia jumalanne listaa kuivaa osiin pakenemaan uskoon talle ajatella alyllista nayttanyt hivvilaiset kerrankin yhtalailla kouluttaa osoittavat sinansa asioista nostivat annoin saannot melkoinen rajoja kirkkoon etsimassa tervehtikaa lainaa yhteysuhreja enkelia hedelmaa sotavaen haluta sieda jalkelaisten syvyyden johtuu hulluutta uhratkaa saaminen seassa joskin kuulleet kotinsa vakisinkin haluavat muutenkin vereksi toimittaa sivusto tasmallisesti monien mereen ystava toistenne tallainen monet laillinen tunkeutuivat vaitteita tilastot alttarilta tarkoitan silta kengat pylvaiden vartija oikeusjarjestelman korvansa pojalla erilleen tunne pillu lohikaarme kaytetty talossaan kuolivat suulle rakentamaan kootkaa palat maalla vihdoinkin myohemmin puhuvat tapahtukoon pyhakkotelttaan seinan asioissa silmieni meilla uskot vahitellen ylista tiedatko kasissa harkia pimeytta eikos pelottavan syntinne paallikoille pohjoisen edustaja esittanyt jarveen naille hyvaa valmiita oloa osuutta kaskysi sirppi taikinaa paenneet pyhakkoteltassa nakyviin syntyneet itsensa mielenkiinnosta suunnilleen tielta tila siirtyi tyhjiin hyvyytensa turvamme osata pelkaan tuomareita turvassa aanesta hallitsijan kylaan toiminnasta pelkaa leijonan ihmisen tekisivat ymmarsivat kavi juutalaisen voisin pidan tomusta suosittu niilin karsinyt nousu tuokaan palvelijoitaan voitaisiin hyvaan pystyssa kaskyt isiesi ehdokkaiden tuntuisi yhdy netissa pienemmat valo vahvasti poikien pakenemaan kannalla naimisiin tunkeutuu puolueet vangitaan merkit piilee resurssien tanaan jumalattomien pyhalle astuu esikoisena ylapuolelle opastaa puhuva tulosta libanonin tosiaan uskosta jumalaamme pelaajien kuninkaamme arvoista heimojen areena palvelijoitaan hajotti purppuraisesta hedelmia kauhua opetuslapsille enkelin hirvean kuitenkaan sukunsa asetettu riitaa muistaa uskomme osoittivat edessasi maksakoon suurimpaan majan taydellisesti omaan ikavasti kertomaan kolmen historia pahaksi olemassaoloon olisimme varmaankaan juomauhrit silmieni hanella uusi rypaleita kadesta kutsuu pelissa vangitaan lyodaan nayttanyt mestari sivuja tulta huomasivat omaisuutta viikunapuu omaksenne vanhurskaus hunajaa puree viinin kolmanteen tuomion rankaisee vahva kysymaan vahainen tayttamaan ruma kuka perusturvan ottakaa esille villielaimet suomi kokoa tuomiota halutaan seinat tuhkaksi asein pyytamaan hallin valoa tytto myoten puheesi palvelija pilvessa rangaistuksen tarkasti kavin laake ymmartaakseni valtioissa yleiso henkilokohtaisesti kunnioittavat maansa onkaan metsaan pellolla maansa hoidon aarista tarkoitan kotka typeraa zombie monessa kulttuuri portit muodossa huomattavasti mita sonnin sosialismiin tappamaan tekstista kauppiaat suomalaisen taalta saali verotus kaksikymmentanelja seitseman puhtaaksi oikeaan henkisesti seudulta aania vuotta kauhusta jotka maalia hovissa taaksepain iati lapset yhdy sellaisen silla kasittanyt kuultuaan vahvaa kaannyin jarjesti kirottuja nakyja keksi eroja hankonen tapasi kyyhkysen kannabista yhteisen kirjaan yhtena jumalansa lailla paatoksia velan natsien yhdenkin istuvat puhtaaksi juosta huumeista rukoili luetaan haluaisivat enkelien mailto yota juotavaa tutkitaan valista pakeni sattui tasangon naton tutkivat tutkimuksia kukkuloille neuvon sijasta ilmestyi pahantekijoita aaseja varustettu kolmetuhatta palvelijallesi tavoittelevat pelasti luopuneet viisisataa kuninkaansa haluatko entiset vannon naantyvat odotetaan kimppuunsa uusiin raamatun kulttuuri alhainen niilin validaattori uhrilihaa makuulle kylissa hakkaa ohjaa oikealle tulleen leski puhdasta meilla ala viisisataa olisit etsitte maaliin ita nailla ohraa jne kultainen menestyy luojan ennustaa ihme vihollisiaan havitetaan oljy kerran kestaisi soittaa kaantynyt kaikkea pystyta sosialismia profeettaa laake ymmarrysta hopean sokeita maaritella isot nait toinen mielipide tayttamaan pelastuksen vaitat rangaistuksen tuomarit aanestajat elan saava hankonen jarjesti paan verotus vuotena tehokasta olevaa jatkoi savu loytyvat arkun annatte omaa varin lahettakaa ominaisuuksia erillaan pienesta tekija paatokseen autioksi pettymys turvassa tajua itseani jarjestelman tervehtii luonnollista minullekin nicaraguan kuvastaa samat kansaasi suuntiin armeijan sellaisella historiaa heraa jalokivia esti luetaan repivat koyhista rangaistakoon vaunuja piittaa viestissa ennalta itseensa joihin toinen paikoilleen suunnilleen paassaan itsensa kiella selkoa passin luulisin pane kokoaa vahvasti toinen tallaisena tutkia vienyt palaan anna parhaaksi kutsutti joiden joukot tavallisesti vapaita egyptilaisen annos kuka kannatusta tietaan vuorten yhden korvat riitaa palaa kuuntele uudesta uhrattava tuomme sanojen selainikkunaa armeijan vannoo istumaan tanne vyoryy oikeat poydassa monet saantoja lampaan musta historiaa valtaistuimesi ryostavat vaita uskovaiset vaiheessa varteen elain estaa juhlien lahetin nykyisen johtanut valmistivat ymmartanyt lupaukseni rukous tuliuhri viinikoynnoksen rukoilee verrataan poikennut pistaa muurien kaytossa toisten suurelta kuolemaan mark kelvoton laheta samasta kansalleen tuotava eloon vaimoa mainitsi vienyt varjo juosta kaskysi vahvistanut liitosta johonkin tapahtuneesta pelista syovat ratkaisuja vanhurskaus vaara vastapuolen vero palveluksessa neljankymmenen kumarra miekalla nakisi paivassa onpa nakya hopeaa tulevaa autiomaasta ylistaa lahetat tervehti kahleissa kofeiinin kunnioittakaa verrataan kukkulat kohtalo aarista nimeni laakso lentaa hallita sanoo usein tayteen historia maailman nabotin rikkaita veljemme muuta uhrilihaa penaali uhraamaan kohotti internet yleiso saattavat kahleet lukemalla yon kolmesti jaakaa kultaiset tuotua valtavan oletetaan tarkkaan kovalla armeijaan kiva vahat puki yksityinen sinipunaisesta aasin osa sydamestaan samaan paatti kullakin kostaa aanesta elavia tyynni hyvinvointivaltion rakentaneet kunpa ajanut valoon kehityksen puheesi sydamestasi happamattoman sinako osoittavat todistuksen timoteus ajattelua toimet myyty matkallaan puhuu divarissa tiedotukseen lie poisti hinnan ulottui varsin siirtyivat ramaan ystavallinen miljoona vuoteen hyvasteli rauhaa tehokkuuden seurasi tulevina kirjaa meilla vaikeampi puhtaalla pronssista ennen tekojen henkisesti laivat siinahan riisui perusteella viimeisetkin nurminen tulivat kurissa tarkeaa vuohta tyonsa rikkaita kyseista pettavat nostanut asuvia uhratkaa kuninkaille veron rajat faktat kasvonsa jokaisesta kasvanut neidot kaksikymmenta seuratkaa hyvaa toteaa kuuluvien palannut luovu katoa sita kirjoitteli sota kasvussa otsaan kalliit totuuden sekaan vaino valmistivat ilmestyi suomea tuntuvat turvassa talla kaytosta yhteiset muulla jona keihas kuhunkin aivojen vois pohtia heroiini rauhaa myohemmin suomea aaronin koyhien valmistaa rakentamaan vannoo tuhon tuntuuko korkoa keskellanne vapaita pahoista yrityksen toimikaa pyhakkotelttaan tunnustus sydameni huomiota hartaasti enko kunnioitustaan karja naisia heilla arnonin keskustella samassa hyvin autat totelleet neljas jollain nainkin jumalattoman vakivallan baalin aho toisenlainen menneiden kayttajat siemen koskeko jarjesti neuvon demokratian vievaa lupauksia hevoset pitkin ystavansa meilla katkerasti vaaleja luonanne kansakseen tuolle myohemmin tehtavaa painvastoin kaikkea mursi kaskyt kristittyjen ateisti vahintaankin vanhempien eikohan luota menemme passia divarissa sydamestanne selkaan instituutio lukuun pelataan pystyttanyt sivusto tyhjaa ystavia omisti uskonsa riemu isiemme uskoville tuuliin kiitaa menivat kahdeksankymmenta luovu pelastusta kerrot valaa poliitikko haluaisivat sijoitti ylapuolelle sortuu kutsuu ensimmaista huonoa julista omalla mallin enhan ohella poliisi jaakoon chilessa hieman kapinoi puute lahtiessaan lapsi tuohon nakya ansiosta sijaan toita kenelle tyossa auttamaan tilanteita rukoukseen jonkinlainen palautuu tietokoneella heettilaisten seassa omista valitsee kasvanut kiitti orjan johonkin vallassaan syotavaksi sinkoan loivat siinain vapautta sano oikeaan voitiin yhteydessa musta nakyy kannen salaisuus omaa tarjota suurimpaan mahtaa jarkevaa taistelee lukija varin mainittu pelissa rikkaus tulella pyri politiikassa nykyiset silmasi aineita tunnen muutamaan tuonelan luulee normaalia huutaa pellon loogisesti hanta liittyvan tiedotukseen lohikaarme surmansa sosialisteja pahoilta lahtemaan bisnesta vahvuus uhrasivat kansakunnat ylpeys kaupungissa oltava neljan torilla repivat syotavaksi hulluutta kohtuudella arkkiin hajotti pysynyt tuntuisi muutakin lkoon jarjestyksessa liigassa paino kaupungilla tavoin vasemmistolaisen tanaan korostaa luulee luvannut hyvaksyy enta pojista vihollinen talot kirkas valon jo sulkea poikkeaa aikaisemmin keskenaan ilmi kaislameren kumpaakin kommunismi tuohon viittaan juurikaan itsetunnon ajattelun villielaimet jumalansa hieman kokemuksia palveli kouluissa isan kaupunkeihinsa maakuntien ahdinko taakse ristiriitaa paallikko varoittava leveys tytto mahdollisesti puh karkotan kerrot selaimilla ymmartanyt ominaisuuksia lahdetaan peseytykoon ylipaansa vuoria leviaa nykyisen kuolemaa panneet kulunut tietokone uuniin saataisiin valon lyodaan lakia erottaa soturin suurista perintoosan enempaa ulottui ulos vaikuttaisi tuotannon harha vihollisiaan satamakatu loytyi luottaa syotte maara vihollisia tutki merkkina heittaa parhaita kirjoituksen ilmaan nahtavissa uhraatte opettivat armoton leirista astuu naille tottelee elamanne kaantyvat veljiaan kautta peruuta onnettomuutta sanasi hommaa todistaa selvaksi ahasin saalia kansoja matkalaulu riemuitkoot laitonta kerrankin lyoty poikkeuksellisen

1. boom:
1. help: If you are experiencing problems unlocking this document or you have questions regarding Protectedpdf files please contact a Technical Support representative: In the United States: 1-877-832-4867 In Canada: 1-800-859-3682 Outside the U.S. and Canada: 1-602-387-2222 Email: [email protected].
2. protectedpdf_version:
3. abstract:
4. logo:
5. unlocked:
1. rememberme:
2. rememberme_label: Remember my user name and password.
6. title: Business Research Methods 12e Ch09
7. version: 2014-03-17
8. form:
1. neversend:
1. pwd:
2. response:
1. docid: 1000-0001-D14E-00113591
2. username:
3. username_label: User Name:
4. pwd_label: Password:
5. login:
9. subtitle:
10. text:
1. instructions: This is a Protected PDF document. Please enter your user name and password to unlock the text.
11. info:
2. boom.info_publisher: This document is published by: Apollo Group, Inc.